Upravit

Sdílet prostřednictvím

Mainframe a midrange data replication to Azure using Qlik

Azure Event Hubs
Azure Data Lake
Azure Databricks

Toto řešení používá místní instanci Qliku k replikaci místních zdrojů dat do Azure v reálném čase.

Poznámka:

Vyslovte "Qlik" jako "click".

Apache® a Apache Kafka® jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Architektura

Architektura migrace dat do Azure pomocí Qliku

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

  1. agent hostitele: Agent hostitele v místním systému zaznamenává informace protokolu změn z úložišť dat Db2, IMS (Information Management System) a VSAM (metoda přístupu k virtuálnímu úložišti) a předává je na server replikace Qlik.
  2. Server replikace: Software serveru replikace Qlik předává informace protokolu změn do systému Kafka a Azure Event Hubs. Qlik v tomto příkladu je místní, ale místo toho se dá nasadit na virtuální počítač v Azure.
  3. Příjem streamů: Kafka a Event Hubs poskytují zprostředkovatele zpráv pro příjem a ukládání informací protokolu změn.
  4. Kafka Connect: Rozhraní Kafka Connect API slouží k získávání dat ze systému Kafka pro aktualizaci úložišť dat Azure, jako je Azure Data Lake Storage, Azure Databricks a Azure Synapse Analytics.
  5. Data Lake Storage: Data Lake Storage je pracovní oblast pro data protokolu změn.
  6. Databricks: Databricks zpracovává data protokolu změn a aktualizuje odpovídající soubory v Azure.
  7. datových služeb Azure: Azure poskytuje různé efektivní služby úložiště dat, mezi které patří:

    • Služby relačních databází:

      • SQL Server na Azure Virtual Machines
      • Azure SQL Database
      • Azure SQL Managed Instance
      • Azure Database for PostgreSQL
      • Azure Database for MySQL
      • Azure Cosmos DB

      Při výběru služby úložiště dat je potřeba vzít v úvahu mnoho faktorů: typ úloh, dotazy napříč databázemi, požadavky na dvoufázové potvrzení, možnost přístupu k systému souborů, množství dat, požadovaná propustnost, latence atd.

    • Nerelační databázové služby Azure: Azure Cosmos DB, databáze NoSQL, poskytuje rychlou odpověď, automatickou škálovatelnost a garantovanou rychlost v libovolném měřítku.

    • Azure Synapse Analytics: Synapse Analytics je analytická služba, která spojuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat. Díky tomu můžete dotazovat data pomocí bezserverových nebo vyhrazených prostředků ve velkém měřítku.

    • Microsoft Fabric: Microsoft Fabric je analytické řešení typu all-in-one pro podniky. Zahrnuje vše od přesunu dat až po datové vědy, analýzy v reálném čase a business intelligence. Nabízí komplexní sadu služeb, včetně datového jezera, přípravy dat a integrace dat.

Komponenty

Tato architektura se skládá z několika cloudových služeb Azure a je rozdělená do čtyř kategorií prostředků: sítě a identity, aplikace, úložiště a monitorování. Služby pro každou a jejich role jsou popsány v následujících částech.

Sítě a identita

Při navrhování architektury aplikací je důležité určit prioritu síťových komponent a komponent identit, aby se zajistilo zabezpečení, výkon a spravovatelnost během interakcí přes veřejný internet nebo privátní připojení.

  • Azure ExpressRoute rozšiřuje vaše místní sítě do cloudových služeb nabízených Microsoftem přes privátní připojení od poskytovatele připojení. Pomocí ExpressRoute můžete navázat připojení ke cloudovým službám, jako je Microsoft Azure a Office 365.
  • Azure VPN Gateway je konkrétní typ brány virtuální sítě, která odesílá šifrovaný provoz mezi virtuální sítí Azure a místním umístěním přes veřejný internet.
  • Microsoft Entra ID je služba pro správu identit a přístupu, která se může synchronizovat s místní službou Active Directory.

Aplikace

Azure nabízí spravované služby určené k podpoře zabezpečeného, škálovatelného a efektivního nasazení aplikací. Služby aplikační vrstvy uvedené v architektuře můžou přispět k dosažení optimální architektury aplikace.

  • Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí, která může ukládat datové zprávy Db2, IMS a VSAM. Může přijímat a zpracovávat miliony zpráv za sekundu. Data odesílaná do centra událostí je možné transformovat a ukládat pomocí poskytovatele analýz v reálném čase nebo vlastního adaptéru.
  • Apache Kafka je opensourcová platforma pro streamování událostí, která se používá pro vysoce výkonné datové kanály, analýzy streamování, integraci dat a klíčové aplikace. Dá se snadno integrovat s integrací dat Qlik a uložit data změn Db2.
  • Azure Data Lake Storage Azure Data Lake Storage poskytuje datové jezero pro ukládání zpracovaných místních dat protokolu změn.
  • Azure Databricks je cloudový nástroj pro přípravu dat založený na Apache Sparku. Může zpracovávat a transformovat obrovské množství dat. Data můžete prozkoumat pomocí modelů strojového učení. Úlohy se dají psát v jazyce R, Python, Java, Scala a Spark SQL.

Úložiště a databáze

Architektura se zabývá škálovatelným a zabezpečeným cloudovým úložištěm a spravovanými databázemi pro flexibilní a inteligentní správu dat.

Sledování

Nástroje pro monitorování poskytují komplexní analýzu dat a cenné přehledy o výkonu aplikací.

  • Azure Monitor poskytuje komplexní řešení pro shromažďování, analýzu a akce na telemetrii z cloudových a místních prostředí. Zahrnuje:
    • Application Insights pro analýzu a prezentaci telemetrie
    • Monitorujte protokoly, které shromažďují a uspořádají data protokolů a výkonu z monitorovaných prostředků. Data ze zdrojů, jako jsou protokoly platformy Azure, agenti virtuálních počítačů a výkon aplikací, je možné kombinovat do jednoho pracovního prostoru pro účely analýzy. Použitý dotazovací jazyk umožňuje analýzu vašich záznamů.
    • Log Analytics, který může dotazovat protokoly monitorování. Výkonný dotazovací jazyk umožňuje spojit data z více tabulek, agregovat velké sady dat a provádět složité operace s minimálním kódem.

Alternativy

  • Diagram znázorňuje místní instalaci Qliku. Doporučeným osvědčeným postupem pro zachování blízkosti místních zdrojů dat. Alternativou je instalace Qliku v cloudu na virtuální počítač Azure.
  • Qlik Integrace Dat může doručovat databricks přímo bez použití Kafka nebo centra událostí.
  • Integrace dat Qlik se nemůže replikovat přímo do služby Azure Cosmos DB, ale službu Azure Cosmos DB můžete integrovat s centrem událostí pomocí architektury event-sourcing.

Podrobnosti scénáře

Mnoho organizací používá sálové a střední uspořádání systémů ke spouštění náročných a kritických úloh. Většina aplikací používá sdílené databáze, často napříč několika systémy. V takovém prostředí modernizace do cloudu znamená, že místní data musí být poskytována cloudovým aplikacím. Proto se replikace dat stává důležitou taktikou modernizace.

Platforma Qlik Integrace Dat zahrnuje replikaci Qlik, která replikaci dat dělá. Využívá funkci change data capture (CDC) k replikaci místních úložišť dat v reálném čase do Azure. Data změn můžou pocházet z protokolů změn Db2, IMS a VSAM. Tato technika replikace eliminuje nekonvenientní dávkové hromadné načítání. Toto řešení používá místní instanci Qliku k replikaci místních zdrojů dat do Azure v reálném čase.

Potenciální případy použití

Toto řešení může být vhodné pro:

  • Hybridní prostředí, která vyžadují replikaci změn dat z sálového nebo středního systému do databází Azure.
  • Online migrace databází z Db2 do databáze Azure SQL s malými výpadky
  • Replikace dat z různých místních úložišť dat do Azure za účelem konsolidace a analýzy

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace naleznete v tématu Kontrolní seznam pro kontrolu spolehlivosti.

  • Qlik Integrace Dat je možné nakonfigurovat v clusteru s vysokou dostupností.
  • Databázové služby Azure podporují zónovou redundanci a je možné ji navrhnout tak, aby převzala služby při selhání sekundárního uzlu, pokud dojde k výpadku nebo během časového období údržby.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu prozabezpečení .

  • Azure ExpressRoute poskytuje privátní a efektivní připojení k Azure z místního prostředí, ale místo toho můžete použít vpn typu site-to-site.
  • Prostředky Azure je možné ověřit pomocí ID Microsoft Entra a oprávnění se spravují prostřednictvím řízení přístupu na základě role.
  • Služby Azure Database podporují různé možnosti zabezpečení, například:
    • Šifrování neaktivních uložených dat
    • Dynamické maskování dat
    • Databáze vždy zašifrovaná.
  • Obecné pokyny k návrhu zabezpečených řešení najdete v dokumentaci k zabezpečení Azure.

Optimalizace nákladů

Optimalizacenákladůch Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu proOptimalizace nákladů .

Pomocí cenové kalkulačky Azure můžete odhadnout náklady na vaši implementaci.

Efektivita provozu

Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace naleznete v tématu kontrolní seznam pro kontrolu efektivity provozu.

  • Ke sledování stavu prostředků Azure můžete kombinovat funkce Application Insights a Log Analytics služby Monitor. Výstrahy můžete nastavit tak, abyste je mohli aktivně spravovat.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace naleznete v tématu Kontrola návrhu kontrolní seznam pro zvýšení efektivity výkonu.

Databricks, Data Lake Storage a další databáze Azure mají možnosti automatického škálování. Další informace najdete v tématu Automatické škálování.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky