Upravit

Sdílet prostřednictvím

Mainframe a midrange data replication to Azure using Qlik

Azure Event Hubs
Azure Data Lake
Azure Databricks

Toto řešení používá místní instanci Qliku k replikaci místních zdrojů dat do Azure v reálném čase.

Poznámka:

Vyslovte "Qlik" jako "click".

Apache® a Apache Kafka® jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Architektura

Architektura migrace dat do Azure pomocí Qliku

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

  1. Agent hostitele: Agent hostitele v místním systému zaznamenává informace protokolu změn z úložišť dat Db2, IMS a VSAM a předává je na server replikace Qlik.
  2. Server replikace: Software serveru replikace Qlik předává informace protokolu změn do systému Kafka a Azure Event Hubs. Qlik v tomto příkladu je místní, ale místo toho se dá nasadit na virtuální počítač v Azure.
  3. Příjem streamů: Kafka a Event Hubs poskytují zprostředkovatele zpráv pro příjem a ukládání informací protokolu změn.
  4. Kafka Connect: Rozhraní Kafka Connect API slouží k získávání dat ze systému Kafka pro aktualizaci úložišť dat Azure, jako je Azure Data Lake Storage, Azure Databricks a Azure Synapse Analytics.
  5. Data Lake Storage: Data Lake Storage je pracovní oblast pro data protokolu změn.
  6. Databricks: Databricks zpracovává data protokolu změn a aktualizuje odpovídající soubory v Azure.
  7. Datové služby Azure: Azure poskytuje celou řadu efektivních služeb úložiště dat. Mezi tyto znamé patří:

    • Služby relačních databází:

      • SQL Server na Azure Virtual Machines
      • Azure SQL Database
      • Azure SQL Managed Instance
      • Azure Database for PostgreSQL
      • Azure Database for MySQL
      • Azure Cosmos DB

      Při výběru služby úložiště dat je potřeba vzít v úvahu mnoho faktorů: typ úloh, dotazy napříč databázemi, požadavky na dvoufázové potvrzení, možnost přístupu k systému souborů, množství dat, požadovaná propustnost, latence atd.

    • Nerelační databázové služby Azure: Azure Cosmos DB, databáze NoSQL, poskytuje rychlou odpověď, automatickou škálovatelnost a garantovanou rychlost v libovolném měřítku.

    • Azure Synapse Analytics: Synapse Analytics je analytická služba, která spojuje integraci dat, skladování podnikových dat a analýzu velkých objemů dat. Díky tomu můžete dotazovat data pomocí bezserverových nebo vyhrazených prostředků ve velkém měřítku.

    • Microsoft Fabric: Microsoft Fabric je analytické řešení typu all-in-one pro podniky. Zahrnuje vše od přesunu dat až po datové vědy, analýzy v reálném čase a business intelligence. Nabízí komplexní sadu služeb, včetně datového jezera, přípravy dat a integrace dat.

Komponenty

Tato architektura se skládá z několika cloudových služeb Azure a je rozdělená do čtyř kategorií prostředků: sítě a identity, aplikace, úložiště a monitorování. Služby pro každou a jejich role jsou popsány v následujících částech.

Sítě a identita

  • Azure ExpressRoute rozšiřuje vaše místní sítě do cloudových služeb nabízených Microsoftem přes privátní připojení od poskytovatele připojení. Pomocí ExpressRoute můžete navázat připojení ke cloudovým službám, jako je Microsoft Azure a Office 365.
  • Azure VPN Gateway je konkrétní typ brány virtuální sítě, která odesílá šifrovaný provoz mezi virtuální sítí Azure a místním umístěním přes veřejný internet.
  • Microsoft Entra ID je služba pro správu identit a přístupu, která se může synchronizovat s místní službou Active Directory.

Aplikace

  • Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí, která může ukládat datové zprávy Db2, IMS a VSAM. Může přijímat a zpracovávat miliony zpráv za sekundu. Data odesílaná do centra událostí je možné transformovat a ukládat pomocí poskytovatele analýz v reálném čase nebo vlastního adaptéru.
  • Apache Kafka je opensourcová platforma pro streamování událostí, která se používá pro vysoce výkonné datové kanály, analýzy streamování, integraci dat a klíčové aplikace. Dá se snadno integrovat s integrací dat Qlik a uložit data změn Db2.
  • Azure Data Lake Storage Azure Data Lake Storage poskytuje datové jezero pro ukládání zpracovaných místních dat protokolu změn.
  • Azure Databricks je cloudový nástroj pro přípravu dat založený na Apache Sparku. Může zpracovávat a transformovat obrovské množství dat. Data můžete prozkoumat pomocí modelů strojového učení. Úlohy se dají psát v jazyce R, Python, Java, Scala a Spark SQL.

Úložiště

  • Azure Storage je sada široce škálovatelných a zabezpečených cloudových služeb pro data, aplikace a úlohy. Zahrnuje Azure Files, Azure Table Storage a Azure Queue Storage. Azure Files je často efektivním nástrojem pro migraci úloh sálového počítače.
  • Azure Cosmos DB je plně spravovaná databázová služba NoSQL s opensourcovými rozhraními API pro MongoDB a Cassandra. Možnou aplikací je migrace mainframových ne tabulkových dat do Azure.

Sledování

  • Azure Monitor poskytuje komplexní řešení pro shromažďování, analýzu a akce na telemetrii z cloudových a místních prostředí. Zahrnuje:
    • Application Insights pro analýzu a prezentaci telemetrie
    • Monitorujte protokoly, které shromažďují a uspořádají data protokolů a výkonu z monitorovaných prostředků. Data z různých zdrojů, jako jsou protokoly platformy ze služeb Azure, data protokolu a výkonu z agentů virtuálních počítačů a data o využití a výkonu z aplikací, je možné konsolidovat do jednoho pracovního prostoru, který se má analyzovat společně. Analýza používá sofistikovaný dotazovací jazyk, který dokáže rychle analyzovat miliony záznamů.
    • Log Analytics, který může dotazovat protokoly monitorování. Výkonný dotazovací jazyk umožňuje spojit data z více tabulek, agregovat velké sady dat a provádět složité operace s minimálním kódem.

Alternativy

  • Diagram znázorňuje místní instalaci Qliku. Doporučeným osvědčeným postupem pro zachování blízkosti místních zdrojů dat. Alternativou je instalace Qliku v cloudu na virtuální počítač Azure.
  • Qlik Integrace Dat může doručovat databricks přímo bez použití Kafka nebo centra událostí.
  • Integrace dat Qlik se nemůže replikovat přímo do služby Azure Cosmos DB, ale službu Azure Cosmos DB můžete integrovat s centrem událostí pomocí architektury event-sourcing.

Podrobnosti scénáře

Mnoho organizací používá sálové a střední uspořádání systémů ke spouštění náročných a kritických úloh. Většina aplikací používá jednu nebo více databází a většina databází je sdílená mnoha aplikacemi, často v několika systémech. V takovém prostředí modernizace do cloudu znamená, že místní data musí být poskytována cloudovým aplikacím. Proto se replikace dat stává důležitou taktikou modernizace.

Platforma Qlik Integrace Dat zahrnuje replikaci Qlik, která replikaci dat dělá. Využívá funkci change data capture (CDC) k replikaci místních úložišť dat v reálném čase do Azure. Data změn můžou pocházet z protokolů změn Db2, IMS a VSAM. Tato technika replikace eliminuje nekonvenientní dávkové hromadné načítání. Toto řešení používá místní instanci Qliku k replikaci místních zdrojů dat do Azure v reálném čase.

Potenciální případy použití

Toto řešení může být vhodné pro:

  • Hybridní prostředí, která vyžadují replikaci změn dat z sálového nebo středního systému do databází Azure.
  • Online migrace databází z Db2 do databáze Azure SQL s malými výpadky
  • Replikace dat z různých místních úložišť dat do Azure za účelem konsolidace a analýzy

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace najdete v tématu Přehled pilíře spolehlivosti.

  • Qlik Integrace Dat je možné nakonfigurovat v clusteru s vysokou dostupností.
  • Databázové služby Azure podporují redundanci zón a je možné ji navrhnout tak, aby převzala služby při selhání sekundárního uzlu v případě výpadku nebo během časového období údržby.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v tématu Přehled pilíře zabezpečení.

  • ExpressRoute poskytuje privátní a efektivní připojení k Azure z místního prostředí, ale místo toho můžete použít síť VPN typu site-to-site.
  • Prostředky Azure je možné ověřit pomocí ID Microsoft Entra. Oprávnění je možné spravovat pomocí řízení přístupu na základě role.
  • Databázové služby v podpora Azure různé možnosti zabezpečení, například:
    • Šifrování neaktivních uložených dat
    • Dynamické maskování dat
    • Databáze vždy zašifrovaná.
  • Obecné pokyny k návrhu zabezpečených řešení najdete v dokumentaci k zabezpečení Azure.

Optimalizace nákladů

Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů.

Pomocí cenové kalkulačky Azure můžete odhadnout náklady na vaši implementaci.

Provozní dokonalost

Efektivita provozu zahrnuje provozní procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace najdete v tématu Přehled pilíře efektivity provozu.

  • Ke sledování stavu prostředků Azure můžete kombinovat funkce Application Insights a Log Analytics služby Monitor. Výstrahy můžete nastavit tak, abyste je mohli aktivně spravovat.
  • Pokyny k odolnosti v Azure najdete v tématu Návrh spolehlivých aplikací Azure.

Efektivita výkonu

Efektivita výkonu je schopnost úlohy škálovat se tak, aby efektivním způsobem splňovala požadavky, které na ni kladou uživatelé. Další informace najdete v tématu Přehled pilíře efektivity výkonu.

Databricks, Data Lake Storage a další databáze Azure mají možnosti automatického škálování. Další informace najdete v tématu Automatické škálování.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky