Replikace a synchronizace dat rakety® (RDRS), dříve tcVISION, je řešení replikace dat vyvinuté společností Rocket Software. RDRS poskytuje řešení integrace mainframů IBM pro replikaci dat sálového počítače, synchronizaci dat, migraci dat a zachytávání dat (CDC) pro několik služeb datové platformy Azure.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Workflow
Řešení replikace dat RDRS podporuje CDC z mnoha databází založených na sálových počítačích, včetně DATABÁZÍ IBM Db2, IBM Information Management System (IMS), Adabas for Software AG, CA Datacom a Computer Associates Integrated Správa dat System (CA IDMS). RdRS poskytuje agenty CDC založené na protokolu, kteří zaznamenávají data změn na úrovni záznamu. Tato cdC založená na protokolech přináší zanedbatelnou režii na produkční zdrojové databáze.
RdRS podporuje CDC ze souborů VSAM (Virtual Storage Access Method).
Úkol začíná v sálovém počítači. Spuštěné úlohy nebo stc se vytvářejí v sálovém počítači jako součást instalace softwaru RDRS. Dvě klíčové řadiče domény jsou:
- Zaznamenat agenta, který zachycuje změněná data ze zdroje.
- Použijte agenta, který používá rozhraní API specifická pro správu databází (DBMS) k efektivnímu zápisu změněných dat do cíle.
Poznámka:
V případě Db2 z/OS nabízí RDRS také řešení CDC bez agentů prostřednictvím uživatelem definovaného typu Db2 (UDT), které nepotřebuje stcs.
Otevřený správce platformy (OPM) funguje jako server replikace. Tento server obsahuje nástroje pro automatické mapování dat pro generování metadat pro zdroje a cíle. Obsahuje také sadu pravidel pro extrakci dat ze zdroje. Server transformuje a zpracovává data pro cílové systémy a zapisuje data do cílů. Tuto komponentu můžete nainstalovat do operačních systémů Linux, Unix a Windows.
Řídicí panel RDRS poskytuje správu, kontrolu, provoz, řízení a monitorování procesů výměny dat. Nástroje příkazového řádku RDRS automatizují procesy výměny dat a spravují bezobslužné operace procesu synchronizace dat.
Agent rdRS používá rozhraní API specifická pro DBMS. Tato rozhraní API efektivně implementují změny dat v reálném čase v kombinaci s technologií CDC ve zdroji do cílových datových služeb Azure, což znamená databáze a soubory.
RdRS podporuje přímé streamování změněných dat do služby Azure Event Hubs nebo Kafka. Potom Azure Logic Apps, funkce nebo vlastní řešení ve virtuálním počítači tyto události zpracuje.
Mezi cíle datové platformy Azure podporované rdRS patří Azure SQL Database, Azure Database for PostgreSQL, Azure Database for MySQL, Azure Cosmos DB, Azure Data Lake Storage a další.
Data, která se nacházejí v datové platformě Azure, využívají služby Azure nebo jiné platformy, které je možné zobrazit. Mezi příklady patří Power BI, Azure Synapse Analytics nebo vlastní aplikace.
RdRS může zpětně synchronizovat změny zachytávání z databázové platformy Azure (jako je SQL Database, Azure Database for MySQL, Azure Database for PostgreSQL nebo Data Lake Storage) a zapisovat je zpět do datové vrstvy sálového počítače.
Zálohování a uvolnění souborů databáze mainframů se kopírují do virtuálního počítače Azure pomocí RDRS pro hromadné zpracování zatížení.
Hromadné načítání RDRS provádí počáteční cílové zatížení databáze pomocí zdrojových dat sálového počítače. Zdrojová data je možné číst přímo z úložiště dat sálového počítače nebo ze zálohy sálového počítače nebo ze souboru pro uvolnění. Hromadné načítání poskytuje automatický překlad datových typů sálového počítače, jako jsou pole s rozšířeným binárním kódem pro výměnu desetinných míst (EBCDIC). Pro zajištění nejlepšího výkonu použijte zálohování nebo uvolnění dat místo přímého čtení databáze sálového počítače. Databázi byste neměli číst přímo, protože přesouvání uvolněných nebo zálohovaných dat do požadovaného virtuálního počítače Azure RDRS a použití nativních zavaděčů databází minimalizuje vstup a výstup sítě (vstupně-výstupní operace) a zkracuje dobu načítání.
Komponenty
Řešení používá následující komponenty.
Síťové komponenty a komponenty identit
- Azure ExpressRoute: ExpressRoute umožňuje rozšířit vaše místní sítě do cloudu Microsoftu přes privátní připojení, které zpracovává poskytovatel připojení. ExpressRoute můžete použít k navázání připojení ke cloudovým službám, jako jsou Microsoft Azure a Microsoft 365.
- Azure VPN Gateway: Brána VPN je konkrétní typ brány virtuální sítě, která odesílá šifrovaný provoz mezi virtuální sítí Azure a místním umístěním přes veřejný internet.
- Microsoft Entra ID: Microsoft Entra ID je služba pro správu identit a přístupu, kterou můžete synchronizovat s místním adresářem.
Komponenty aplikace
- Logic Apps: Logic Apps pomáhá vytvářet a spouštět automatizované opakované úlohy a procesy podle plánu. Služby můžete volat uvnitř a mimo Azure, jako jsou koncové body HTTP nebo HTTPS, odesílat zprávy do služeb Azure, jako je Azure Storage a Azure Service Bus, nebo nahrávat soubory do sdílené složky.
- Azure Functions: Azure Functions umožňuje spouštět malé části kódu, označované jako funkce, aniž byste se museli starat o aplikační infrastrukturu. Při použití služby Functions poskytuje cloudová infrastruktura aktuální servery, které potřebujete k udržování aplikace ve velkém měřítku.
- Azure Virtual Machines: Virtuální počítače Azure jsou škálovatelné výpočetní prostředky na vyžádání. Virtuální počítač Azure poskytuje flexibilitu virtualizace a eliminuje nároky na údržbu fyzického hardwaru. Virtuální počítače Azure fungují v systémech Windows i Linux.
Součásti úložiště
- Úložiště: Storage nabízí nespravovaná řešení úložiště, jako jsou Azure Blob Storage, Azure Table Storage, Azure Queue Storage a Azure Files. Služba Azure Files je užitečná hlavně pro rekonstruovaná řešení mainframů a poskytuje efektivní doplněk se spravovaným úložištěm SQL.
- Azure SQL: Azure SQL je plně spravovaná platforma jako služba (PaaS) pro SQL Server z Azure. Relační data je možné migrovat a efektivně používat s dalšími komponentami Azure, jako jsou Azure SQL Managed Instance, virtuální počítače Azure SQL, Azure Database for PostgreSQL, Azure Database for MariaDB a Azure Database for MySQL.
- Azure Cosmos DB: Azure Cosmos DB je nabídka no-SQL, kterou můžete použít k migraci ne tabulkových dat z sálového počítače.
Součásti monitorování
- Azure Monitor: Azure Monitor poskytuje komplexní řešení pro shromažďování, analýzu a akce na telemetrii z cloudových a místních prostředí.
- Application Insights: Application Insights analyzuje a prezentuje telemetrii aplikací.
- Protokoly služby Azure Monitor: Protokoly služby Azure Monitor jsou funkce monitoru, která shromažďuje a organizuje protokoly a údaje o výkonu z monitorovaných prostředků. Data z více zdrojů, jako jsou protokoly platformy ze služeb Azure, data protokolů a výkonu z agentů virtuálních počítačů a data o využití a výkonu z aplikací, můžete konsolidovat do jednoho pracovního prostoru, který se má analyzovat společně pomocí sofistikovaného dotazovacího jazyka, který dokáže rychle analyzovat miliony záznamů.
- Log Analytics: Log Analytics je nástroj na webu Azure Portal. Pomocí dotazů protokolu můžete získat přehledy z dat shromážděných v protokolech služby Azure Monitor. Log Analytics používá výkonný dotazovací jazyk, abyste mohli spojit data z více tabulek, agregovat velké datové sady a provádět složité operace s minimálním kódem.
Důležité informace
Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.
Optimalizace nákladů
Optimalizace nákladů se zabývá způsoby, jak snížit zbytečné výdaje a zlepšit efektivitu provozu. Další informace najdete v tématu Přehled pilíře optimalizace nákladů. K odhadu nákladů na implementaci tohoto řešení použijte cenovou kalkulačku Azure.
Spolehlivost
Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace najdete v kontrolním seznamu pro kontrolu návrhu pro spolehlivost.
- Nastavte OPM RDRS na virtuálních počítačích Azure, které jsou nasazené v samostatných zónách dostupnosti, aby poskytovaly vysokou dostupnost. V případě selhání se aktivuje sekundární RDRS OPM a sekundární RDRS OPM oznámí svou IP adresu správci sálového počítače RDRS. Sálový počítač pak komunikuje s novým opmem RDRS, který pokračuje v procesu v dalším logickém bodě restartování pomocí kombinace logické jednotky práce (LUW) a restartování souborů.
- Navrhňte databázové služby Azure tak, aby podporovaly redundanci zón, aby mohly převzít služby při selhání sekundárního uzlu, pokud dojde k výpadku nebo plánovanému časovému období údržby.
- Pomocí protokolů azure Monitoru a Application Insights můžete monitorovat stav prostředku Azure. Můžete nastavit upozornění pro proaktivní správu.
Škálovatelnost
- Nastavte škálování RDRS pro zpracování CDC spuštěním několika paralelních streamů replikace. Nejprve analyzujte soubory zahrnuté v logických transakcích. Tyto soubory musí být zpracovány postupně. Proces CDC RDRS zajišťuje integritu každé logické transakce. Například sady tabulek, které se neúčastní běžných transakcí, můžou být rozděleny do paralelních úloh vytvořením několika skriptů pro zpracování.
- RdRS může současně spouštět paralelní souběžné zpracování hromadného načítání na jednom virtuálním počítači Azure nebo na několika virtuálních počítačích Azure, což poskytuje horizontální škálovatelnost. Proveďte rychlé operace hromadného načítání velkých tabulek rozdělením procesu do několika úloh, a to buď pomocí libovolných intervalů, nebo filtrování řádků. Filtrování řádků může používat klíč, klíč oddílu, datum a další filtry.
- Bezserverová výpočetní úroveň SLUŽBY SQL Database poskytuje možnost automatického škálování na základě úlohy. Další databáze Azure je možné vertikálně navýšit a vertikálně snížit pomocí automatizace, aby splňovaly požadavky úloh.
- Další informace najdete v tématu Osvědčené postupy automatického škálování v Azure.
Zabezpečení
Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace najdete v kontrolním seznamu pro kontrolu návrhu zabezpečení.
- Řízení ověřování a přístupu pro RDRS pomocí Microsoft Entra ID.
- Šifrování přenosů dat mezi produkty RDRS (sálový počítač do Azure) pomocí protokolu TLS (Transport Layer Security).
- Použijte ExpressRoute nebo vpn typu site-to-site pro privátní a efektivní připojení k Azure z místního prostředí.
- Ověřování prostředků Azure pomocí ID Microsoft Entra a správy oprávnění pomocí řízení přístupu na základě role (RBAC).
- Databázové služby v Azure podporují různé možnosti zabezpečení, jako je šifrování neaktivních uložených dat, šifrování přenášených dat (TLS) a šifrování dat při zpracování, takže vaše data jsou vždy šifrovaná.
- Pokyny k návrhu zabezpečených řešení najdete v dokumentaci k zabezpečení Azure.
- Pokud chcete zjistit směrný plán zabezpečení, přečtěte si téma Standardní hodnoty zabezpečení pro Azure.
Podrobnosti scénáře
Sálové počítače jsou servery, které zpracovávají velký počet transakcí. Sálové aplikace vytvářejí a spotřebovávají velké objemy dat každý den. Veřejné cloudy poskytují elasticitu, optimalizaci nákladů, snadné použití a snadnou integraci. Mnoho aplikací x86 a mainframů se přesouvá do cloudu, takže organizace musí mít dobře navrženou strategii integrace a migrace dat z mainframů do cloudu.
Tento scénář integruje datovou vrstvu IBM Z (mainframe) s cloudovou datovou platformou Azure pomocí RDRS poskytovaného rocket software.
Potenciální případy použití
Toto řešení je ideální pro rozsáhlé migrace dat na datovou platformu Azure. Tento scénář zvažte pro následující případy použití:
- Úplná migrace datové vrstvy mainframů: V tomto případě chce zákazník přesunout všechna data Db2, IMS, IDMS, soubory a další data z sálového počítače na datovou platformu Azure.
- Koexistence sálových a aplikací založených na Azure: V tomto případě zákazník vyžaduje podporu obousměrné synchronizace mezi sálovým počítačem a datovou platformou Azure.
- Archivace: V tomto případě chce zákazník ukládat data pro účely auditu a dodržování předpisů, ale nechce k nim často přistupovat. Úložiště poskytuje nízkonákladové řešení pro ukládání archivu dat.
Přispěvatelé
Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.
Hlavní autoři:
- Sandip Khandelwal | Vedoucí technický architekt
Další přispěvatelé:
- Liz Casey | Vedoucí vývojář obsahu
Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.
Další kroky
- Školení: Návrh datové platformy v Azure
- Obraťte se na tým Azure Datoví technici.
- Průvodci migrací databází Azure
- Školení: Návrh strategie migrace SQL Serveru
- Průvodce migrací: SQL Server do Azure SQL Database