Migrace datové vrstvy mainframů do Azure pomocí mLogica LIBER*IRIS

Velký objem transakcí pro sálové aplikace vytváří velký objem dat. Azure nabízí přesvědčivý cíl pro modernizaci a migraci dat v sálových počítačích. Relační databáze Azure a Databáze NoSQL poskytují škálovatelnost, vysokou dostupnost a snadnou údržbu, která splňuje nebo překračuje požadavky sálových prostředí. Pokud chcete vyřadit úlohy sálového počítače a zachovat data v nízkonákladovém úložišti, Azure nabízí možnosti.

Migrace úloh z sálového počítače do Azure jako součást přeformulování nebo refaktoringu aplikací obvykle vyžaduje migraci dat ve velkém měřítku. Liber*IRIS společnosti mLogica poskytuje osvědčené řešení pro hromadnou migraci dat z sálového počítače do Azure. Řešení funguje ve velkém měřítku pro migraci podnikových úloh. Tento článek ukazuje, jak migrovat data mainframů IBM z/OS s vysokou věrností do Azure.

mLogica LIBER*IRIS a její loga jsou ochranné známky společnosti. Použití těchto značek nevyžaduje žádné doporučení.

Architektura

Následující diagram ukazuje, jak se mLogica LIBER*IRIS integruje s komponentami Azure za účelem migrace dat sálového počítače do Azure ve velkém měřítku.

Stáhněte si soubor aplikace Visio s touto architekturou.

Workflow

Postup migrace dat mainframů do Azure je následující:

1. Kopírování souborů DDL (Data Definition Language), souborů s popisem databáze (DBD), sad copybooků, rozložení dat a dalších artefaktů popisů dat do virtuálního počítače Azure s Linuxem nakonfigurovaným pomocí nástrojů služby pro migraci dat mLogica pomocí FTPS přes zabezpečenou virtuální privátní síť Azure site-to-site (VPN) nebo Azure ExpressRoute.
2. Cluster migrace dat mLogica Liber*IRIS generuje skripty pro extrakci dat, které se spustí v sálovém počítači.
3. Pomocí FTPS přes SÍŤ VPN přeneste skripty pro extrakci dat do sálového počítače. Připojení FTPS převede ASCII do formátu EBCDIC sálového počítače.
4. Extrahované skripty se spouštějí na sálovém počítači. Exportují data z více zdrojů do sekvenčních souborů, kde se rozbalí všechna zabalená desetinná data. Vygenerují skripty pro načtení dat do cílové databáze pomocí skriptů pro načtení dat.
5. Sekvenční soubory a načítané skripty se přenesou pomocí binárního SFTP do služby Azure Blob Storage. V tuto chvíli jsou data sálového počítače stále ve formátu EBCDIC.
6. Služba migrace dat mLogica spustí zátěžové skripty pro převod EBCDIC na ASCII. Skripty zapisují chyby při načítání do služby Azure Storage. Ke snížení nákladů můžete použít dva účty úložiště: ukládání datových souborů na horké úrovni přístupu a soubory protokolů na studené úrovni přístupu.
7. Skripty načítají převedená data ASCII ze sekvenčních souborů do cílové relační databáze Azure. Mezi načtené skripty patří příkazy DDL pro vytváření tabulek a dalších objektů a dotazů SQL pro načtení dat do těchto objektů. Škálujte proces načítání horizontálně napříč clusterem, aby se maximalizovala propustnost podle potřeby. Protokoly spouštění a podrobné protokoly výjimek se ukládají ve službě Azure Blob Storage pro další analýzu.
8. Služba migrace dat mLogica Liber*IRIS spouští načítací skripty pro transformaci dat z relačního formátu souboru do formátu databáze NoSQL. Tato data NoSQL můžete načíst do služby Azure Cosmos DB pomocí rozhraní SQL API služby Azure Cosmos DB.

Komponenty

• Sítě a identita

  • Azure ExpressRoute umožňuje rozšířit vaše místní sítě do Azure přes privátní připojení pomocí poskytovatele připojení.
  • Azure VPN Gateway je brána virtuální sítě, která slouží k odesílání šifrovaného provozu mezi virtuální sítí Azure a místním umístěním přes internet.
  • Microsoft Entra ID je služba pro správu identit a přístupu, která se dá synchronizovat s místním adresářem.

• Aplikace

  • Azure Virtual Machines poskytuje škálovatelné výpočetní prostředky na vyžádání. Cluster migrace dat mLogica běží na virtuálních počítačích Azure s Linuxem, které jsou optimalizované pro výkon sítě.

• Úložiště

  • Azure Blob Storage nabízí vysoce dostupnou, zašifrovanou neaktivní a nákladově efektivní úložiště s vysokou kapacitou. Umožňuje přímý binární provoz SFTP z sálového počítače. Blob Storage může připojit kontejnery na virtuálních počítačích s Linuxem pomocí systému souborů NFS.
  • Azure SQL, Azure Database for PostgreSQL a Azure Database for MySQL jsou plně spravované služby paaS (platforma jako služba) pro SQL Server, PostgreSQL a MySQL. Poskytují vysoce výkonné a vysoce dostupné možnosti pro relační data sálových počítačů, emulovaná nerelační data a emulovaná data metody přístupu k virtuálnímu úložišti (VSAM).
  • Azure Cosmos DB je databáze Azure NoSQL. Umožňuje migrovat nerelační sálové zdroje, jako je IMS (Information Management System), integrovaný systém pro správu databází (IDMS) a přizpůsobitelný databázový systém (ADABAS).

• Sledování

  • Azure Monitor poskytuje komplexní řešení pro shromažďování, analýzu a akce na telemetrii z cloudových a místních prostředí.
  • Application Insights přijímá telemetrii aplikací k analýze a prezentaci.
  • Protokoly Azure Monitoru jsou funkce služby Azure Monitor, která shromažďuje a organizuje data protokolů a výkonu z monitorovaných prostředků. Tato funkce může konsolidovat data z více zdrojů do jednoho pracovního prostoru. Mezi tyto zdroje patří protokoly platformy ze služeb Azure, data protokolů a výkonu z agentů virtuálních počítačů a data o využití a výkonu z aplikací. Analyzujte tyto zdroje společně pomocí sofistikovaného dotazovacího jazyka, který dokáže rychle analyzovat miliony záznamů.
  • Log Analytics je funkce služby Azure Monitor. Dotazy na protokoly pomáhají používat data shromážděná v protokolech služby Azure Monitor a protokoly spouštění skriptů načítání mLogica, které jsou uložené ve službě Blob Storage. Výkonný dotazovací jazyk umožňuje spojit data z více tabulek, agregovat velké sady dat a provádět složité operace.

Potenciální případy použití

Pro tuto ukázku úlohy existují dva klíčové případy použití:

• Replatforming nebo refaktoring úloh

  Přesuňte všechna data sálového počítače související s úlohou z sálového počítače do Azure. Tato data zahrnují databáze, jako je Db2, IMS a IDMS a soubory.

• Archivní

  Vyřazení úlohy sálového počítače a uchovávání dat v nízkonákladovém řešení úložiště Azure

Doporučení

Pokud nemáte konkrétní požadavek, který je přepíše, postupujte podle těchto obecných doporučení:

• Pokud chcete snížit latenci sítě, vytvořte všechny prostředky Azure uvedené v tomto scénáři v jedné oblasti.
• Místo odeslání jednoho velkého souboru z sálového počítače do Azure rozdělte data do více souborů a odešlete je paralelně.

Důležité informace

Tyto aspekty implementují pilíře dobře architektuře Azure, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace naleznete v tématu Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace naleznete v tématu Kontrolní seznam pro kontrolu spolehlivosti.

Odolnost

Ke sledování clusteru migrace dat mLogica použijte Azure Monitor a Application Insights . Nastavte upozornění pro proaktivní správu.

Další informace o odolnosti v Azure najdete v tématu Navrhování spolehlivých aplikací Azure.

Dostupnost

Tento ukázkový pracovní postup popisuje migraci dat z mainframů do Azure za účelem replatformování, refaktoringu nebo archivace úlohy. Tento úkol je diskrétní a provádí se několikrát během měsíce dlouhého projektu. I když se v tomto scénáři nevyžaduje vysoká dostupnost, můžete navrhnout cluster migrace dat mLogica tak, aby poskytoval vysokou dostupnost.

Databázové služby Azure podporují redundanci zón. Můžete je nakonfigurovat tak, aby převzala služby při selhání, pokud dojde k výpadku nebo během časového období údržby.

Zabezpečení

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu prozabezpečení . Obecné pokyny k návrhu zabezpečených řešení najdete v dokumentaci k zabezpečení Azure.

Databázové služby v podpora Azure různé možnosti zabezpečení:

• Šifrování neaktivních uložených dat s využitím transparentního šifrování dat
• Šifrování dat při přenosu s využitím protokolu TLS
• Šifrování dat při zpracování pomocí funkce Always Encrypted se zabezpečenými enklávy

Ověřování a řízení přístupu v clusteru migrace dat mLogica můžete řídit pomocí ID Microsoft Entra. Prostředky Azure můžete nakonfigurovat pro ověřování a autorizaci pomocí ID Microsoft Entra a řízení přístupu na základě role.

Přenášená data mezi clusterem migrace dat mLogica a sálovým rámcem se šifrují pomocí protokolu TLS. Certifikáty TLS je možné ukládat ve službě Azure Key Vault pro lepší zabezpečení. Přenášená data z sálového počítače do služby Azure Blob Storage se šifrují pomocí SSH.

Data a skripty pro načtení sálového počítače jsou dočasně uložené ve službě Azure Blob Storage. Jsou zašifrované v klidovém stavu. Po dokončení migrace se data ze služby Azure Blob Storage odstraní.

Tento ukázkový pracovní postup používá Azure ExpressRoute nebo VPN typu site-to-site k privátnímu a efektivnímu připojení k Azure z místního prostředí.

Optimalizace nákladů

Optimalizacenákladůch Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu proOptimalizace nákladů .

Tady jsou některé možnosti optimalizace nákladů:

• Bezserverová databáze Azure SQL Database automaticky škáluje, pozastaví a obnoví výpočetní prostředky na základě vaší aktivity úloh, takže platíte jenom za prostředky, které využíváte.

• Pomocí zásad životního cyklu můžete přesouvat data mezi úrovněmi přístupu v úložišti Azure.

• Pokud v úložišti Azure po určitou dobu neexistuje žádný přístup, přesuňte data z horké úrovně přístupu na chladnější. Data můžete také přesunout z chladnější úrovně přístupu do archivní úrovně přístupu.

• K vyhledání nedostatečně využitých prostředků použijte Azure Advisor . Získejte doporučení, jak překonfigurovat nebo konsolidovat prostředky, abyste snížili útratu.

K odhadu nákladů na používání komponent Azure pro toto řešení použijte cenovou kalkulačku Azure.

Efektivita provozu

Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace naleznete v tématu kontrolní seznam pro kontrolu efektivity provozu.

Azure DevOps je možné použít pro re-engineering mainframové aplikace v Azure během každé fáze vývoje softwaru a týmové spolupráce. Azure DevOps poskytuje tyto služby:

• Azure Boards. Agilní plánování, sledování pracovních položek, vizualizace a vytváření sestav.
• Azure Pipelines. Jazyk, platforma a cloudová nezávislá platforma kontinuální integrace/průběžného doručování (CI/CD) s podporou kontejnerů nebo Kubernetes.
• Azure Repos. Privátní úložiště Git hostovaná v cloudu
• Azure Artifacts. Integrovaná správa balíčků s podporou kanálů balíčků Maven, npm, Python a NuGet z veřejných nebo privátních zdrojů
• Azure Test Plans. Integrované plánované a průzkumné testovací řešení.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace naleznete v tématu Kontrola návrhu kontrolní seznam pro zvýšení efektivity výkonu.

Pokud migrujete několik velkých nezávislých datových sad, nasaďte cluster migrace dat mLogica na několik virtuálních počítačů, abyste maximalizovali rychlost načítání dat.

Několik datových sad můžete nahrát paralelně z sálového počítače do služby Blob Storage.

Bezserverová služba Azure SQL DB poskytuje možnost automatického škálování na základě úloh. Pomocí automatizace je možné vertikálně navýšit nebo snížit kapacitu dalších databází Azure, aby splňovaly požadavky úloh. Další informace najdete v tématu Automatické škálování.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byl napsán následujícím přispěvatelem.

Hlavní autor:

Sandip Khandelwal | Vedoucí technický architekt

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

Projděte si příručky k migraci databází Azure.

Další informace najdete v tématu Azure Datoví technici ing – Modernizace mainframů a midrange.

• Přehled služby Azure Monitor
• Seznámení se službou Azure Blob Storage
• mLogica LIBER*IRIS
• Rychlý start: Vytvoření virtuálního počítače s Linuxem na webu Azure Portal
• Virtuální počítače v Azure
• Vítá vás Azure Cosmos DB

Související prostředky

• Kompletní datová platforma Azure
• Modernizace sálových počítačů a dat střední uspořádání
• Změna hostitele adabas a přirozené aplikace v Azure
• Změna hostitele obecného sálového počítače v Azure