Opětovné navržení dávkových aplikací mainframů v Azure

Tato referenční architektura ukazuje, jak můžete pomocí Azure rekonstruovat dávkovou aplikaci z/OS za účelem zajištění zabezpečeného, škálovatelného a vysoce dostupného systému v cloudu pomocí Azure. Vzhledem k neustále se vyvíjejícím obchodním potřebám potřebují data a aplikace dodávat a škálovat, aniž by to ovlivnilo vaši infrastrukturu. Opětovná příprava do cloudu může podnikům v oblasti financí, zdravotnictví, pojištění a maloobchodu pomoct minimalizovat dobu dodání produktů nebo funkcí a snížit náklady.

Architektura sálového počítače

První diagram znázorňuje architekturu typické dávkové aplikace běžící na sálovém počítači z/OS.

stáhnout soubor Visia této architektury.

Pracovní postup

1. Dávkové procesy sálového počítače je možné spouštět v naplánovaném čase pomocí plánovače operací, plánování a řízení (OPC). Můžou se aktivovat také zprávou umístěnou ve frontě zpráv, například zprávou, která oznámí, že byl vytvořen soubor.

2. Sálový počítač s přímým přístupem k úložišti (DASD) se používá k ukládání vstupních a výstupních souborů; Například ploché soubory, které aplikace vyžaduje. Dávkový proces můžete aktivovat vytvořením souboru v úložišti DASD.

3. Dávkový proces je provádění sady úloh, jako je například úloha interně spuštěná uživatelem nebo systémovým programem k provedení konkrétní úlohy. Dávkové procesy se obvykle spouštějí bez zásahu uživatele. Všechny dávkové úlohy na sálovém počítači se spouštějí pod kontrolou systému spouštění úloh (JES).

4. Programy v dávkových procesech můžou číst a zapisovat data z:

   • Souborová databáze, jako je metoda přístupu k virtuálnímu úložišti (VSAM).
   • Relační databáze, jako je Db2 nebo Informix.
   • Nerelační databáze, jako je Systém pro správu informací (IMS).
   • Fronta zpráv.

5. Výstup spuštění úlohy je možné monitorovat pomocí plánovače OPC nebo plánovače úloh Tivoli (TWS). Na sálovém počítači se také používá systémová zobrazovací a vyhledávací zařízení (SDSF) v sálovém počítači ke kontrole stavu provádění úlohy.

6. Úroveň správy poskytuje následující služby:

   • Správa zdrojového kódu, jako je Endevor nebo Changeman.
   • Zabezpečení, jako je například zařízení řízení přístupu k prostředkům (RACF). Toto zabezpečení poskytuje ověřování pro spouštění dávek, přístup k souborům a přístup k databázi.
   • Správa výstupu, která podporuje ukládání a vyhledávání protokolů spouštění úloh

Architektura Azure

Druhý diagram ukazuje, jak můžete pomocí služeb Azure znovu vytvořit podobnou aplikaci s přidanými možnostmi a flexibilitou.

stáhnout soubor Visia této architektury.

Pracovní postup

1. Ke spuštění dávkového procesu Azure použijte jeden z následujících triggerů.

   • Použijte plánovač úloh Azure Databricks nebo plánovač funkce Azure Functions.
   • Vytvořte úlohu opakovaného dávkového procesu pomocí azure Logic Apps.
   • Použijte událost úložiště, například vytvoření nebo odstranění souboru v Azure Blob nebo File Storage.
   • Použijte aktivační událost založenou na zprávě, jako je příchod zprávy na azure Service Bus.
   • Vytvořte trigger služby Azure Data Factory .

2. Ukládejte soubory migrované z sálového počítače pomocí služby Azure Blob Storage nebo Azure Files. Dávkové procesy, které jsou znovu navrženy v Azure, můžou číst a zapisovat data z tohoto úložiště.

3. Azure poskytuje různé služby pro implementaci dávkové úlohy sálového počítače. Vyberte konkrétní služby, které jsou založené na vašich obchodních požadavcích. Například požadovaný výpočetní výkon, celková doba provádění, možnost rozdělení dávkového procesu sálového počítače na menší jednotky a citlivost nákladů.

   1. Azure Databricks je analytická platforma založená na Apache Sparku. Úlohy se dají psát v jazycích R, Python, Java, Scala a Spark SQL. Poskytuje výpočetní prostředí s rychlými časy spuštění clusteru, automatickým ukončením a automatickým škálováním. Má integrovanou integraci se službou Azure Storage, jako je Azure Blob Storage a Azure Data Lake Storage. Pokud potřebujete zpracovat velké objemy dat za krátkou dobu, použijte Azure Databricks. Je také dobrou volbou, pokud potřebujete spouštět úlohy extrakce, transformace a načítání (ETL).
   2. AKS a Service Fabric poskytují infrastrukturu pro implementaci architektury aplikací založené na službě. Nemusí být nákladově efektivní pro jednu aplikaci. Mainframovou aplikaci můžete refaktorovat pomocí Java Spring Bootu. Nejlepším způsobem, jak spouštět aplikace Spring Boot v Azure, je používat azure Spring Apps, plně spravovanou službu Spring. Vývojáři v Javě ho můžou použít k snadnému sestavování a spouštění mikroslužeb Spring Boot v Azure.
   3. Dávkovou aplikaci sálového počítače můžete přepracovat pomocí .NET nebo Javy. Služba Batch poskytuje infrastrukturu pro spuštění této aplikace ve velkém měřítku. Vytvoří a spravuje fond virtuálních počítačů, nainstaluje aplikace a pak naplánuje spouštění úloh na virtuálních počítačích. Neexistuje žádný software plánovače clusteru nebo úloh pro instalaci, správu nebo škálování. Pište aplikace v libovolném programovacím jazyce podporovaném systémem Windows nebo Linux.
   4. Můžete přepracovat krátké dávkové programy COBOL nebo PL/1. Pro tyto programy použijte služby Azure, jako jsou Functions, WebJobs nebo Logic Apps.

4. Azure poskytuje různé datové služby pro ukládání a načítání dat.

   • Relační databáze mainframů, jako je Db2 a Informix, můžete migrovat s minimálními změnami viditelnosti nabídek relačních databází Azure. Například relační databázové služby, jako je virtuální počítač Azure SQL, Azure SQL DB nebo Azure SQL MI. Můžete také použít libovolný opensourcový systém pro správu relačních databází (RDBMS), jako je Azure PostgreSQL. Výběr databáze Azure závisí na typu úlohy, dotazech napříč databázemi, požadavcích na dvoufázové potvrzení a mnoha dalších faktorech.
   • Do Služby Azure Cosmos DB můžete migrovat nerelační databáze, jako jsou IMS, Integrated Data Management System (IDMS) nebo VSAM. Azure Cosmos DB poskytuje rychlé doby odezvy, automatickou a okamžitou škálovatelnost a garantovanou rychlost v libovolném měřítku. Jedná se o nákladově efektivní možnost nepředvídatelných nebo sporadických úloh libovolné velikosti nebo škálování. Vývojáři můžou snadno začít, aniž by museli plánovat nebo spravovat kapacitu.
   • K urychlení rekonstruované aplikace můžete použít Azure Cache for Redis.

5. Aplikace, operační systém a prostředky Azure můžou používat agenty k odesílání protokolů a metrik do protokolů služby Azure Monitor.

   • Application Insight monitoruje migrovanou aplikaci. Automaticky detekuje anomálie výkonu a obsahuje výkonné analytické nástroje, které vám pomůžou diagnostikovat problémy.
   • azure Log Analytics pomáhá ukládat, indexovat, dotazovat a odvozovat analýzy ze shromážděných dat protokolu.

   Pomocí výstupu Log Analytics a Application Insights můžete vytvářet výstrahy a řídicí panely nebo exportovat do externích služeb. Výstup můžete použít také k provedení akce, jako je škálování virtuálního počítače.

6. Tato úroveň poskytuje služby Azure pro správu zdrojového kódu, zabezpečení a správu výstupů. Tyto služby se můžou skládat z Azure DevOps a Microsoft Entra ID.

Součásti

Síť a identita

• azure ExpressRoute: ExpressRoute umožňuje rozšířit vaše místní sítě do cloudu Microsoftu přes privátní připojení od poskytovatele připojení. Pomocí ExpressRoute můžete navázat připojení ke cloudovým službám Microsoftu, jako je Microsoft Azure a Office 365.
• azure VPN Gateway: Brána VPN je konkrétní typ brány virtuální sítě, která se používá k odesílání šifrovaného provozu mezi virtuální sítí Azure a místním umístěním přes veřejný internet.
• Microsoft Entra ID: Microsoft Entra ID je služba pro správu identit a přístupu, která se může synchronizovat s místním adresářem.

Aplikace

• Logic Apps: Logic Apps pomáhá vytvářet a spouštět automatizované opakované úlohy a procesy podle plánu. Služby můžete volat uvnitř a mimo Azure, jako jsou koncové body HTTP nebo HTTPS. Můžete také publikovat zprávy do služeb Azure, jako je Azure Service Bus, nebo můžete nahrávat soubory do sdílené složky.
• Service Bus: Službu Service Bus můžete použít k zasílání zpráv mezi uživatelským rozhraním a back-endovými službami. Tento systém může oddělit aplikace a služby a zvýšit spolehlivost a použití.
• azure Databricks: Azure Databricks je cloudový nástroj pro přípravu dat, který se používá ke zpracování a transformaci velkých objemů dat. Tato data pak můžete prozkoumat prostřednictvím modelů strojového učení.
• azure Spring Apps: Azure Spring Apps usnadňuje nasazování, správu a spouštění mikroslužeb Spring do Azure. Podporuje Javu i .NET Core.
• AKS: AKS zjednodušuje nasazení spravovaného clusteru Kubernetes v Azure tím, že přesměruje provozní režii do Azure.
• batch: Služba Batch je navržená tak, aby spouštěla dávkové výpočty pro obecné účely v cloudu napříč mnoha virtuálními počítači, které se můžou škálovat na základě spuštěné úlohy. Je to ideální pro případy použití ETL nebo AI, kdy se paralelně spouští více úloh nezávisle na sobě.
• Functions: Pomocí funkcí můžete spouštět malé části kódu, aniž byste se museli starat o infrastrukturu aplikací. Díky funkcím poskytuje cloudová infrastruktura všechny up-to-date servery, které potřebujete k tomu, aby vaše aplikace běžela ve velkém měřítku.
• azure App Service: Pomocí WebJobsmůžete kódovat opakovaně použitelnou obchodní logiku na pozadí jako webové úlohy.
• Azure Cache for Redis: Aplikace, které používají velký objem back-endových dat, je možné vyvíjet tak, aby škálovaly a poskytovaly vysoce optimalizovaný výkon integrací s úložištěm dat v paměti, jako je Redis. Azure Cache for Redis nabízí open source (OSS Redis) i komerční produkt z Redis Labs, Redis Enterprise, jako spravovanou službu.

Skladování

Azure Storage poskytuje několik úrovní horkých, studených a archivních dat. Efektivní využití těchto úrovní úložiště vám může poskytnout výhodu ceny a výkonu.

• Blob Storage: Škálovatelné a zabezpečené úložiště objektů pro úlohy nativní pro cloud, archivy, datová jezera, vysokovýkonné výpočetní prostředí a strojové učení.
• azure Files: Jednoduché, zabezpečené a bezserverové cloudové sdílené složky na podnikové úrovni. Azure Files může být užitečné zejména pro rekonstruovaná řešení sálových počítačů. Poskytuje efektivní doplněk pro spravované úložiště SQL.
• Table Storage: Úložiště klíč-hodnota NoSQL pro rychlý vývoj s využitím velkých částečně strukturovaných datových sad.
• azure Queue Storage: Jednoduché, nákladově efektivní a odolné fronty zpráv pro velké úlohy.
• Azure SQL: plně spravovaná řada služeb Azure pro SQL Server. Relační data můžete efektivně migrovat a používat s dalšími službami Azure, jako je Azure SQL Managed Instance, SQL Server na virtuálních počítačích Azure a Azure Database for MariaDB.
• azure Cosmos DB: Nabídka no-SQL, kterou můžete použít k migraci ne tabulkových dat z sálových počítačů.

Monitorování

• azure Monitoru: Azure Monitor poskytuje komplexní řešení pro shromažďování, analýzu a akce na telemetrii z cloudových a místních prostředí. Obsahuje funkce Application Insights, protokolů služby Azure Monitor a Azure Log Analytics.

Management

• Azure DevOps: Rekonstruovat mainframové aplikace v Azure během každé fáze vývoje softwaru a týmové spolupráce. DevOps poskytuje následující služby:

  • Azure Boards: Agilní plánování, sledování pracovních položek, vizualizace a nástroj pro vytváření sestav.
  • azure Pipelines: Jazyk, platforma a cloudová nezávislá platforma CI/CD s podporou kontejnerů nebo Kubernetes.
  • Azure Repos: Poskytuje privátní úložiště Git hostovaná v cloudu.
  • Azure Artifacts: Poskytuje integrovanou správu balíčků s podporou kanálů balíčků Maven, npm, Python a NuGet z veřejných nebo privátních zdrojů.
  • azure Test Plans: poskytuje integrované, plánované a průzkumné testovací řešení.

Podrobnosti scénáře

Sálové počítače se primárně používají ke zpracování velkých objemů dat. Dávkové zpracování je způsob zpracování velkého objemu transakcí, které jsou seskupené dohromady, a následné hromadné aktualizace databáze. Po aktivaci vyžadují minimální až žádnou interakci uživatele. Například sálové systémy umožňují bankám a dalším finančním institucím provádět zpracování na konci čtvrtletí a vytvářet zprávy, jako jsou čtvrtletní akcie nebo penzijní výkazy.

Potenciální případy použití

Toto řešení je ideální pro finance, pojištění, zdravotnictví a maloobchod. Tato architektura slouží k opětovnému vytvoření mainframových aplikací v Azure. Architektura je nejvhodnější pro:

• Dávkové aplikace náročné na prostředky
• Dávkové aplikace, které potřebují vysoký výpočetní výkon během určitého času, jako je konec měsíce, čtvrtletí nebo rok.
• Dávkové procesy sálového počítače, které se opakují a nejsou náročné na prostředky, ale můžou potřebovat využití externími systémy.

Úvahy

Tyto aspekty implementují pilíře architektury Azure Well-Architected Framework, což je sada hlavních principů, které je možné použít ke zlepšení kvality úlohy. Další informace najdete v tématu rozhraní Microsoft Azure Well-Architected Framework.

Spolehlivost

Spolehlivost zajišťuje, že vaše aplikace může splňovat závazky, které uděláte pro vaše zákazníky. Další informace naleznete v tématu Kontrolní seznam pro kontrolu spolehlivosti.

• Kromě Log Analytics můžete k monitorování stavu prostředku Azure použít Azure Monitor a Application Insights. Nastavte výstrahy pro proaktivní správu stavu prostředků.
• Další informace o odolnosti v Azure najdete v tématu Navrhování spolehlivých aplikací Azure.

Bezpečnost

Zabezpečení poskytuje záruky proti záměrným útokům a zneužití cenných dat a systémů. Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu prozabezpečení .

• Tato referenční architektura používá ExpressRoute k privátnímu a efektivnímu připojení k Azure z místního prostředí. Můžete však také vytvořit lokalitu pro síť VPN.
• Prostředky Azure můžete ověřovat pomocí ID Microsoft Entra. Oprávnění můžete spravovat pomocí řízení přístupu na základě role (RBAC).
• Databázové služby v Azure podporují různé možnosti zabezpečení, jako je šifrování neaktivních uložených dat.
• Další informace o navrhování zabezpečených řešení najdete v dokumentaci k zabezpečení Azure.

Optimalizace nákladů

Optimalizacenákladůch Další informace naleznete v tématu Kontrolní seznam pro kontrolu návrhu proOptimalizace nákladů .

K odhadu nákladů na prostředky Azure použijte cenovou kalkulačku Azure.

Příklad odhadu nákladů na služby najdete v dávkové aplikace Azure.

Efektivita provozu

Efektivita provozu se zabývá provozními procesy, které nasazují aplikaci a udržují ji spuštěnou v produkčním prostředí. Další informace naleznete v tématu kontrolní seznam pro kontrolu efektivity provozu.

• Dávková architektura v tomto článku používá výpočetní prostředí s více uzly nebo služby PaaS, které poskytují vysokou dostupnost.
• Databázové služby Azure podporují redundanci zón a můžete je navrhnout tak, aby při selhání převzaly sekundární uzel, pokud dojde k výpadku nebo během časového období údržby.

Efektivita výkonu

Efektivita výkonu je schopnost vaší úlohy škálovat tak, aby splňovala požadavky, které na ni mají uživatelé efektivním způsobem. Další informace naleznete v tématu Kontrola návrhu kontrolní seznam pro zvýšení efektivity výkonu.

• Následující služby Azure v této architektuře mají možnosti automatického škálování:

  • Azure Databricks
  • AKS
  • Spring Apps
  • Várka
  • Azure Functions
  • Logic Apps

• Další informace o automatickém škálování v Azure najdete v průvodci automatickým škálováním.

Přispěvatelů

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

• Ashish Khandelwal | Principal Engineering Architecture Manager

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky

• Další informace získáte od datasqlninja@microsoft.com.
• Prohlédni siprůvodci migrací databází Azure .

Související prostředek

• zpracování dávkových transakcí s velkým objemem