Upravit

Sdílet prostřednictvím

Zpracování dávkových transakcí s velkým objemem

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Virtual Machines

Architektura používá AKS k implementaci výpočetních clusterů aplikací, které zpracovávají velké dávky transakcí. Aplikace přijímají transakce ve zprávách z témat nebo front Service Bus. Témata a fronty můžou být v datacentrech Azure v různých geografických oblastech a několik clusterů AKS z nich může číst vstup.

Poznámka

Tato architektura odpovídá typu dávkového zpracování transakcí, které se v sálových počítačích IBM často implementují pomocí řady IBM MQ middlewaru orientovaného na zprávy.

Architektura

diagram architektury implementované pomocí AKS a Service Bus.

stáhnout soubor Visia této architektury.

Pracovní postup

Číslované kruhy v diagramu odpovídají očíslovaným krokům v následujícím seznamu.

  1. Architektura používá témata a fronty služby Service Bus k uspořádání vstupu dávkového zpracování a předání podřízeného zpracování ke zpracování.
  2. Azure Load Balancer, nástroj pro vyrovnávání zatížení vrstvy 4 (TCP, UDP), distribuuje příchozí provoz mezi instance služby definované v sadě s vyrovnáváním zatížení. Vyrovnávání zatížení a správa připojení optimalizují zpracování.
  3. Pracovní uzly clusteru AKS naslouchají koncovým bodům fronty služby Service Bus pro vstup.
  4. Uzly Java používají službu Java Message Service pro připojení ke službě Service Bus a rozhraní Javy, jako je Připojení k databázi Java, pro připojení k jiným zdrojům dat. Podle potřeby používají jiná rozhraní JAVA API.
  5. Obnovitelné transakce běží společně s obchodním kódem pro každý dávkový krok.
  6. Dávková infrastruktura využívá akcelerované síťové služby Azure k urychlení.
  7. Azure Cache for Redis, Azure Cosmos DB a Azure Stream Analytics v případě potřeby poskytují funkční úložiště.
  8. Trvalá datová vrstva využívá Azure Data Factory k integraci dat a azure SQL Managed Instance, úroveň výkonu pro důležité obchodní informace pro zajištění vysoké dostupnosti. Trvalé úložiště je volně svázáno pro snadné přepnutí na jiné databázové technologie a pro optimalizaci organizace úložiště (například pomocí horizontálních oddílů nebo oddílů).
  9. Datová řešení (přechodná a trvalá) používají možnost geograficky redundantního úložiště Azure Storage (GRS) k ochraně před katastrofickými selháními.

Součásti

Architektura používá tyto komponenty:

  • azure Virtual Network poskytuje zabezpečenou privátní síť v cloudu. Může vzájemně propojit virtuální počítače, internet a místní sítě.
  • azure ExpressRoute poskytuje privátní připojení mezi datacentry Azure a místní infrastrukturou.
  • azure Bastion poskytuje privátní a plně spravovaný přístup RDP a SSH k virtuálním počítačům.
  • virtuálních počítačů Azure poskytuje flexibilitu virtualizace, aniž by bylo nutné poskytovat a udržovat hardware, který ho hostuje. Mezi volby operačního systému patří Windows a Linux.
  • Virtuální počítač vytvořený s akcelerovanými síťovými službami využívá virtualizaci vstupně-výstupních operací (SR-IOV), což výrazně zlepšuje výkon sítě. Další informace najdete v tématu Vytvoření virtuálního počítače s Windows s akcelerovanými síťovými službami pomocí Azure PowerShellu a Přehled virtualizace vstupně-výstupních operací s jedním kořenem (SR-IOV).
  • Síťové rozhraní Azure připojí virtuální počítač k internetu a k prostředkům Azure a místním prostředkům. Jak je znázorněno v této architektuře, můžete každému podřízeného virtuálnímu počítači poskytnout vlastní síťové rozhraní a IP adresu. Další informace o síťových rozhraních najdete v tématu Vytvoření, změna nebo odstranění síťového rozhraní.
  • spravovaných disků Azure jsou vysoce výkonné a vysoce odolné blokové úložiště pro virtuální počítače. Cloud nabízí čtyři možnosti úložiště disků: Diskové úložiště úrovně Ultra, SSD úrovně Premium, SSD úrovně Standard a HDD úrovně Standard.
  • azure Kubernetes Service (AKS) je plně spravovaná služba Kubernetes pro nasazování a správu kontejnerizovaných aplikací.
  • Service Bus poskytuje spolehlivé cloudové zasílání zpráv jako službu (MaaS) a jednoduchou hybridní integraci.
  • služby vyrovnávání zatížení Azure poskytují škálování pro zajištění vysoké dostupnosti a vysokého výkonu. Tato architektura používáload Balanceru . Poskytuje možnosti vyrovnávání zatížení vrstvy 4 (TCP, UDP) s nízkou latencí pro vyrovnávání provozu mezi virtuálními počítači a napříč vícevrstvými hybridními aplikacemi.
  • azure Cache for Redis je bleskově rychlá a plně spravovaná služba ukládání do mezipaměti v paměti pro sdílení dat a stavu mezi výpočetními prostředky.
  • azure Cosmos DB je rychlá databáze NoSQL s otevřenými rozhraními API pro libovolné škálování.
  • azure Stream Analytics poskytuje analýzy dat z aplikací a zařízení v reálném čase.
  • azure Databricks je rychlá, snadná a spolupráce analytická služba pro velké objemy dat založená naApache SparkuTM .
  • Azure SQL je řada cloudových databází SQL, která poskytuje jednotné prostředí pro celé portfolio SQL a širokou škálu možností nasazení z hraničních zařízení do cloudu.
  • azure SQL Managed Instance, která je součástí portfolia služeb Azure SQL, je spravovaná, zabezpečená a vždy up-to–date instance SQL v cloudu.
  • Data Factory je plně spravované a bezserverové řešení integrace dat pro přípravu a transformaci všech vašich dat ve velkém měřítku.
  • Data Factory podporuje formát dat souborů Parquet. Další informace najdete v tématu formátu Parquet ve službě Azure Data Factory.
  • Log Analytics je nástroj na webu Azure Portal, který slouží k úpravě a spouštění dotazů protokolu na protokolech služby Azure Monitor. Další informace najdete v tématu Přehled služby Log Analytics ve službě Azure Monitor.
  • Možnost geograficky redundantního úložiště (GRS) Azure Storage data synchronně třikrát kopíruje v rámci jednoho fyzického umístění v primární oblasti a pak je asynchronně zkopíruje do jednoho fyzického umístění v sekundární oblasti. Další informace najdete v tématu redundance služby Azure Storage.
  • azure Blob Storage je široce škálovatelné a zabezpečené úložiště objektů založené na REST pro úlohy nativní pro cloud, archivy, datová jezera, vysokovýkonné výpočetní prostředí a strojové učení.
  • azure Files poskytuje jednoduché, zabezpečené a bezserverové sdílené složky na podnikové úrovni v cloudu. Pro přístup ke sdíleným složkám používáte standardní protokoly SMB (Server Message Block) a NFS (Network File System).

Podrobnosti scénáře

V Azure můžete implementovat dávkové zpracování transakcí, jako je účtování plateb na účty, pomocí architektury založené na službách Microsoft Azure Kubernetes Service (AKS) a Azure Service Bus. Tento typ architektury poskytuje rychlost zpracování transakcí, škálování a spolehlivost vyžadovanou pro dávkové zpracování s velkým objemem.

Zpráva se obvykle zařadí do fronty, dokud se transakce nedokončí, což umožňuje obnovení, pokud dojde k selhání. Můžete také replikovat témata a fronty do jiných oblastí, sdílet úlohy a pokračovat ve zpracování i v případě, že oblast selže.

Potenciální případy použití

Řešení je ideální pro finanční, vzdělávací a vědecké odvětví. Tato architektura je určená pro zpracování dávek transakcí s velkým objemem, zejména nezávislých transakcí, které lze zpracovávat paralelně. Je tedy pravděpodobném kandidátem na použití při migraci dávkového zpracování sálového počítače. Možné aplikace:

  • Zpracování finančníchtransakcích
  • Zpracování experimentálních dat shromážděných vědeckými nástroji.
  • Jiné dávkové zpracování sálového počítače.

Úvahy

Následující aspekty založené naAzure Well-Architected Framework platí pro toto řešení:

Dostupnost

  • služba Azure Site Recovery zotavení po havárii chrání před velkými výpadky. Je to spolehlivé, nákladově efektivní a snadné nasazení.
  • Skupiny dostupnosti pro virtuální počítače zajišťují, aby bylo k dispozici dostatek virtuálních počítačů pro splnění potřeb kritického dávkového procesu.
  • Service Bus, AKS a Azure SQL Managed Instance poskytují vysokou dostupnost a obnovitelnost napříč geografickými oblastmi.

Operační

  • šablony Azure Resource Manageru (šablony ARM) poskytují konfigurační jazyk, který popisuje prostředky v šablonách, které můžete použít pro skriptované nasazení. Šablony také poskytují možnosti monitorování a upozorňování.

Efektivita výkonu

  • Architektura je navržená tak, aby vyhovovala paralelnímu zpracování nezávislých transakcí.
  • Služby Service Bus, AKS a další funkce Azure PaaS poskytují vysoký výkon pro zpracování transakcí, výpočetní prostředí a ukládání dat.

Škálovatelnost

  • Service Bus, AKS a další funkce Azure PaaS se dynamicky škálují podle potřeby.

Bezpečnost

  • Všechny komponenty v dávkové architektuře služby Service Bus pracují se součástmi zabezpečení Azure, jako jsou ID Microsoft Entra, virtuální síť a šifrování.

Optimalizace nákladů

Pokud chcete odhadnout náklady na implementaci tohoto řešení, použijtecenovou kalkulačku .

Funkce automatického škálování clusterů AKS a dalších funkcí PaaS (Platforma jako služba) Azure, které poskytují škálování na vyžádání, udržují náklady minimálně.

Tady jsou důležité informace o cenách pro konkrétní komponenty:

Další kroky