Przetwarzanie transakcji wsadowych o dużej ilości

Architektura używa usługi AKS do implementowania klastrów obliczeniowych aplikacji, które przetwarzają partie transakcji o dużej ilości. Aplikacje odbierają transakcje w komunikatach z tematów lub kolejek usługi Service Bus. Tematy i kolejki mogą znajdować się w centrach danych platformy Azure w różnych regionach geograficznych, a wiele klastrów usługi AKS może odczytywać dane wejściowe z nich.

Architektura

Pobierz plik programu Visio tej architektury.

Przepływ pracy

Ponumerowane okręgi na diagramie odpowiadają ponumerowanych krokom na poniższej liście.

1. Architektura używa tematów i kolejek usługi Service Bus do organizowania danych wejściowych przetwarzania wsadowego i przekazywania go do przetwarzania podrzędnego.
2. Usługa Azure Load Balancer, moduł równoważenia obciążenia w warstwie 4 (TCP, UDP), dystrybuuje ruch przychodzący między wystąpienia usług w dobrej kondycji zdefiniowane w zestawie o zrównoważonym obciążeniu. Równoważenie obciążenia i zarządzanie połączeniami optymalizują przetwarzanie.
3. Węzły procesu roboczego klastra usługi AKS nasłuchują punktów końcowych kolejki usługi Service Bus na potrzeby danych wejściowych.
4. Węzły języka Java używają usługi Java Message Service do nawiązywania połączenia z usługą Service Bus i interfejsów Języka Java, takich jak łączność z bazą danych Java w celu nawiązania połączenia z innymi źródłami danych. W razie potrzeby używają innych interfejsów API języka Java.
5. Transakcje możliwe do odzyskania są uruchamiane wraz z kodem biznesowym dla każdego kroku wsadowego.
6. Infrastruktura wsadowa używa przyspieszonej sieci platformy Azure w celu przyspieszenia.
7. Usługa Azure Cache for Redis, Azure Cosmos DB i Azure Stream Analytics zapewniają działający magazyn w razie potrzeby.
8. Stała warstwa danych używa usługi Azure Data Factory do integracji danych i usługi Azure SQL Managed Instance, warstwy wydajności krytycznej dla działania firmy w celu zapewnienia wysokiej dostępności. Magazyn trwały jest luźno połączony w celu łatwego przełączania się do innych technologii bazy danych oraz optymalizacji organizacji magazynu (na przykład przy użyciu fragmentów lub partycji).
9. Rozwiązania danych (przejściowe i trwałe) korzystają z opcji magazynu geograficznie nadmiarowego (GRS) usługi Azure Storage, aby chronić przed katastrofalnymi awariami.

Składniki

Architektura korzysta z następujących składników:

• usługa Azure Virtual Network zapewnia bezpieczną sieć prywatną w chmurze. Może łączyć maszyny wirtualne ze sobą, z Internetem i z sieciami lokalnymi.
• usługi Azure ExpressRoute zapewnia prywatne połączenia między centrami danych platformy Azure i infrastrukturą lokalną.
• usługa Azure Bastion zapewnia prywatny i w pełni zarządzany dostęp RDP i SSH do maszyn wirtualnych.
• usługa Azure Virtual Machines zapewnia elastyczność wirtualizacji bez konieczności udostępniania i obsługi sprzętu, który go hostuje. Opcje systemu operacyjnego obejmują systemy Windows i Linux.
• Maszyna wirtualna utworzona z przyspieszoną siecią korzysta z wirtualizacji we/wy z jednym elementem głównym (SR-IOV), co znacznie poprawia wydajność sieci. Aby uzyskać więcej informacji, zobacz Create a Windows VM with accelerated networking using Azure PowerShell and Overview of Single Root I/O Virtualization (SR-IOV) (Tworzenie maszyny wirtualnej z systemem Windows z przyspieszoną siecią przy użyciu programu Azure PowerShell i Omówienie wirtualizacji we/wy z jednym elementem głównym (SR-IOV).
• Interfejs sieciowy platformy Azure łączy maszynę wirtualną z Internetem oraz z zasobami platformy Azure i zasobami lokalnymi. Jak pokazano w tej architekturze, można nadać każdej podrzędnej maszynie wirtualnej własny interfejs sieciowy i adres IP. Aby uzyskać więcej informacji na temat interfejsów sieciowych, zobacz Tworzenie, zmienianie lub usuwanie interfejsu sieciowego.
• dyski zarządzane platformy Azure są wysoce trwałym magazynem blokowym dla maszyn wirtualnych o wysokiej wydajności. Istnieją cztery opcje magazynowania dysków dla chmury: Ultra Disk Storage, SSD w warstwie Premium, SSD w warstwie Standardowa i HDD w warstwie Standardowa.
• azure Kubernetes Service (AKS) to w pełni zarządzana usługa Kubernetes służąca do wdrażania konteneryzowanych aplikacji i zarządzania nimi.
• service bus zapewnia niezawodną obsługę komunikatów w chmurze jako usługę (MaaS) i prostą integrację hybrydową.
• usług równoważenia obciążenia platformy Azure zapewnia skalowanie pod kątem wysokiej dostępności i wysokiej wydajności. Ta architektura używa load balancer. Zapewnia ona funkcje równoważenia obciążenia warstwy 4 (TCP, UDP) o małym opóźnieniu w celu równoważenia ruchu między maszynami wirtualnymi i między wielowarstwowymi aplikacjami hybrydowymi.
• azure Cache for Redis to błyskawiczna i w pełni zarządzana usługa buforowania w pamięci do udostępniania danych i stanu między zasobami obliczeniowymi.
• usługi Azure Cosmos DB to szybka baza danych NoSQL z otwartymi interfejsami API dla dowolnej skali.
• usługa Azure Stream Analytics zapewnia analizę w czasie rzeczywistym na szybko poruszających się strumieniach danych z aplikacji i urządzeń.
• usługi Azure Databricks to szybka, łatwa i wspólna usługa analizy danych big data oparta na usłudze Apache Spark^TM.
• azure SQL to rodzina baz danych w chmurze SQL, która zapewnia ujednolicone środowisko dla całego portfolio SQL oraz szeroką gamę opcji wdrażania od brzegu do chmury.
• azure SQL Managed Instance, część portfolio usługi Azure SQL, jest zarządzaną, bezpieczną i zawsze up-to-date wystąpienia SQL w chmurze.
• Data Factory to w pełni zarządzane i bezserwerowe rozwiązanie integracji danych do przygotowywania i przekształcania wszystkich danych na dużą skalę.
• Usługa Data Factory obsługuje format danych pliku Parquet. Aby uzyskać więcej informacji, zobacz format Parquet w usłudze Azure Data Factory.
• Log Analytics to narzędzie w witrynie Azure Portal służące do edytowania i uruchamiania zapytań dzienników w dziennikach usługi Azure Monitor. Aby uzyskać więcej informacji, zobacz Omówienie usługi Log Analytics w usłudze Azure Monitor.
• Opcja magazynu geograficznie nadmiarowego (GRS) Azure Storage kopiuje dane synchronicznie trzy razy w ramach jednej lokalizacji fizycznej w regionie podstawowym, a następnie kopiuje je asynchronicznie do pojedynczej lokalizacji fizycznej w regionie pomocniczym. Aby uzyskać więcej informacji, zobacz nadmiarowości usługi Azure Storage.
• usługi Azure Blob Storage to wysoce skalowalny i bezpieczny magazyn obiektów oparty na protokole REST dla obciążeń natywnych dla chmury, archiwów, magazynów typu data lake, obliczeń o wysokiej wydajności i uczenia maszynowego.
• usługa Azure Files zapewnia proste, bezpieczne i bezserwerowe udziały plików klasy korporacyjnej w chmurze. Aby uzyskać dostęp do udziałów, należy użyć standardowych protokołów bloków komunikatów serwera (SMB) i sieciowego systemu plików (NFS).

Szczegóły scenariusza

Na platformie Azure można zaimplementować przetwarzanie transakcji wsadowych — takie jak publikowanie płatności na kontach — przy użyciu architektury opartej na usłudze Microsoft Azure Kubernetes Service (AKS) i usłudze Azure Service Bus. Ten typ architektury zapewnia szybkość przetwarzania transakcji, skalowanie i niezawodność wymaganą do przetwarzania wsadowego o dużej ilości.

Zazwyczaj komunikat pozostaje w kolejce do momentu zakończenia transakcji, co pozwala na odzyskiwanie, jeśli wystąpi awaria. Ponadto można replikować tematy i kolejki do innych regionów, aby udostępniać obciążenia i kontynuować przetwarzanie nawet w przypadku awarii regionu.

Potencjalne przypadki użycia

Rozwiązanie jest idealne dla branży finansów, edukacji i nauki. Ta architektura jest przeznaczony do przetwarzania dużych ilości partii transakcji, zwłaszcza niezależnych transakcji, które mogą być przetwarzane równolegle. Dlatego jest to prawdopodobny kandydat do użycia w migrowaniu przetwarzania wsadowego mainframe. Możliwe aplikacje to:

• Przetwarzanie transakcji finansowych, takich jak lista płac, zamówienia i płatności.
• Przetwarzanie danych eksperymentalnych zebranych przez instrumenty naukowe.
• Inne przetwarzanie wsadowe komputera mainframe.

Zagadnienia dotyczące

Te zagadnienia obejmują implementację filarów platformy Azure Well-Architected Framework, która jest zestawem wytycznych, które mogą służyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Microsoft Azure Well-Architected Framework.

Niezawodność

Niezawodność zapewnia, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Design review checklist for Reliability(Lista kontrolna dotycząca niezawodności).

• usługa Azure Site Recovery odzyskiwania po awarii chroni przed poważnymi awariami. Jest to niezawodna, ekonomiczna i łatwa do wdrożenia.
• Zestawy dostępności dla maszyn wirtualnych zapewniają dostępność wystarczającej liczby maszyn wirtualnych, aby spełnić potrzeby procesów wsadowych o znaczeniu krytycznym.
• Usługi Service Bus, AKS i Azure SQL Managed Instance zapewniają wysoką dostępność i możliwość odzyskiwania w różnych regionach geograficznych.

Bezpieczeństwo

Zabezpieczenia zapewniają ochronę przed celowymi atakami i nadużyciami cennych danych i systemów. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotyczącazabezpieczeń.

• Wszystkie składniki architektury usługi Service Bus wsadowej współpracują ze składnikami zabezpieczeń platformy Azure, takimi jak Microsoft Entra ID, Virtual Network i szyfrowanie.

Optymalizacja kosztów

Optymalizacja kosztów dotyczy sposobów zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dlaoptymalizacji kosztów.

Aby oszacować koszty implementacji tego rozwiązania, użyj kalkulatora cen .

Funkcje automatycznego skalowania klastrów usługi AKS i inne funkcje platformy jako usługi platformy Azure (PaaS), które zapewniają skalowanie na żądanie — zapewniają minimalne koszty.

Poniżej przedstawiono zagadnienia dotyczące cen określonych składników:

• Większość przedsiębiorstw ma już implementację usługi Microsoft Active Directory. Jeśli nie, microsoft Entra ID P1 lub P2 jest niski koszt.
• ceny maszyn wirtualnych z systemem Windows i ceny maszyn wirtualnych z systemem Linux zależą od pojemności obliczeniowej.
• Aby uzyskać cennik dysków SSD w warstwie Premium lub Dyski magazynu zarządzanego w warstwie Ultra, zobacz cennik dysków zarządzanych .
• Nie ma żadnych kosztów z góry dla usługi Azure SQL Database; płacisz za zasoby zgodnie z rzeczywistym użyciem.
• W przypadku usługi ExpressRoutepłacisz miesięczną opłatę za port i opłaty za transfer danych wychodzących.
• koszty usługi Azure Storage zależą od opcji nadmiarowości danych i woluminu.
• cennik usługi Azure Files zależy od wielu czynników: ilości danych, nadmiarowości danych, woluminu transakcji i liczby używanych serwerów synchronizacji plików.
• Aby uzyskać informacje o cenach dysków zarządzanych SSD, zobacz cennik Dyski zarządzane.
• W przypadku usługi Site Recoverypłacisz za każde chronione wystąpienie.
• Te usługi są bezpłatne w ramach subskrypcji platformy Azure, ale płacisz za użycie i ruch:
  • modułu równoważenia obciążenia.
  • Wolumin przebiegu działania określa koszt Data Factory.
  • W przypadku usługi Azure Virtual Networkadresy IP mają nominalną opłatę.
  • Wolumin transferu danych wychodzących określa koszty usługi Azure Bastion.

Doskonałość operacyjna

Doskonałość operacyjna obejmuje procesy operacyjne, które wdrażają aplikację i działają w środowisku produkcyjnym. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dotycząca doskonałości operacyjnej.

• szablony usługi Azure Resource Manager (szablony usługi ARM) udostępnić język konfiguracji opisujący zasoby w szablonach, których można użyć do wdrożenia skryptowego. Szablony udostępniają również funkcje monitorowania i zgłaszania alertów.

Wydajność

Wydajność to możliwość skalowania obciążenia w celu spełnienia wymagań, które są na nim nakładane przez użytkowników w wydajny sposób. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.

• Architektura została zaprojektowana pod kątem równoległego przetwarzania niezależnych transakcji.
• Usługi Service Bus, AKS i inne funkcje paaS platformy Azure zapewniają wysoką wydajność przetwarzania transakcji, przetwarzania i przechowywania danych.
• Usługi Service Bus, AKS i inne funkcje paaS platformy Azure są dynamicznie skalowane zgodnie z potrzebami.

Następne kroki

• Aby dowiedzieć się więcej na temat usługi AKS, przeczytaj: podróż rozwiązania Azure Kubernetes Service.
• Aby dowiedzieć się więcej na temat usługi Service Bus, przeczytaj: kolejki, tematy i subskrypcje usługi Service Bus.

Powiązane zasoby

• Techniki używane w tej architekturze:
  • odzyskiwania po awarii geograficznej usługi Azure Service Bus.
  • Użyj nadmiarowości geograficznej do projektowania aplikacji o wysokiej dostępności.
  • Co to są szablony usługi ARM?
• Architektury referencyjne platformy Azure:
  • Migrowanie aplikacji mainframe IBM na platformę Azure przy użyciuTmaxSoft OpenFrame.
  • Refaktoryzacja obiektów sprzężenia mainframe IBM z/OS (CF) do platformy Azure.
  • Micro Focus Enterprise Server na maszynach wirtualnych platformy Azure.
  • migracji komputera mainframe Unisys.