Bewerken

Delen via

Verwerking van batchtransacties met grote volumes

Azure Kubernetes Service (AKS)
Azure Service Bus
Azure Virtual Machines

De architectuur maakt gebruik van AKS voor het implementeren van rekenclusters van de toepassingen die grote volumes aan transacties verwerken. De toepassingen ontvangen de transacties in berichten van Service Bus-onderwerpen of -wachtrijen. De onderwerpen en wachtrijen kunnen zich in Azure-datacenters in verschillende geografische regio's bevinden en meerdere AKS-clusters kunnen invoer van deze clusters lezen.

Notitie

Deze architectuur past bij een type batchtransactieverwerking dat, op IBM mainframes, vaak wordt geïmplementeerd met behulp van de IBM MQ-serie van berichtgeoriënteerde middleware.

Architectuur

diagram van een architectuur die is geïmplementeerd met behulp van AKS en Service Bus.

Download een Visio-bestand van deze architectuur.

Werkstroom

De genummerde cirkels in het diagram komen overeen met de genummerde stappen in de volgende lijst.

  1. De architectuur maakt gebruik van Service Bus-onderwerpen en -wachtrijen om de invoer voor batchverwerking te ordenen en om deze downstream door te geven voor verwerking.
  2. Azure Load Balancer, een load balancer van Laag 4 (TCP, UDP), distribueert binnenkomend verkeer tussen gezonde exemplaren van services die zijn gedefinieerd in een set met gelijke taakverdeling. Taakverdeling en beheer van verbindingen optimaliseren de verwerking.
  3. De werkknooppunten van het AKS-cluster luisteren naar Service Bus-wachtrijeindpunten voor invoer.
  4. De Java-knooppunten gebruiken Java Message Service om verbinding te maken met Service Bus en Java-interfaces zoals Java Database Connectivity om verbinding te maken met andere gegevensbronnen. Ze gebruiken indien nodig andere Java-API's.
  5. De herstelbare transacties worden samen met de bedrijfscode voor elke batchstap uitgevoerd.
  6. De batchinfrastructuur maakt gebruik van versnelde Netwerken van Azure voor snelheid.
  7. Azure Cache voor Redis, Azure Cosmos DB en Azure Stream Analytics bieden indien nodig werkende opslag.
  8. De permanente gegevenslaag maakt gebruik van Azure Data Factory voor gegevensintegratie en Azure SQL Managed Instance, bedrijfskritieke prestatielaag, voor hoge beschikbaarheid. De permanente opslag is losjes gekoppeld voor eenvoudige overschakeling naar andere databasetechnologieën en voor optimalisatie van opslagorganisatie (bijvoorbeeld met behulp van shards of partities).
  9. De gegevensoplossingen (overgang en permanent) maken gebruik van de grS-optie (geografisch redundante opslag) van Azure Storage om te beschermen tegen onherstelbare fouten.

Onderdelen

De architectuur maakt gebruik van deze onderdelen:

  • Azure Virtual Network biedt een beveiligd privénetwerk in de cloud. Het kan virtuele machines (VM's) met elkaar verbinden, internet en on-premises netwerken.
  • Azure ExpressRoute- biedt privéverbindingen tussen Azure-datacenters en on-premises infrastructuur.
  • Azure Bastion- biedt privé- en volledig beheerde RDP- en SSH-toegang tot VM's.
  • Azure Virtual Machines biedt de flexibiliteit van virtualisatie zonder dat u de hardware hoeft te leveren en te onderhouden die als host fungeert. De keuzen van het besturingssysteem omvatten Windows en Linux.
  • Een VIRTUELE machine die is gemaakt met versneld netwerken maakt gebruik van I/O-virtualisatie met één hoofdmap (SR-IOV), waardoor de netwerkprestaties aanzienlijk worden verbeterd. Zie Een Virtuele Windows-machine maken met versneld netwerken met behulp van Azure PowerShell en Overzicht van I/O-virtualisatie met één hoofdmap (SR-IOV)voor meer informatie.
  • Een Azure-netwerkinterface verbindt een virtuele machine met internet en met Azure- en on-premises resources. Zoals in deze architectuur wordt weergegeven, kunt u elke onderliggende VM een eigen netwerkinterface en ip-adres geven. Zie Een netwerkinterface maken, wijzigen of verwijderenvoor meer informatie over netwerkinterfaces.
  • Azure Managed Disks krachtige, zeer duurzame blokopslag voor VM's zijn. Er zijn vier schijfopslagopties voor de cloud: Ultra Disk Storage, Premium SSD, Standard SSD en Standard HDD.
  • Azure Kubernetes Service (AKS) is een volledig beheerde Kubernetes-service voor het implementeren en beheren van toepassingen in containers.
  • Service Bus- biedt betrouwbare cloudberichten als een dienst (MaaS) en eenvoudige hybride integratie.
  • Azure-taakverdelingsservices biedt schaalaanpassing voor hoge beschikbaarheid en hoge prestaties. Deze architectuur maakt gebruik van Load Balancer-. Het biedt taakverdelingsmogelijkheden voor laag 4 met lage latentie (TCP, UDP) om verkeer tussen VM's en over hybride apps met meerdere lagen te verdelen.
  • Azure Cache voor Redis is een razendsnel en volledig beheerde cacheservice voor het delen van gegevens en statussen tussen rekenresources.
  • Azure Cosmos DB- is een snelle NoSQL-database met open API's voor elke schaal.
  • Azure Stream Analytics- biedt realtime analyses over snel bewegende stromen gegevens van toepassingen en apparaten.
  • Azure Databricks- is een snelle, eenvoudige en gezamenlijke service voor big data-analyse op basis van Apache SparkTM.
  • Azure SQL is een serie SQL-clouddatabases die een uniforme ervaring biedt voor uw hele SQL-portfolio en een breed scala aan implementatieopties van edge tot cloud.
  • Azure SQL Managed Instance, onderdeel van het Azure SQL-serviceportfolio, is een beheerd, veilig en altijd up-to-date SQL-exemplaar in de cloud.
  • Data Factory- is een volledig beheerde en serverloze oplossing voor gegevensintegratie voor het voorbereiden en transformeren van al uw gegevens op schaal.
  • Data Factory ondersteunt de Parquet-bestandsindeling voor bestandsindelingen. Zie Parquet-indeling in Azure Data Factoryvoor meer informatie.
  • Log Analytics is een hulpprogramma in Azure Portal dat wordt gebruikt voor het bewerken en uitvoeren van logboekquery's op Azure Monitor logboeken. Zie Overzicht van Log Analytics in Azure Monitorvoor meer informatie.
  • De optie voor geografisch redundante opslag (GRS) van Azure Storage uw gegevens synchroon drie keer kopieert binnen één fysieke locatie in de primaire regio en kopieert deze vervolgens asynchroon naar één fysieke locatie in de secundaire regio. Zie Azure Storage-redundantievoor meer informatie.
  • Azure Blob Storage- is zeer schaalbaar en veilig op REST gebaseerde objectopslag voor cloudeigen workloads, archieven, data lakes, high-performance computing en machine learning.
  • Azure Files biedt eenvoudige, veilige en serverloze bestandsshares op ondernemingsniveau in de cloud. U gebruikt de industriestandaard SMB-protocollen (Server Message Block) en Network File System (NFS) voor toegang tot de shares.

Scenariodetails

In Azure kunt u batchtransactieverwerking implementeren, zoals het boeken van betalingen naar accounts, met behulp van een architectuur op basis van Microsoft Azure Kubernetes Service (AKS) en Azure Service Bus. Dit type architectuur biedt de snelheid, schaalaanpassing en betrouwbaarheid van transactieverwerking die vereist is voor batchverwerking met grote volumes.

Normaal gesproken blijft een bericht in de wachtrij totdat de transactie is voltooid, waardoor herstel mogelijk is als er een fout optreedt. U kunt ook onderwerpen en wachtrijen repliceren naar andere regio's, om workloads te delen en de verwerking voort te zetten, zelfs als een regio uitvalt.

Mogelijke gebruiksvoorbeelden

De oplossing is ideaal voor de financiële, onderwijs- en wetenschapsindustrie. Deze architectuur is bedoeld voor het verwerken van batches van transacties met grote volumes, met name onafhankelijke transacties die parallel kunnen worden verwerkt. Het is daarom een waarschijnlijke kandidaat voor gebruik bij het migreren van mainframe batchverwerking. Mogelijke toepassingen zijn:

  • Verwerking van financiële transacties, zoals salarisadministratie, orders en betalingen.
  • Verwerking van experimentele gegevens verzameld door wetenschappelijke instrumenten.
  • Andere mainframe batchverwerking.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die kunnen worden gebruikt om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Frameworkvoor meer informatie.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Controlelijst ontwerpbeoordeling voor betrouwbaarheidvoor meer informatie.

  • Azure Site Recovery service voor herstel na noodgevallen beschermt tegen grote storingen. Het is betrouwbaar, rendabel en eenvoudig te implementeren.
  • Beschikbaarheidssets voor VM's zorgen ervoor dat er voldoende VM's beschikbaar zijn om te voldoen aan bedrijfskritieke batchprocessen.
  • Service Bus, AKS en Azure SQL Managed Instance bieden hoge beschikbaarheid en herstelmogelijkheden in geografische regio's.

Veiligheid

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie voor meer informatie controlelijst ontwerpbeoordeling voor Security.

  • Alle onderdelen in de Service Bus-batcharchitectuur werken met Azure-beveiligingsonderdelen, zoals Microsoft Entra ID, Virtual Network en versleuteling.

Kostenoptimalisatie

Kostenoptimalisatie gaat over manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.

Als u de kosten voor uw implementatie van deze oplossing wilt schatten, gebruikt u de prijscalculator.

De functies voor automatisch schalen van AKS-clusters en andere PaaS-functies (Azure Platform as a Service) die schaalaanpassing op aanvraag bieden, houden de kosten minimaal.

Hier volgen prijsoverwegingen voor specifieke onderdelen:

Operationele uitmuntendheid

Operational Excellence behandelt de operationele processen die een toepassing implementeren en deze in productie houden. Zie controlelijst ontwerpbeoordeling voor Operational Excellencevoor meer informatie.

  • Azure Resource Manager-sjablonen (ARM-sjablonen) een configuratietaal bieden om uw resources te beschrijven in sjablonen die u kunt gebruiken voor gescripte implementatie. De sjablonen bieden ook mogelijkheden voor bewaking en waarschuwingen.

Prestatie-efficiëntie

Prestatie-efficiëntie is de mogelijkheid van uw workload om te schalen om te voldoen aan de eisen die gebruikers op een efficiënte manier stellen. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.

  • De architectuur is ontworpen voor parallelle verwerking van onafhankelijke transacties.
  • Service Bus, AKS en andere Azure PaaS-functies bieden hoge prestaties voor transactieverwerking, computing en gegevensopslag.
  • Service Bus, AKS en andere Azure PaaS-functies worden indien nodig dynamisch geschaald.

Volgende stappen