Grootschalige HPC-toepassingsworkloads berekenen in Azure Virtual Machines
HPC-workloads (High Performance Computing), ook wel bekend als big compute-toepassingen, zijn grootschalige workloads waarvoor veel kernen nodig zijn. HPC kan bedrijfstakken zoals energie, financiën en productie in elke fase van het productontwikkelingsproces helpen.
Big Compute-toepassingen hebben doorgaans de volgende kenmerken:
- U kunt de workload verdelen in afzonderlijke taken die tegelijkertijd kunnen worden uitgevoerd op veel kernen.
- Elke taak neemt invoer, verwerkt deze en produceert uitvoer. De hele toepassing wordt gedurende een beperkte tijd uitgevoerd.
- De toepassing hoeft niet voortdurend te worden uitgevoerd, maar moet knooppuntfouten en crashes kunnen afhandelen.
- Taken kunnen onafhankelijk of nauw gekoppeld zijn, waarvoor snelle netwerktechnologieën zoals InfiniBand en RDMA-connectiviteit (Remote Direct Memory Access) vereist zijn.
- U kunt rekenintensieve VM-grootten (virtuele machines), zoals H16r, H16mr en A9, gebruiken. Uw selectie is afhankelijk van de workload.
Azure biedt een reeks VM-exemplaren die zijn geoptimaliseerd voor CPU-intensieve en GPU-intensieve workloads. Deze VM's kunnen worden uitgevoerd in Virtuele-machineschaalsets van Azure om tolerantie en taakverdeling te bieden. Azure is ook het enige cloudplatform dat hardware met InfiniBand-functionaliteit biedt. InfiniBand biedt een aanzienlijk prestatievoordeel voor taken zoals het modelleren van financiële risico's, technische stressanalyse en het uitvoeren van reservoirsimulatie en seismische workloads. Dit voordeel resulteert in prestaties die de huidige prestaties van de on-premises infrastructuur naderen of overschrijden.
Azure biedt verschillende VM-grootten voor HPC- en GPU-geoptimaliseerde computing. Het is belangrijk om een VM-grootte te selecteren die geschikt is voor uw workload. Om de beste keuze te vinden, zie Grootten voor virtuele machines in Azure en selectietool voor virtuele machines.
Houd er rekening mee dat niet alle Azure-producten beschikbaar zijn in alle regio's. Zie Producten beschikbaar per regioom te zien wat er beschikbaar is in uw regio.
Zie de blog Azure Compute of Een Azure-rekenservice kiezenvoor meer informatie over Azure-rekenopties.
Azure biedt vm's met CPU- en GPU-functionaliteit. De VM's uit de N-serie bevatten NVIDIA GPU's die zijn ontworpen voor rekenintensieve of grafische intensieve toepassingen, zoals AI, leren en visualisatie.
HPC-producten zijn ontworpen voor scenario's met hoge prestaties. Maar andere producten, zoals de E- en F-serie, zijn ook geschikt voor specifieke werkbelastingen.
Ontwerpoverwegingen
Wanneer u uw HPC-infrastructuur ontwerpt, zijn er verschillende hulpprogramma's en services beschikbaar waarmee u uw workloads kunt beheren en plannen.
Azure Batch is een beheerde service voor het uitvoeren van grootschalige HPC-toepassingen. Gebruik Batch om een VM-pool te configureren en de toepassingen en gegevensbestanden te uploaden. Vervolgens configureert de Batch-service de VM's, wijst u taken toe aan de VM's, voert u de taken uit en bewaakt u de voortgang. Batch kan vm's automatisch omhoog en omlaag schalen als reactie op het wijzigen van workloads. Batch biedt ook een functie voor het plannen van taken.
Azure CycleCloud- is een hulpprogramma voor het maken, beheren, gebruiken en optimaliseren van HPC- en big compute-clusters in Azure. Gebruik Azure CycleCloud om HPC Azure-clusters dynamisch te configureren en gegevens en taken te organiseren voor hybride en cloudwerkstromen. Azure CycleCloud biedt de eenvoudigste manier om HPC-workloads te beheren met behulp van een workloadbeheer. Azure CycleCloud ondersteunt workloadbeheerders zoals Grid Engine, Microsoft HPC Pack, HTCondor, LSF, PBS Pro, SLURM en Symphony.
Azure Logic Apps- is een gespecialiseerde service voor het plannen van rekenintensief werk dat moet worden uitgevoerd op een beheerde pool met VM's. U kunt rekenresources automatisch schalen om te voldoen aan de behoeften van uw taken.
In de volgende secties worden referentiearchitecturen beschreven voor de energie-, financiële en productie-industrie.
Architectuur voor energiereferenties
Houd rekening met de volgende aanbevelingen en use cases wanneer u een architectuur ontwerpt voor energieworkloads.
Ontwerpaanaanvelingen
Begrijp dat reservoir- en seismische werkstromen doorgaans vergelijkbare vereisten hebben voor reken- en taakplanning.
Houd rekening met uw netwerkbehoeften. Azure HPC biedt VM-grootten uit de HBv2- en HBv3-serie voor geheugenintensieve seismic imaging en reservoirsimulaties.
Gebruik VM's uit de HB-serie voor geheugenbandbreedtegebonden toepassingen en VM's uit de HC-serie voor rekenreservoirsimulaties.
Gebruik VM's uit de NV-serie voor het modelleren en visualiseren van seismische gegevens in 3D-reservoirs.
Gebruik NCv4-serie VM's voor GPU-versnelde seismische full-waveform inversie (FWI) analyse.
Voor gegevensintensieve productie met harsovervormen (RTM) is de NDv4 VM-grootte de beste optie, omdat deze NVMe-schijven (Non-Volatile Memory Express) biedt met een totale capaciteit van 7 TB.
Voor optimale prestaties op VM's uit de HB-serie met MPI-workloads (Message Passing Interface) moet u het proces optimaal toewijzen aan de cores van de processors. Zie Optimale MPI-procesplaatsing voor VM's uit de Azure HB-serievoor meer informatie.
VM's uit de NCv4-serie bieden ook speciale tools om ervoor te zorgen dat parallelle toepassingsprocessen correct worden vastgepind.
Vanwege de complexe architectuur van VM's uit de NDv4-serie moet u aandacht besteden aan het configureren van de VM's om ervoor te zorgen dat u de met GPU versnelde toepassingen optimaal start. Zie schaalbare GPU-VM van Azurevoor meer informatie.
Toepassingsgevallen voor de referentiearchitectuur voor aardolie- en aardgasseismiek en reservoirsimulatie
Reservoir- en seismische werkstromen hebben meestal vergelijkbare vereisten voor reken- en taakplanning. Seismische workloads dagen echter de opslagmogelijkheden van de infrastructuur uit. Soms hebben ze meerdere petabytes aan opslag en doorvoervereisten die kunnen worden gemeten in honderden GB. Een enkel seismisch verwerkingsproject kan bijvoorbeeld beginnen met 500 TB aan onbewerkte gegevens, waarvoor mogelijk meerdere GB's aan langetermijnopslag zijn vereist.
Zie de volgende referentiearchitecturen waarmee u succesvol kunt voldoen aan uw doelstellingen voor het uitvoeren van uw toepassing in Azure.
Referentiearchitectuur voor seismische verwerking
Seismische verwerking en imaging zijn fundamenteel voor de olie- en gasindustrie omdat ze een model van de ondergrond creëren op basis van de verkenningsgegevens. Geowetenschappers voeren doorgaans het proces van kwalificeren en kwantificeren van wat zich in de ondergrond kan bevinden. Geowetenschappers maken meestal gebruik van datacentrum- en cloudsoftware. Af en toe hebben ze toegang tot de software op afstand of in de cloud met behulp van virtuele bureaubladtechnologie.
De kwaliteit van het ondergrondmodel en de kwaliteit en resolutie van de data is van cruciaal belang om de juiste zakelijke beslissingen te nemen over het bieden op concessies of het bepalen waar te boren. Seismische interpretatiebeelden kunnen de positie van putten verbeteren en het risico van het boren van een droog gatverminderen. Voor olie- en gasbedrijven vertaalt het hebben van een beter begrip van ondergrondse structuren zich direct in het verminderen van het exploratierisico. Hoe hoger de nauwkeurigheid van het begrip van het bedrijf van het geologisch gebied, hoe groter de kans dat het olie vindt bij het boren.
Deze taak is gegevens en rekenintensief. Het bedrijf moet TB's met gegevens verwerken. Deze gegevensverwerking vereist enorme en snelle rekenkracht, waaronder snelle netwerken. Vanwege de gegevens- en computingintensieve aard van seismische imaging gebruiken bedrijven parallelle computing om gegevens te verwerken en de tijd tot compilatie en voltooiing te verkorten.
Bedrijven verwerken voortdurend grote hoeveelheden seismische data om het koolwaterstofgehalte in reservoirs te vinden en nauwkeurig te kwantificeren en kwalificeren voordat ze beginnen met winactiviteiten. Overnamegegevens zijn ongestructureerd en kunnen gemakkelijk PBs aan opslag bereiken voor één potentieel olie- en gasveld. Vanwege deze factoren kunt u de seismische verwerkingsactiviteit slechts binnen een redelijke periode voltooien met behulp van HPC en andere geschikte strategieën voor gegevensbeheer.
Referentiearchitectuur voor reservoirsimulatie en modellering
Fysieke ondergrondkenmerken, zoals waterverzadiging, porositeit en permeabiliteit, zijn ook waardevolle gegevens in reservoirmodellering. Deze gegevens zijn belangrijk om te bepalen wat voor soort herstelbenadering en apparatuur er moet worden geïmplementeerd en uiteindelijk waar wellen moeten worden geplaatst.
Een werkbelasting voor reservoirmodellering is ook een onderdeel van reservoirtechniek. De workload combineert fysica, wiskunde en computerprogrammering in een reservoirmodel om vloeistofgedrag in het reservoir in de loop van de tijd te analyseren en voorspellen. Voor deze analyse zijn hoge rekenkracht en grote rekenworkloadvereisten vereist, waaronder snelle netwerken.
Referentiearchitectuur voor financiën
De volgende architectuur is een voorbeeld van het gebruik van VM's in HPC voor financiële workloads.
Deze workload maakt gebruik van rekenknooppunten uit de HPC Pack HB-serie.
De VM's uit de HB-serie zijn geoptimaliseerd voor HPC-toepassingen, zoals financiële analyse, weersimulatie en rtl-modellering (silicon register-transfer level). HB VMs:
- Tot 120 AMD EPYC™ 7003-serie CPU-kernen.
- 448 GB RAM-geheugen.
- Geen hyperthreading.
VM's uit de HB-serie bieden ook:
- 350 GB per seconde geheugenbandbreedte.
- Maximaal 32 MB L3 cache per kern.
- Tot 7 GB per seconde aan prestaties van solid-state drives (SSD) van blokapparaten.
- Klokfrequenties van maximaal 3,675 GHz.
Voor het HPC-hoofdknooppunt maakt de workload gebruik van een vm met een andere grootte. Het maakt specifiek gebruik van een D16s_v4 VM, een type algemeen product.
Referentiearchitectuur voor productie
De volgende architectuur is een voorbeeld van het gebruik van VM's in HPC in productie.
Deze architectuur maakt gebruik van Azure Files-shares en Azure Storage-accounts die zijn verbonden met een Azure Private Link-subnet.
De architectuur maakt gebruik van Azure CycleCloud in een eigen subnet. VM's uit de HC-serie worden gebruikt in een rangschikking van clusterknooppunten.
De VM's uit de HC-serie zijn geoptimaliseerd voor HPC-toepassingen die gebruikmaken van intensieve berekeningen. Voorbeelden hiervan zijn impliciete en eindige elementanalyses, reservoirsimulatie en rekenkundige chemietoepassingen. HC-VM's hebben 44 Intel Xeon Platinum 8168 processorkernen, 8 GB RAM per CPU-kern, geen hyperthreading en maximaal vier beheerde schijven. Het Intel Xeon Platinum-platform ondersteunt het uitgebreide ecosysteem van softwarehulpprogramma's en functies van Intel en een kloksnelheid van alle kernen van 3,4 GHz voor de meeste workloads.
Volgende stappen
Zie de volgende bronnen voor meer informatie over toepassingen die ondersteuning bieden voor de use cases in dit artikel:
- virtuele machine-serie.
- Azure HPC-certification.github.io.
- Microsoft Azure HPC OnDemand Platform. Deze zelfstandige referentiearchitectuur voldoet mogelijk niet aan het azure-landingszoneparadigma.
De volgende artikelen bevatten richtlijnen voor verschillende fasen van het cloudimplementatieproces. Deze resources kunnen u helpen bij het implementeren van HPC-productieomgevingen voor de cloud.