Delen via

Landingszone voor HPC

  • Artikel

De ready-methodologie van het Cloud Adoption Framework voor Azure kan u begeleiden bij het voorbereiden van uw omgeving voor cloudimplementatie. Tijdens de gereedheidsfase kunt u een Azure-landingszone gebruiken. Een landingszone is een technische accelerator die de basisbouwsteen biedt voor elke omgeving voor cloudimplementatie. Een landingszone kan de configuratie van uw Azure-omgeving automatiseren, in overeenstemming met best practice-richtlijnen van het Cloud Adoption Framework. Tijdens het voorbereiden op HPC (High Performance Computing), kunnen omgevingsconfiguraties optreden die afhankelijk zijn van uw gebruiksscenario en vereisten voor uw branche.

Conceptuele architectuur van Azure-landingszone

Wanneer u uw omgeving voorbereidt op duurzame cloudimplementatie, kunt u een conceptuele architectuur van een Azure-landingszone gebruiken die een doeleindstatus vertegenwoordigt. Voor HPC zijn er meerdere conceptuele architectuurverwijzingen die zijn gebaseerd op de drie branches die momenteel door het Cloud Adoption Framework worden aangepakt:

Bekijk deze architectuurverwijzingen bij het ontwikkelen van een langetermijnvisie voor uw landingszone. Deze verwijzingen bieden een beginpunt. Op basis van de bedrijfsvereisten van uw organisatie en de behoeften van uw eindgebruikers, moet u deze mogelijk wijzigen.

Evaluatie voor HPC

De beslissingen die u neemt tijdens de strategische impactbeoordeling en technische planning zijn van invloed op de configuratie van de landingszone die u kiest voor uw HPC-implementaties in Azure. We raden u aan de volgende vragen te overwegen:

  • Hoe volwassen is uw omgeving in Azure? Bevindt het zich in de proof-of-conceptfase? Of is het al een volwassen toepassing die gebruikers bedient? Afhankelijk van de fase kunt u governance, beveiliging of resourceorganisatie opnemen of weglaten.
  • Is de toepassing die u bouwt op Een korte levensduur van Azure of een langstaand project? Het antwoord op deze vraag kan u helpen bij het kiezen van uw reken- en opslagopties.
  • Vereist uw organisatie dat personen toegang hebben tot Azure-resources op verschillende niveaus?

Zoals u in deze vragen kunt zien, varieert het implementatiemodel, afhankelijk van het gebruik van uw bedrijf, branche en toepassing.

Azure-landingszoneversnelling voor HPC

Azure Batch en Azure CycleCloud zijn beide 1e partij-service, terwijl Azure HPC OnDemand Platform (AzHOP) een automatisering is die is gebouwd op Azure Cycle Cloud, dat een end-to-end implementatiemechanisme biedt voor een volledige HPC-clusteroplossing in Azure.

Azure Batch

  • Batch is ontworpen om grootschalige parallelle en HPC-batchtaken efficiënt uit te voeren in Azure.
  • Batch maakt en beheert een pool rekenknooppunten of virtuele machines (VM's). U kunt Batch ook gebruiken om de toepassingen te installeren die u wilt uitvoeren en taken te plannen die op de knooppunten moeten worden uitgevoerd.
  • Er is geen cluster- of taakplanner-software die u moet installeren, beheren of schalen.
  • Batch is uitstekend geschikt voor intrinsiek parallelle workloads. Deze workloads hebben toepassingen die onafhankelijk kunnen worden uitgevoerd, waarbij elk exemplaar een deel van het werk voltooit.
  • U kunt Batch ook gebruiken om nauw gekoppelde workloads uit te voeren, waarbij de toepassingen die u uitvoert, met elkaar moeten communiceren in plaats van onafhankelijk te worden uitgevoerd.
  • Batch-taken kunnen rechtstreeks worden uitgevoerd op VM's of knooppunten in een Batch-pool. U kunt echter ook een Batch-pool instellen om taken uit te voeren in docker-compatibele containers op de knooppunten.

Azure CycleCloud

  • Het ondersteunt verschillende HPC-planners, zoals SLURM, OpenPBS, PBSPro, LSF, Grid Engine en HTCondor12.
  • Hiermee kunt u infrastructuur inrichten voor HPC-systemen, zoals virtuele machines, schaalsets, netwerkinterfaces en schijven.
  • De infrastructuur wordt automatisch geschaald om taken efficiënt uit te voeren op elke schaal op basis van taakbelasting, beschikbaarheid en tijdvereisten.
  • Het biedt een uitgebreide, declaratieve, tijdelijke indeling voor het maken van volledige HPC-omgevingen in Azure.
  • Het kan worden geïntegreerd met Azure-services zoals Azure Monitor en Microsoft Cost Management-hulpprogramma's.

AzHop

  • AzHop biedt een end-to-end-implementatiemechanisme voor een basis-HPC-infrastructuur in Azure die CycleCloud gebruikt om taken te organiseren.
  • Het biedt een volledige HPC-clusteroplossing die gereed is voor gebruikers om toepassingen uit te voeren en dat is eenvoudig voor HPC-beheerders om te implementeren en beheren.
  • AzHop maakt gebruik van verschillende ingebouwde toepassingen die u 'zoals is' kunt gebruiken, of u kunt eenvoudig aanpassen en uitbreiden om te voldoen aan alle niet-voldaan vereisten.
  • Het bevat een Open OnDemand-portal voor geïntegreerde gebruikerstoegang, externe shell-toegang, externe visualisatietoegang, taakinzending, bestandstoegang en meer.
  • Active Directory wordt gebruikt voor gebruikersverificatie en domeinbeheer.
  • Het maakt gebruik van OpenPBS of Simple Linux Utility for Resource Management (SLURM) als jobplanner.
  • Dynamische resourceinrichting en automatische schaalaanpassing worden uitgevoerd door vooraf geconfigureerde takenwachtrijen van CycleCloud en geïntegreerde statuscontroles om snel niet-optimale knooppunten te voorkomen.
  • Azure NetApp Files levert een gedeeld bestandssysteem voor de basismap en toepassingen.

Vergelijkingsgrafiek

Functie Azure Batch Azure CycleCloud
Planner Batch-API's en hulpprogramma's zijn beschikbaar. U kunt ook cloudeigen opdrachtregelscripts gebruiken in Azure Portal. U kunt standaard HPC-planners zoals SLURM, OpenPBS, PBSPro, LSF, Grid Engine en HTCondor gebruiken. U kunt ook invoegtoepassingen voor automatische schaalaanpassing van Azure CycleCloud uitbreiden om met uw eigen planner te werken.
Rekenresources SaaS-knooppunten (Software as a Service), Platform as a Service (PaaS). PaaS-software – PaaS.
Bewakingsprogramma's Azure Monitor. Azure Monitor en Grafana.
Aanpassing U kunt aangepaste installatiekopieëngroepen, installatiekopieën van derden of Batch API-toegang gebruiken. U kunt de uitgebreide RESTful-API gebruiken om functionaliteit aan te passen en uit te breiden, uw eigen planner te implementeren en bestaande workloadmanagers te ondersteunen.
Integratie Azure Synapse Analytics-pijplijnen, Azure Data Factory en de Azure CLI. Een ingebouwde CLI voor Windows en Linux.
Gebruikerstype Ontwikkelaars. Klassieke HPC-beheerders en -gebruikers.
Werktype Batches en werkstromen. Nauw gekoppelde werkstromen die gebruikmaken van Message Passing Interface (MPI).
Windows-ondersteuning Geleverd. Is afhankelijk van de keuze van de planner.

Azure CycleCloud en Azure Batch zijn krachtige hulpprogramma's voor HPC-taken in Azure, maar ze zijn ontworpen voor verschillende gebruiksvoorbeelden.

Azure CycleCloud is een bedrijfsvriendelijk hulpprogramma voor het organiseren en beheren van HPC-omgevingen in Azure. Het is gericht op HPC-beheerders en -gebruikers die een HPC-omgeving willen implementeren met een specifieke planner in gedachten. Azure CycleCloud biedt krachtige hulpprogramma's voor het maken van volledige HPC-omgevingen in Azure, waaronder NFS-servers (Network File Sharing), parallelle bestandssystemen, aanmeldingshosts, licentieservers en adreslijstservices. Het is handig voor organisaties die al een tijdje HPC-omgevingen hebben uitgevoerd en jarenlang expertise en interne tooling hebben verzameld rond een specifieke planner.

Batch is daarentegen voornamelijk gericht op ontwikkelaars en teams die een mogelijkheid bouwen in hun eigen product of service. Batch bevat een eigen scheduler en is ontworpen om grootschalige parallelle taken efficiënt uit te voeren zonder cluster- of jobplannersoftware. Batch is handig wanneer u geen workloadplanner hoeft te beheren.

Kortom, gebruik Azure CycleCloud als u een HPC-omgeving met een specifieke planner in gedachten wilt implementeren en een volledige HPC-omgeving nodig hebt. Gebruik Batch wanneer u een product of service ontwikkelt waarvoor grootschalige parallelle verwerking is vereist en u geen workloadplanner wilt beheren.

Volgende stappen