Delen via

InfiniBand instellen

  • Artikel

In dit artikel wordt verwezen naar CentOS, een Linux-distributie die de status End Of Life (EOL) nadert. Houd rekening met uw gebruik en plan dienovereenkomstig. Zie de Richtlijnen voor het einde van de levensduur van CentOS voor meer informatie.

Van toepassing op: ✔️ Virtuele Linux-machines voor Windows-VM's ✔️ ✔️ Flexibele schaalsets Uniform-schaalsets ✔️

Tip

Probeer de selectorfunctie voor virtuele machines om andere grootten te vinden die het beste bij uw workload passen.

In dit artikel vindt u informatie over RDMA-compatibele instanties die via een InfiniBand-netwerk (IB) moeten worden gebruikt. De InfiniBand-netwerkarchitectuur heeft een volledig fat-tree-ontwerp (dat is een netwerktopologie die hoge bandbreedte en lage latentie biedt), waardoor niet-blokkerende, bisectionele symmetrie wordt gegarandeerd. Deze configuratie biedt gelijke bandbreedte tussen twee virtuele machines (VM's) binnen dezelfde virtuele-machineschaalset (VMSS).

Met RDMA compatibele exemplaren

De meeste HPC-VM-grootten hebben een netwerkinterface voor RDMA-connectiviteit (Remote Direct Memory Access). Geselecteerde N-seriegrootten die zijn aangewezen met r, zijn ook geschikt voor RDMA. Deze interface is naast de standaard Azure Ethernet-netwerkinterface die beschikbaar is in de andere VM-grootten.

Met deze secundaire interface kunnen instanties die geschikt zijn voor RDMA communiceren via een InfiniBand-netwerk, werkend tegen HDR-tarieven voor HBv4, HBv3, HBv2, EDR-tarieven voor HB, HC, HX, NDv2 en FDR-tarieven voor H16r, H16mr en andere virtuele RDMA-machines die geschikt zijn voor RDMA. Deze RDMA-mogelijkheden kunnen de schaalbaarheid en prestaties van MPI-toepassingen (Message Passing Interface) verbeteren.

Notitie

SR-IOV-ondersteuning: In Azure HPC zijn er momenteel twee klassen VM's, afhankelijk van of deze SR-IOV zijn ingeschakeld voor InfiniBand. Momenteel zijn bijna alle nieuwere generatie vm's die geschikt zijn voor RDMA of InfiniBand in Azure SR-IOV ingeschakeld, met uitzondering van H16r, H16mr en NC24r. RDMA is alleen ingeschakeld via het InfiniBand-netwerk en wordt ondersteund voor alle RDMA-compatibele VM's. IP via IB wordt alleen ondersteund op de VM's met SR-IOV. RDMA is niet ingeschakeld via het Ethernet-netwerk.

  • Besturingssysteem : Linux-distributies zoals CentOS, RHEL, AlmaLinux, Ubuntu, SUSE worden vaak gebruikt. Windows Server 2016 en nieuwere versies worden ondersteund op alle VM's uit de HPC-serie. Windows Server 2012 R2 wordt niet ondersteund op HBv2 en hoger als VM-grootten met meer dan 64 (virtuele of fysieke) kernen. Zie VM-installatiekopieën voor een lijst met ondersteunde Linux-VM-installatiekopieën op Azure Marketplace en hoe ze op de juiste manier kunnen worden geconfigureerd. De respectieve pagina's met VM-grootte vermelden ook de ondersteuning voor de softwarestack.

  • InfiniBand en Drivers: op VM's met InfiniBand zijn de juiste stuurprogramma's vereist om RDMA in te schakelen. Zie InfiniBand inschakelen voor meer informatie over VM-extensies of handmatige installatie van InfiniBand-stuurprogramma's.

  • MPI : met de VM-grootten met SR-IOV in Azure kan bijna elke variant van MPI worden gebruikt met Mellanox OFED. Zie MPI instellen voor HPC voor meer informatie over het instellen van MPI op HPC-VM's in Azure.

    Notitie

    RDMA-netwerkadresruimte: Het RDMA-netwerk in Azure reserveert de adresruimte 172.16.0.0/16. Als u MPI-toepassingen wilt uitvoeren op exemplaren die zijn geïmplementeerd in een virtueel Azure-netwerk, moet u ervoor zorgen dat de adresruimte van het virtuele netwerk niet overlapt met het RDMA-netwerk.

Opties voor clusterconfiguratie

Azure biedt verschillende opties voor het maken van clusters van HPC-VM's die kunnen communiceren met behulp van het RDMA-netwerk, waaronder:

  • Virtuele machines : implementeer de MET RDMA geschikte HPC-VM's in dezelfde schaalset of beschikbaarheidsset (wanneer u het Azure Resource Manager-implementatiemodel gebruikt). Als u het klassieke implementatiemodel gebruikt, implementeert u de VM's in dezelfde cloudservice.

  • Virtuele-machineschaalsets : zorg ervoor dat u in een virtuele-machineschaalset de implementatie beperkt tot één plaatsingsgroep voor InfiniBand-communicatie binnen de schaalset. Stel bijvoorbeeld in een Resource Manager-sjabloon de singlePlacementGroup eigenschap in op true.

Houd er rekening mee dat de maximale schaalsetgrootte waarmee kan worden singlePlacementGroup=true geïntensioneerd, standaard is beperkt tot 100 VM's. Als uw HPC-taakschaalbehoeften hoger zijn dan 100 VM's in één tenant, kunt u een verhoging aanvragen, een online klantenondersteuningsaanvraag zonder kosten openen. De limiet voor het aantal VIRTUELE machines in één schaalset kan worden verhoogd tot 300. Houd er rekening mee dat bij het implementeren van VM's met behulp van beschikbaarheidssets de maximumlimiet 200 VM's per beschikbaarheidsset is.

VMSS fungeert ook als de isolatiegrens tussen workloads binnen hetzelfde cluster, zodat exemplaren in verschillende VMSS's van elkaar geïsoleerd blijven om beveiliging te garanderen.

Notitie

MPI tussen virtuele machines: als RDMA (bijvoorbeeld het gebruik van MPI-communicatie) tussen virtuele machines is vereist, moet u ervoor zorgen dat de VIRTUELE machines zich in dezelfde virtuele-machineschaalset of beschikbaarheidsset bevinden.

Implementatieoverwegingen

  • Azure-abonnement : als u meer dan een paar rekenintensieve exemplaren wilt implementeren, kunt u een abonnement met betalen per gebruik of andere aankoopopties overwegen. Als u een gratis account van Azure gebruikt, kunt u slechts een paar Azure Compute-resources van Azure gebruiken.

  • Prijzen en beschikbaarheid : controleer de prijzen en beschikbaarheid van VM's per Azure-regio.

  • Kernquotum : mogelijk moet u het quotum voor kernen in uw Azure-abonnement verhogen vanaf de standaardwaarde. Uw abonnement kan ook het aantal kerngeheugens beperken dat u kunt implementeren in bepaalde VM-groottefamilies, inclusief de H-serie. Als u een verhoging van het quotum wilt aanvragen, opent u een online een ondersteuningsverzoek. Hiervoor worden geen kosten in rekening gebracht. (Standaardlimieten kunnen variëren, afhankelijk van uw abonnementscategorie.)

    Notitie

    Neem contact op met de ondersteuning van Azure als u behoefte hebt aan grootschalige capaciteit. Azure-quota zijn kredietlimieten, geen capaciteitsgaranties. Ongeacht uw quotum worden er alleen kosten in rekening gebracht voor kernen die u gebruikt.

  • Virtueel netwerk: een virtueel Azure-netwerk is niet vereist voor het gebruik van rekenintensieve exemplaren. Voor veel implementaties hebt u echter ten minste een virtueel Azure-netwerk in de cloud of een site-naar-site-verbinding nodig als u toegang nodig hebt tot on-premises resources. Maak zo nodig een nieuw virtueel netwerk om de exemplaren te implementeren. Het toevoegen van rekenintensieve VM's aan een virtueel netwerk in een affiniteitsgroep wordt niet ondersteund.

  • Formaat wijzigen : vanwege hun gespecialiseerde hardware kunt u alleen rekenintensieve exemplaren binnen dezelfde groottefamilie (H-serie of N-serie) wijzigen. U kunt bijvoorbeeld alleen het formaat van een VM uit de ene H-serie wijzigen van de ene grootte van de H-serie naar een andere. Aanvullende overwegingen met betrekking tot de ondersteuning van InfiniBand-stuurprogramma's en NVMe-schijven moeten mogelijk worden overwogen voor bepaalde VM's.

Volgende stappen