Quickstart: Azure CycleCloud-werkruimte implementeren voor Slurm met behulp van Marketplace

Azure CycleCloud Workspace voor Slurm is een gratis Marketplace-toepassing die een eenvoudige, veilige en schaalbare manier biedt om reken- en opslagresources te beheren voor HPC- en AI-workloads. In deze quickstart installeert u CycleCloud Workspace for Slurm met behulp van de Marketplace-toepassing.

Voorwaarden

Voor deze quickstart hebt u het volgende nodig:

1. Een Azure-account met een actief abonnement
2. De Inzender- en Rol van beheerder voor gebruikerstoegang op abonnementsniveau

Hoe te implementeren?

• Meld u aan bij de Azure Portal.
• Klik linksboven op + Create a Resource optie
• Voer in het vak Search services and marketplaceSlurm- in en selecteer vervolgens Azure CycleCloud-werkruimte voorSlurm.
• Selecteer op de pagina Azure CycleCloud-werkruimte voor SlurmMaken.

Algemeen

• Voer op de pagina Nieuwe Azure CycleCloud-werkruimte voor Slurm-account de volgende gegevens in of selecteer deze.
  • abonnement: selecteer het te gebruiken abonnement als dit nog niet is geselecteerd.
  • regio: selecteer de Azure-regio waarin u uw CycleCloud-werkruimte voor de Slurm-omgeving wilt implementeren.
  • resourcegroep: selecteer de resourcegroep voor de Azure CycleCloud-werkruimte voor het Slurm-account of maak een nieuwe.
  • CycleCloud-VM-grootte: kies een nieuwe VM-grootte of behoud de standaardgrootte
  • admin user: voer een naam en een wachtwoord in voor het CycleCloud-beheerdersaccount.
  • openbare SSH-sleutel voor beheerders: selecteer de openbare SSH-sleutel van het beheerdersaccount rechtstreeks of als deze is opgeslagen in een SSH-sleutelresource in Azure.

Bestandssysteem

Basismap van gebruikers - Nieuwe maken

Geef op waar de basismap van de gebruikers zich moet bevinden. Maak een nieuwe Ingebouwde NFS- gebruikt de scheduler-VM als een NFS-server met een gekoppelde datadisk.

Maak een nieuwe Azure NetApp Files maakt een ANF-account, pool en volume van de opgegeven capaciteit en het opgegeven serviceniveau.

Basismap van gebruikers - Bestaande gebruiken

Als u een bestaand NFS-koppelpunt hebt, selecteert u de optie Bestaande gebruiken en geeft u de instellingen op die u wilt koppelen.

Extra koppeling naar bestandssysteem - Nieuwe maken

Als u een extra bestandssysteem voor uw projectgegevens wilt koppelen, kunt u een nieuwe maken of een bestaand bestandssysteem opgeven. U kunt een nieuw Azure NetApp Files-volume of een Azure Managed Lustre-bestandssysteem maken.

Aanvullende koppeling van bestandssysteem - Bestaande gebruiken

Als u een bestaand extern NFS-koppelpunt of een Azure Managed Lustre-bestandssysteem hebt, kunt u de koppelingsopties opgeven.

Networking

Geef hier op als u een nieuw virtueel netwerk en subnetten wilt maken of een bestaande wilt gebruiken.

Een nieuw virtueel netwerk maken

• Kies de CIDR die overeenkomt met het aantal rekenknooppunten dat u wilt gebruiken en geef een basis-IP-adres op.
• Het is een best practice om een Bastion te maken als u geen directe connectiviteit hebt die wordt geleverd door uw it-bedrijf,
• Het maken van een NAT-gateway is vereist om uitgaande connectiviteit met internet te bieden. Dit zal in 2025 verplicht worden en wordt al gedachtenbeleid afgedwongen door sommige bedrijven,
• Peeren met een bestaand virtueel netwerk als u al een HUB hebt waaraan u een peer wilt koppelen die services zoals Bastion en een VPN-gateway kan leveren. Zorg ervoor dat u een basis-IP-adres kiest dat compatibel is met uw gekoppelde VNET. Controleer de gatewayoverdracht toestaan als het gekoppelde VNET een gateway heeft.

Bestaand virtueel netwerk gebruiken

Voordat u een bestaand virtueel netwerk gebruikt, controleert u op de vereisten in Uw CycleCloud-werkruimte plannen voor Slurm Deployment

Instellingen voor slurm

Geef de VM-grootte en -installatiekopieën op die moeten worden gebruikt voor de Scheduler en de aanmeldingsknooppunten. Installatiekopieën zijn de HPC-installatiekopieën die worden geleverd in Azure Marketplace met de bijbehorende URI's:

Naam van afbeelding	URI
Alma Linux 8.7	almalinux:almalinux-hpc:8_7-hpc-gen2:latest
Ubuntu 20.04	microsoft-dsvm:ubuntu-hpc:2004:latest
Ubuntu 22.04	microsoft-dsvm:ubuntu-hpc:2204:latest
Aangepaste installatiekopieën	U moet een URN of afbeeldings-id opgeven

Als u Custom Image kiest, moet u vervolgens een URN voor een bestaande marketplace-installatiekopieën of installatiekopieën-id voor een installatiekopieën opgeven in een Azure Compute Gallery.

U kunt ook de Use image on all nodes controleren als u wilt dat de Scheduler-, aanmeldingsknooppunten en rekenknooppunten dezelfde installatiekopieën gebruiken.

Stel in hoeveel aanmeldingsknooppunten u wilt inrichten bij het begin en het maximum aantal. Ten slotte voert het inschakelen van statuscontroles knooppuntstatuscontroles uit voor de HPC en de GPU-partities om beschadigde knooppunten automatisch te verwijderen wanneer ze worden gestart.

Als u Slurm Job Accounting wilt inschakelen, schakelt u het selectievakje in om de connectiviteitsopties weer te geven. Houd er rekening mee dat u een eerder geïmplementeerde Azure Database for MySQL Flexibele serverresource moet hebben. Verbinding via het leveren van een FQDN- of privé-IP-adres is beschikbaar als u ervoor kiest om uw eigen virtuele netwerk op te geven of VNET-peering te gebruiken bij het maken van een nieuw virtueel netwerk als onderdeel van uw implementatie. Daarnaast is de verbinding via een privé-eindpunt beschikbaar als u ervoor kiest om een nieuw virtueel netwerk te maken.

Partitie-instellingen

Azure CycleCloud Workspace voor Slurm wordt geleverd met 3 gedefinieerde Slurm-partities:

• HTC : voor embarassingly niet-MPI-taken,
• HPC: voor nauw gekoppelde MPI-taken die voornamelijk gebruikmaken van VM-typen met infiniBand-ondersteuning,
• GPU: voor MPI- en niet-MPI GPU-taken

U kunt de installatiekopieën en het maximum aantal knooppunten instellen dat dynamisch wordt ingericht door CycleCloud voor elke partitie. Alleen de HTC-partitie staat het gebruik van Spot-exemplaren toe, omdat het meestal geen best practice is om Spot-exemplaren te gebruiken voor HPC- en GPU-taken. Deze instellingen kunnen echter worden overschreven na de implementatie in de Gebruikersinterface van CycleCloud.

Tags

Stel de relevante tags in voor de benodigde resources. Node Array tags worden toegepast op virtuele machines die dynamisch worden ingericht door CycleCloud.

Beoordelen en maken

Controleer uw opties. Deze stap wordt ook verwerkt naar enkele validaties. Controleren

Klik op de knop Maken om de implementatie te initialiseren

Volg de implementatiestatus en stappen.

Uw implementatie controleren

Maak verbinding met de ccw-cyclecloud-vm met behulp van Bastion met de gebruikersnaam en SSH-sleutels die tijdens de implementatie zijn opgegeven.

Wanneer u verbinding hebt, controleert u de cloud-init-logboeken om te controleren of alles juist is.

$tail -f -n 25 /var/log/cloud-init-output.log
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Waiting for Azure.MachineType to be populated...
Starting cluster ccws....
----------------------------
ccws : allocation -> started
----------------------------
Resource group: 
Cluster nodes:
    scheduler: Off -- --  
Total nodes: 1
CC start_cluster successful
/
exiting after install
Cloud-init v. 23.4-7.el8_10.alma.1 running 'modules:final' at Wed, 12 Jun 2024 10:15:53 +0000. Up 11.84 seconds.
Cloud-init v. 23.4-7.el8_10.alma.1 finished at Wed, 12 Jun 2024 10:28:15 +0000. Datasource DataSourceAzure [seed=/dev/sr0].  Up 754.29 seconds

Breng vervolgens de connectiviteit tot stand tussen uw clientcomputer en de CycleCloud-VM. Dit kan afkomstig zijn van uw zakelijke IT, een VPN, een Bastion-tunneling, een gekoppeld openbaar IP-adres als uw bedrijf dit toestaat. Maak verbinding met de webinterface door te bladeren naar https://<cycleccloud_ip>en te verifiëren met de gebruikersnaam en het wachtwoord die tijdens de implementatie zijn opgegeven. Controleer of zowel de Scheduler als het aanmeldingsknooppunt worden uitgevoerd.

Verbinding maken met het aanmeldingsknooppunt

Wanneer u Bastion gebruikt, gebruikt u een van de hulpprogrammascripts hulpprogramma/ssh_thru_bastion.sh of util/tunnel_thru_bastion.sh om verbinding te maken, mits hier. Als u geen Bastion gebruikt, moet u zelf de directe verbinding tot stand brengen.