Wat is Azure CycleCloud-werkruimte voor Slurm?
Slurm is een van de populairste en meest gebruikte opensource workloadmanagers voor AI/HPC en cloud-computing. Met Slurm kunnen gebruikers grootschalige parallelle en gedistribueerde toepassingen uitvoeren op een set rekenknooppunten en functies bieden zoals taakplanning, resourcebeheer, fouttolerantie en energiebeheer. Slurm wordt gebruikt door veel van 's werelds beste supercomputers, onderzoeksinstituten, universiteiten en ondernemingen.
Het instellen en beheren van Slurm-clusters in de cloud kan echter lastig en tijdrovend zijn, met name voor gebruikers die niet bekend zijn met de cloudomgeving of de Slurm-configuratie. Gebruikers moeten omgaan met taken zoals het inrichten en schalen van rekenknooppunten, het installeren en bijwerken van Slurm-software, het configureren van netwerk en opslag, het bewaken van de status en prestaties van het cluster en het oplossen van problemen. Deze taken kunnen gebruikers afleiden van hun kernonderzoek of bedrijfsdoelstellingen en de productiviteit en efficiëntie van hun AI/HPC-workloads verminderen.
Azure CycleCloud Workspace voor Slurm is een Azure Marketplace-oplossingssjabloon waarmee gebruikers eenvoudig vooraf gedefinieerde Slurm-clusters kunnen maken, configureren en implementeren met CycleCloud in Azure, zonder dat hiervoor voorafgaande kennis van Azure of Slurm nodig is. Slurm-clusters worden vooraf geconfigureerd met PMix v4, Pyxis en enroot ter ondersteuning van in containers geplaatste AI/HPC Slurm-taken. Gebruikers hebben toegang tot het ingerichte aanmeldingsknooppunt met behulp van SSH of Visual Studio Code om algemene taken uit te voeren, zoals het verzenden en beheren van Slurm-taken.
Hoewel u met Azure CycleCloud al een aantal van deze taken kunt uitvoeren, wordt de AI/HPC-infrastructuur niet voor u geïmplementeerd. Gebruikers moeten omgaan met taken zoals het installeren en configureren van CycleCloud, het configureren van netwerk en opslag en het maken en configureren van het Slurm-cluster. Azure CycleCloud-werkruimte voor Slurm voert deze taken voor u uit in een Marketplace-oplossingssjabloon die rechtstreeks vanuit Azure Portal of via de Azure CLI kan worden geïmplementeerd. U bent binnen enkele minuten klaar en niet dagen of weken.
Wat zijn de voordelen van Azure CycleCloud Workspace voor Slurm?
Azure CycleCloud is een uitstekende oplossing als u een AI/HPC-omgeving in Azure wilt bouwen, hetzij om een deel van uw on-premises AI/HPC-workload op te tillen en te verplaatsen of om een nieuwe te bouwen. Het bouwen van een volledige end-to-end AI/HPC-omgeving is echter geen eenvoudige taak en u moet beslissen hoe u uw netwerk moet ontwerpen, welk opslagonderdeel moet worden gebruikt als een gedeeld bestandssysteem, welk VM-type voor het uitvoeren van uw workload, en veel kleine dingen die uw project complex kunnen maken om te leveren.
Azure CycleCloud Workspace for Slurm biedt verschillende voordelen voor gebruikers die Slurm-workloads in Azure willen uitvoeren, zoals:
Eenvoudig en snel cluster maken: gebruikers kunnen binnen enkele minuten Slurm-clusters maken in Azure door een paar eenvoudige stappen in de GUI te volgen. Dit moet worden vergeleken met dagen of weken werk in het verleden zonder Azure CycleCloud-werkruimte voor Slurm. Gebruikers kunnen kiezen uit verschillende grootten en typen virtuele Azure-machines en de clusterinstellingen aanpassen, zoals het aantal knooppunten, de netwerkconfiguratie, de opslagopties van Azure NetApp Files naar Azure Managed Lustre Filesystem en de Slurm-parameters.
Flexibele en dynamische clusterbeheer: Slurm-clusters worden omhoog of omlaag geschaald door Azure CycleCloud. Gebruikers kunnen ook de clusterstatus, prestaties en gebruik bewaken en de clusterlogboeken en metrische gegevens weergeven in de GUI. Gebruikers kunnen hun Slurm-clusters ook verwijderen wanneer ze niet meer nodig zijn en alleen betalen voor de resources die ze gebruiken.
Hoe maak ik een Azure CycleCloud-werkruimte voor Slurm?
Azure CycleCloud-werkruimte voor Slurm kan worden geïmplementeerd vanuit Azure Marketplace of met behulp van de Azure CLI. Als u wilt implementeren vanuit Marketplace, zoekt u eerst naar Slurm en klikt u vervolgens op de knop Maken. Als u wilt implementeren met de Azure CLI, moet u eerst een invoerparameterbestand maken en vervolgens implementeren met behulp van de opdracht az deployment sub create. Gedetailleerde instructies vindt u hier Een CycleCloud Slurm Workspace-omgeving implementeren met behulp van de CLI-
Welke Azure CycleCloud-werkruimte voor Slurm is niet?
Azure CycleCloud-werkruimte voor Slurm is geen PaaS-service: de hele infrastructuur wordt geïmplementeerd in uw tenant, waardoor u alles (greenfield-implementatie) kunt implementeren of bestaande resources kunt opgeven die opnieuw moeten worden gebruikt (brownfield-implementatie), zoals de doelresourcegroep, het virtuele netwerk, Azure NetApp Files en meer.
Hoe een Azure CycleCloud-werkruimte voor een geïmplementeerde Slurm-omgeving eruitziet
overzichtsarchitectuur 
Hier volgt de typische architectuur van wat wordt geïmplementeerd door Azure CycleCloud Workspace voor Slurm. Er zijn verplichte resources zoals een virtuele machine voor het uitvoeren van CycleCloud, een gedeeld bestandssysteem voor de basismappen van gebruikers, een opslagaccount voor CycleCloud-projectenopslag.
Het virtuele netwerk kan worden geïmplementeerd door Azure CycleCloud-werkruimte voor Slurm of een bestaande waarin resources worden gemaakt. Optioneel wordt er een Azure Managed Lustre-bestandssysteem gemaakt in een eigen subnet.
Als uw bedrijfsbeveiligingsregels geen openbaar IP-adres toestaan (en veel wel), kunt u een vnet-peering maken naar een bestaand virtueel netwerk in een normaal hub- en spoke-patroon. De hub bevat vervolgens alle connectiviteitsservices, zoals een virtuele netwerkgateway of een Azure Bastion.
Ten slotte is in een niet-openbaar IP-adres geen VPN-omgeving een Bastion vereist en biedt alle beveiligde connectiviteit om verbinding te maken met de CycleCloud-webportal en SSH in de aanmeldingsknooppunten.