Co to jest obszar roboczy usługi Azure CycleCloud dla programu Slurm?
Slurm jest jednym z najpopularniejszych i powszechnie używanych menedżerów obciążeń typu open source dla sztucznej inteligencji/HPC i przetwarzania w chmurze. Narzędzie Slurm umożliwia użytkownikom uruchamianie aplikacji równoległych i rozproszonych na dużą skalę w zestawie węzłów obliczeniowych oraz udostępnia funkcje, takie jak planowanie zadań, zarządzanie zasobami, odporność na uszkodzenia i zarządzanie energią. Slurm jest używany przez wiele najlepszych na świecie superkomputerów, instytutów badawczych, uniwersytetów i przedsiębiorstw.
Jednak konfigurowanie klastrów Slurm w chmurze i zarządzanie nimi może być trudne i czasochłonne, zwłaszcza dla użytkowników, którzy nie znają środowiska chmury lub konfiguracji Slurm. Użytkownicy muszą zajmować się zadaniami, takimi jak aprowizowanie i skalowanie węzłów obliczeniowych, instalowanie i aktualizowanie oprogramowania Slurm, konfigurowanie sieci i magazynu, monitorowanie kondycji i wydajności klastra oraz rozwiązywanie problemów. Te zadania mogą rozpraszać użytkowników od podstawowych celów badawczych lub biznesowych oraz zmniejszyć produktywność i wydajność obciążeń sztucznej inteligencji/HPC.
Azure CycleCloud Workspace for Slurm to szablon rozwiązania witryny Azure Marketplace, który umożliwia użytkownikom łatwe tworzenie, konfigurowanie i wdrażanie wstępnie zdefiniowanych klastrów Slurm za pomocą rozwiązania CycleCloud na platformie Azure bez konieczności wcześniejszej wiedzy na temat platformy Azure lub slurm. Klastry Slurm zostaną wstępnie skonfigurowane przy użyciu PMix v4, Pyxis i enroot do obsługi konteneryzowanych zadań sztucznej inteligencji/HPC Slurm. Użytkownicy mogą uzyskać dostęp do aprowizowanego węzła logowania przy użyciu protokołu SSH lub programu Visual Studio Code w celu wykonywania typowych zadań, takich jak przesyłanie zadań programu Slurm i zarządzanie nimi.
Chociaż usługa Azure CycleCloud już umożliwia wykonanie niektórych z tych czynności, nie wdraża infrastruktury sztucznej inteligencji/HPC. Użytkownicy muszą zajmować się zadaniami, takimi jak instalowanie i konfigurowanie usługi CycleCloud, konfigurowanie sieci i magazynu oraz tworzenie i konfigurowanie klastra Slurm. Obszar roboczy usługi Azure CycleCloud dla programu Slurm wykonuje te zadania w szablonie rozwiązania witryny Marketplace, który można wdrożyć bezpośrednio z witryny Azure Portal lub za pośrednictwem interfejsu wiersza polecenia platformy Azure. Będziesz gotowy w minutach, a nie w dniach lub tygodniach.
Jakie są zalety usługi Azure CycleCloud Workspace for Slurm?
Usługa Azure CycleCloud to doskonałe rozwiązanie, gdy chcesz utworzyć środowisko sztucznej inteligencji/HPC na platformie Azure, aby podnieść i przenieść niektóre lokalne obciążenie sztucznej inteligencji/HPC lub utworzyć nowe. Jednak tworzenie pełnego kompleksowego środowiska sztucznej inteligencji/HPC nie jest łatwym zadaniem i trzeba będzie zdecydować, w jaki sposób należy zaprojektować sieć, który składnik magazynu ma być używany jako udostępniony system plików, który typ maszyny wirtualnej do uruchamiania obciążenia i wiele małych elementów, które mogą sprawić, że projekt będzie złożony do dostarczenia.
Usługa Azure CycleCloud Workspace for Slurm oferuje kilka korzyści dla użytkowników, którzy chcą uruchamiać obciążenia Slurm na platformie Azure, takie jak:
łatwe i szybkie tworzenie klastra: Użytkownicy mogą tworzyć klastry Slurm na platformie Azure w ciągu kilku minut, wykonując kilka prostych kroków w graficznym interfejsie użytkownika. Należy to porównać do dni lub tygodni pracy w przeszłości bez obszaru roboczego usługi Azure CycleCloud dla programu Slurm. Użytkownicy mogą wybierać spośród różnych rozmiarów i typów maszyn wirtualnych platformy Azure oraz dostosowywać ustawienia klastra, takie jak liczba węzłów, konfiguracja sieci, opcje magazynu z usługi Azure NetApp Files do zarządzanego systemu plików Lustre platformy Azure oraz parametry Slurm.
elastyczne i dynamiczne zarządzanie klastrami: klastry Slurm będą skalowane w górę lub w dół przez usługę Azure CycleCloud. Użytkownicy mogą również monitorować stan klastra, wydajność i wykorzystanie, a także wyświetlać dzienniki klastra i metryki w graficznym interfejsie użytkownika. Użytkownicy mogą również usuwać klastry Slurm, gdy nie są już potrzebne i płacić tylko za używane zasoby.
Jak utworzyć obszar roboczy usługi Azure CycleCloud dla programu Slurm?
Obszar roboczy usługi Azure CycleCloud dla programu Slurm można wdrożyć z witryny Azure Marketplace lub przy użyciu interfejsu wiersza polecenia platformy Azure. Aby wdrożyć z witryny Marketplace, najpierw wyszukaj ciąg Slurm, a następnie kliknij przycisk Utwórz. Aby wdrożyć przy użyciu interfejsu wiersza polecenia platformy Azure, najpierw należy utworzyć plik parametrów wejściowych, a następnie wdrożyć przy użyciu polecenia az deployment sub create. Szczegółowe instrukcje można znaleźć tutaj Jak wdrożyć środowisko obszaru roboczego CycleCloud Slurm przy użyciu interfejsu wiersza polecenia
Co to jest obszar roboczy usługi Azure CycleCloud dla programu Slurm?
Obszar roboczy usługi Azure CycleCloud dla programu Slurm nie jest usługą PaaS: cała infrastruktura zostanie wdrożona w dzierżawie, co pozwoli ci wdrożyć wszystko (wdrożenie greenfield) lub określić istniejące zasoby do ponownego użycia (wdrożenie brownfield), takie jak docelowa grupa zasobów, sieć wirtualna, usługa Azure NetApp Files i inne.
Jak wygląda obszar roboczy usługi Azure CycleCloud dla wdrożonego środowiska osłanianego
architektury przeglądu
Poniżej przedstawiono typową architekturę tego, co zostanie wdrożone przez obszar roboczy usługi Azure CycleCloud dla programu Slurm. Będą wymagane zasoby, takie jak maszyna wirtualna do uruchamiania usługi CycleCloud, udostępniony system plików dla katalogów domowych użytkowników, konto magazynu dla magazynu projektów CycleCloud.
Sieć wirtualną można wdrożyć za pomocą obszaru roboczego usługi Azure CycleCloud dla programu Slurm lub istniejącego, w którym zostaną utworzone zasoby. Opcjonalnie system plików Azure Managed Lustre zostanie utworzony we własnej podsieci.
Jeśli reguły zabezpieczeń firmy nie zezwalają na publiczny adres IP (i wiele z tych elementów), będzie można utworzyć komunikację równorzędną sieci wirtualnych z istniejącą siecią wirtualną w zwykłym wzorcu piasty i szprych. Centrum będzie następnie zawierać wszystkie usługi łączności, takie jak brama sieci wirtualnej lub usługa Azure Bastion.
Na koniec w niepublikalnym adresie IP, bez środowiska sieci VPN usługa Bastion będzie wymagana i zapewni wszystkie zabezpieczone połączenia w celu nawiązania połączenia z portalem internetowym CycleCloud i protokołem SSH w węzłach logowania.