Tworzenie udostępnionej puli maszyn wirtualnych Nauka o danych
W tym artykule dowiesz się, jak utworzyć udostępnioną pulę maszyn wirtualnych Nauka o danych dla zespołu. Korzystanie z puli udostępnionej oferuje ważne korzyści:
- Lepsze wykorzystania zasobów
- Łatwiejsze udostępnianie i współpraca
- Bardziej efektywne zarządzanie zasobami maszyn wirtualnych DSVM
Aby utworzyć pulę maszyn DSVM, można użyć wielu metod i technologii. Ten artykuł koncentruje się na pulach dla interaktywnych maszyn wirtualnych. Alternatywna zarządzana infrastruktura obliczeniowa obejmuje zasoby obliczeniowe usługi Azure Machine Learning. Aby uzyskać więcej informacji, odwiedź stronę Tworzenie klastra obliczeniowego.
Interaktywna pula maszyn wirtualnych
Pula interakcyjnych maszyn wirtualnych, współużytkowanych przez cały zespół ds. sztucznej inteligencji/nauki o danych, oferuje użytkownikom sposób logowania się do dostępnego wystąpienia maszyny WIRTUALNEJ DSVM zamiast mieć dedykowane wystąpienie dla każdego zestawu użytkowników. Takie podejście zapewnia lepszą dostępność i bardziej efektywne wykorzystanie zasobów.
Użyj technologii zestawów skalowania maszyn wirtualnych platformy Azure, aby utworzyć interaktywną pulę maszyn wirtualnych. Użyj zestawów skalowania, aby utworzyć grupę identycznych, zrównoważonych obciążenia i automatycznie skalowanych maszyn wirtualnych oraz zarządzać nimi.
Użytkownik loguje się do adresu IP lub adresu DNS głównej puli. Zestaw skalowania automatycznie kieruje sesję do dostępnej maszyny DSVM w zestawie skalowania. Ponieważ użytkownicy chcą spójnego i znanego środowiska, niezależnie od maszyny wirtualnej, do której się logują, wszystkie wystąpienia maszyny wirtualnej w zestawie skalowania zainstalują udostępniony dysk sieciowy. Jest to podobne do udziału usługi Azure Files lub udziału sieciowego systemu plików (NFS). Udostępniony obszar roboczy użytkownika jest zwykle przechowywany w udostępnionym magazynie plików zainstalowanym w każdym z wystąpień.
Przykładowy szablon usługi Azure Resource Manager, który tworzy zestaw skalowania z wystąpieniami maszyn wirtualnych DSVM z systemem Ubuntu w usłudze GitHub. Ta sama lokalizacja hostuje przykład pliku parametrów szablonu usługi Azure Resource Manager.
Określ wartości pliku parametrów w interfejsie wiersza polecenia platformy Azure, aby utworzyć zestaw skalowania na podstawie szablonu usługi Azure Resource Manager:
az group create --name [[NAME OF RESOURCE GROUP]] --location [[ Data center. For eg: "West US 2"]
az deployment group create --resource-group [[NAME OF RESOURCE GROUP ABOVE]] --template-uri https://raw.githubusercontent.com/Azure/DataScienceVM/master/Scripts/CreateDSVM/Ubuntu/dsvm-vmss-cluster.json --parameters @[[PARAMETER JSON FILE]]
Te polecenia zakładają, że masz następujące założenia:
- Kopia pliku parametrów z wartościami określonymi dla wystąpienia zestawu skalowania
- Liczba wystąpień maszyn wirtualnych
- Wskaźniki do udziału usługi Azure Files
- Poświadczenia dla konta magazynu, które zostanie zainstalowane na każdej maszynie wirtualnej
Polecenia odwołują się lokalnie do pliku parametrów. Możesz również przekazać parametry w tekście lub wyświetlić monit o ich podanie w skrypcie.
Powyższy szablon włącza protokół SSH i port JupyterHub z zestawu skalowania frontonu do puli zaplecza maszyn DSVM z systemem Ubuntu. Jako użytkownik zalogujesz się do maszyny wirtualnej w usłudze Secure Shell (SSH) lub w usłudze JupyterHub w normalny sposób. Ponieważ wystąpienia maszyn wirtualnych można skalować dynamicznie w górę lub w dół, każdy stan musi zostać zapisany w zainstalowanym udziale usługi Azure Files. Możesz użyć tego samego podejścia, aby utworzyć pulę maszyn DSVM z systemem Windows.
Skrypt , który instaluje udział usługi Azure Files, jest również dostępny w repozytorium Azure DataScienceVM w usłudze GitHub. Skrypt instaluje udział usługi Azure Files w określonym punkcie instalacji w pliku parametrów. Skrypt tworzy również miękkie linki do zainstalowanego dysku w katalogu głównym początkowego użytkownika. Katalog notesów specyficzny dla użytkownika w udziale usługi Azure Files jest nietrwały połączony z katalogiem $HOME/notebooks/remote , dzięki czemu użytkownicy mogą uzyskiwać dostęp do notesów Jupyter, uruchamiać je i zapisywać. Możesz użyć tej samej konwencji podczas tworzenia większej liczby użytkowników na maszynie wirtualnej, aby wskazać obszar roboczy Jupyter każdego użytkownika do udziału usługi Azure Files.
Zestawy skalowania maszyn wirtualnych obsługują skalowanie automatyczne. Możesz ustawić reguły dotyczące tego, kiedy utworzyć więcej wystąpień i kiedy skalować wystąpienia w dół. Na przykład można skalować w dół do zera wystąpień, aby zaoszczędzić na kosztach użycia sprzętu w chmurze, gdy maszyny wirtualne nie są w ogóle używane. Strony dokumentacji zestawów skalowania maszyn wirtualnych zawierają szczegółowe kroki skalowania automatycznego.