Co to jest wystąpienie obliczeniowe usługi Azure Machine Learning?
Wystąpienie obliczeniowe usługi Azure Machine Learning to zarządzana stacja robocza oparta na chmurze dla analityków danych. Każde wystąpienie obliczeniowe ma tylko jednego właściciela, chociaż można udostępniać pliki między wieloma wystąpieniami obliczeniowymi.
Wystąpienia obliczeniowe ułatwiają rozpoczęcie programowania w usłudze Azure Machine Learning oraz zapewnianie możliwości zarządzania i gotowości przedsiębiorstwa dla administratorów IT.
Użyj wystąpienia obliczeniowego jako w pełni skonfigurowanego i zarządzanego środowiska programistycznego w chmurze na potrzeby uczenia maszynowego. Mogą być one również używane jako cel obliczeniowy na potrzeby trenowania i wnioskowania na potrzeby programowania i testowania.
Aby funkcja jupyter wystąpienia obliczeniowego działała, upewnij się, że komunikacja z gniazdami internetowymi nie jest wyłączona. Upewnij się, że sieć zezwala na połączenia z *.instances.azureml.net oraz *.instances.azureml.ms.
Ważne
Elementy oznaczone (wersja zapoznawcza) w tym artykule są obecnie dostępne w publicznej wersji zapoznawczej. Wersja zapoznawcza jest udostępniana bez umowy dotyczącej poziomu usług i nie jest zalecana w przypadku obciążeń produkcyjnych. Niektóre funkcje mogą być nieobsługiwane lub ograniczone. Aby uzyskać więcej informacji, zobacz Uzupełniające warunki korzystania z wersji zapoznawczych platformy Microsoft Azure.
Dlaczego warto używać wystąpienia obliczeniowego?
Wystąpienie obliczeniowe to w pełni zarządzana stacja robocza oparta na chmurze zoptymalizowana pod kątem środowiska deweloperskiego uczenia maszynowego. Oferuje następujące korzyści:
| Główne korzyści | opis |
|---|---|
| Produktywność | Modele można tworzyć i wdrażać przy użyciu zintegrowanych notesów i następujących narzędzi w usłudze Azure Machine Learning Studio: - Jupyter - JupyterLab - VS Code (wersja zapoznawcza) Wystąpienie obliczeniowe jest w pełni zintegrowane z obszarem roboczym i programem Studio usługi Azure Machine Learning. Notesy i dane można udostępniać innym analitykom danych w obszarze roboczym. |
| Zarządzane i bezpieczne | Zmniejsz poziom zabezpieczeń i dodaj zgodność z wymaganiami dotyczącymi zabezpieczeń przedsiębiorstwa. Wystąpienia obliczeniowe zapewniają niezawodne zasady zarządzania i bezpieczne konfiguracje sieci, takie jak: — Automatyczne aprowizowanie z szablonów usługi Resource Manager lub zestawu Azure Machine Learning SDK - Kontrola dostępu na podstawie ról na platformie Azure (Azure RBAC) - Obsługa sieci wirtualnej — Zasady platformy Azure wyłączają dostęp SSH — Zasady platformy Azure w celu wymuszenia tworzenia w sieci wirtualnej - Automatyczne zamykanie/automatyczne uruchamianie na podstawie harmonogramu — Włączono protokół TLS 1.2 |
| Wstępnie skonfigurowane dla uczenia maszynowego | Oszczędzaj czas na zadaniach konfiguracji ze wstępnie skonfigurowanymi i aktualnymi pakietami uczenia maszynowego, strukturami uczenia głębokiego, sterownikami procesora GPU. |
| W pełni dostosowywalny | Szeroka obsługa typów maszyn wirtualnych platformy Azure, w tym procesorów GPU i utrwalonego dostosowywania niskiego poziomu, takich jak instalowanie pakietów i sterowników, sprawia, że zaawansowane scenariusze są proste. Możesz również użyć skryptów instalacyjnych, aby zautomatyzować dostosowywanie |
- Zabezpiecz wystąpienie obliczeniowe bez publicznego adresu IP.
- Wystąpienie obliczeniowe jest również bezpiecznym celem obliczeniowym trenowania podobnym do klastrów obliczeniowych, ale jest to pojedynczy węzeł.
- Możesz samodzielnie utworzyć wystąpienie obliczeniowe lub administrator może utworzyć wystąpienie obliczeniowe w Twoim imieniu.
- Możesz również użyć skryptu konfiguracji do zautomatyzowanego sposobu dostosowywania i konfigurowania wystąpienia obliczeniowego zgodnie z potrzebami.
- Aby zaoszczędzić na kosztach, utwórz harmonogram automatycznego uruchamiania i zatrzymywania wystąpienia obliczeniowego lub włączanie bezczynnego zamykania
Narzędzia i środowiska
Wystąpienie obliczeniowe usługi Azure Machine Learning umożliwia tworzenie, trenowanie i wdrażanie modeli w w pełni zintegrowanym środowisku notesu w obszarze roboczym.
Notesy można uruchamiać z obszaru roboczego usługi Azure Machine Learning, jupyter, JupyterLab lub Visual Studio Code. Program VS Code Desktop można skonfigurować do uzyskiwania dostępu do wystąpienia obliczeniowego. Możesz też użyć programu VS Code dla sieci Web, bezpośrednio z przeglądarki i bez wymaganych instalacji lub zależności.
Zalecamy wypróbowanie programu VS Code dla sieci Web, aby skorzystać z łatwej integracji i rozbudowanego środowiska programistycznego, które zapewnia. Program VS Code dla sieci Web udostępnia wiele funkcji programu VS Code Desktop, które kochasz, w tym wyróżnianie wyszukiwania i składni podczas przeglądania i edytowania. Aby uzyskać więcej informacji na temat używania programu VS Code Desktop i programu VS Code dla sieci Web, zobacz Uruchamianie programu Visual Studio Code zintegrowanego z usługą Azure Machine Learning (wersja zapoznawcza) i Praca w programie VS Code zdalnie połączona z wystąpieniem obliczeniowym (wersja zapoznawcza).
Pakiety można instalować i dodawać jądra do wystąpienia obliczeniowego.
Następujące narzędzia i środowiska są już zainstalowane w wystąpieniu obliczeniowym:
| Ogólne narzędzia i środowiska | Szczegóły |
|---|---|
| Sterowniki | CUDAcuDNNNVIDIABlob FUSE |
| Biblioteka Intel MPI | |
| Interfejs wiersza polecenia platformy Azure | |
| Przykłady usługi Azure Machine Learning | |
| Docker | |
| Nginx | |
| NCCL 2.0 | |
| Protobuf |
| Narzędzia i środowiska języka R | Szczegóły |
|---|---|
| Jądro języka R |
Podczas tworzenia wystąpienia można dodać program RStudio lub Posit Workbench (dawniej RStudio Workbench ).
| Narzędzia i środowiska języka PYTHON | Szczegóły |
|---|---|
| Anaconda Python | |
| Jupyter i rozszerzenia | |
| Jupyterlab i rozszerzenia | |
| Azure Machine Learning SDK for Python from PyPI (for Python from PyPI) |
Obejmuje usługę azure-ai-ml i wiele typowych dodatkowych pakietów platformy Azure. Aby wyświetlić pełną listę, otwórz okno terminalu w wystąpieniu obliczeniowym i uruchom polecenie conda list -n azureml_py310_sdkv2 ^azure |
| Inne pakiety PyPI | jupytexttensorboardnbconvertnotebookPillow |
| Pakiety Conda | cythonnumpyipykernelscikit-learnmatplotlibtqdmjoblibnodejs |
| Pakiety uczenia głębokiego | PyTorchTensorFlowKerasHorovodMLFlowpandas-mlscrapbook |
| Pakiety ONNX | keras2onnxonnxonnxconverter-commonskl2onnxonnxmltools |
| Przykłady języka Python dla usługi Azure Machine Learning |
Wystąpienie obliczeniowe ma ubuntu jako podstawowy system operacyjny.
Uzyskiwanie dostępu do plików
Notesy i skrypty języka Python są przechowywane na domyślnym koncie magazynu obszaru roboczego w udziale plików platformy Azure. Te pliki znajdują się w katalogu "Pliki użytkownika". Ten magazyn ułatwia udostępnianie notesów między wystąpieniami obliczeniowymi. Konto magazynu zapewnia również bezpieczne zachowanie notesów po zatrzymaniu lub usunięciu wystąpienia obliczeniowego.
Konto udziału plików platformy Azure obszaru roboczego jest instalowane jako dysk w wystąpieniu obliczeniowym. Ten dysk jest domyślnym katalogem roboczym dla aplikacji Jupyter, Jupyter Labs, RStudio i Posit Workbench. Oznacza to, że notesy i inne pliki tworzone w programach Jupyter, JupyterLab, VS Code dla sieci Web, RStudio lub Posit są automatycznie przechowywane w udziale plików i są dostępne do użycia w innych wystąpieniach obliczeniowych.
Pliki w udziale plików są dostępne ze wszystkich wystąpień obliczeniowych w tym samym obszarze roboczym. Wszelkie zmiany w tych plikach w wystąpieniu obliczeniowym są niezawodnie utrwalane z powrotem do udziału plików.
Możesz również sklonować najnowsze przykłady usługi Azure Machine Learning do folderu w katalogu plików użytkownika w udziale plików obszaru roboczego.
Zapisywanie małych plików może być wolniejsze na dyskach sieciowych niż zapisywanie na samym dysku lokalnym wystąpienia obliczeniowego. Jeśli piszesz wiele małych plików, spróbuj użyć katalogu bezpośrednio w wystąpieniu obliczeniowym /tmp , takim jak katalog. Zwróć uwagę, że pliki w wystąpieniu obliczeniowym nie są dostępne z innych wystąpień obliczeniowych.
Nie przechowuj danych szkoleniowych w udziale plików notesów. Aby uzyskać informacje na temat różnych opcji przechowywania danych, zobacz Access data in a job (Uzyskiwanie dostępu do danych w zadaniu).
Na potrzeby danych tymczasowych możesz użyć katalogu /tmp w wystąpieniu obliczeniowym. Nie zapisuj jednak dużych plików danych na dysku systemu operacyjnego wystąpienia obliczeniowego. Dysk systemu operacyjnego w wystąpieniu obliczeniowym ma pojemność 120 GB. Możesz również przechowywać tymczasowe dane treningowe na dysku tymczasowym zainstalowanym na /mnt. Rozmiar dysku tymczasowego zależy od wybranego rozmiaru maszyny wirtualnej. Jeśli wybrano maszynę wirtualną o większym rozmiarze, umożliwia on przechowywanie większych ilości danych. Wszystkie instalowane pakiety oprogramowania są zapisywane na dysku systemu operacyjnego wystąpienia obliczeniowego. Pamiętaj, że szyfrowanie kluczy zarządzanych przez klienta nie jest obecnie obsługiwane dla dysku systemu operacyjnego. Dysk systemu operacyjnego dla wystąpienia obliczeniowego jest szyfrowany przy użyciu kluczy zarządzanych przez firmę Microsoft.
Można natomiast instalować magazyny danych i zestawy danych.
Utworzenie
Wykonaj kroki opisane w temacie Tworzenie zasobów, które należy rozpocząć , aby utworzyć podstawowe wystąpienie obliczeniowe.
Aby uzyskać więcej opcji, zobacz tworzenie nowego wystąpienia obliczeniowego.
Jako administrator możesz utworzyć wystąpienie obliczeniowe dla innych osób w obszarze roboczym. Logowanie jednokrotne musi być wyłączone dla takiego wystąpienia obliczeniowego.
Możesz również użyć skryptu instalacyjnego, aby zautomatyzować sposób dostosowywania i konfigurowania wystąpienia obliczeniowego.
Inne sposoby tworzenia wystąpienia obliczeniowego:
- Bezpośrednio ze zintegrowanego środowiska notesów.
- Z szablonu usługi Azure Resource Manager. Przykładowy szablon można znaleźć w szablonie tworzenia wystąpienia obliczeniowego usługi Azure Machine Learning.
- Za pomocą zestawu SDK usługi Azure Machine Learning
- Z poziomu rozszerzenia interfejsu wiersza polecenia dla usługi Azure Machine Learning
Dedykowane rdzenie na region na limit przydziału rodziny maszyn wirtualnych i łączny przydział regionalny, który ma zastosowanie do tworzenia wystąpienia obliczeniowego, jest ujednolicony i współużytkowany z limitem przydziału klastra obliczeniowego trenowania usługi Azure Machine Learning. Zatrzymanie wystąpienia obliczeniowego nie zwalnia limitu przydziału, aby upewnić się, że możesz ponownie uruchomić wystąpienie obliczeniowe. Nie należy zatrzymywać wystąpienia obliczeniowego za pośrednictwem terminalu systemu operacyjnego, wykonując zamknięcie programu sudo.
Wystąpienie obliczeniowe działa na dysku systemu operacyjnego P10. Typ dysku tymczasowego zależy od wybranego rozmiaru maszyny wirtualnej. Obecnie nie można zmienić typu dysku systemu operacyjnego.
Docelowy zasób obliczeniowy
Wystąpienia obliczeniowe mogą być używane jako docelowy obiekt obliczeniowy trenowania podobny do klastrów trenowania obliczeń usługi Azure Machine Learning. Jednak wystąpienie obliczeniowe ma tylko jeden węzeł, a klaster obliczeniowy może mieć więcej węzłów.
Wystąpienie obliczeniowe:
- Ma kolejkę zadań.
- Uruchamia zadania bezpiecznie w środowisku sieci wirtualnej bez konieczności otwierania portu SSH przez przedsiębiorstwa. Zadanie jest wykonywane w środowisku konteneryzowanym i pakuje zależności modelu w kontenerze platformy Docker.
- Może równolegle uruchamiać wiele małych zadań. Jedno zadanie na procesor wirtualny może działać równolegle, podczas gdy pozostałe zadania są kolejkowane.
- Obsługuje zadania trenowania rozproszonego z wieloma procesorami GPU z jednym węzłem
Wystąpienie obliczeniowe można użyć jako lokalnego celu wdrożenia wnioskowania na potrzeby scenariuszy testowania/debugowania.
Napiwek
Wystąpienie obliczeniowe korzysta z dysku systemu operacyjnego o pojemności 120 GB. Jeśli zabraknie miejsca na dysku i przejdziesz do stanu bezużytecznego, wyczyść co najmniej 5 GB miejsca na dysku systemu operacyjnego (zainstalowanego na /) za pośrednictwem terminalu wystąpienia obliczeniowego, usuwając pliki/foldery, a następnie wykonaj polecenie sudo reboot. Dysk tymczasowy zostanie zwolniony po ponownym uruchomieniu; nie trzeba ręcznie czyścić miejsca na dysku tymczasowym. Aby uzyskać dostęp do terminalu, przejdź do strony listy zasobów obliczeniowych lub strony szczegółów wystąpienia obliczeniowego i kliknij link Terminal . Możesz sprawdzić dostępne miejsce na dysku, uruchamiając polecenie df -h w terminalu. Przed wykonaniem operacji sudo reboot wyczyść co najmniej 5 GB miejsca. Nie należy zatrzymywać ani ponownie uruchamiać wystąpienia obliczeniowego za pośrednictwem programu Studio, dopóki nie zostanie wyczyszczone 5 GB miejsca na dysku. Automatyczne zamykanie, w tym zaplanowane uruchamianie lub zatrzymywanie, a także zamykanie w stanie bezczynności nie będzie działać, jeśli dysk wystąpienia obliczeniowego będzie pełny.
Powiązana zawartość
- Utwórz zasoby, które należy rozpocząć.
- Samouczek: trenowanie pierwszego modelu uczenia maszynowego pokazuje, jak używać wystąpienia obliczeniowego ze zintegrowanym notesem.