Instalowanie zależności notesu

Zależności języka Python można zainstalować dla notesów bezserwerowych przy użyciu panelu bocznego Środowisko . Ten panel zawiera jedno miejsce do edytowania, wyświetlania i eksportowania wymagań dotyczących biblioteki notesu. Te zależności można dodawać przy użyciu środowiska podstawowego lub indywidualnie.

Aby zapoznać się z zadaniami spoza notesu, zobacz Konfigurowanie środowisk i zależności dla zadań innych niż notes.

Ważne

Nie należy instalować narzędzia PySpark ani żadnej biblioteki, która instaluje narzędzie PySpark jako zależność od notesów bezserwerowych. Spowoduje to zatrzymanie sesji i wystąpienie błędu. W takim przypadku zresetuj środowisko.

Konfigurowanie środowiska podstawowego

Środowisko podstawowe to plik YAML przechowywany jako plik obszaru roboczego lub wolumin wykazu aparatu Unity, który określa dodatkowe zależności środowiska. Środowiska podstawowe mogą być współużytkowane przez notesy. Aby skonfigurować środowisko podstawowe:

1. Utwórz plik YAML, który definiuje ustawienia dla środowiska wirtualnego języka Python. Poniższy przykład YAML oparty na specyfikacji środowiska projektów MLflow definiuje środowisko podstawowe z kilkoma zależnościami biblioteki:

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - my-library==6.1
     - "/Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl"
     - git+https://github.com/databricks/databricks-cli
   

2. Przekaż plik YAML jako plik obszaru roboczego lub do woluminu wykazu aparatu Unity. Zobacz Importowanie pliku lub Przekazywanie plików do woluminu wykazu aparatu Unity.

3. Po prawej stronie notesu kliknij przycisk , aby rozwinąć panel Środowisko . Ten przycisk jest wyświetlany tylko wtedy, gdy notes jest połączony z obliczeniami bezserwerowymi.

4. W polu Środowisko podstawowe wprowadź ścieżkę przekazanego pliku YAML lub przejdź do niego i wybierz go.

5. Kliknij Zastosuj. Spowoduje to zainstalowanie zależności w środowisku wirtualnym notesu i ponowne uruchomienie procesu języka Python.

Użytkownicy mogą zastąpić zależności określone w środowisku podstawowym, instalując zależności indywidualnie.

Konfigurowanie środowiska notesu

Zależności można również zainstalować w notesie połączonym z obliczeniami bezserwerowym przy użyciu karty Zależności panelu Środowisko:

1. Po prawej stronie notesu kliknij przycisk , aby rozwinąć panel Środowisko . Ten przycisk jest wyświetlany tylko wtedy, gdy notes jest połączony z obliczeniami bezserwerowymi.
2. Wybierz obraz klienta z listy rozwijanej Wersja klienta. Zobacz Obrazy klientów bezserwerowych. Usługa Databricks zaleca wybranie najnowszej wersji, aby uzyskać najbardziej aktualne funkcje notesu.
3. W sekcji Zależności kliknij pozycję Dodaj zależność i wprowadź ścieżkę zależności biblioteki w polu. Zależność można określić w dowolnym formacie prawidłowym w pliku requirements.txt .
4. Kliknij Zastosuj. Spowoduje to zainstalowanie zależności w środowisku wirtualnym notesu i ponowne uruchomienie procesu języka Python.

Uwaga

Zadanie korzystające z obliczeń bezserwerowych spowoduje zainstalowanie specyfikacji środowiska notesu przed wykonaniem kodu notesu. Oznacza to, że nie ma potrzeby dodawania zależności podczas planowania notesów jako zadań. Zobacz Konfigurowanie środowisk i zależności.

Wyświetlanie zainstalowanych zależności i dzienników

Aby wyświetlić zainstalowane zależności, kliknij pozycję Zainstalowane w panelu bocznym Środowiska dla notesu. Dzienniki instalacji dla środowiska notesu są również dostępne, klikając pozycję Dzienniki w dolnej części panelu.

Resetowanie środowiska

Jeśli notes jest połączony z obliczeniami bezserwerowymi, usługa Databricks automatycznie buforuje zawartość środowiska wirtualnego notesu. Oznacza to, że zwykle nie trzeba ponownie instalować zależności języka Python określonych w panelu Środowisko po otwarciu istniejącego notesu, nawet jeśli został odłączony z powodu braku aktywności.

Buforowanie środowiska wirtualnego języka Python dotyczy również zadań. Oznacza to, że kolejne uruchomienia zadań są szybsze, ponieważ wymagane zależności są już dostępne.

Uwaga

Jeśli zmienisz implementację niestandardowego pakietu języka Python używanego w zadaniu bezserwerowym, musisz również zaktualizować jego numer wersji, aby zadania mogły pobrać najnowszą implementację.

Aby wyczyścić pamięć podręczną środowiska i przeprowadzić nową instalację zależności określonych w panelu Środowisko notesu dołączonego do obliczeń bezserwerowych, kliknij strzałkę obok pozycji Zastosuj , a następnie kliknij pozycję Resetuj środowisko.

Uwaga

Zresetuj środowisko wirtualne, jeśli zainstalujesz pakiety powodujące przerwanie lub zmianę podstawowego notesu lub środowiska platformy Apache Spark. Odłączanie notesu od bezserwerowych obliczeń i ponowne dołączanie go niekoniecznie powoduje wyczyszczenie całej pamięci podręcznej środowiska.

Konfigurowanie środowisk i zależności dla zadań innych niż notes

W przypadku innych obsługiwanych typów zadań, takich jak skrypt języka Python, koło języka Python lub zadania dbt, domyślne środowisko zawiera zainstalowane biblioteki języka Python. Aby wyświetlić listę zainstalowanych bibliotek, zobacz sekcję Zainstalowane biblioteki języka Python używanej wersji klienta. Zobacz Obrazy klientów bezserwerowych. Jeśli zadanie wymaga biblioteki języka Python, która nie jest zainstalowana, możesz zainstalować bibliotekę z plików obszaru roboczego, woluminów wykazu aparatu Unity lub repozytoriów pakietów publicznych. Aby dodać bibliotekę podczas tworzenia lub edytowania zadania:

1. W menu rozwijanym Środowisko i biblioteki kliknij obok środowiska domyślnego lub kliknij pozycję + Dodaj nowe środowisko.

   

2. Wybierz obraz klienta z listy rozwijanej Wersja klienta. Zobacz Obrazy klientów bezserwerowych. Usługa Databricks zaleca wybranie najnowszej wersji, aby uzyskać najbardziej aktualne funkcje.

3. W oknie dialogowym Konfigurowanie środowiska kliknij pozycję + Dodaj bibliotekę.

4. Wybierz typ zależności z menu rozwijanego w obszarze Biblioteki.

5. W polu tekstowym Ścieżka pliku wprowadź ścieżkę do biblioteki.

• W przypadku koła języka Python w pliku obszaru roboczego ścieżka powinna być bezwzględna i zaczynać się od /Workspace/.

• W przypadku koła języka Python w woluminie wykazu aparatu Unity ścieżka powinna być /Volumes/<catalog>/<schema>/<volume>/<path>.whlnastępująca: .

• requirements.txt W przypadku pliku wybierz pozycję PyPi i wprowadź .-r /path/to/requirements.txt

  

1. Kliknij pozycję Potwierdź lub + Dodaj bibliotekę, aby dodać kolejną bibliotekę .
2. Jeśli dodajesz zadanie, kliknij pozycję Utwórz zadanie. Jeśli edytujesz zadanie, kliknij pozycję Zapisz zadanie.