Udostępnij za pośrednictwem

Uruchamianie poleceń powłoki w terminalu internetowym usługi Azure Databricks

  • Artykuł

Terminal internetowy usługi Azure Databricks zapewnia wygodny i wysoce interaktywny sposób uruchamiania poleceń powłoki w interfejsie wiersza polecenia(CLI), w tym polecenia interfejsu wiersza polecenia usługi Databricks, w celu programowego wykonywania akcji dotyczących obiektów usługi Databricks. Jest to szczególnie przydatne w przypadku zaawansowanych przypadków użycia, takich jak operacje wsadowe na wielu plikach, które istniejące interfejsy użytkownika mogą nie obsługiwać w pełni.

Wielu użytkowników może używać terminalu internetowego w jednym obliczeniach.

Aby wykonać następujące czynności, możesz użyć terminalu internetowego:

  • Wprowadź szybkie edycje plików przy użyciu narzędzia Vim lub Emacs.
  • Monitorowanie użycia zasobów przy użyciu poleceń, takich jak htop (użycie klastra) lub nvidia-smi (użycie procesora GPU).
  • Uruchamianie skryptów języka Python spoza platformy Spark.
  • Wykonaj operacje na plikach za pomocą poleceń powłoki, takich jak mv i mkdir.
  • Instalowanie bibliotek obliczeniowych i zarządzanie nimi.
  • Użyj interfejsu wiersza polecenia usługi Databricks, aby zautomatyzować różne aspekty usługi Azure Databricks.

Wymagania

Ostrzeżenie

Usługa Azure Databricks proxy obsługuje usługę terminalu internetowego z portu 7681 na sterowniku spark obliczeń. Ten internetowy serwer proxy jest przeznaczony tylko do użytku z terminalem internetowym. Jeśli port jest zajmowany podczas uruchamiania obliczeń lub występuje jakiś konflikt, terminal internetowy może nie działać zgodnie z oczekiwaniami. Jeśli inne usługi internetowe są uruchamiane na porcie 7681, użytkownicy obliczeniowi mogą być narażeni na potencjalne luki w zabezpieczeniach. Ani usługa Databricks, ani firma Microsoft nie są odpowiedzialne za żadne problemy wynikające z instalacji nieobsługiwanego oprogramowania na obliczeniach.

  • Terminal sieci Web jest domyślnie wyłączony dla wszystkich użytkowników obszaru roboczego. Aby ją włączyć, zobacz Włączanie terminalu internetowego.
  • MOŻE DOŁĄCZAĆ UPRAWNIENIA DO zasobów obliczeniowych.
  • Środowisko obliczeniowe musi używać trybu dostępu pojedynczego użytkownika lub braku udostępnionej izolacji.

Uruchamianie terminalu internetowego

Terminal internetowy można uruchomić ze strony szczegółów obliczeniowych lub notesu.

Z notesu

Aby uruchomić terminal internetowy z notesu:

  1. Połącz notes z obliczeniami.
  2. W dolnej części prawego paska bocznego notesu kliknij ikonę Otwieranie dolnego panelu w notesieOtwórz dolny panel .
  3. Alternatywnie kliknij dołączoną listę rozwijaną obliczeniową, umieść kursor nad dołączonym obliczeniam, a następnie kliknij pozycję Terminal internetowy.

Terminal internetowy zostanie otwarty w panelu w dolnej części ekranu. Przyciski w prawym górnym rogu panelu umożliwiają:

  • Otwórz nową sesję terminalu na nowej karcie otwórz nową sesję terminalu.
  • Załaduj ponownie sesję ponowne ładowanie sesji terminaluterminalu .
  • Zamknij dolny panel zamknij dolny panel. Aby ponownie otworzyć panel, kliknij otwórz ponownie panel dolny w dolnej części prawego paska bocznego.

Na stronie szczegółów obliczeń

Aby uruchomić terminal internetowy ze strony szczegółów obliczeniowych:

  1. Na pasku bocznym obszaru roboczego kliknij pozycję Obliczenia.
  2. Na karcie Obliczenia ogólnego przeznaczenia kliknij nazwę obliczeń.
  3. Kliknij przycisk Start , aby uruchomić obliczenia.
  4. Na karcie Aplikacje kliknij pozycję Terminal internetowy.

Zostanie otwarta nowa karta z interfejsem użytkownika terminalu internetowego i monitem powłoki Bash.

Korzystanie z terminalu internetowego

W terminalu internetowym można uruchamiać polecenia z katalogu głównego wewnątrz kontenera węzła sterownika obliczeniowego.

Każdy użytkownik może mieć maksymalnie 100 aktywnych sesji terminalu sieci Web (kart). Bezczynne sesje terminalu sieci Web mogą upłynął limit czasu, a aplikacja internetowa terminalu sieci Web zostanie ponownie połączona, co spowoduje nowy proces powłoki. Jeśli chcesz zachować sesję powłoki Bash, usługa Databricks zaleca korzystanie z narzędzia tmux.

Uruchamianie poleceń interfejsu wiersza polecenia usługi Databricks

Możesz również użyć terminalu internetowego do uruchamiania poleceń interfejsu wiersza polecenia usługi Databricks. Dostępny interfejs wiersza polecenia jest zawsze najnowszą wersją, a uwierzytelnianie jest oparte na bieżącym użytkowniku. Obliczenia muszą spełniać następujące wymagania:

  • Klaster musi mieć zainstalowane środowisko Databricks Runtime 15.0 lub nowsze.
  • Obszar roboczy nie może być włączony dla usługi Private Link.

Uruchom terminal internetowy i uruchom następujące polecenie, aby wyświetlić informacje o bieżącym użytkowniku:

   databricks current-user me

Dostępne są również polecenia pakietu, które umożliwiają tworzenie pakietów zasobów usługi Databricks i zarządzanie nimi bezpośrednio z poziomu terminalu internetowego w obszarze roboczym usługi Databricks. Aby na przykład utworzyć, wdrożyć i uruchomić prosty pakiet przy użyciu szablonu domyślnego:

  1. W katalogu głównym terminalu sieci Web przejdź do strony głównej obszaru roboczego i uruchom polecenie bundle init:

    cd /Workspace/Users/someone@example.com
databricks bundle init

  2. Zaakceptuj domyślne monity szablonu, a następnie przejdź do katalogu pakietu i wdróż go:

    cd my_project
databricks bundle deploy

    Pakiet wdrożony my_project można wyświetlić w interfejsie użytkownika obszaru roboczego usługi Databricks.

  3. Na koniec uruchom zadanie domyślne w pakiecie:

    databricks bundle run my_project_job

    Przejdź do pozycji Uruchomienia zadań, aby wyświetlić uruchomione zadanie.

Ograniczenia

  • Usługa Azure Databricks nie obsługuje uruchamiania zadań platformy Spark z poziomu terminalu internetowego.

  • Terminal internetowy usługi Azure Databricks nie jest dostępny w następujących typach obliczeniowych:

    • Obliczenia zadań
    • Bezserwerowe usługi obliczeniowe
    • Obliczenia uruchamiane przy użyciu DISABLE_WEB_TERMINAL=true zestawu zmiennych środowiskowych.
    • Środowisko obliczeniowe uruchomione z trybem dostępu ustawionym na Wartość Udostępniona.
    • Obliczenia uruchomione przy użyciu konfiguracji spark.databricks.pyspark.enableProcessIsolation platformy Spark ustawionej na wartość true.

  • Istnieje sztywny limit 12 godzin od początkowego ładowania strony, po którym zostanie przerwane każde połączenie, nawet jeśli jest aktywne. Aby ponownie nawiązać połączenie, możesz odświeżyć terminal internetowy. Usługa Databricks zaleca używanie narzędzia tmux do zachowania sesji powłoki.

  • Zasoby obliczeniowe usługi ARM nie mogą używać terminali internetowych do uzyskiwania dostępu do plików obszarów roboczych, w tym plików w folderach Git.

  • Włączenie usługi Docker Container Services powoduje wyłączenie terminalu internetowego.