Udostępnij za pośrednictwem

Uruchamianie i debugowanie komórek notesu za pomocą usługi Databricks Connect przy użyciu rozszerzenia usługi Databricks dla programu Visual Studio Code

  • Artykuł

Notesy można uruchamiać i debugować, jedną komórkę jednocześnie lub wszystkie komórki jednocześnie i wyświetlać ich wyniki w interfejsie użytkownika programu Visual Studio Code przy użyciu rozszerzenia Databricks dla integracji programu Visual Studio Code Databricks Connect. Cały kod działa lokalnie, podczas gdy cały kod obejmujący operacje ramki danych jest uruchamiany w klastrze w zdalnym obszarze roboczym usługi Azure Databricks i uruchamiane odpowiedzi są wysyłane z powrotem do lokalnego obiektu wywołującego. Cały kod jest debugowany lokalnie, podczas gdy cały kod Platformy Spark nadal działa w klastrze w zdalnym obszarze roboczym usługi Azure Databricks. Nie można debugować podstawowego kodu aparatu Spark bezpośrednio z klienta.

Uwaga

Ta funkcja działa w środowisku Databricks Runtime 13.3 lub nowszym.

Aby włączyć integrację usługi Databricks Connect dla notesów w rozszerzeniu Databricks dla programu Visual Studio Code, należy zainstalować program Databricks Connect w rozszerzeniu Databricks dla programu Visual Studio Code. Zobacz Debugowanie kodu przy użyciu usługi Databricks Connect dla rozszerzenia usługi Databricks dla programu Visual Studio Code.

Uruchamianie komórek notesu języka Python

W przypadku notesów z nazwami plików, które mają .py rozszerzenie, po otwarciu notesu w środowisku IDE programu Visual Studio Code każda komórka wyświetla przyciski Uruchom komórkę, Uruchom powyżej i Debuguj komórkę . Po uruchomieniu komórki jej wyniki są wyświetlane na osobnej karcie w środowisku IDE. Podczas debugowania komórka debugowana wyświetla przyciski Kontynuuj, Zatrzymaj i Przekroj. Podczas debugowania komórki można użyć funkcji debugowania programu Visual Studio Code, takich jak obserwowanie stanów zmiennych i wyświetlanie stosu wywołań i konsoli debugowania.

W przypadku notesów z nazwami plików, które mają .ipynb rozszerzenie, po otwarciu notesu w środowisku IDE programu Visual Studio Code notes i jego komórki zawierają dodatkowe funkcje. Zobacz Uruchamianie komórek i Praca z komórkami kodu w Edytorze notesów.

Aby uzyskać więcej informacji na temat formatów notesów dla nazw plików z .py rozszerzeniami i .ipynb , zobacz Eksportowanie i importowanie notesów usługi Databricks.

Uruchamianie komórek notatnika Jupyter w języku Python

Aby uruchomić lub debugować notes Jupyter języka Python (.ipynb):

  1. W projekcie otwórz notes Jupyter języka Python, który chcesz uruchomić lub debugować. Upewnij się, że plik języka Python jest w formacie notesu Jupyter i ma rozszerzenie .ipynb.

    Napiwek

    Możesz utworzyć nowy notes Jupyter języka Python, uruchamiając >polecenie Create: New Jupyter Notebook z poziomu palety poleceń.

  2. Kliknij przycisk Uruchom wszystkie komórki, aby uruchomić wszystkie komórki bez debugowania, Wykonaj komórkę, aby uruchomić pojedynczą odpowiednią komórkę bez debugowania lub Uruchom liniowo, aby uruchomić pojedynczą komórkę linia po linii z ograniczoną możliwością debugowania, a zmienna values jest wyświetlana w panelu Jupyter (Widok > Otwórz widok > Jupyter).

    Aby przeprowadzić pełne debugowanie w pojedynczej komórce, ustaw set punkty przerwania, a następnie kliknij Debuguj komórkę w menu obok przycisku Uruchom.

    Po kliknięciu dowolnej z tych opcji może zostać wyświetlony monit o zainstalowanie brakujących zależności pakietu notesu Jupyter w języku Python. Kliknij, aby zainstalować.

    Aby uzyskać więcej informacji, zobacz Jupyter Notebooks in VS Code (Notesy Jupyter w programie VS Code).

Globalne notesy

Następujące globalne notesy są również włączone:

  • spark, reprezentujące instancję databricks.connect.DatabricksSession, jest wstępnie skonfigurowane do utworzenia instancji DatabricksSession poprzez pobranie uwierzytelnienia Azure Databricks credentials z rozszerzenia. Jeśli DatabricksSession w kodzie komórki notesu są już tworzone wystąpienia, te DatabricksSession ustawienia są używane. Zobacz Przykłady kodu dla programu Databricks Connect dla języka Python.

  • udf, wstępnie skonfigurowany jako alias dla pyspark.sql.functions.udf, który jest aliasem dla funkcji UDF języka Python. Zobacz pyspark.sql.functions.udf.

  • sql, wstępnie skonfigurowany jako alias dla .spark.sql spark, zgodnie z wcześniejszym opisem, reprezentuje wstępnie skonfigurowane wystąpienie klasy databricks.connect.DatabricksSession. Zobacz Spark SQL.

  • dbutils, wstępnie skonfigurowane jako wystąpienie narzędzi usługi Databricks, które jest importowane z databricks-sdk i jest tworzone przez pobranie credentials uwierzytelniania usługi Azure Databricks z rozszerzenia. Zobacz Use Databricks Utilities (Korzystanie z narzędzi usługi Databricks).

    Uwaga

    Tylko podzbiór narzędzi usługi Databricks jest obsługiwany w przypadku notesów z usługą Databricks Connect.

    Aby włączyć dbutils.widgetsusługę , musisz najpierw zainstalować zestaw SDK usługi Databricks dla języka Python, uruchamiając następujące polecenie w terminalu lokalnej maszyny deweloperskiej:

    pip install 'databricks-sdk[notebook]'

  • display, wstępnie skonfigurowany jako alias dla wbudowanego IPython.display.displayprogramu Jupyter . Zobacz IPython.display.display.

  • displayHTML, wstępnie skonfigurowany jako alias dla dbruntime.display.displayHTMLelementu , który jest aliasem dla display.HTML elementu z ipython. Zobacz IPython.display.html.

Magie notesu

Włączono również następujące magie notesu:

Dodatkowe funkcje, które są włączone, obejmują:

  • Ramki danych Spark są konwertowane na ramki danych pandas, które są wyświetlane w formacie table Jupyter.

Ograniczenia

Ograniczenia uruchamiania komórek w notesach w programie Visual Studio Code obejmują:

  • Notesy magie %r i %scala nie są obsługiwane i wyświetlają błąd, jeśli zostanie wywołany. Zobacz Mix languages (Mieszanie języków).
  • Czary notatnika %sql nie obsługują niektórych poleceń DML, takich jak Show Tables.