Köra och felsöka notebook-celler med Databricks Connect med databricks-tillägget för Visual Studio Code

Du kan köra och felsöka notebook-filer, en cell i taget eller alla celler samtidigt och se deras resultat i Visual Studio Code-användargränssnittet med hjälp av Databricks-tillägget för Visual Studio Code Databricks Connect-integrering. All kod körs lokalt, medan all kod som involverar DataFrame-åtgärder körs på klustret på den fjärranslutna Azure Databricks-arbetsytan och kör svar skickas tillbaka till den lokala anroparen. All kod kopplas från lokalt, medan all Spark-kod fortsätter att köras på klustret på den fjärranslutna Azure Databricks-arbetsytan. Spark-motorns kärnkod kan inte kopplas direkt från klienten.

Kommentar

Den här funktionen fungerar med Databricks Runtime 13.3 och senare.

Om du vill aktivera Databricks Connect-integrering för notebook-filer i Databricks-tillägget för Visual Studio Code måste du installera Databricks Connect i Databricks-tillägget för Visual Studio Code. Se Felsöka kod med Databricks Connect för Databricks-tillägget för Visual Studio Code.

Köra Python Notebook-celler

För notebook-filer med filnamn som har ett .py tillägg visas knapparna Kör cell, Kör ovan och Felsökningscell när du öppnar anteckningsboken i Visual Studio Code IDE. När du kör en cell visas resultatet på en separat flik i IDE. När du felsöker visar cellen som debuggas knapparna Fortsätt, Stoppa och Steg över . När du felsöker en cell kan du använda Visual Studio Code-felsökningsfunktioner som att titta på variablers tillstånd och visa anropsstacken och felsökningskonsolen.

För notebook-filer med filnamn som har ett .ipynb tillägg innehåller notebook-filen och dess celler ytterligare funktioner när du öppnar anteckningsboken i Visual Studio Code IDE. Se Köra celler och Arbeta med kodceller i Anteckningsboksredigeraren.

Mer information om notebook-format för filnamn med tilläggen .py och .ipynb finns i Exportera och importera Databricks-notebook-filer.

Köra Python Jupyter noteboook-celler

Så här kör eller felsöker du en Python Jupyter-notebook-fil (.ipynb):

1. I projektet öppnar du den Python Jupyter-notebook-fil som du vill köra eller felsöka. Kontrollera att Python-filen är i Jupyter Notebook-format och har tillägget .ipynb.

   Dricks

   Du kan skapa en ny Python Jupyter-anteckningsbok genom att >köra kommandot Skapa: Ny Jupyter Notebook från kommandopaletten.

2. Klicka på Kör alla celler för att köra alla celler utan felsökning. Kör cell för att köra en enskild motsvarande cell utan felsökning eller Kör efter rad för att köra en enskild cell rad för rad med begränsad felsökning, med variabelvärden som visas i panelen Jupyter (View > Open View > Jupyter).

   För fullständig felsökning i en enskild cell sätter du brytpunkter och klickar sedan på Felsök cell på menyn bredvid cellens knapp Kör.

   När du har klickat på något av de här alternativen kan du uppmanas att installera python Jupyter-paketberoenden som saknas. Klicka för att installera.

   Mer information finns i Jupyter Notebooks i VS Code.

Globala notebook-filer

Följande globala notebook-filer är också aktiverade:

• spark, som representerar en instans av databricks.connect.DatabricksSession, är förkonfigurerad för att instansiera DatabricksSession genom att hämta autentiseringsuppgifter för Azure Databricks från tillägget. Om DatabricksSession redan har instansierats i en notebook-cellskod används de här DatabricksSession inställningarna i stället. Se Kodexempel för Databricks Connect för Python.

• udf, förkonfigurerad som ett alias för pyspark.sql.functions.udf, vilket är ett alias för Python-UDF:er. Se pyspark.sql.functions.udf.

• sql, förkonfigurerad som ett alias för spark.sql. spark, som beskrevs tidigare, representerar en förkonfigurerad instans av databricks.connect.DatabricksSession. Se Spark SQL.

• dbutils, förkonfigurerad som en instans av Databricks Utilities, som importeras från databricks-sdk och instansieras genom att autentiseringsuppgifter för Azure Databricks hämtas från tillägget. Se Använda Databricks-verktyg.

  Kommentar

  Endast en delmängd av Databricks Utilities stöds för notebook-filer med Databricks Connect.

  Om du vill aktivera dbutils.widgetsmåste du först installera Databricks SDK för Python genom att köra följande kommando i terminalen för den lokala utvecklingsdatorn:

  pip install 'databricks-sdk[notebook]'
  

• display, förkonfigurerad som ett alias för jupyter-inbyggda IPython.display.display. Se IPython.display.display.

• displayHTML, förkonfigurerad som ett alias för dbruntime.display.displayHTML, som är ett alias för display.HTML från ipython. Se IPython.display.html.

Notebook-magi

Följande notebook-magi aktiveras också:

• %fs, vilket är samma sak som att göra dbutils.fs anrop. Se Blanda språk.

• %sh, som kör ett kommando med hjälp av cellmagi %%script på den lokala datorn. Detta kör inte kommandot på den fjärranslutna Azure Databricks-arbetsytan. Se Blanda språk.

• %md och %md-sandbox, som kör cellmagi %%markdown. Se Blanda språk.

• %sql, som kör spark.sql. Se Blanda språk.

• %pip, som körs pip install på den lokala datorn. Detta körs pip install inte på den fjärranslutna Azure Databricks-arbetsytan. Se Hantera bibliotek med %pip-kommandon.

• %run, som kör en annan notebook-fil. Se Orkestrera anteckningsböcker och modularisera kod i anteckningsböcker.

  Kommentar

  Om du vill aktivera %runmåste du först installera nbformat-biblioteket genom att köra följande kommando i terminalen för den lokala utvecklingsdatorn:

  pip install nbformat
  

Ytterligare funktioner som är aktiverade är:

• Spark DataFrames konverteras till Pandas DataFrames, som visas i Jupyter-tabellformat.

Begränsningar

Begränsningar för att köra celler i notebook-filer i Visual Studio Code är:

• Notebook-filerna magiska %r och %scala stöds inte och visar ett fel om det anropas. Se Blanda språk.
• Notebook-%sql stöder inte vissa DML-kommandon, till exempel Visa tabeller.