Использование Visual Studio Code с Databricks Connect для Python

Примечание.

В этой статье рассматриваются Databricks Connect для Databricks Runtime 13.3 LTS и более поздних версий.

В этой статье описывается, как использовать Databricks Connect для Python с Visual Studio Code. Databricks Connect позволяет подключать популярные идентификаторы, серверы записных книжек и другие пользовательские приложения к кластерам Azure Databricks. См. раздел "Что такое Databricks Connect?". Сведения о версии Scala этой статьи см. в разделе "Использование Visual Studio Code с Databricks Connect для Scala".

Примечание.

Прежде чем начать использовать Databricks Connect, необходимо настроить клиент Databricks Connect.

Совет

Расширение Databricks для Visual Studio Code уже имеет встроенную поддержку Databricks Connect для Databricks Runtime 13.3 LTS и выше. См . код отладки с помощью Databricks Connect для расширения Databricks для Visual Studio Code.

Чтобы использовать Databricks Connect с Visual Studio Code и Python, следуйте этим инструкциям.

1. Запустите Visual Studio Code.

2. Откройте папку, содержащую виртуальную среду Python (открыть файл>).

3. В терминале Visual Studio Code (просмотр > терминала) активируйте виртуальную среду.

4. Задайте для текущего интерпретатора Python значение, на которое ссылается виртуальная среда:

   1. В палитре команд (> команд представления) введите Python: Select Interpreterи нажмите клавишу ВВОД.
   2. Выберите путь к интерпретатору Python, на который ссылается виртуальная среда.

5. Добавьте в папку файл кода Python,.py содержащий пример кода или собственный код. При использовании собственного кода необходимо инициализировать DatabricksSession , как показано в примере кода.

6. Чтобы запустить код, нажмите кнопку "Выполнить > без отладки" в главном меню. Весь код Python выполняется локально, в то время как весь код PySpark с участием операций DataFrame выполняется в кластере в удаленной рабочей области Azure Databricks и ответы запуска отправляются обратно в локальный вызывающий объект.

7. Чтобы выполнить отладку кода, выполните следующие действия.

   1. При открытии файла кода Python задайте все точки останова, в которых код будет приостановлен во время выполнения.
   2. Щелкните значок "Запуск и отладка" на боковой панели или нажмите кнопку "Просмотреть > запуск" в главном меню.
   3. В представлении "Запуск и отладка " нажмите кнопку "Запуск и отладка ".
   4. Следуйте инструкциям на экране, чтобы начать выполнение и отладку кода.

   Весь код Python отлаживается локально, а весь код PySpark продолжает работать в кластере в удаленной рабочей области Azure Databricks. Основной код ядра Spark engine не может быть отлаживаем непосредственно от клиента.

Дополнительные инструкции по выполнению и отладке см. в разделе "Настройка и запуск отладчика " и отладки Python в VS Code.