Что такое расширение Databricks для Visual Studio Code?

Расширение Databricks для Visual Studio Code позволяет подключаться к удаленным рабочим областям Azure Databricks из интегрированной среды разработки Visual Studio Code (IDE), работающей на локальном компьютере разработки. Затем можно:

• Определите, разверните и запустите пакеты ресурсов Databricks для применения шаблонов CI/CD и рекомендаций к заданиям Azure Databricks, конвейерам DLT и MLOps Stacks с помощью пользовательского интерфейса Visual Studio Code. Ознакомьтесь с разделами Что такое Databricks Asset Bundles? и Функции расширения Databricks Asset Bundles.
• Запустите локальные файлы кода Python из Visual Studio Code в кластерах Azure Databricks или бессерверных вычислительных ресурсов в удаленных рабочих областях. См. запуск файла Python в кластере.
• Запускайте локальные файлы кода Python (.py) и блокноты Python, R, Scala и SQL (.py, .ipynb, .r, .scala, и .sql) из Visual Studio Code в качестве заданий Azure Databricks в удаленных рабочих областях. См. статью "Запуск файла Python в качестве задания".
• Настройте среду отладки и Databricks Connect с помощью простого контрольного списка, который вызывает диалоги выбора. См. отладку кода с помощью Databricks Connect для расширения Databricks для Visual Studio Code.
• Отладка записных книжек по ячейкам в Visual Studio Code с помощью Databricks Connect. См. Запуск и отладка ячеек ноутбука с помощью Databricks Connect с использованием расширения Databricks для Visual Studio Code.
• Синхронизируйте локальный код, разрабатываемый в Visual Studio Code, с кодом в удаленных рабочих областях. См. раздел Синхронизация папки рабочей области с Databricks

Примечание.

Расширение Databricks для Visual Studio Code поддерживает выполнение записных книжек R, Scala и SQL в качестве автоматизированных заданий, но не обеспечивает более глубокую поддержку этих языков в Visual Studio Code.

Начало работы

Чтобы приступить к работе с расширением Databricks для Visual Studio Code, выполните следующие действия.

• Установите расширение.
• Создайте новый проект Databricks или преобразуйте существующий проект Visual Studio Code.
• Легко настройте проект с помощью пользовательского интерфейса расширения Databricks.
• Запустите код Python в рамках руководства по расширению.
• Отлаживайте ваш код с помощью интеграции Databricks Connect.
• Тестирование кода с помощью pytest. См. сведения о выполнении тестов с pytest с помощью расширения Databricks для Visual Studio Code.

Создание проекта Databricks

После установки расширения можно создать проект Databricks с помощью расширения Databricks для Visual Studio Code:

1. Запустите Visual Studio Code.
2. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть расширение.
3. Щелкните Создать новый проект.
4. В палитре команд выберите хост и метод аутентификации для проекта. См. настройка авторизации расширения Databricks для Visual Studio Code.
5. В Укажите путь к папке, в которой вы хотите, чтобы новый проект был, введите путь к папке на локальном компьютере разработки, где вы хотите создать проект, или щелкните Открыть диалоговое окно выбора папок и выберите путь к папке проекта.
6. Чтобы использовать шаблон в представлении инициализации проекта Databricks, используйте стрелки вверх и вниз для выбора шаблона, а затем нажмите клавишу ВВОД. Сведения о шаблонах проектов пакетов см. в разделе Шаблоны проектов пакетов Databricks Asset.
7. Введите уникальное имя для этого проекта или оставьте имя my_projectпроекта по умолчанию, а затем нажмите клавишу ВВОД.
8. Выберите, следует ли добавить заглушку (пример) записной книжки, заглушку (пример) потока DLT или заглушку (пример) пакета Python в проект, или любую комбинацию этих заглушек (примеров).
9. Нажмите любую клавишу, чтобы закрыть вкладку редактора Databricks Project Init.
10. Для Выберите проект, который вы хотите открыть, выберите только что созданный проект.

Откройте существующий проект Databricks Asset Bundles

В проекте Databricks Asset Bundles в корневой папке проекта содержится databricks.yml файл. См. сведения о конфигурации пакета активов Databricks. Если вы хотите использовать расширение с существующим проектом наборов активов Databricks:

1. Запустите Visual Studio Code. В главном меню щелкните "Открыть папку">и перейдите в каталог, содержащий проект пакета.

2. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть и начать использование функций расширения.

   Если расширение Databricks для Visual Studio Code обнаруживает несколько проектов наборов ресурсов Databricks в текущей папке, он позволяет открыть проект или создать файл конфигурации проекта в корневой папке.

   

   • Если вы выбрали проект, в командной палитревыберите существующий проект Databricks Asset Bundles.
   • При создании конфигурации в корневой папке эта папка становится проектом пакета.

3. Выберите хост и метод проверки подлинности для проекта. См. настройка авторизации расширения Databricks для Visual Studio Code.

Примечание.

При открытии проекта, созданного с помощью расширения Databricks для Visual Studio Code версии 1, миграция выполняется автоматически с помощью существующей конфигурации проверки подлинности и рабочей области проекта. Кнопка миграции доступна только в том случае, если автоматическая миграция не удалась.

Переключайтесь между проектами Databricks

Расширение Databricks для Visual Studio Code позволяет иметь несколько проектов Databricks в рабочей области Visual Studio Code и легко переключаться между ними. При открытом многопакетном проекте в рабочей области Visual Studio Code:

1. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть расширение.

2. Нажмите локальную папку, чтобы выбрать проект для расширения.

   

Примечание.

Действия запуска доступны только для файлов в активном пакете.

Преобразование проекта в проект Databricks

Если у вас есть существующий проект, который вы хотите преобразовать в проект Databricks:

1. Запустите Visual Studio Code. В главном меню щелкните "Открыть папку">и перейдите к проекту, чтобы открыть его.
2. Щелкните значок Databricks на боковой панели Visual Studio Code, чтобы открыть расширение.
3. Нажмите кнопку " Создать конфигурацию".
4. В Палитре команд выберите хост и метод проверки подлинности для проекта. См. настройка авторизации расширения Databricks для Visual Studio Code.