Заметки о выпуске компонентов пакета ресурсов Databricks

В этой статье содержатся сведения о выпусках основных новых и предстоящих функций и изменений пакетов активов Databricks . Функции пакета выпускаются с помощью интерфейса командной строки Databricks. Полный список обновлений см. в заметках о выпуске репозитория репозитория GitHub Databricks CLI.

Изменение поведения

Следующие изменения поведения пакетов активов Databricks были выпущены в выпуске CLI Databricks.

Предупреждение о том, что пакеты, развернутые для общего доступа с конфликтующими разрешениями

23 октября 2024 г.

Это изменение было выпущено с помощью Databricks CLI 0.231.0.

Теперь предупреждение возникает при развертывании /Workspace/Shared пакета в папку, доступную всем пользователям, но верхний уровень permissions , определенный для пакета, конфликтует с этим. Измените разрешения, определенные для пакета, или переместите пакет из /Workspace/Shared папки.

Чтобы изменить разрешения для пакета, ознакомьтесь с разрешениями.

Чтобы переместить пакет из /Workspace/Shared папки, измените workspace.root_path конфигурацию пакета на новое расположение, а затем повторно разверните пакет. Удалите старую папку пакета с помощью пользовательского интерфейса или выполнив команду databricks fs rm.

Пути к рабочей области теперь автоматически префиксированы

9 октября 2024 г.

Это изменение было выпущено в Databricks CLI 0.230.0.

Пути к рабочей области теперь автоматически префиксируются /Workspace. Кроме того, все строки пути, такие как /Workspace/${workspace.root_path}/... в конфигурации пакета, автоматически заменяются ${workspace.root_path}/... и будут создавать предупреждение в составе bundle validate.

Если вы указали настраиваемый workspace.root_pathпакет ресурсов ( workspace.artifact_pathили workspace.file_path) Databricks, он автоматически префиксирует его /Workspace, но если вы используете любую из них в качестве переменных (например, my_config_path: /Workspace/${workspace.file_path}/config), необходимо обновить эти записи, чтобы удалить /Workspace префикс, чтобы избежать предупреждения.

Если вы передаете одну из этих переменных и префиксов в коде, необходимо обновить код, чтобы это не сделать.

Это изменение требуется, так как изначально, когда файловая система рабочей области была корневая и / дома каталоги находились под /Users, чтобы получить доступ к путям рабочей области через REST API Databricks, вы будете использовать эти пути напрямую. Чтобы получить доступ к путям рабочей области из кода, можно также /Workspaceиспользовать путь к файлу /Workspace/Users и домашние каталоги. Чтобы избежать двойной степени путей рабочей области, а также неоднозначности между путями рабочей области и путями каталога /Volumes Unity, все пути к рабочей области префиксируются с /Workspaceпрефиксом.

Новые возможности

Следующие функции и обновления пакетов активов Databricks были выпущены в выпуске CLI Databricks.

Поддержка томов

5 декабря 2024 г.

Эта функция была выпущена в версии Databricks CLI 0.236.0.

Теперь вы можете создавать тома Unity Catalog, используя Databricks Asset Bundles, определяя ресурс тома в конфигурации вашего пакета. См. том (каталог Unity).

Поиск значений переменных для мест назначения уведомлений

5 декабря 2024 г.

Эта функция была введена вместе с Databricks CLI 0.236.0.

Теперь поиск переменных поддерживает назначение уведомлений. См. получение значения идентификатора объекта.

Поддержка панели мониторинга

30 октября 2024 г.

Эта функция была выпущена в Databricks CLI 0.232.0.

Теперь панели мониторинга AI/BI можно управлять в конфигурации пакета с помощью нового типа ресурса панели мониторинга. Вы можете создать конфигурацию панели мониторинга с помощью bundle generate dashboard и сохранить локальную и удаленную версию панели мониторинга в синхронизации с --force параметрами и --watch параметрами. См . панель мониторинга и создание файла конфигурации пакета.

Сведения о панелях мониторинга AI/BI см. в разделе "Панели мониторинга".

Команда сводки нового пакета

23 октября 2024 г.

Эта функция была выпущена с помощью Databricks CLI 0.231.0.

Добавлена новая bundle summary команда. Эта команда выводит сводку по удостоверениям и ресурсам пакета, включая глубокие ссылки для ресурсов, чтобы легко перейти к ресурсу в рабочей области Databricks. См . сводку по выводу пакета.

Поддержка создания кластеров всех назначений

1 октября 2024 г.

Эта функция была выпущена с помощью Databricks CLI 0.229.0.

Теперь вы можете создать кластеры всех назначений в конфигурации пакета с помощью нового типа ресурса кластера. См . раздел "Кластер".

Запрос на восстановление конвейера "Новые динамические таблицы Delta Live Tables" и флаг автоматического утверждения

5 сентября 2024 г.

Эта функция была выпущена с помощью Databricks CLI 0.228.0.

Теперь появится запрос, если есть изменения конфигурации пакета, которые привели бы к повторному созданию конвейера Delta Live Tables. Запрос можно пропустить, указав --auto-approve флаг.

Добавлена поддержка ресурса схемы каталога Unity

31 июля 2024 г.

Эта функция была выпущена с помощью Databricks CLI 0.225.0.

Теперь схемы каталога Unity можно определить в конфигурации пакета. См. схему (каталог Unity).

Команды пакета в веб-терминале

4 июля 2024 г.

Эта функция была выпущена с помощью Databricks CLI 0.223.0.

Теперь вы можете взаимодействовать с пакетами с помощью интерфейса командной строки Databricks из веб-терминала. Сведения об использовании веб-терминала см. в разделе "Выполнение команд оболочки" в веб-терминале Azure Databricks.

Добавлена поддержка сложных переменных

26 июня 2024 г.

Эта функция была выпущена с помощью Интерфейса командной строки Databricks версии 0.222.0.

Пакеты ресурсов Databricks теперь поддерживают сложные переменные. См. раздел "Определение сложной переменной".

Наборы активов Databricks общедоступен

23 апреля 2024 г.

В выпуске Databricks CLI 0.218.0 теперь доступны пакеты ресурсов Databricks.