2022 января

Эти функции и улучшения платформы Azure Databricks были выпущены в январе 2022 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Веб-перехватчики реестра моделей MLflow в Azure Databricks (общедоступная предварительная версия)

31 января 2022 г.

Теперь можно использовать веб-перехватчики для прослушивания событий реестра моделей MLflow и активации действий на их основе. Например, можно использовать веб-перехватчики для автоматизации и интеграции конвейера машинного обучения с существующими инструментами и рабочими процессами CI/CD, запускать сборки CI при создании новой версии модели или уведомлять членов группы через Slack, когда есть запрос на переход модели в рабочую среду.

Критическое изменение: токен идемпотентности кластера очищается при завершении работы кластера

26 января 2022 г.

Начиная с 14 февраля 2022 года, будет изменено управление кластером Azure Databricks: при завершении работы кластера маркеры идемпотентности удаляются. Это изменение необходимо для повышения надежности непрерывного управления кластерами.

Необходимо обновить всех клиентов или скрипты, которые зависят от маркера идемпотентности, чтобы он продолжал действовать после завершения кластера. При отправке запроса на создание кластера с помощью маркера идемпотентности, который не назначен ни одному из работающих кластеров в рабочей области, создается новый кластер.

Ниже описаны процессы, происходившие до этого изменения:

createCluster(idempotencyToken = tokenA) // launches new cluster A
terminateCluster(cluster A) // idempotency token tokenA is still associated with the terminated cluster A
startCluster(cluster = A)

createCluster(idempotencyToken = tokenA) // returns the currently running cluster A

Ниже показаны новые процессы:

createCluster(idempotencyToken = tokenA) // launches new cluster A
terminateCluster(cluster A) // idempotencyToken token tokenA is cleared from the cluster A configuration
startCluster(cluster A)

createCluster(idempotencyToken = tokenA) // launches new cluster B

Databricks Runtime 10.3 (бета-версия)

26 января 2022 г.

Databricks Runtime 10.3, 10.3 Photon и 10.3 ML теперь доступны в виде бета-версий.

См. полные заметки о выпуске в Databricks Runtime 10.3 (EoS) и Databricks Runtime 10.3 для машинного обучения (EoS).

Просмотр сведений о последних выполнениях заданий

25 января 2022 г.

Теперь можно просматривать запущенные и недавно завершенные задания в режиме реального времени на странице Запуски заданий в пользовательском интерфейсе заданий Azure Databricks. См. Последние запуски заданий для всех задач.

Использование Markdown в редакторе файлов Databricks Repos

25–31 января 2022 г.: версия 3.64

В редакторе файлов репозитория Databricks теперь можно просматривать файлы markdown. Дополнительные сведения см. в разделе интеграции Git для папок Databricks Git.

Улучшение управления кластерами для заданий, которые оркестрируют несколько задач

24 января 2022 г.

Теперь можно повторно использовать кластеры заданий в заданиях, координирующих несколько задач. Повторное использование кластера позволяет сократить потребление ресурсов кластера за счет использования одного кластера для выполнения разных задач в запущенном задании. См. раздел обзор оркестрации в системе Databricks.

Прекращение поддержки Databricks Runtime 8.3 и Databricks Runtime 8.4

20 января 2022 г.

Поддержка Databricks Runtime 8.3, Databricks Runtime 8.3 для машинного обучения, Databricks Runtime 8.4 и Databricks Runtime 8.4 для машинного обучения закончилась 20 января. См. статью "Жизненные циклы поддержки Databricks".

Драйвер Databricks JDBC 2.6.22

18 января 2022 г.

Мы выпустили версию 2.6.22 драйвера JDBC Databricks (загрузить). В этом выпуске библиотека log4j обновлена до версии 2.17.1 и удалена зависимость slf4j-log4j12.

Дополнительные хранилища метаданных теперь доступны в нескольких регионах

12 января 2022 г.

Теперь в следующих регионах доступны следующие хранилища метаданных:

centralusc2:

• consolidated-centralusc2-prod-metastore-1.mysql.database.azure.com
• consolidated-centralusc2-prod-metastore-2.mysql.database.azure.com
• consolidated-centralusc2-prod-metastore-3.mysql.database.azure.com

eastus2c2:

• consolidated-eastus2c2-prod-metastore-1.mysql.database.azure.com
• consolidated-eastus2c2-prod-metastore-2.mysql.database.azure.com
• consolidated-eastus2c2-prod-metastore-3.mysql.database.azure.com

eastusc3:

• consolidated-eastusc3-prod-metastore-1.mysql.database.azure.com
• consolidated-eastusc3-prod-metastore-2.mysql.database.azure.com
• consolidated-eastusc3-prod-metastore-3.mysql.database.azure.com

Всегда следует включать все соответствующие имена узлов для каждого региона, используемого в определяемых пользователем маршрутах (UDR). См. Определяемые пользователем параметры маршрута для Azure Databricks.

Кнопка "Создать общий ресурс" заменяет значок "Разрешения" в записных книжках

10–18 января 2022 г.: версия 3.63

Чтобы изменить разрешения для записной книжки, используйте новую кнопку Общий доступ в пользовательском интерфейсе записной книжки или выберите разрешения в раскрывающемся меню. Значок разрешений на панели инструментов записной книжки удален. Дополнительные сведения о настройке разрешений записной книжки см. в статье "Совместная работа с помощью записных книжек Databricks".

Новые параметры языка рабочей области

10 января 2022 г.

Теперь рабочие области доступны на следующих языках:

• Deutsch
• Italiano
• 日本語
• 한국어

Дополнительные хранилища метаданных теперь доступны в нескольких регионах

4 января 2022 г.

Теперь в следующих регионах доступны следующие хранилища метаданных:

northeuropec2:

• consolidated-northeuropec2-prod-metastore-1.mysql.database.azure.com
• consolidated-northeuropec2-prod-metastore-2.mysql.database.azure.com
• consolidated-northeuropec2-prod-metastore-3.mysql.database.azure.com

westeuropec2:

• consolidated-westeuropec2-prod-metastore-1.mysql.database.azure.com
• consolidated-westeuropec2-prod-metastore-2.mysql.database.azure.com
• consolidated-westeuropec2-prod-metastore-3.mysql.database.azure.com

Всегда следует включать все соответствующие имена узлов для каждого региона, используемого в определяемых пользователем маршрутах (UDR). См. Определяемые пользователем параметры маршрута для Azure Databricks.