2022 февраля
Эти функции и улучшения платформы Azure Databricks были выпущены в феврале 2022 г.
Примечание.
Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.
Более простое планирование потоков обработки данных Delta Live Tables (Общедоступная предварительная версия)
28 февраля–2 марта 2022 г.
Теперь вы можете создать запланированное задание Azure Databricks для активированных конвейеров непосредственно из пользовательского интерфейса Delta Live Tables. Ранее нужно было создавать задание и расписание его выполнения в интерфейсе заданий.
С легкостью просматривайте журнал обновлений конвейера Delta Live Tables (общедоступная предварительная версия)
28 февраля–2 марта 2022 г.
Теперь вы можете просмотреть журнал обновлений конвейера, а также состояние обновления, подробности и события с помощью раскрывающегося списка Журнал обновлений в пользовательском интерфейсе Delta Live Tables.
Обеспечение идемпотентности задания для запроса на немедленное выполнение API заданий
22–28 февраля 2022 года, версия 3.66
Теперь можно использовать дополнительный параметр idempotency_token в сочетании с операцией Run now в API заданий, чтобы обеспечить, что задание запустится точно один раз. Ранее в результате отправки нескольких запросов Run now для одного задания, возможно, выполнялось бы несколько запусков.
Дополнительные сведения об идемпотентности заданий см. в статье Как обеспечить идемпотентность для заданий.
Улучшения стабильности и масштабируемости службы заданий
22–28 февраля 2022 года, версия 3.66
Следующие изменения увеличивают стабильность и масштабируемость Службы заданий:
- Каждое новое задание назначается более длинным, уникальным, числовым, не последовательным идентификатором. Клиенты, использующие API заданий , и зависящие от фиксированной длины идентификатора или последовательного или монотонного увеличения идентификаторов, необходимо изменить, чтобы принимать идентификаторы, которые являются более длинными, не последовательными и неупорядоченными. Тип идентификатора
int64остается неизменным, и совместимость сохраняется для клиентов, использующих номера с плавающей запятой IEEE 754 64-разрядных, например клиентов JavaScript. - Значение поля
number_in_job, включенного в ответ на некоторые запросы API заданий, теперь имеет то же значение, что иrun_id.
Сравнение выполнений MLflow из разных экспериментов
22–28 февраля 2022 года, версия 3.66
Теперь доступно отображение и сравнение данных выполнений нескольких экспериментов. Дополнительные сведения см. в этом подразделе.
Улучшения в отображении выполнений сравнения MLflow
22–28 февраля 2022 года, версия 3.66
Улучшено отображение при сравнении выполнений. Теперь визуализации отображаются вверху страницы. Теперь можно прокрутить или свернуть таблицы, в которые отображаются сведения о выполнении, параметры и метрики. Теперь можно также упростить отображение, скрывая параметры и метрики, которые не зависят от запусков.
Сведения о странице сравнения запусков см. в разделе "Сравнение запусков". Инструкции по сравнению выполнений см. в подразделе Сравнение запусков.
Улучшение видимости владельцев выполнения заданий в пользовательском интерфейсе кластеров
22–28 февраля 2022 года, версия 3.66
Обновлена вкладка Кластеры заданий в интерфейсе вычислений. Запуск задания от имени владельца обновлен, и теперь здесь отображается Запуск задания от имени пользователя. Это обновление основано на изменениях модели разрешений заданий и обеспечивает улучшенную видимость владельца запуска задания. Просмотр вычислений.
Удаление столбцов набора данных в AutoML
22–28 февраля 2022 года, версия 3.66
В Databricks Runtime 10.3 ML и более поздних версиях для проблем классификации и регрессии теперь можно указать столбцы в наборе данных, который AutoML не должен использовать для обучения. См . справочник по API Python AutoML.
Страница экспериментов стала общедоступной
22–28 февраля 2022 года, версия 3.66
Страница экспериментов теперь общедоступна.
Поддержка временных таблиц в интерфейсе Python delta Live Tables
22–28 февраля 2022 года, версия 3.66
Теперь можно использовать свойство temporary при объявлении таблиц с помощью интерфейса Python Delta Live Tables. Определение временной таблицы указывает Delta Live Table не сохранять метаданные для таблицы и запрещает публикацию таблицы при настройке параметра target. См. спецификацию Python для получения информации о определении таблиц Python.
Улучшения пользовательского интерфейса для Delta Live Tables (публичная предварительная версия)
22–28 февраля 2022 года, версия 3.66
Этот выпуск включает следующие улучшения пользовательского интерфейса Delta Live Tables:
- Теперь вы можете изменить настройки потока данных в окне диалога "Параметры " в пользовательском интерфейсе Delta Live Tables, что обеспечивает более удобный интерфейс. Ранее изменение параметров ограничивалось редактированием спецификации JSON. Чтобы выбрать представление интерфейса или JSON для изменения параметров конвейера, нажмите кнопку пользовательского интерфейса или JSON на диалоговом окне Параметры.
- В журнале событий на странице сведений о конвейере теперь выделяются записи об ошибках, что упрощает выявление и устранение ошибок в конвейерах.
- Улучшено отображение хода выполнения конвейеров. Теперь при просмотре графа для конвейера у узлов в состоянии
RUNNINGотображаются анимированные входящие ребра и верхняя грань.
Databricks Runtime 9.0 — прекращение поддержки
17 февраля 2022 г.
Поддержка Databricks Runtime 9.0 и Databricks Runtime 9.0 для Машинного обучения закончилась 17 февраля. См. статью "Жизненные циклы поддержки Databricks".
обновления целевой страницы Обработка и анализ данных и инженерии
10 февраля 2022 г.
Мы обновили внешний вид и ощущение целевой страницы Обработка и анализ данных и инженерии. Некоторые ссылки изменились, но других важных изменений в функциях нет.
Databricks Repos теперь поддерживают AWS CodeCommit для интеграции с Git
7—14 февраля 2022 г.: версия 3.65
Теперь имеется возможность использовать репозитории AWS CodeCommit с Databricks Repos.
Улучшенная визуализация конвейеров Delta Live Tables (общедоступная предварительная версия)
7—14 февраля 2022 г.: версия 3.65
Визуализация конвейера DAG доработана для удобства использования и навигации. Улучшения включают изменение отображения графов слева направо, а не сверху вниз, что обеспечивает более интуитивное представление выполнения конвейера.
Обновление средства синтаксического анализа Markdown
7—14 февраля 2022 г.: версия 3.65
Обновлено средство синтаксического анализа Markdown, используемое в записных книжках Azure Databricks. Исправлены некоторые проблемы, отмеченные в предыдущего обновления. В частности, больше не нужно размещать пробел между хэштегами и текстом заголовка, а ссылки с пробелами теперь отображаются правильно.
Delta Live Tables теперь поддерживает обработку данных с фиксацией изменений (открытая предварительная версия)
7—14 февраля 2022 г.: версия 3.65
Теперь вы можете реализовать обработку отслеживания измененных данных (CDC) в конвейерах Delta Live Tables. Обработка CDC поддерживается с помощью интерфейсов SQL и Python. См. API APPLY CHANGES: упрощение захвата изменений данных с помощью Delta Live Tables.
Дополнительные хранилища метаданных теперь доступны в нескольких регионах
8 февраля 2022 г.
Теперь в следующих регионах доступны следующие хранилища метаданных:
brazilsouth:
consolidated-brazilsouth-prod-metastore.mysql.database.azure.com
centralus:
consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com
eastus:
consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-3.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com
eastus2
consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com
francecentral
consolidated-francecentral-prod-metastore.mysql.database.azure.com
northeurope
consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com
southeastasia
consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com
switzerlandnorth
consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com
switzerlandwest
consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com
uksouth
consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com
westeurope
consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com
Всегда следует включать все соответствующие имена узлов для каждого региона, используемого в определяемых пользователем маршрутах (UDR). См. Определяемые пользователем параметры маршрута для Azure Databricks.
Выбор платформ алгоритмов для использования с AutoML
7—14 февраля 2022 г.: версия 3.65
В Databricks Runtime 10.3 ML и более поздних версиях можно указать платформы алгоритмов, например, scikit-learn, которые AutoML не следует учитывать при разработке моделей. По умолчанию AutoML использует модели от scikit-learn, XGBoost и LightGBM для проблем классификации и регрессии и модели от Prophet и Auto-ARIMA для прогнозирования проблем. См . справочник по API Python AutoML.
Поиск признаков из Интернет-магазинов в моделях MLflow, размещенных в Databricks
3 февраля 2022 г.
Модели, упакованные с метаданными Хранилища признаков, могут автоматически просматривать значения признаков из онлайн-хранилищ при обслуживании.
Databricks Runtime 10.3 и 10.3 ML находятся в общем доступе; 10.3 Photon — это общедоступная предварительная версия
2 февраля 2022 г.
Databricks Runtime 10.3 и Databricks Runtime 10.3 ML теперь являются общедоступными. Databricks Runtime 10.3 Photon — в общедоступной предварительной версии.