Поделиться через

Август 2021 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2021 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Общая доступность Databricks Repos

31 августа 2021 г.

Databricks Repos в настоящее время находится в общем доступе. С помощью Repos вы можете создать новые или клонировать существующие репозитории Git в Azure Databricks, работать с записными книжками в этих репозиториях, следовать рекомендациям по разработке и совместной работе на основе Git и интегрировать рабочие процессы CI/CD с API Repos. Databricks Repos интегрируется в GitHub, Bitbucket, GitLab и Azure DevOps. Дополнительные сведения см. в разделе интеграции Git для папок Git Databricks и API Repos.

Увеличенное время ожидания для длительных заданий записных книжек

23—30 авг. 2021 г.: версия 3.53

Теперь вы можете запускать задания рабочих процессов записных книжек, для выполнения которых потребуется до 30 дней. Ранее поддерживались только задания рабочего процесса записных книжек, которые занимали до 48 часов. Дополнительные сведения см. в разделах, посвященных оркестровке записных книжек и модульному коду в записных книжках.

Улучшения стабильности и масштабируемости службы заданий

23—30 авг. 2021 г.: версия 3.53

Следующие изменения увеличивают стабильность и масштабируемость Службы заданий:

  • Каждому новому заданию и выполнению назначаются более длинные, уникальные, числовые, непоследовательные идентификаторы. Клиенты, использующие API заданий и зависящие от фиксированной длины идентификатора или от последовательного или монотонного увеличения идентификаторов, должны быть изменены, чтобы принимать идентификаторы, которые более длинные, непоследовательные и неупорядоченные. Тип идентификатора int64 остается неизменным, и совместимость сохраняется для клиентов, использующих номера с плавающей запятой IEEE 754 64-разрядных, например клиентов JavaScript.
  • Значение поля number_in_job, включённого в ответе на некоторые запросы API заданий, теперь совпадает со значением run_id.

Примечание.

Запуск этой функции был отложен до февраля 2022 года.

Права пользователей, предоставленные членством в группе, отображаются в консоли администратора

23—30 авг. 2021 г.: версия 3.53

Права пользователей, предоставленные членством в группе, теперь отображаются для каждого пользователя на вкладке Пользователи в консоли администрирования.

Управление разрешениями для экспериментов MLflow (общедоступная предварительная версия)

23—30 авг. 2021 г.: версия 3.53

Теперь вы можете управлять разрешениями эксперимента MLflow на странице эксперимента. Дополнительные сведения см. в разделе Изменение разрешений дляэксперимента.

Улучшенное создание заданий из записных книжек

23—30 авг. 2021 г.: версия 3.53

Теперь вы можете редактировать и клонировать задания, связанные с записной книжкой. Дополнительные сведения см. в разделе "Создание запланированных заданий записной книжки и управление ими".

Виртуальные машины серии Ddsv4 (общедоступная предварительная версия)

23—30 авг. 2021 г.: версия 3.53

Azure Databricks теперь поддерживает виртуальные машины серии Ddsv4. Для получения более подробной информации см. Серии Ddv4 и Ddsv4.

Улучшенная поддержка для свертываемых заголовков записных книжек

23—30 авг. 2021 г.: версия 3.53

Теперь вы можете свернуть или развернуть все свертываемые заголовки в записной книжке. Ранее можно было только свернуть или развернуть один заголовок за раз. Для получения более подробной информации см. Сворачиваемые заголовки.

Databricks Runtime 9.0 и 9.0 ML находятся в общем доступе; 9.0 Photon — это общедоступная предварительная версия

17 августа 2021 г.

Databricks Runtime 9.0 и 9.0 ML теперь являются общедоступными. 9.0 Photon — общедоступная предварительная версия.

Дополнительные сведения см. в полных заметках о выпуске в Databricks Runtime 9.0 (EoS) и Databricks Runtime 9.0 для машинного обучения (EoS).

Databricks Runtime 9.0 (бета-версия)

10 августа 2021 г.

Databricks Runtime 9.0 и Databricks Runtime 9.0 ML теперь доступны в виде бета-версий.

Дополнительные сведения см. в полных заметках о выпуске в Databricks Runtime 9.0 (EoS) и Databricks Runtime 9.0 для машинного обучения (EoS).

Программное управление репозиториями с помощью Databricks CLI (общедоступная предварительная версия)

9—16 авг. 2021 г.: версия 3.52

Теперь вы можете управлять удаленными репозиториями Git с помощью интерфейса командной строки (CLI) Databricks. См. интерфейс командной строки Databricks (устаревшая версия).

Программное управление репозиториями с помощью REST API (общедоступная предварительная версия)

9—16 авг. 2021 г.: версия 3.52

Теперь вы можете управлять удаленными репозиториями Git с помощью REST API Databricks. См . API Repos.

Прекращение поддержки Databricks Runtime серии 7.6

8 августа 2021 г.

Поддержка Runtime 7.6 Databricks, Runtime 7.6 Databricks для машинного обучения и Runtime 7.6 Databricks для Genomics закончилась 8 августа. См. статью "Жизненные циклы поддержки Databricks".

События аудита записываются в журнал при взаимодействии с репозиториями Databricks

9—13 августа 2021 г.: версия 3.52

Если ведение журнала аудита включено, событие аудита регистрируется при создании, обновлении или удалении репозитория Databricks, при перечислении всех Databricks Repos, связанных с рабочей областью, и при синхронизации изменений между репозиторием Databricks и удаленным репозиторием. Дополнительные сведения см. в разделе "События папки Git".

Улучшенный рабочий процесс создания и администрирования заданий

9—13 августа 2021 г.: версия 3.52

Теперь вы можете просматривать задания, связанные с записной книжкой, и управлять ими. В частности, можно запустить задание, просмотреть текущий или последний запуск, приостановить или возобновить расписание задания, а также удалить задание.

Пользовательский интерфейс для создания задания записной книжки изменен, добавлены новые параметры конфигурации. Дополнительные сведения см. в разделе "Создание запланированных заданий записной книжки и управление ими".

Среды выполнения Photon уже доступны (общедоступная предварительная версия)

9—13 августа 2021 г.: версия 3.52

Photon — это новый собственный векторный обработчик на Azure Databricks, который напрямую совместим с Apache Spark API. Чтобы подготовить кластеры с помощью Photon, необходимо использовать образ Photon.

Упрощенные инструкции по настройке учетных данных Git (общедоступная предварительная версия)

9—13 августа 2021 г.: версия 3.52

Инструкции на вкладке интеграции Git на странице Параметры пользователя были упрощены.

Импорт нескольких записных книжек в .html формате

9—13 августа 2021 г.: версия 3.52

Теперь можно импортировать несколько записных книжек в формате .html в файл .zip. Ранее можно было одновременно импортировать только одну записную книжку в формате .html.

файл .zip может содержать папки и записные книжки в формате .html или формате исходного файла (Python, Scala, SQL или R). Файл .zip не может содержать оба формата.

Улучшение удобства работы с Delta Live Tables

9—13 августа 2021 г.: версия 3.52

Этот выпуск включает следующие улучшения среды выполнения и пользовательского интерфейса Delta Live Tables:

  • При создании конвейера теперь можно указать целевую базу данных для публикации таблиц и метаданных Delta Live Tables. Дополнительную информацию о публикации наборов данных см. в разделе «Конвейеры Delta Live Tables с устаревшим хранилищем метаданных Hive».
  • Записные книжки теперь поддерживают выделение синтаксиса для ключевых слов в определениях наборов данных SQL. Вы можете использовать подсветку синтаксиса для обеспечения правильности инструкций SQL Delta Live Tables. См. справочник по языку SQL для получения подробной информации о синтаксисе SQL Delta Live Tables.
  • Среда выполнения Delta Live Tables теперь выдает граф конвейера перед запуском конвейера, что позволяет быстрее видеть граф в пользовательском интерфейсе.
  • Все библиотеки Python, настроенные в записных книжках, теперь устанавливаются перед выполнением любого кода Python, обеспечивая глобальную доступность библиотек для любой записной книжки Python в вашем конвейере. См. статью Управление зависимостями Python для конвейеров Delta Live Tables.