Поделиться через

Июль 2021

  • Статья

Эти функции и доработки платформы Azure Databricks были выпущены в июле 2021 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Управление разрешениями для экспериментов MLflow с помощью REST API Databricks

29 июля — 2 августа 2021 г.: версия 3.51

Теперь API разрешений в API REST Databricks можно использовать для управления тем, какие пользователи могут читать, редактировать и администрировать эксперименты MLflow. См . API разрешений.

Веб-интерфейс Azure Databricks локализован на португальском и французском языках (общедоступная предварительная версия)

29 июля 2021 г.

Теперь Azure Databricks доступен на французском и португальском языках. В следующих кварталах будут добавлены также другие языки. Перейдите в меню "Параметры " в правом верхнем меню в веб-интерфейсе и перейдите на вкладку "Настройки" , чтобы изменить язык.

Поддержка Databricks Runtime 5.5 LTS for Machine Learning завершается, будет заменена версией с расширенной поддержкой

27 июля 2021 г.

Поддержка LTS для Databricks Runtime 5.5 ML закончилась 27 июля 2021 года, но новая поддержка Databricks Runtime 5.5 ML (EoS) будет поддерживаться до конца 2021 года. Версия Databricks Runtime 5.5 ML с расширенной поддержкой построена на основе Ubuntu 18.04.5 LTS, а не устаревшего дистрибутива Ubuntu 16.04.6 LTS, используемого в исходной версии Databricks Runtime 5.5 ML LTS. Поддержка Ubuntu 16.04.6 LTS была прекращена 1 апреля 2021 г. Дополнительные сведения о различиях между Databricks Runtime 5.5 Extended Support и Databricks Runtime 5.5 LTS см. в разделе Databricks Runtime 5.5 ML Extended Support (EoS).

Поддержка Databricks Light 2.4 завершается 5 сентября, будет заменена версией с расширенной поддержкой

27 июля 2021 г.

Поддержка исходной версии Databricks Light 2.4 прекращается 5 сентября. 2021, но новая расширенная поддержка Databricks Light 2.4 (EoS) будет поддерживаться до 27 июля 2022 года. Databricks Light 2.4 с расширенной поддержкой использует Ubuntu 18.04.5 LTS вместо устаревшего дистрибутива Ubuntu 16.04.6 LTS, используемого в исходной версии Databricks Light 2.4. Поддержка Ubuntu 16.04.6 LTS была прекращена 1 апреля 2021 г. Databricks рекомендует как можно быстрее перенести рабочие нагрузки из версии Light в версию с расширенной поддержкой.

Новый регион Azure: Центрально-Западная Германия

27 июля 2021 г.

Платформа Azure Databricks теперь доступна в Центрально-Западной Германии.

Сведения об актуальности признаков, доступные в пользовательском интерфейсе Хранилища признаков в Databricks (общедоступная предварительная версия)

26 июля — 2 августа 2021 г.: версия 3.51

Пользовательский интерфейс Хранилища компонентов Databricks теперь показывает время последнего записи данных в таблицу компонентов. Кроме того, показано, обновляется ли таблица компонентов запланированным заданием и, если да, расписание и состояние задания.

Отображение до 10 000 строк результатов

26 июля — 2 августа 2021 г.: версия 3.51

Ранее в записной книжке было отображалось не больше 1000 строк. Теперь, если таблица возвращает более 1000 строк, можно повторно выполнить запрос и отобразить до 10 000 строк. Требуется Databricks Runtime 8.4 или более поздней версии. Дополнительные сведения см. в разделе "Скачать результаты".

Массовый импорт и экспорт записных книжек в папке в качестве исходных файлов

26 июля — 2 августа 2021 г.: версия 3.51

Теперь источник для всех записных книжек в папке рабочей области можно экспортировать в виде ZIP-архива. ZIP-архив можно импортировать в другую рабочую область или другую папку в той же рабочей области, чтобы воссоздать в ней все экспортированные записные книжки. Исходный файл записной книжки формируется на языке записной книжки по умолчанию. Например, источником записной книжки Python будет файл Python.

Исходные файлы записной книжки не включают результаты команд записной книжки и подходят для использования в конвейере CI/CD. Ранее можно было экспортировать источник только для одной записной книжки и только в редакторе записных книжек либо экспортировать все записные книжки в папке в виде HTML-файлов или архива Databricks (с расширением .dbc), содержащего результаты команды записной книжки, если только записную книжку не очистили перед экспортом.

Дополнительные сведения об импорте и экспорте записных книжек см. в разделе Управление записными книжками.

Функция автозаполнения в записных книжках SQL теперь использует для ключевых слов SQL верхний регистр

26 июля — 2 августа 2021 г.: версия 3.51

Теперь, если для автозаполнения ключевого слова SQL в записной книжке используется TAB, результат такого автозаполнения записывается с прописной буквы. Например, SELECT, а не select. Это никак не влияет на запрос, поскольку ключевые слова SQL не учитывают регистр.

Мини-приложения с возможностью изменения порядка и размера в записных книжках

26 июля — 2 августа 2021 г.: версия 3.51

Теперь вы можете изменить порядок и размеры мини-приложений Databricks в записной книжке, щелкнув Значок редактирования на панели мини-приложений записной книжки. См. Настройка параметров мини-приложения.

Исправления для удобства использования пользовательского интерфейса Azure Databricks

26 июля — 2 августа 2021 г.: версия 3.51

В этом выпуске устранена проблема, которая не позволяла использовать ключ ESC для закрытия некоторых диалоговых окон в пользовательском интерфейсе Azure Databricks, включая следующие:

  • диалоговое окно Просмотр JSON в пользовательском интерфейсе заданий;
  • диалоговое окно Изменение расписания в пользовательском интерфейсе заданий;
  • диалоговое окно Конфигурация единого выхода в пользовательском интерфейсе администратора;
  • диалоговое окно Создание записной книжки.

Быстро настройте параметры при создании нового конвейера Delta Live Tables.

26 июля — 2 августа 2021 г.: версия 3.51

При создании нового конвейера теперь можно определить параметры непосредственно в диалоговом окне создания конвейера в пользовательском интерфейсе Delta Live Tables.

Общедоступная версия Databricks Runtime 8.4 и 8.4 ML; общедоступная предварительная версия 8.4 Photon

20 июля 2021 г.

Databricks Runtime 8.4 и 8.4 ML теперь являются общедоступными. Databricks 8.4 Photon является общедоступной предварительной версией.

Дополнительные сведения см. в полных заметках о выпуске в Databricks Runtime 8.4 (EoS) и Databricks Runtime 8.4 для машинного обучения (EoS).

Использование Spark SQL с Python API для Delta Live Tables

12–19 июля 2021 г.: версия 3.50

Теперь вы можете использовать следующие функции с API Python Delta Live Tables:

  • функция spark.table для пакетного чтения наборов данных, определенных в конвейере;
  • функция spark.sql для использования SQL-запроса с целью определения набора данных; Запросы SQL могут использовать определенные функции Delta Live Tables, включая ссылки на внутренние наборы данных с помощью ключевого слова LIVE и добавочных операций чтения с помощью ключевого слова STREAM.

Дополнительные сведения см. в справочнике по языку Python.

Улучшены обработка и анализ данных с помощью заданий Azure Databricks (общедоступная предварительная версия)

12–19 июля 2021 г.: версия 3.50

Databricks рад объявить об обновлении заданий Azure Databricks, позволяющих управлять и запускать задание с несколькими задачами. Его можно использовать для определения направленного ациклическиго графа (DAG) зависимостей задач, что упрощает создание и мониторинг надежных данных и рабочих процессов машинного обучения. Эта функция доступна в общедоступной предварительной версии и по умолчанию отключена.

Внимание

После включения отключить эту функцию нельзя.

Дополнительные сведения см. в разделе "Расписание и оркестрация рабочих процессов".

Снижение затрат на кластеры по умолчанию для Delta Live Tables (общедоступный предварительный доступ)

12–19 июля 2021 г.: версия 3.50

Для управления затратами в кластеры delta Live Tables по умолчанию были внесены следующие изменения:

  • тип экземпляра по умолчанию изменен на Standard_F8s;
  • автомасштабирование по умолчанию включено с минимальным количеством рабочих ролей 1 и максимальным — 5.

Сортировка потоков данных по имени в интерфейсе Delta Live Tables (Общедоступная предварительная версия)

12–19 июля 2021 г.: версия 3.50

Теперь можно щелкнуть заголовок столбца «Имя» в пользовательском интерфейсе Delta Live Tables, чтобы сортировать конвейеры по имени в порядке возрастания (A -> Z) или в порядке убывания (Z -> A).

Изменения на странице "Вычисление"

12–19 июля 2021 г.: версия 3.50

Ссылки на библиотеки, выполнение заданий, пользовательский интерфейс Spark и журналы на странице вычислений были удалены. Для просмотра сведений о библиотеках или пользовательского интерфейса и журналов Spark используйте соответствующие вкладки на странице сведений о кластере. Для просмотра сведений о выполнении заданий нажмите Перейти к выполнению задания на этой странице.

Поддержка Databricks Runtime 5.5 LTS будет прекращена, и ее заменит расширенная поддержка Databricks Runtime 5.5 в конце 2021 г.

9 июля 2021 г.

Поддержка Databricks Runtime 5.5 LTS и Databricks Runtime 5.5 LTS для Машинного обучения прекращена 10 июля. См. статью "Жизненные циклы поддержки Databricks".

Версия Databricks Runtime 5.5 с расширенной поддержкой будет поддерживаться до конца 2021 г. Databricks Runtime 5.5 с расширенной поддержкой использует Ubuntu 18.04.5 LTS вместо устаревшего дистрибутива Ubuntu 16.04.6 LTS, используемого в исходной версии Databricks Runtime 5.5 LTS. Поддержка Ubuntu 16.04.6 LTS была прекращена 1 апреля 2021 г. Дополнительные сведения о различиях между Databricks Runtime 5.5 Extended Support и Databricks Runtime 5.5 LTS см. в разделе Databricks Runtime 5.5 Extended Support (EoS).

API Repos (общедоступная предварительная версия)

6 июля 2021 г.

Теперь вы можете программно обновить репозиторий Azure Databricks до последней версии определенной ветви Git или тега с помощью нового API Repos. Дополнительные сведения см. в разделе API Repos.

Databricks Runtime 8.4 (бета-версия)

1 июля 2021 г.

Databricks Runtime 8.4 и Databricks Runtime 8.4 ML теперь доступны в бета-версиях.

Дополнительные сведения см. в полных заметках о выпуске в Databricks Runtime 8.4 (EoS) и Databricks Runtime 8.4 для машинного обучения (EoS).