Поделиться через

Ноябрь 2021 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в ноябре 2021 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Создание тегов для таблиц компонентов (общедоступная предварительная версия)

30 ноября — 6 декабря 2021 г., версия 3.60

Теперь вы можете создать теги для таблиц компонентов и использовать их для поиска.

Выделение синтаксиса и автозаполнение для команд SQL в ячейках Python

30 ноября — 6 декабря 2021 г., версия 3.60

Функции выделения синтаксиса и автозаполнения SQL доступны при использовании SQL внутри команды Python, например в команде spark.sql.

Переименование, удаление и изменение разрешений для экспериментов MLflow на странице эксперимента (общедоступная предварительная версия)

30 ноября — 6 декабря 2021 г., версия 3.60

Теперь вы можете переименовывать, удалять и изменять разрешения для эксперимента MLflow на странице эксперимента. Дополнительные сведения см. в статье Управлении экспериментами.

Новые профили данных в записных книжках: табличные и графические сводки ваших данных (общедоступная предварительная версия)

30 ноября — 6 декабря 2021 г., версия 3.60

При использовании display(<dataframe>) в Scala или Python или выполнении SQL-запроса в области результатов отображается новая вкладка Data Profile, которая представляет интерактивный табличный и графический обзор кадра данных или таблицы. Дополнительные сведения см. в разделах Создание нового профиля данных и Создание новой визуализации.

Можно также использовать команду утилиты Databricks dbutils.data.summarize.

Улучшено ведение журнала при изменении схем при запуске конвейера delta Live Tables

30 ноября — 6 декабря 2021 г., версия 3.60

Если конвейер Delta Live Tables считывает данные с помощью Auto Loader, и схема входных данных изменяется во время выполнения обновления, обновление регистрируется как CANCELED и автоматически повторяется. Новое обновление зарегистрировано с состоянием SCHEMA_CHANGE. Ранее при изменении входной схемы обновление регистрируется как FAILED даже если разностные динамические таблицы автоматически повторяют обновление.

Общедоступная версия Databricks Partner Connect

18 ноября 2021 г.

Решение Databricks Partner Connect уже общедоступно. Вы можете использовать Partner Connect, чтобы быстро и легко обнаружить и подключить популярные средства для работы с данными и средства ИИ к хранилищу lakehouse в Azure Databricks. См. статью Что такое Databricks Partner Connect?.

Критическое изменение: удаление экранирования и кавычки из $в значениях переменной среды для создания кластера

15–30 ноября 2021 г., версия 3.59

Примечание.

Это изменение будет отменено 3 декабря 2021 г. с 01:00 до 03:00 (UTC).

При создании кластера можно указать переменные среды. До этого изменения, чтобы использовать знак $ в значении переменной среды, его нужно было экранировать или заключить в кавычки. После этого изменения escape-символы и кавычки больше не нужны. Это изменение вводит ломающие изменения, так как экранированные или заключенные в кавычки символы $ в значениях переменных среды больше не интерпретируются как $. Например, теперь при наличии следующих объявлений переменных среды:

WITH_ESCAPING=\\$123
WITH_DOUBLE_QUOTING="$123"
NO_ESCAPING=$123
WITH_SINGLE_QUOTING='$123'
NO_QUOTING=$123

Печать этих значений из записной книжки, например:

%sh
echo ${WITH_ESCAPING}
echo ${WITH_DOUBLE_QUOTING}
echo ${NO_ESCAPING}
echo ${WITH_SINGLE_QUOTING}
echo ${NO_QUOTING}

Возвращает следующие значения:

\\$123
"$123"
$123
driver23
$123

Примечание.

Это изменение применяется только к переменным среды. Оно не применяется к секретам.

Улучшения, связанные с упрощением использования файлов в Repos

15–30 ноября 2021 г., версия 3.59

Новые возможности добавлены в текстовый редактор файлов.

  • При создании тега автоматически создается закрывающий тег.
  • Теперь доступно свертывание кода.

Кроме того, для текстовых файлов теперь можно скопировать полный путь к репозиторию в дополнение к пути от корня репозитория. Дополнительные сведения см. в разделе "Программное взаимодействие с файлами рабочей области".

Прекращение поддержки устаревших мини-приложений SQL 15 января 2022 г.

15 ноября 2021 г.

Databricks прекращает поддержку устаревших мини-приложений SQL 15 января 2022 г. После этой даты ноутбуки больше не будут отображать устаревшие мини-приложения SQL в пользовательском интерфейсе, но параметры, переданные через %run, смогут работать с устаревшим API мини-приложения SQL. Чтобы гарантировать, что мини-приложения продолжают отображаться в пользовательском интерфейсе, обновите код, чтобы использовать мини-приложения SQL.

Улучшения пользовательского интерфейса для заданий Azure Databricks

15–30 ноября 2021 г., версия 3.59

В состав этого выпуска входят следующие улучшения пользовательского интерфейса заданий.

  • Теперь можно клонировать одну задачу, что упрощает добавление новых задач в существующее задание. См. раздел "Переименование ", "Клонирование" или "Удаление задания".
  • При просмотре сведений о выполнении задания или задач, идентификатор задания и идентификатор выполнения задания теперь представлены как ссылки, что позволяет легко переключаться между представлениями сведений о заданиях. С. статью Просмотр сведений о выполнении задания.
  • Теперь можно скопировать путь к задаче, например путь к записной книжке, при ее просмотре или редактировании. См. статью Копирование пути к задаче.

Соединитель Delta Sharing для Power BI

15 ноября 2021 г.

Соединитель разностного общего доступа для Power BI позволяет пользователям обнаруживать, анализировать и визуализировать наборы данных, доступ к которым был предоставлен им по открытому протоколу разностного общего доступа. Этот протокол обеспечивает безопасный обмен наборами данных между продуктами и платформами с использованием REST и облачного хранилища. Дополнительные сведения см. в разделе соединителя Power BI Delta Sharing.

Драйвер ODBC Databricks 2.6.19

12 ноября 2021 г.

Мы выпустили версию 2.6.19 драйвера ODBC для Databricks (скачать). Новый драйвер распространяет условия возникновения ошибок SQL (SQLState), возвращенные платформой Databricks клиенту.

Общедоступная версия Databricks Runtime 10.1 и 10.1 ML; общедоступная предварительная версия 10.1 Photon

10 ноября 2021 г.

Databricks Runtime 10.1 и 10.1 ML теперь являются общедоступными. Databricks Runtime 10.1 Photon является общедоступной предварительной версией.

См. статью Databricks Runtime 10.1 (EoS) и Databricks Runtime 10.1 для машинного обучения (EoS).

Databricks Runtime 10.1 (бета-версия)

4 ноября 2021 г.

Databricks Runtime 10.1, 10.1 Photon и 10.1 ML теперь доступны в виде бета-версий.

См. полные заметки о выпуске в Databricks Runtime 10.1 (EoS) и Databricks Runtime 10.1 для машинного обучения (EoS).

Переименование и удаление экспериментов MLflow (общедоступная предварительная версия)

2–8 ноября 2021 г., версия 3.58

Теперь вы можете переименовывать, удалять и изменять разрешения для экспериментов MLflow на странице Эксперименты.

Возможность создания политики кластера путем клонирования существующей

2–8 ноября 2021 г., версия 3.58

Добавлена поддержка создания новой политики кластера путем клонирования существующей. См. статью "Создание политик вычислений и управление ими".

Упрощенный процесс изменения языка по умолчанию для записных книжек и ячеек записной книжки

2–8 ноября 2021 г., версия 3.58

В верхней части записной книжки и в каждой ячейке появится кнопка нового языка. Эту кнопку можно использовать для выбора языка по умолчанию для записной книжки и выбора языка для определенной ячейки. Дополнительные сведения см. в разделе Настройка языка по умолчанию и Смешение языков.

Использование файлов в Repos и- веб-терминала

2–8 ноября 2021 г., версия 3.58

Теперь можно получить доступ к файлам в репозитории из веб-терминала с помощью пути /Workspace.