Июнь 2021 года

Эти функции и доработки платформы Azure Databricks были выпущены в июне 2021 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Исправление: Repos для Git включены по умолчанию в новых и существующих рабочих областях в некоторых регионах

30 июня 2021 г.

В заметках о выпуске за 2 июня 2021 г. компания Databricks объявила, что репозитории для Git включены по умолчанию в новых рабочих областях в некоторых регионах, но забыла добавить следующую важную информацию: репозитории для Git также включены в существующих рабочих областях, если уже включено управление версиями Git для записных книжек. Исходная заметка о выпуске обновлена.

Изменение в разрешениях для Feature Store

28 июня — 6 июля 2021 г., версия 3.49

Пользователи с разрешением CAN_VIEW_METADATA на таблице функций теперь могут опубликовать её в интернет-магазинах.

Улучшенный доступ к результатам в таблице прогонов MLflow

28 июня — 6 июля 2021 г., версия 3.49

Изменения в таблице запусков MLflow обеспечивают более быстрый доступ к результатам.

• Теперь столбцы метрик отображаются перед столбцами параметров , что упрощает определение лучшего прогона.
• В столбце Начало теперь отображается прошедшее время с момента выполнения, а не время начала. Это уменьшает ширину столбца и позволяет отображать дополнительные сведения без горизонтальной прокрутки. Чтобы отобразить время начала, наведите указатель мыши на значение в столбце.

Более прозрачный учет затрат для DLT

28 июня — 6 июля 2021 г., версия 3.49

При создании нового конвейера или просмотре пользовательского интерфейса сведений о конвейере вы теперь увидите величину DBU в час для кластера DLT по умолчанию.

Расширенные ограничения качества данных для DLT

28 июня — 6 июля 2021 г., версия 3.49

Теперь можно использовать expect_all_or_fail, expect_all_or_dropи expect_all API Python для определения нескольких ограничений качества данных для наборов данных DLT. Эти API-интерфейсы полезны при применении библиотеки стандартных ожиданий к одному или нескольким наборам данных в конвейере. Дополнительную информацию см. в разделе Управление качеством данных с помощью ожиданий конвейера.

Изменения API для обновления и замены списков IP-адресов

28 июня — 6 июля 2021 г., версия 3.49

Новая операция PATCH для /ip-access-lists/<list-id> в REST API Databricks 2.0 позволяет программно обновлять отдельные значения в существующем списке IP-адресов. Дополнительные сведения см. в статье Обновление списка доступа к IP-адресам.

Существующая операция PUT для /ip-access-lists/<list-id> в REST API Databricks 2.0 позволяет программно заменить содержимое существующего списка IP-адресов при сохранении исходного внутреннего идентификатора списка. Дополнительные сведения см. в статье Замена списка доступа к IP-адресам.

Драйвер ODBC Databricks 2.6.17

22 июня 2021 г.

Мы выпустили версию 2.6.17 драйвера ODBC для Databricks (скачать). В этом выпуске добавлена поддержка Cloud Fetch — механизма для параллельного извлечения данных через облачное хранилище для более быстрого переноса данных в инструменты бизнес-аналитики. В этом выпуске также сокращена задержка за счет удаления ненужных круговых проходов между клиентом и Databricks Runtime. См. раздел Как обеспечивается высокая пропускная способность подключения к средствам бизнес-аналитики.

Прекращение поддержки Databricks Runtime серии 7.5

16 июня 2021 г.

Поддержка Databricks Runtime 7.5, Databricks Runtime 7.5 для Машинного обучения и Databricks Runtime 7.5 for Genomics закончилась 16 июня. См. жизненные циклы поддержки Databricks.

Оптимизация затрат на производительность и управление с помощью разных пулов для узла драйвера и рабочих узлов

14–21 июня 2021 г.: версия 3.48

Теперь вы можете оптимизировать кластер, подключив его к другому пулу для узла драйвера и рабочих узлов. Например, можно использовать оптимизированный для вычислений пул для узла драйвера и оптимизированный для хранилища пул для узлов. Это также помогает вам контролировать затраты, присваивая разные теги каждому пулу экземпляров. При необходимости можно использовать один пул для драйверов и рабочих узлов.

Для получения дополнительной информации см. справочник по конфигурации пула.

Разрешения на уровне реестра для реестра моделей

14–21 июня 2021 г.: версия 3.48

Теперь вы можете задать разрешения модели по умолчанию для всех моделей в реестре моделей рабочей области. Разрешения, заданные на этом уровне, применяются ко всем новым и существующим моделям, зарегистрированным в реестре моделей в этой рабочей области. Дополнительные сведения см. в разделе ACL модели MLflow.

Корневой каталог пользователя больше не защищен при удалении пользователя с помощью API SCIM

14–21 июня 2021 г.: версия 3.48

При удалении пользователя с помощью SCIM APIкорневой каталог пользователя больше не защищен, и администратор рабочей области может удалить его. Это соответствует тому, что происходит при удалении пользователя с помощью консоли администрирования.

Общедоступная версия Databricks Runtime 8.3 и 8.3 ML; общедоступная предварительная версия 8.3 Photon

8 июня 2021 г.

Databricks Runtime 8.3 и 8.3 ML теперь являются общедоступными. 8.3 Photon является общедоступной предварительной версией.

Дополнительные сведения см. в полных примечаниях к выпуску в Databricks Runtime 8.3 (EoS) и Databricks Runtime 8.3 для машинного обучения (EoS).

Управление доступом к таблицам Python и SQL (GA)

8 июня 2021 г.

Управление доступом к таблицам позволяет программно предоставлять и отзывать доступ к данным с помощью модели управления доступом на основе представления Azure Databricks. Управление доступом к таблицам доступно в двух версиях: только SQL и Python и SQL. Ранее общедоступным было только управление доступом к таблицам SQL. Теперь общедоступен контроль доступа к таблицам Python и SQL. См. раздел Включение управления доступом к таблицам хранилища метаданных Hive в кластере (устаревшей версии).

Пользовательский интерфейс и API заданий теперь показывают владельца выполнения задания

2–7 июня 2021 г.: версия 3.47

В пользовательский интерфейс заданий и API теперь указывается пользователь, от имени которого будет выполняться задание, что упрощает понимание, отладку и аудит разрешений. Это значение только для чтения, заданное создателю задания, если управление доступом к заданию отключено или is_owner разрешение задания, если включен контроль доступа к заданию. Дополнительные сведения об управлении разрешениями задания см. в разделе "Управление доступом к заданию".

Защита конфиденциальных свойств конфигурации Spark и переменных среды с помощью секретов (общедоступная предварительная версия)

7 июня 2021 г.

Теперь доступны функции защиты конфиденциальных свойств конфигурации Spark и переменных среды с помощью секретов. Полученные секреты удаляются из записной книжки, драйверов Spark и журналов исполнителя. См. раздел "Управление секретами".

Если в конфигурации Spark в настоящее время используются пароли в виде обычного текста, Databricks рекомендует периодически обновлять их и использовать защищенные методы в конфигурации Spark.

Repos для Git включены по умолчанию в новых и существующих рабочих областях в некоторых регионах

2 июня 2021 г.

Эта заметка о выпуске была обновлена 30 июня 2021 г.

Для новых рабочих областей, а также для существующих рабочих областей, в которых включено управление версиями Git для блокнотов, Git-репозитории теперь включены по умолчанию в некоторых регионах. Включение репозиториев по умолчанию будет распространяться на другие регионы в ближайшие месяцы. Чтобы узнать, как включать или отключать репозитории самостоятельно, а также проверить параметры рабочей области, ознакомьтесь с Git-интеграцией для папок Git Databricks.

Переработан интерфейс параметров рабочей области

2–7 июня 2021 г.: версия 3.47

Новая вкладка Параметры рабочей области в консоли администрирования заменяет собой вкладки Хранилище рабочей области, Списки управления доступом и Дополнительно, что упрощает настройку рабочей области.

Обновления запросов к базе данных ListTokens и ListAllTokens и истекшие токены

2–7 июня 2021 г.: версия 3.47

Запросы ListTokens и ListAllTokens к базе данных больше не возвращают токены с истекшим сроком действия. Возвращаются неопределенные токены (те, у которых expiryTime установлен на -1).

Теперь требуется подтверждение при предоставлении или отмене разрешений администратора

2–7 июня 2021 г.: версия 3.47

Диалоговое окно подтверждения появляется, когда пользователь с правами администратора предоставляет или отменяет права администратора в пользовательском веб-интерфейсе.

Изменения в сочетаниях клавиш в пользовательском веб-интерфейсе

2–7 июня 2021 г.: версия 3.47

В записной книжке изменен способ открытия списка сочетаний клавиш. Чтобы открыть список, щелкните значок .