Июль 2023 г.
Эти функции и улучшения платформы Azure Databricks были выпущены в июле 2023 года.
Примечание.
Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.
Администраторы рабочей области теперь могут создавать группы учетных записей
31 июля 2023 г.
Теперь администраторы рабочей области могут создавать группы учетных записей из федеративных рабочих областей удостоверений. Ранее администраторы рабочей области могли создавать только локальные группы рабочей области. Группы учетных записей можно предоставить доступ к данным в хранилище метаданных каталога Unity и доступ к рабочим областям, федеративным удостоверениям. Databricks рекомендует использовать группы учетных записей вместо локальных групп рабочей области, чтобы воспользоваться преимуществами каталога Unity и центральным местом для администрирования удостоверения.
См. статью "Управление группами учетных записей" с помощью страницы параметров администратора рабочей области.
Роль диспетчера групп находится в общедоступной предварительной версии
31 июля 2023 г.
Теперь вы можете предоставить пользователям Databricks, субъектам-службам и группам разрешения на управление группами. Руководители групп могут управлять членством в группах. Они также могут назначать других пользователей роль диспетчера групп. Администраторы учетных записей имеют роль диспетчера групп для всех групп в учетной записи. Администраторы рабочей области имеют роль диспетчера групп в группах учетных записей, которые они создают.
См. раздел " Кто может управлять группами учетных записей?".
Интерфейс командной строки Databricks обновлен до версии 0.202.0 (общедоступная предварительная версия)
27 июля 2023 г.
Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.202.0. Дополнительные сведения см. в журнале изменений для версии 0.202.0.
Пакет SDK Databricks для Python обновлен до версии 0.3.0 (бета-версия)
27 июля 2023 г.
Пакет SDK Databricks для Python версии 0.3.0 предоставляет поддержку службы политики сети учетных записей; обрабатывает вложенные параметры запроса; добавляет, удаляет и создает различные методы, поля, классы данных и службы; и многое другое. Дополнительные сведения см. в журнале изменений для версии 0.3.0.
Пакет SDK Databricks для Go обновлен до версии 0.14.1 (бета-версия)
27 июля 2023 г.
Пакет SDK Databricks для Go версии 0.14.1 обрабатывает вложенные параметры запроса соответствующим образом, исправляя фильтрацию в списках QueryHistory. Дополнительные сведения см. в журнале изменений версии 0.14.1.
Пакет SDK Databricks для Go обновлен до версии 0.14.0 (бета-версия)
26 июля 2023 г.
Пакет SDK Databricks для Go версии 0.14.0 добавляет поддержку службы политики сети учетных записей и добавляет, удаляет и изменяет несколько методов, полей и типов. Дополнительные сведения см. в журнале изменений версии 0.14.0.
Выполнение другого задания в качестве задачи в задании Azure Databricks
25 июля 2023 г.
Вы можете использовать новую Run Job задачу для добавления другого задания в качестве задачи в задание Azure Databricks, что позволяет разложить большой рабочий процесс обработки на несколько заданий компонентов или создать повторно используемые компоненты для использования в нескольких заданиях. Сведения об использовании задачи в пользовательском интерфейсе заданий см. в разделе "Планирование и оркестрация рабочих процессов". Сведения об использовании задачи с REST API заданий см. в справочнике по REST API 2.1 или справочнике по API заданий 2.0.
Обновление сети рабочей области получает поддержку пользовательского интерфейса (GA)
24 июля 2023 г.
Ранее можно использовать шаблон ARM с командной строкой или портал Azure для включения безопасного подключения к кластеру или включения Приватный канал Azure.
Теперь вы также можете использовать пользовательский интерфейс портал Azure (без шаблона) для обновлений сети непосредственно в экземпляре рабочей области Azure Databricks. Оба типа сетевых обновлений теперь общедоступны.
Все пользователи могут получить доступ к продуктам данных в Databricks Marketplace по умолчанию
24 июля 2023 г.
Начиная с 24 июля и постепенно развертываясь для всех соответствующих рабочих областей, все пользователи смогут устанавливать бесплатные или ранее приобретенные наборы данных с помощью Databricks Marketplace. Это возможно путем предоставления всем пользователям привилегий USE MARKETPLACE ASSETS во всех хранилищах метаданных каталога Unity. Эта новая привилегия не влияет на затраты, так как все транзакции Marketplace происходят за пределами Databricks. Если вы хотите отключить доступ, см. раздел "Отключить доступ к Marketplace".
Классический режим сочетаний клавиш
21 июля 2023 г.
Новый параметр позволяет использовать функции из нового редактора (например, автозавершение при вводе, выделение синтаксиса, форматирование кода и многое другое) при сохранении одинаковых знакомых сочетаний клавиш из предыдущего редактора. Чтобы получить доступ к этому параметру, откройте конфигурацию редактора и переключите режим ярлыков редактора записной книжки на классический (зеркальное отображение кода).
Федерация Lakehouse позволяет выполнять запросы к внешним поставщикам баз данных (общедоступная предварительная версия)
21 июля 2023 г.
Федерация Lakehouse — это платформа федерации запросов для Azure Databricks, используя преимущества каталога Unity, чтобы пользователи и системы могли выполнять запросы к нескольким внешним источникам данных без необходимости переносить все данные в единую систему.
Федерация Lakehouse предназначена для таких вариантов использования:
- Нерегламентированные отчеты.
- Доказательство концепции работы.
- Этап изучения новых конвейеров или отчетов ETL.
- Поддержка рабочих нагрузок во время добавочной миграции.
В каждом из этих сценариев федерация запросов позволяет быстрее получать аналитические сведения, так как вы можете запрашивать данные на месте и избегать сложной и продолжительной обработки ETL. Кроме того, вы получаете преимущества интерфейсов каталога Unity и управления данными, включая точное управление доступом, происхождение данных и поиск.
См. статью "Что такое Федерация Lakehouse?".
Перемещение в корзину, включенную для Репозитория
19 июля 2023 г.
Удаление репозиториев теперь работает так же, как и удаление других ресурсов рабочей области. В списке Repos щелкните правой кнопкой мыши имя репозитория и выберите "Переместить в корзину". Через 30 дней папка корзины автоматически удаляется окончательно.
Дополнительные сведения см. в разделе Удаление объекта.
Создание оповещений для медленных или застрявших заданий
18 июля 2023 г.
Теперь можно настроить ожидаемую длительность задания или задания Azure Databricks и добавить уведомления, если задание или задача превышает ожидаемую длительность. Эта функция позволяет получать оповещения о медленных заданиях без отмены выполнения. Сведения о настройке ожидаемой продолжительности в пользовательском интерфейсе заданий Azure Databricks см. в статье Настройка пороговых значений для продолжительности выполнения задания или метрик задержки потоковой передачи. Сведения о настройке ожидаемой длительности с помощью API заданий 2.1 см. в справочнике по REST API.
Пакет SDK Databricks для Go обновлен до версии 0.13.0 (бета-версия)
18 июля 2023 г.
Пакет SDK Databricks для Go версии 0.13.0 добавляет поддержку проверки подлинности управляемых удостоверений Azure для операций на уровне учетной записи, добавляет, изменяет и удаляет несколько методов и полей и многое другое. Дополнительные сведения см. в журнале изменений для версии 0.13.0.
Пакет SDK Databricks для Python обновлен до версии 0.2.0 (бета-версия)
18 июля 2023 г.
Пакет SDK Databricks для Python версии 0.2.0 добавляет локальную реализацию dbutils.widgets, добавляет, изменяет и удаляет несколько методов, полей и классов данных и т. д. Дополнительные сведения см. в журнале изменений версии 0.2.0.
Интерфейс командной строки Databricks обновлен до версии 0.201.0 (общедоступная предварительная версия)
18 июля 2023 г.
Интерфейс командной строки Databricks (Databricks CLI) версии 0.201.0 улучшает auth login интерфейс, поддерживает завершение вкладок для ссылки на профили конфигурации проверки подлинности Azure Databricks, вносит дополнения, изменения и удаление нескольких групп команд и команд и многое другое. Дополнительные сведения см. в журнале изменений для версии 0.201.0.
Пакет SDK Databricks для Python обновлен до версии 0.2.1 (бета-версия)
18 июля 2023 г.
Пакет SDK Databricks для Python версии 0.2.1 поддерживает более старые версии urllib. Дополнительные сведения см. в журнале изменений версии 0.2.1.
Помощник Databricks доступен в общедоступной предварительной версии
18 июля 2023 г.
Помощник Databricks работает в качестве компаньона на основе ИИ, чтобы сделать вас более эффективным при создании записных книжек, запросов и файлов. Он помогает быстро получать ответы на вопросы, создавая, оптимизируя, заполняя, объясняя и исправляя код и запросы. Дополнительные сведения см. в разделе " Помощник по Databricks" и инструкции по включению помощника.
Отключение пользователей и субъектов-служб из учетной записи
13 июля 2023 г.
Теперь вы можете отключить пользователей и субъектов-служб из учетной записи Azure Databricks. Деактивированный пользователь не может войти в учетную запись Azure Databricks или федеративные рабочие области удостоверения. Однако все разрешения пользователя и объекты рабочей области остаются неизменными. Дополнительные сведения см. в статье "Деактивация пользователя в учетной записи Azure Databricks" и "Деактивация субъекта-службы" в учетной записи Azure Databricks.
Подготовка SCIM на уровне учетной записи теперь деактивирует пользователей при деактивации в поставщике удостоверений
13 июля 2023 г.
Подготовка SCIM на уровне учетной записи теперь деактивирует пользователей, когда они деактивированы в поставщике удостоверений. Ранее, когда пользователь был деактивирован в поставщике удостоверений, подготовка SCIM уровня учетной записи удалила их из учетной записи Azure Databricks. Дополнительные сведения см. в статье "Синхронизация пользователей и групп из идентификатора Microsoft Entra ID " и "Деактивация пользователя" в учетной записи Azure Databricks.
Доступ администратора каталога корзины
13 июля 2023 г.
Администраторы рабочей области теперь могут получить доступ к каталогам корзины других пользователей.
Защита отрисовки типов MIME и отрисовка страницы атак XSS теперь всегда включена
12 июля 2023 г.
Azure Databricks снижает риск сниффинга типов MIME и отрисовки страницы атак XSS путем добавления соответствующих заголовков HTTP. Эти функции были включены по умолчанию и ранее могли быть отключены. Для повышения безопасности Azure Databricks теперь всегда включает обе функции и больше нет параметров администратора рабочей области, чтобы отключить их. Для рабочих областей, которые ранее отключили одну или обе эти функции, обе функции теперь включены.
Тома каталога Unity находятся в общедоступной предварительной версии
12 июля 2023 г.
Теперь вы можете использовать тома в каталоге Unity для управления доступом к расположениям облачного хранилища объектов в Databricks Runtime 13.2 и выше. Тома предоставляют возможности для доступа, хранения, управления и упорядочения файлов. См. раздел "Что такое тома каталога Unity?".
Упрощенное взаимодействие с отправкой отзывов о продукте из рабочей области
11 июля 2023 г.
Теперь проще отправлять отзывы о продукте из рабочей области. Вы можете отправлять отзывы и присоединять снимки экрана с меньшим количеством шагов и без выхода из пользовательского интерфейса рабочей области. Дополнительные сведения см. в разделе "Отправка отзывов о продукте".
Расширение Databricks для Visual Studio Code обновлено до версии 1.1.0
10 июля 2023 г.
Расширение Databricks для Visual Studio Code версии 1.1.0 включает интеграцию Databricks Connect по умолчанию, добавляет экспериментальные функции для записных книжек Jupyter и многое другое. Дополнительные сведения см. в журнале изменений для версии 1.1.0.
Функции теперь отображаются в обозревателе каталогов (общедоступная предварительная версия)
10 июля 2023 г.
Определяемые пользователем функции SQL и Python теперь отображаются в обозревателе каталогов. Вы можете просматривать сведения о функциях и управлять разрешениями с помощью этого нового пользовательского интерфейса.
Поставщик Databricks Terraform обновлен до версии 1.21.0
7 июля 2023 г.
Поставщик Databricks Terraform версии 1.21.0 добавляет поддержку подписок в панелях мониторинга и задачах databricks_jobSQL оповещений, определяет универсальные служебные программы данных Azure Databricks для определения источников данных на уровне рабочей области и учетных записей и т. д. Дополнительные сведения см. в журнале изменений для версии 1.21.0.
Максимальное смещение для List all jobsList job runs запросов API теперь ограничено
6 июля 2023 г.
Максимальное смещение, указанное в List all jobs API заданий, и List job runs запросы теперь ограничены. Чтобы избежать этого ограничения при использовании этих запросов, используйте разбиение на страницы на основе токенов, которое не имеет этого ограничения. См. GET /api/2.1/jobs/list и GET /api/2.1/jobs/runs/list в справочнике по REST API.
Databricks Runtime 13.2 — общедоступная версия
6 июля 2023 г.
Databricks Runtime 13.2 и Databricks Runtime 13.2 ML теперь общедоступны.
См. статью Databricks Runtime 13.2 (EoS) и Databricks Runtime 13.2 для Машинное обучение (EoS).
Разностный общий доступ и Databricks Marketplace поддерживают общий доступ к представлению (общедоступная предварительная версия)
6 июля 2023 г.
Теперь вы можете предоставлять общий доступ к представлениям в Delta Sharing и Databricks Marketplace. См. раздел "Добавление представлений в общую папку".
Скрипты инициализации в DBFS закончились 1 сентября 2023 г.
5 июля 2023 г.
1 сентября 2023 г. поддержка скриптов инициализации в DBFS завершится, и функция больше не будет функционировать. Сохраните скрипты инициализации в файлах рабочей области, чтобы они продолжали функционировать после 1 сентября 2023 г.