Август 2022 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2022 г.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Пользователи учетной записи могут получить доступ к консоли учетной записи

1-31 августа 2022 г.

Пользователи учетной записи могут получить доступ к консоли учетной записи Azure Databricks для просмотра списка рабочих областей. Пользователи учетной записи могут просматривать только рабочие области, к которым они получили доступ. См. статью "Управление учетной записью Azure Databricks".

Пользователи из рабочих областей автоматически синхронизируются с вашей учетной записью как пользователи учетной записи. Все существующие пользователи рабочей области и субъекты-службы синхронизируются автоматически с вашей учетной записью как пользователи на уровне учетной записи и субъекты-службы. См. назначение пользователей в Azure Databricks.

Драйвер ODBC Databricks 2.6.26

29 августа 2022 г.

Мы выпустили версию 2.6.26 драйвера ODBC для Databricks (скачать). В этом выпуске обновлена поддержка запросов. Теперь вы можете асинхронно отменить запросы по HTTP-подключениям по запросу API.

В этом выпуске также решены следующие проблемы:

• При использовании пользовательских запросов в Spotfire соединитель перестает отвечать.

Драйвер JDBC Databricks 2.6.29

29 августа 2022 г.

Мы выпустили версию 2.6.29 драйвера JDBC Databricks (скачать). В этом выпуске решены следующие проблемы:

• При использовании HTTP-прокси с включенной облачной выборкой соединитель не возвращает результаты большого набора данных.
• Незначительные проблемы с текстом лицензии Databricks. Отсутствуют ссылки на документацию.
• Неправильные имена JAR-файлов. Вместо SparkJDBC41.jar он должен быть DatabricksJDBC41.jar. Вместо SparkJDBC42.jar он должен быть DatabricksJDBC42.jar.

Клиент хранилища признаков Databricks теперь доступен в PyPI

26 августа 2022 г.

Клиент хранилища признаков теперь доступен в PyPI. Для клиента требуется Databricks Runtime 9.1 LTS или более поздних версий. Его можно установить с помощью следующих средств:

%pip install databricks-feature-store

Клиент уже включен в Databricks Runtime для машинного обучения 9.1 LTS и выше.

Клиент не может быть запущен за пределами Databricks. Но вы можете установить его локально, чтобы использовать в модульном тестировании и для дополнительной поддержки IDE (например, автозавершение). Дополнительные сведения см. в статье Клиент Python для хранилища признаков Databricks.

Каталог Unity вышел в общую доступность

25 августа 2022 г.

Каталог Unity общедоступен. Подробную информацию о функциях и ограничениях см. в заметке о выпуске общедоступной версии каталога Unity.

Delta Sharing предоставляется в общедоступной версии

25 августа 2022 г.

Delta Sharing теперь предоставляется в общедоступной версии, начиная с Databricks Runtime 11.1. Дополнительные сведения см. в разделе "Что такое Delta Sharing?".

• В обмене данными Databricks-to-Databricks Delta Sharing полностью управляется без необходимости обмена токенами.
• Создавайте и управляйте поставщиками, получателями и общими ресурсами в удобном пользовательском интерфейсе.
• Создавайте и управляйте поставщиками, получателями и общим доступом с помощью SQL и REST API, с полной поддержкой CLI и Terraform.
• Запрашивайте изменения данных или делитесь инкрементными версиями с помощью потоков данных об изменениях.
• Ограничьте доступ получателя к скачиванию файлов учетных данных или запрашиванию данных, используя списки доступа IP и региональные ограничения.
• Использование Delta Sharing для совместного использования данных в одной учетной записи Azure Databricks включено по умолчанию.
• Обеспечьте разделение обязанностей, делегировав управление Delta Sharing пользователям, не являющимся администраторами.

Databricks Runtime 11.2 (бета-версия)

23 августа 2022 г.

Databricks Runtime 11.2, 11.2 Photon и 11.2 ML теперь доступны в виде бета-версий.

См. полные заметки о выпуске в Databricks Runtime 11.2 (EoS) и Databricks Runtime 11.2 для Машинного обучения (EoS).

Уменьшение объема сообщений в пользовательском интерфейсе DLT для непрерывных конвейеров

22-29 августа 2022 г.: версия 3.79

В этом выпуске переходы состояния для динамических таблиц в непрерывном конвейере DLT отображаются только в пользовательском интерфейсе, пока таблицы не вводятся в состояние выполнения. Все переходы, связанные с успешной повторной компиляцией таблиц, не отображаются в пользовательском интерфейсе, но доступны в журнале событий DLT на уровне METRICS. Любые переходы в состояния отказа по-прежнему отображаются в пользовательском интерфейсе. Ранее все переходы состояния отображались в пользовательском интерфейсе для динамических таблиц. Это изменение уменьшает объем событий конвейера, отображаемых в пользовательском интерфейсе, и упрощает поиск важных сообщений для ваших конвейеров. Дополнительные сведения о запросе журнала событий см. в статье Что такое журнал событий DLT?.

Упрощенная конфигурация кластера для конвейеров DLT

22-29 августа 2022 г.: версия 3.79

Теперь можно выбрать режим кластера( автомасштабирование или фиксированный размер) непосредственно в пользовательском интерфейсе DLT при создании конвейера. Ранее настройка кластера автомасштабирования требовала изменения параметров JSON конвейера. Дополнительные сведения о создании конвейера и новом параметре режима кластера см. в разделе «Обновление конвейера DLT».

Оркестрация задач dbt в рабочих процессах Databricks (общедоступная предварительная версия)

22-29 августа 2022 г.: версия 3.79

Вы можете запустить основной проект dbt в качестве задачи в задании Azure Databricks с новой задачей dbt, что позволяет включить преобразования dbt в рабочий процесс обработки данных. Например, рабочий процесс может получать данные с помощью автозагрузчика, преобразовывать данные с помощью dbt и анализировать данные с помощью задачи записной книжки. Дополнительные сведения о задаче dbt, включая пример, см. в разделе "Использование преобразований dbt" в задании Azure Databricks. Дополнительные сведения о создании, запуске и планировании рабочего процесса, включающего задачу dbt, см. в разделе Обзор оркестрации в Databricks.

Федерация удостоверений предоставляется в общедоступной версии

25 августа 2022 г.

Федерация удостоверений упрощает администрирование Azure Databricks, позволяя назначать пользователей, субъекты-службы и группы на уровне учетной записи рабочим областям с федерацией удостоверений. Теперь вы можете настроить и администрировать всех своих пользователей, а также все субъекты-службы и группы один раз в консоли учетной записи, а не повторять настройку отдельно в каждой рабочей области. Дополнительные сведения о федерации идентичности см. в статье Назначение пользователей рабочим областям. Чтобы начать, см. статью Включение федерации удостоверений.

Partner Connect поддерживает подключение к Stardog

24 августа 2022 г.

Теперь вы можете легко создать подключение между Stardog и рабочей областью Azure Databricks с помощью Partner Connect. Stardog предоставляет платформу графа знаний для предоставления ответов на сложные запросы в разных хранилищах данных.

Интеграция хранилища признаков Databricks с бессерверной инференцией в реальном времени

22-29 августа 2022 г.: версия 3.79

Хранилище фич Databricks теперь поддерживает автоматический поиск функций для бессерверной инференции в реальном времени. Для получения подробной информации см. Автоматический поиск возможностей с помощью Databricks Службы моделей.

Дополнительная поддержка типов данных для автоматического поиска признаков в хранилище признаков Databricks

22-29 августа 2022 г.: версия 3.79

Хранилище характеристик Databricks теперь поддерживает BooleanType для автоматического поиска характеристик. Ознакомьтесь с автоматическим поиском функций с помощью Службы моделей Databricks.

Использование собственного ключа: шифрование учетных данных Git

23–29 августа 2022 г.

Вы можете использовать ключ шифрования для учетных данных Git для Databricks Repos.

См. «Принесите свой собственный ключ»: шифрование учетных данных Git.

Предварительная версия пользовательского интерфейса кластера и режим доступа заменяет режим безопасности

19 августа 2022 г.

Новый пользовательский интерфейс создания кластера находится в предварительной версии. См. справочник по конфигурации вычислений.

Ограничения каталога Unity (общедоступная предварительная версия)

16 августа 2022 г.

• Scala, R и рабочие нагрузки, использующие среду выполнения машинного обучения, поддерживаются только в кластерах, в которых используется режим с доступом одного пользователя. Рабочие нагрузки на этих языках не поддерживают использование динамических представлений для безопасности на уровне строк или на уровне столбцов.
• Неглубокие клоны не поддерживаются при использовании Unity Catalog в качестве источника или цели клонирования.
• Сегментирование не поддерживается для таблиц каталога Unity. Команды, пытающиеся создать разбиваемую на группы таблицу в Unity Catalog, вызовут исключение.
• Режим перезаписи для операций записи DataFrame в каталог Unity поддерживается только для таблиц Delta, а не для других форматов файлов. Пользователь должен иметь права CREATE на родительской схеме и должен быть владельцем существующего объекта.
• Потоковая передача в настоящее время имеет следующие ограничения:
  • она не поддерживается в кластерах, где используется режима общего доступа; для рабочих нагрузок потоковой передачи необходимо использовать режим с доступом одного пользователя;
  • Асинхронные контрольные точки пока не поддерживаются.
  • запросы потоковой передачи продолжительностью более 30 дней в универсальных кластерах или кластерах заданий, выдают исключение. Для запросов длительной потоковой передачи настройте автоматический повтор задания.
• В настоящее время ссылки на таблицы каталога Unity из конвейеров DLT не поддерживаются.
• Группы, созданные ранее в рабочей области, нельзя использовать в инструкциях каталога Unity GRANT. Это позволяет обеспечить согласованное представление групп, которые могут охватывать несколько рабочих областей. Чтобы использовать группы в инструкциях GRANT, сначала создайте свои группы в консоли учетной записи, а затем обновите любые средства автоматизации для управления субъектами или группами (такие как SCIM, Okta, коннекторы Microsoft Entra ID и Terraform), чтобы они ссылались на конечные точки учетной записи вместо конечных точек рабочей области.

Каталог Unity доступен в следующих регионах:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Чтобы использовать каталог Unity в другом регионе, обратитесь в вашу команду по работе с клиентами.

Бессерверный вывод в реальном времени (общедоступная предварительная версия)

16 августа 2022 г.

Бессерверный вывод в реальном времени обрабатывает модели машинного обучения с помощью MLflow и предоставляет их в качестве конечных точек REST API. Эта функция использует бессерверные вычисления, что означает, что конечные точки и связанные вычислительные ресурсы управляются и выполняются в облачной учетной записи Azure Databricks. Плата за использование и хранение в настоящее время не взимается, но Azure Databricks уведомит, когда плата будет взиматься.

Администраторы рабочей области должны включить бессерверный вывод в реальном времени в рабочей области, чтобы можно было использовать эту функцию.

Чтобы принять участие в публичной превью-версии функции Serverless Real-Time Inference, обратитесь к команде, работающей с вашей учетной записью Azure Databricks.

Улучшенный поиск рабочей области теперь предоставляется в общедоступной версии

9 августа 2022 г.

Теперь вы можете выполнять поиск записных книжек, библиотек, папок, файлов и репозиториев по имени. Вы также можете выполнять поиск по содержимому в записной книжке и осуществлять предварительный просмотр соответствующего содержимого. Результаты поиска можно отфильтровать по типу. См. статью "Поиск объектов рабочей области".

Использование созданных столбцов при создании наборов данных DLT

8-15 августа 2022 г.: версия 3.78

Теперь вы можете использовать сгенерированные столбцы при определении таблиц в ваших потоках DLT. Генерируемые столбцы поддерживаются интерфейсами DLT Python и SQL .

Улучшено редактирование записных книжек с помощью редактора на основе Monaco (экспериментальная версия)

8-15 августа 2022 г.

Новый редактор кода на основе Monaco доступен для записных книжек Python. Чтобы включить эту функцию, установите флажок "Включить новый редактор записных книжек" на вкладке "Параметры редактора" на странице "Параметры пользователя".

В новом редакторе содержатся подсказки по типу параметров, инспекция объектов при наведении, свертывание кода, поддержка нескольких курсоров, выбор столбцов (боксов) и сравнение изменений в журнале версий записной книжки.

Прекращение поддержки серии Databricks Runtime 10.3

2 августа 2022 г.

Поддержка Databricks Runtime 10.3 и Databricks Runtime 10.3 для Машинного обучения прекращена 2 апреля. См. Жизненные циклы поддержки Databricks.

Включение частного подключения с помощью Приватного канала Azure (общедоступная предварительная версия)

2 августа 2022 г.

Azure Databricks теперь поддерживает включение Azure Private Link для частного подключения между пользователями и их рабочими областями Azure Databricks, а также между кластерами на вычислительном уровне и основными службами на управляющем уровне внутри инфраструктуры рабочей области Databricks. Приватный канал Azure подключается к службам напрямую, так что трафик не передается через общедоступную сеть. Эта функция предоставляется в общедоступной предварительной версии. См. раздел Включение задних и передних подключений Azure Private Link.

Включение бессерверных хранилищ SQL для рабочей области (общедоступная предварительная версия)

2 августа 2022 г.

Бессерверные хранилища SQL теперь доступны для учетных записей и рабочих областей в Azure Databricks в виде общедоступной предварительной версии. Для этой функции требуется ценовая категория "Премиум". Перед созданием бессерверных хранилищ SQL администратор должен включить его для рабочей области.

Теперь DLT поддерживает обновление только выбранных таблиц в обновлениях конвейера

2–24 августа 2022 г.

Теперь вы можете запустить обновление только для выбранных таблиц в конвейере DLT. Эта функция ускоряет тестирование конвейеров и разрешение ошибок, позволяя запускать обновление конвейера, которое обновляет только выбранные таблицы. Сведения о запуске обновления только выбранных таблиц см. в статье Запуск обновления в конвейере DLT.

Теперь процесс выполнения задания ожидает завершения установки библиотек кластера

1 августа 2022 г.

Когда кластер запускается, ваши задания Databricks теперь ожидают завершения установки библиотек кластера перед выполнением. Раньше выполнения заданий ожидали установки библиотек в универсальных кластерах, только если они были указаны в качестве зависимой библиотеки для задания. Дополнительные сведения о настройке зависимых библиотек для задач см. в разделе "Настройка и изменение задач Databricks".