Июнь 2023 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в июне 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Поставщик Databricks Terraform обновлен до версии 1.20.0

29 июня 2023 г.

поставщик Databricks Terraform версии 1.20.0 добавляет поддержку ресурса Unity Catalogdatabricks_catalog_workspace_binding, улучшает экспорт пользователей и групп на уровне учетной записи и многое другое. Дополнительные сведения см. в журнале изменений для версии 1.20.0.

Интерфейс командной строки Databricks обновлен до версии 0.200.1 (общедоступная предварительная версия)

28 июня 2023 г.

Databricks CLI версии 0.200.1 обновляет fs ls и fs cp команды, поддерживает локальные файлы в качестве стандартных fs для команд, добавляет обнаружение поставщика в команду и многое другое repos create . Дополнительные сведения см. в журнале изменений версии 0.200.1.

Пакет SDK Databricks для Go обновлен до версии 0.12.0 (бета-версия)

28 июня 2023 г.

пакет SDK Databricks для Go версии 0.12.0 добавляет поддержку определений parameters уровня заданий и параметров, условного выполнения заданий и нескольких исправлений ошибок для других служб. Дополнительные сведения см. в журнале изменений версии 0.12.0.

Пакет SDK Databricks для Go обновлен до версии 0.11.0 (бета-версия)

28 июня 2023 г.

Пакет SDK Databricks для Go версии 0.11.0 содержит несколько критических изменений в API Go, включая десятки добавлений, переименований и консолидаций. Дополнительные сведения см. в журнале изменений для версии 0.11.0.

Пакет SDK Databricks для Python (бета-версия)

28 июня 2023 г.

Пакет SDK Databricks для Python теперь доступен как бета-версия. Пакет SDK Databricks для Python позволяет автоматизировать учетные записи Azure Databricks, рабочие области и ресурсы, выполнив код Python.

См. пакет SDK Databricks для Python.

Пакет SDK Databricks для Go (бета-версия)

28 июня 2023 г.

Пакет SDK Databricks для Go теперь доступен как бета-версия. Пакет SDK Databricks для Go позволяет автоматизировать учетные записи Azure Databricks, рабочие области и ресурсы, выполнив код Go.

См. пакет SDK Databricks для Go.

Доступ к журналу аудита, платному использованию и системе происхождения данных tables (общедоступная предварительная версия)

28 июня 2023 г.

Администраторы учетных записей теперь могут включать доступ к системе tables в учетных записях Azure Databricks. Система tables — это хранилище для аналитики, размещенное на Azure Databricks, для операционных данных аккаунта. Система tables предоставляет легко доступные данные наблюдаемости учетной записи.

Дополнительные сведения см. в разделе Мониторинг действий учетной записи с помощью системных tables.

Модели в Unity Catalog (предварительная общедоступная версия)

28 июня 2023 г.

Теперь можно обновить рабочие процессы реестра моделей MLflow, чтобы управлять моделями с помощью CatalogUnity. Unity Catalog обеспечивает централизованный контроль доступа, аудит, линейность, совместное использование моделей между рабочими областями и лучшие рабочие процессы развертывания MLOps. Databricks рекомендует использовать модели в Unity Catalog вместо существующего реестра моделей рабочей области, который будет устарел в будущем. Дополнительные сведения см. в статье Управление жизненным циклом модели в Catalog Unity.

Databricks Marketplace теперь является общедоступной

27 июня 2023 г.

Теперь вы можете использовать Databricks Marketplace для обнаружения, получения доступа и развертывания сотен продуктов и записных книжек данных от лучших providers в ваши рабочие процессы ИИ и аналитики. Основные моменты с начала общедоступной предварительной версии включают новые providers, включая Dun и Bradstreet, LexisNexis, Refinitiv (Группа Лондонской фондовой биржи), YipitData и ZoomInfo, а также добавление частных обменов и упрощенное управление разрешениями для потребителей с помощью привилегии USE_MARKETPLACE_ASSETS.

См. раздел "Что такое Databricks Marketplace?".

Databricks Runtime 13.2 (бета-версия)

26 июня 2023 г.

Databricks Runtime 13.2 и Databricks Runtime 13.2 ML теперь доступны в качестве бета-выпусков.

См. статью Databricks Runtime 13.2 (EoS) и Databricks Runtime 13.2 для Машинное обучение (EoS).

Расширение Databricks для Visual Studio Code (общая доступность)

26 июня 2023 г.

Расширение Databricks для Visual Studio Code теперь общедоступно. Подключитесь к lakehouse, выполните интерактивную отладку и запустите записные книжки Jupyter, все без выхода из интегрированной среды разработки. Используйте навигацию по коду интегрированной среды разработки, рефакторинг, завершение и идентификацию ошибок.

См. расширение Databricks для Visual Studio Code.

Включение ключей, управляемых клиентом, с помощью Azure CLI и PowerShell без шаблона

23 июня 2023 г.

Теперь вы можете включить управляемые клиентом ключи для управляемых служб и управляемых дисков с помощью Azure CLI и PowerShell без использования шаблона. Это уже доступно для ключей, управляемых клиентом для DBFS. Сведения о включении ключей, управляемых клиентом для управляемых служб, настройке управляемых клиентом ключей для управляемых дисков Azure и ключей, управляемых клиентом, для корневого каталога DBFS.

Бессерверные хранилища SQL работают с включенными серверными Приватный канал Azure

22 июня 2023 г.

Включение серверной Приватный канал Azure больше не предотвращает запуск бессерверных хранилищ SQL. Бессерверные вычислительные ресурсы не используют серверное Приватный канал Azure подключение, если оно включено. См. разделы включение бессерверных хранилищ SQL и включение серверной части и интерфейсной части Azure Private Link connections.

Обзор завершенных заданий в пользовательском интерфейсе заданий Azure Databricks

22 июня 2023 г.

Расширенный пользовательский интерфейс заданий Azure Databricks предоставляет визуальный обзор завершенных запусков заданий, фильтруемый по состоянию и времени выполнения, а также list наиболее распространенных ошибок задания. Фильтр времени по умолчанию охватывает предыдущие 48 часов. См. раздел Просмотр последних заданий во всех заданиях.

Интерфейс командной строки Databricks (общедоступная предварительная версия)

21 июня 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) прошел капитальный ремонт. Новый интерфейс командной строки охватывает все операции REST API Databricks и поддерживает все типы проверки подлинности Azure Databricks. Пользователи macOS и Linux могут установить новый интерфейс командной строки с помощью Homebrew. Windows также поддерживается.

Улучшена разбивка результатов на страницы из List all jobs запросов API и List job runs запросов API

14 июня 2023 г.

Теперь можно использовать параметр page_token для страницы результатов, возвращаемых из GET /api/2.1/jobs/list и GET /api/2.1/jobs/runs/list запросов API заданий. Эта разбивка на основе маркеров заменяет устаревшие offset и limitparameters и повышает масштабируемость службы для этих запросов.

Браузер рабочей области с полной страницей включает Репозиторий

14 июня 2023 г.

Теперь браузер рабочей области с полной страницей расширяется в Репозитории. Вы можете просматривать содержимое в Databricks Repos вместе с содержимым рабочей области, щелкнув рабочую область на боковой панели. Вы также можете просматривать содержимое из записной книжки с помощью контекстного браузера. Дополнительные сведения о браузере рабочей области с полной страницей см. в статье "Навигация" в браузере рабочей области и рабочей области.

Поставщик Databricks Terraform обновлен до версии 1.19.0

14 июня 2023 г.

Поставщик Databricks Terraform 1.19.0 добавляет и run_asrun_as_user_nameдобавляет databricks_job дополнительные атрибуты в databricks_cluster_policy, добавляет force_destroy к databricks_external_locationи т. д. Дополнительные сведения см. в журнале изменений для версии 1.19.0.

Выполнение заданий в качестве субъекта-службы (общедоступная предварительная версия)

13 июня 2023 г.

Теперь вы можете grant пользователям Azure Databricks, субъектам-службам и группам разрешений на использование субъекта-службы. Это позволяет пользователям выполнять задания в качестве субъекта-службы, а не в качестве удостоверения владельца задания, чтобы предотвратить сбой заданий, если пользователь покидает вашу организацию или группу.

Сведения об управлении субъектами-службами и настройке удостоверения для выполнения заданий см. в разделе "Роли".

Новый пользовательский интерфейс субъекта-службы обеспечивает лучший интерфейс управления

13 июня 2023 г.

Теперь вы можете использовать новый пользовательский интерфейс субъекта-службы для управления субъектами-службами в рабочей области. Пользовательский интерфейс субъекта-службы позволяет добавлять субъекты-службы в рабочую область, настраивать права и управлять разрешениями субъекта-службы. См. статью Управление субъектами-службами.

Домашние папки восстанавливаются при повторном добавлении пользователей в рабочие области

9 июня 2023 г.

Когда администратор удаляет пользователя из рабочей области, а затем повторно добавляет их, теперь восстанавливается домашняя папка пользователя. Ранее после повторного добавления в рабочую область пользователь получил новую пустую домашнюю папку. Их старая домашняя папка была сохранена в качестве резервной копии. Дополнительные сведения о папках рабочей области см. в разделе "Упорядочивание объектов рабочей области" в папки.

Databricks Marketplace: теперь доступны частные обмены

7 июня 2023 г.

Частные платформы обмена позволяют providers данных делиться продуктами данных с select группой приглашенных потребителей. Частные списки отображаются на домашней странице Marketplace приглашенных потребителей, но не отображаются на общедоступной платформе. См. статью "Создание частных обменов" и управление ими в Databricks Marketplace.

Databricks Marketplace: потребители могут удалять продукты данных с помощью пользовательского интерфейса

5 июня 2023 г.

Теперь потребители данных могут удалить любой продукт данных с помощью интерфейса запросов Marketplace My. См. статью "Удаление установленных продуктов данных".

Databricks Marketplace: providers могут создавать собственные профили

5 июня 2023 г.

Теперь сущность providers может создавать и update собственные профили после того как будет одобрено их заявление поставщика. См. статью "Создание профиля поставщика Marketplace".

Databricks Connect V2 — это общедоступная версия для Python

2 июня 2023 г.

Начиная с Databricks Runtime 13.1, Databricks Connect теперь общедоступен для Python. В этом выпуске добавлена поддержка структурированной потоковой передачи, всех функций Delta и Pandas в Spark. Он также включает поддержку OAuth (экспериментальный), опираясь на включенный пакет SDK Databricks для Python.

Поставщик Databricks Terraform обновлен до версии 1.18.0

2 июня 2023 г.

Поставщик Databricks Terraform 1.18.0 добавляет databricks_volume ресурс, databricks_model_serving поддержку databricks_permissionsи многое другое. Дополнительные сведения см. в журнале изменений для версии 1.18.0.

Новый providers Databricks Marketplace

1 июня 2023 г.

Восемь новых providers опубликовали листинги в Databricks Marketplace в прошлом месяце. Например:

• IQVIA: данные здравоохранения и наук о жизни.
• Morningstar: Инвестиции, предлагающие данные и аналитические сведения об исследованиях, такие как данные оценки рисков ESG.
• Вайсала: данные о погоде и окружающей среде.
• Сукали: метрики производительности недвижимости для хедж-фондов и инвесторов.
• Исследование данных Veritas: комплексный индекс данных смертности США с 2010 по сегодняшний день.
• Сборщики данных: спортивные и торговые карточки для рекламодателей и потребителей.
• Tego Cyber: кибербезопасность и данные аналитики угроз
• Работоспособности ленты: данные поставщика услуг здравоохранения.

Если у вас есть вопросы об этом providers или Маркетплейсе, обратитесь к dataconsumers@databricks.com. См. также раздел "Что такое Databricks Marketplace?".

Databricks Runtime 13.1 — общедоступная версия

1 июня 2023 г.

Databricks Runtime 13.1 и Databricks Runtime 13.1 ML теперь общедоступны.

См. статью Databricks Runtime 13.1 (EoS) и Databricks Runtime 13.1 для Машинное обучение (EoS).

Просмотр данных из записных книжек, редактора SQL и обозревателя Catalog с помощью единого браузера schema (общедоступная предварительная версия)

1 июня 2023 г.

Новый унифицированный браузер schema позволяет просматривать все данные в хранилище метаданных Unity Catalog без выхода из записной книжки или редактора SQL. Вы можете selectДля перейти к limit просмотру только тех активных данных, которые вы используете, и ваших избранных.

Дополнительные сведения о обозревателе Catalog см. в обозревателе Catalog.

Сведения о доступе к Catalog Explorer из записной книжки см. в статье Обзор данных.