Сентябрь 2023

Эти функции и улучшения платформы Azure Databricks были выпущены в сентябре 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Федерация Lakehouse доступна на кластерах одного пользователя

29 сентября 2023 г.

Федерация Lakehouse теперь доступна на кластерах для отдельных пользователей с использованием Databricks Runtime 13.1 и более поздних версий. Только владелец подключения может выполнять запросы в федеративных каталогах. См. статью "Что такое Федерация Lakehouse?".

Делегирование возможности создания учетных данных хранения в каталоге Unity

29 сентября 2023 г.

Теперь вы можете предоставить пользователям разрешения на создание учетных данных хранения в хранилище метаданных каталога Unity с помощью новой CREATE STORAGE CREDENTIAL привилегии. См. статью CREATE STORAGE CREDENTIAL.

Databricks Runtime 14.1 (бета-версия)

28 сентября 2023 г.

Databricks Runtime 14.1 и Databricks Runtime 14.1 ML теперь доступны в качестве бета-выпусков.

Сведения о Машинное обучение см. в databricks Runtime 14.1 и Databricks Runtime 14.1.

Модель GPU, оптимизированная для LLM в общедоступной предварительной версии

28 сентября 2023 г.

Модель, обслуживаемая в Azure Databricks, поддерживает развертывание моделей PyTorch и TensorFlow с помощью вычислительных ресурсов GPU. Эта функция доступна в общедоступной предварительной версии в некоторых регионах, а также применяется к развертыванию моделей gpu, зарегистрированных с помощью mlflow.pyfunc, mlflow.pytorchmlflow.tensorflowи mlflow.transformers вкусов. См . типы рабочих нагрузок GPU.

Эта предварительная версия также включает поддержку развертывания GPU, оптимизированного для обслуживания больших языковых моделей. См. оптимизированную языковую модель (LLM)

Запрет выполнения задания пропускаться при достижении ограничений параллелизма

27 сентября 2023 г. - 2 октября 2023 г.

Чтобы запретить запуску задания Azure Databricks пропускаться из-за ограничений параллелизма, теперь можно включить очередь в задании. Если включена очередь, если достигнуто ограничение параллелизма, задание помещается в очередь до тех пор, пока емкость не будет доступна для запуска задания. См. раздел "Включить очередь выполнения заданий".

Поставщик Databricks Terraform обновлен до версии 1.27.0

27 сентября 2023 г.

Поставщик Databricks Terraform версии 1.27.0 добавляет и ownerforce_destroyвключает databricks_metastore_data_access несколько дополнительных улучшений и исправлений ошибок и многое другое. Дополнительные сведения см. в журнале изменений версии 1.27.0.

Интерфейс командной строки Databricks обновлен до версии 0.206.0 (общедоступная предварительная версия)

27 сентября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.206.0. Этот выпуск позволяет переопределить целевые переопределения для кластеров конвейеров в пакетах ресурсов Databricks, улучшить инициализацию шаблона пакета и многое другое. Дополнительные сведения см. в журнале изменений для версии 0.206.0.

Пакет SDK Databricks для Go обновлен до версии 0.21.0 (бета-версия)

27 сентября 2023 г.

Пакет SDK Databricks для Go версии 0.21.0 содержит более десятка критических изменений API, добавляет более десятка API и добавляет десятки полей. Дополнительные сведения см. в журнале изменений для версии 0.21.0.

Таблицы вывода для конечных точек обслуживания моделей — общедоступная предварительная версия

26 сентября 2023 г.

Включите таблицы вывода в конечных точках, обслуживающих модель, чтобы записывать входящие запросы и исходящие ответы на эти конечные точки и регистрировать их в виде таблицы delta каталога Unity. В свою очередь, можно использовать данные в этой таблице для мониторинга, отладки и улучшения моделей машинного обучения. См . таблицы вывода для мониторинга и отладки моделей.

Чтобы зарегистрироваться в общедоступной предварительной версии, обратитесь к группе учетных записей Azure Databricks.

Драйвер ODBC Databricks 2.7.5

23 сентября 2023 г.

Мы выпустили версию 2.7.5 драйвера ODBC Databricks (скачать). В этом выпуске добавлены следующие новые функции и улучшения:

• Усовершенствование проверки подлинности клиента OAuth 2.0 и поддержка обнаружения конечных точек OIDC.
• Шифрование на стороне сервера с предоставленными клиентом ключами.
• Функция timedate.
• Улучшено обмен сообщениями об ошибках для Cloud Fetch.
• Обновления безопасности.

Этот выпуск также разрешает следующую регрессию в версии 2.7.3:

• Функция SQLForeignKeys возвращает пустой результат, если вызывающий объект передает NULL значение для каталога основной таблицы или внешней таблицы.

Выпуск 2.7.5 теперь возвращает все первичные ключи или внешние ключи, связанные с связанной таблицей, если каталог другой таблицы задан NULL.

Расширение Databricks для Visual Studio Code обновлено до версии 1.1.3

21 сентября 2023 г.

Расширение Databricks для Visual Studio Code версии 1.1.3 добавляет несколько дополнительных исправлений. Дополнительные сведения см. в журнале изменений версии 1.1.3.

Выполнение заданий в качестве субъекта-службы — общедоступная версия

21 сентября 2023 г.

Роли субъектов-служб и параметры задания для выполнения заданий с помощью удостоверения субъекта-службы теперь являются общедоступной.

Сведения об управлении субъектами-службами и настройке удостоверения для выполнения заданий см. в разделе "Роли".

Интерфейс командной строки Databricks обновлен до версии 0.205.2 (общедоступная предварительная версия)

21 сентября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.205.2. Этот выпуск содержит несколько дополнительных обновлений. Дополнительные сведения см. в журнале изменений версии 0.205.2.

Интерфейс командной строки Databricks обновлен до версии 0.205.1 (общедоступная предварительная версия)

20 сентября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.205.1. Этот выпуск позволяет переопределить целевые переопределения для задач задания в пакетах ресурсов Databricks и многое другое. Дополнительные сведения см. в журнале изменений версии 0.205.1.

Пакет SDK Databricks для Go обновлен до версии 0.20.0 (бета-версия)

20 сентября 2023 г.

Пакет SDK Databricks для Go версии 0.20.0 добавляет более десятка API, добавляет пол-десятка полей, изменяет несколько полей и методов и удаляет несколько API. Дополнительные сведения см. в журнале изменений версии 0.20.0.

Пакет SDK Databricks для Python обновлен до версии 0.9.0 (бета-версия)

20 сентября 2023 г.

Пакет SDK Databricks для Python версии 0.9.0 изменяет несколько методов и полей, добавляет около 10 полей, добавляет около 20 классов данных и вводит дополнительные изменения и удаления. Дополнительные сведения см. в журнале изменений для версии 0.9.0.

Пакет SDK Databricks для Python обновлен до версии 0.7.1 (бета-версия)

20 сентября 2023 г.

Пакет SDK Databricks для Python версии 0.7.1 содержит дополнительное исправление для повышения производительности загрузки файлов. Дополнительные сведения см. в журнале изменений для версии 0.7.1.

Поставщик Databricks Terraform обновлен до версии 1.26.0

20 сентября 2023 г.

Поставщик Databricks Terraform версии 1.26.0 добавляет поддержку скриптов инициализации из томов каталога Unity, включает несколько дополнительных улучшений и исправлений ошибок и многое другое. Дополнительные сведения см. в журнале изменений для версии 1.26.0.

Databricks Connect для Databricks Runtime 14.0

20 сентября 2023 г.

Databricks Connect для Databricks Runtime 14.0 поддерживает полную структурированную потоковую передачу (включая foreachBatch) и длительные запросы, которые повторно подключаются к запросу после прерывания.

Панели мониторинга Lakeview в общедоступной предварительной версии

20 сентября 2023 г.

Панели мониторинга Lakeview позволяют совместно использовать визуализации и наборы данных с помощью упрощенной и унифицированной модели управления данными. См . панели мониторинга.

Databricks Connect V2 — общедоступная предварительная версия для Scala

19 сентября 2023 г.

Databricks Connect для Databricks Runtime 13.3 LTS теперь поддерживает Scala в общедоступной предварительной версии, включая кадры данных, разностную, структурированную потоковую передачу и многое другое.

Для Python теперь поддерживается отмена запросов, а DatabricksSession класс теперь можно использовать в записных книжках и заданиях Azure Databricks.

Модель GPU, обслуживающаяся в общедоступной предварительной версии

19 сентября 2023 г.

Модель, обслуживаемая в Azure Databricks, поддерживает развертывание моделей PyTorch и TensorFlow с помощью вычислительных ресурсов GPU. Эта функция доступна в [общедоступной предварительной версии] в некоторых регионах, а также применяется к развертыванию моделей GPU, зарегистрированных с помощью mlflow.pyfunc, mlflow.pytorchmlflow.tensorflowи mlflow.transformers вкусов. См . типы рабочих нагрузок GPU.

Теперь вычислительная функция по запросу доступна в каталоге Unity (общедоступная предварительная версия)

14 сентября 2023 г.

Функции машинного обучения теперь можно вычислить по запросу во время вывода. Логика вычислений функций, модели и данные управляются каталогом Unity. Это позволяет моделируть функции вычислений с помощью входных данных, доступных только во время вывода, например текущее расположение пользователя. Дополнительные сведения см. в разделе "Вычислительные функции по запросу" с помощью определяемых пользователем функций Python.

Databricks Runtime 14.0 — общедоступная версия

14 сентября 2023 г.

Databricks Runtime 14.0 и Databricks Runtime 14.0 ML теперь общедоступны.

См. статью Databricks Runtime 14.0 (EoS) и Databricks Runtime 14.0 для Машинное обучение (EoS).

Обновление учетной записи Уведомления по электронной почте

14 сентября 2023 г.

Databricks больше не отправляет Уведомления по электронной почте при добавлении пользователей в учетную запись Azure Databricks. Пользователи будут продолжать получать Уведомления по электронной почте при предоставлении им доступа к рабочей области.

Поставщик Databricks Terraform обновлен до версии 1.25.1

13 сентября 2023 г.

Поставщик Databricks Terraform версии 1.25.1 выпущен с незначительными улучшениями и исправлениями ошибок. Дополнительные сведения см. в журнале изменений версии 1.25.1.

Пакет SDK Databricks для Go обновлен до версии 0.19.2 (бета-версия)

13 сентября 2023 г.

Пакет SDK Databricks для Go версии 0.19.2 содержит одно дополнительное исправление. Дополнительные сведения см. в журнале изменений для версии 0.19.2.

Интерфейс командной строки Databricks обновлен до версии 0.205.0 (общедоступная предварительная версия)

13 сентября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.205.0. Это первый выпуск интерфейса командной строки Databricks для поддержки пакетов ресурсов Databricks в общедоступной предварительной версии. Дополнительные сведения см. в журнале изменений версии 0.205.0.

Зарезервированное расположение для /Workspace

13 сентября 2023 г.

Теперь расположение /Workspace зарезервировано. Вы больше не можете определить каталог с именем /Workspace относительно корневого пути в Azure Databricks.

Пакеты активов Databricks (общедоступная предварительная версия)

12 сентября 2023 г.

Пакеты активов Databricks теперь в общедоступной предварительной версии позволяют выразить комплексные данные, аналитику и проекты машинного обучения в виде коллекции исходных файлов. Это упрощает применение рекомендаций по проектированию данных, таких как управление версиями, проверка кода, тестирование и CI/CD.

Поставщик Databricks Terraform обновлен до версии 1.25.0

12 сентября 2023 г.

Поставщик Databricks Terraform версии 1.25.0 включает добавление IS_OWNER разрешений для хранилищ SQL Databricks, дополнительных исправлений, обновлений документации и т. д. Дополнительные сведения см. в журнале изменений версии 1.25.0.

Расширение Databricks для Visual Studio Code обновлено до версии 1.1.2

12 сентября 2023 г.

Расширение Databricks для Visual Studio Code версии 1.1.2 добавляет экспериментальную поддержку и %run# MAGIC в записных книжках Azure Databricks, устраняет проблемы пути с несколькими локальными установками интерфейса командной строки Databricks и многое другое. Дополнительные сведения см. в журнале изменений для версии 1.1.2.

Partner Connect поддерживает Snowplow

12 сентября 2023 г.

Теперь вы можете использовать Partner Connect для подключения рабочей области Azure Databricks к Snowplow. Дополнительные сведения см. в разделе "Подключение к Snowplow".

Интерфейс командной строки Databricks обновлен до версии 0.204.1 (общедоступная предварительная версия)

11 сентября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.204.1. Дополнительные сведения см. в журнале изменений версии 0.204.1.

Фильтрация конфиденциальных данных с помощью фильтров строк и маски столбцов (общедоступная предварительная версия)

11 сентября 2023 г.

Теперь можно применить фильтры строк и маски столбцов к таблицам, чтобы предотвратить доступ к конфиденциальным данным определенными пользователями. Эти фильтры и маски реализуются как определяемые пользователем функции SQL (определяемые пользователем функции). См. раздел "Фильтрация конфиденциальных данных таблицы" с помощью фильтров строк и маски столбцов.

Системные таблицы теперь включают схему Marketplace (общедоступная предварительная версия)

8 сентября 2023 г.

Системные таблицы теперь включают схему marketplace , в которой хранятся данные поставщика Marketplace. Вы можете запросить таблицу marketplace.listing_access_events , чтобы получить сведения о потребителе для действий, выполняемых в списках. Дополнительные сведения см. в справочнике по системным таблицам Marketplace.

Теперь доступна таблица системы ценообразования (общедоступная предварительная версия)

8 сентября 2023 г.

Системные таблицы теперь включают в себя таблицу цен (system.billing.list_prices), где можно отслеживать стоимость номера SKU с течением времени. Эти журналы помогают выполнять анализ затрат и отслеживать изменения цен. См . справочник по системе ценообразования.

Пакет SDK Databricks для Go обновлен до версии 0.19.1 (бета-версия)

7 сентября 2023 г.

Пакет SDK Databricks для Go версии 0.19.1 продолжает несколько дополнительных обновлений и исправлений. Дополнительные сведения см. в журнале изменений для версии 0.19.1.

Драйвер ODBC Databricks 2.7.3

7 сентября 2023 г.

Мы выпустили версию 2.7.3 драйвера ODBC Databricks (скачать). Этот выпуск включает следующие функции и исправления:

• Исправления уязвимостей путем обновления сторонних зависимостей.
• SQL_ATTR_MAX_ROWS поддержка, которая позволяет клиенту ограничить количество строк, которые необходимо получить в запросе, чтобы ускорить быструю загрузку (например, предварительная версия).
• Обновлена поддержка MacOS. Драйвер теперь поддерживает Apple Silicon/M1.
• Поддержка проверки подлинности на основе браузера OAuth2 для упрощения единого входа.

Внимание

Если вы используете API-интерфейсы первичного ключа и внешнего ключа, функция возвращает пустой результат, SQLForeignKeys если вызывающий объект передает NULL значение для каталога первичной таблицы или внешней таблицы. Эта проблема известна разработчикам.

Интерфейс командной строки Databricks обновлен до версии 0.204.0 (общедоступная предварительная версия)

6 сентября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.204.0. Этот выпуск включает группирование связанных с разрешениями команд, добавляет и изменяет несколько команд и многое другое. Дополнительные сведения см. в журнале изменений для версии 0.204.0.

Обозреватель данных теперь является обозревателем каталогов

6 сентября 2023 г.

Обозреватель данных переименован в обозреватель каталогов, чтобы распознать тот факт, что его можно использовать для работы со всеми защищаемыми объектами в каталоге Unity, а не только с объектами данных. См. раздел "Что такое обозреватель каталогов?".

Пакет SDK Databricks для Go обновлен до версии 0.19.0 (бета-версия)

4 сентября 2023 г.

Пакет SDK Databricks для Go версии 0.19.0 переименовывает API разрешений, добавляет 8 API, добавляет 5 полей, изменяет и удаляет несколько полей и изменяет несколько методов. Дополнительные сведения см. в журнале изменений для версии 0.19.0.

Пакет SDK Databricks для Python обновлен до версии 0.8.0 (бета-версия)

4 сентября 2023 г.

Пакет SDK Databricks для Python версии 0.8.0 переименовывает API разрешений, добавляет пол-дюжину полей, добавляет полу десятка классов данных и вводит несколько изменений и удалений. Дополнительные сведения см. в журнале изменений для версии 0.8.0.

Делегирование привилегий списка разрешений в каталоге Unity

1 сентября 2023 г.

Теперь вы можете делегировать привилегии для управления элементами в списке разрешений для каталога Unity. См . библиотеки allowlist и скрипты инициализации в общих вычислительных ресурсах.

Интеграция приложений GitHub в Repos — это общедоступная версия

1 сентября 2023 г.

Интеграция приложений GitHub в Repos — это общедоступная версия. Эта функция позволяет упростить управление учетными данными Git при интеграции с GitHub в Repos.

Внимание

Приложения GitHub не поддерживаются на GitHub Enterprise Server.