Октябрь 2023

Эти функции и улучшения платформы Azure Databricks были выпущены в октябре 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Бессерверное безопасное подключение для Databricks SQL Serverless (общедоступная предварительная версия)

31 октября 2023 г.

Новые бессерверные средства безопасного подключения помогают управлять доступом к сети из бессерверных хранилищ SQL в источники данных в служба хранилища Azure. Можно выбрать брандмауэр хранилища с помощью идентификаторов подсети или включить частное подключение с помощью Приватный канал Azure. Чтобы получить доступ к общедоступной предварительной версии, обратитесь к группе вашей учетной записи Azure Databricks join. См. сведения о сети бессерверных вычислительных плоскостей.

Если у вас есть брандмауэры хранилища, настроенные с помощью идентификаторов подсетей, перечисленных в документации по Azure Databricks до 31 октября 2023 г., Databricks рекомендует update конфигурации брандмауэра для каждого из регионов рабочей области с помощью одного из новых средств. Это поможет вам применить согласованное развертывание во всех рабочих областях. Если вы решили не update существующих конфигураций, рабочие области будут продолжать работать.

Просмотр источника YAML для задания Azure Databricks

30 октября 2023 г.

Теперь вы можете просмотреть и скопировать источник YAML для задания, щелкнув страницу сведений о задании и выбрав представление YAML/JSON. Источник YAML можно использовать для создания рабочих процессов CI/CD с помощью пакетов ресурсов Databricks. См. раздел "Что такое пакеты ресурсов Databricks?".

Добавление условной логики в рабочие процессы Azure Databricks

30 октября 2023 г.

Теперь можно использовать If/else condition задачу для условного выполнения задач в задании Azure Databricks на основе результатов логического выражения. См. раздел "Добавление логики ветвления в задание" с задачей If/else.

Настройте parameters в задании Azure Databricks, чтобы на него могли ссылаться все задачи задания.

30 октября 2023 г.

Теперь вы можете добавить parameters в ваши задания Azure Databricks, которые автоматически передаются всем задачам всех заданий, принимающим пары "ключ-значение". См. Настроить задание parameters. Кроме того, теперь можно использовать расширенный набор ссылок на значения (set) для передачи контекста и состояния между задачами. См . статью "Что такое ссылка на динамическое значение?".

Векторы автоматического включения удаления

30 октября 2023 г.

Теперь вы можете включить векторы удаления для всех новых Delta tables в Databricks Runtime 14.0 и более поздних версий с настройкой администратора рабочей области Автоматическое Включение Векторов Удаления. Это поведение в настоящее время является отказом, но изменится на отказ в будущем. Databricks рекомендует вручную настроить параметр для этого параметра. См. векторы автоматического включения удаления.

Поддержка Catalog Unity для UNDROP TABLE — это общедоступная версия

25 октября 2023 г.

Вы можете отменить удаление управляемого или внешнего table в существующем schema в течение семи дней после удаления. Требуется Databricks Runtime 12.1 и более поздней версии. См. UNDROP TABLE и SHOW TABLES DROPPED.

Partner Connect поддерживает Dataiku

25 октября 2023 г.

Теперь вы можете использовать Partner Connect для подключения рабочей области Azure Databricks к Dataiku. См. статью "Подключение к Dataiku".

Созданные записные книжки AutoML теперь сохраняются как артефакты MLflow

24 октября 2023 г.

Созданные autoML записные книжки теперь сохраняются как артефакты MLflow во всех средах выполнения Databricks для Машинное обучение версий.

Новый регион: Центральная Катара

23 октября 2023 г.

Azure Databricks теперь доступен в катарской центральной части. Ознакомьтесь с регионами Azure Databricks.

Unity Catalogvolumes поддерживается брандмауэром Azure и приватным каналом

23 октября 2023 г.

Теперь вы можете использовать Unity Catalogvolumes в сочетании с учетными записями хранения Azure, настроенными с помощью брандмауэра Azure или приватного канала. Это удаляет предыдущее ограничение.

Прогнозная оптимизация (общедоступная предварительная версия)

24 октября 2023 г.

Прогнозная оптимизация удаляет необходимость вручную управлять операциями обслуживания для Delta tables. Операции обслуживания выполняются только по мере необходимости, устраняя ненужные запуски для операций обслуживания и нагрузки, связанной с отслеживанием и устранением неполадок производительности. См. прогнозную оптимизацию для управляемого Catalog Unity tables.

Вычислительная система tables теперь доступна (общедоступная предварительная версия)

23 октября 2023 г.

system.compute schema содержит два новых tables, которые можно использовать для мониторинга вычислительных ресурсов в учетной записи: clusters и node_types.

Кластеры table — это медленно изменяющееся измерение table, которое содержит полную историю конфигураций кластера со временем для кластеров всех целей и заданий. Типы узлов table фиксируют доступные в настоящее время типы узлов с базовой информацией о оборудовании. Если у вас нет доступа к этим системам tables, убедитесь, что вы включили вычисления schema в своей учетной записи (см. раздел Включение схем систем table).

Для получения дополнительной информации о вычислительной системе tablesсм. справочник по вычислительным системам tables.

Вычисление функций по запросу — общедоступная версия

19 октября 2023 г.

Функции машинного обучения теперь можно вычислить по запросу во время вывода. Это позволяет моделям вычислять признаки с помощью входных данных, доступных только во время инференса, таких как текущее местоположение пользователя, или использовать признаки, которые слишком затратны для предварительных вычислений, хранения и refresh. Код обучения модели может определять произвольный граф подстановок функций и вычислений, выполняемых во время обучения и вывода модели.

Логика вычисления признаков, модели и данные управляются Unity Catalog. Дополнительные сведения см. в разделе "Вычислительные функции по запросу" с помощью определяемых пользователем функций Python.

Инженерия функций в Unity Catalog достигла стадии общедоступной версии

19 октября 2023 г.

С помощью конструктора компонентов в Unity CatalogCatalog Unity становится вашим хранилищем функций. Вы можете использовать любую Delta table с первичным ключом в качестве функции table для обучения модели или инференции. Catalog Unity предоставляет обнаружение функций и управление ими.

Комментарии, созданные с помощью ИИ, (общедоступная предварительная версия) table

18 октября 2023 г.

В рамках инициативы по использованию ИИ, чтобы помочь вам в работе с Azure Databricks, Azure Databricks вводит созданные ИИ table и column примечания к общедоступной предварительной версии. В обозревателе Catalog можно просматривать, изменять и добавлять сгенерированный ИИ комментарий для любых table или tablecolumn, которыми управляет Unity Catalog. Примечания, созданные искусственным интеллектом, могут использовать внешние партнеры модели для предоставления ответов. Данные, отправленные этим службам, не используются для обучения модели.

См. раздел Добавление комментариев, созданных ИИ, в объекты Unity Catalog.

Модели Unity в версии Catalog общедоступны

17 октября 2023 г.

Модели машинного обучения в Unity Catalog теперь доступны в общем доступе. Unity Catalog обеспечивает централизованный контроль доступа, аудит, прослеживаемость, обмен моделями в рабочих пространствах и улучшенные рабочие процессы развертывания MLOps. Azure Databricks рекомендует использовать модели в Unity Catalog вместо реестра моделей рабочей области. Дополнительные сведения см. в статье Управление жизненным циклом модели в Catalog Unity.

Библиотеки теперь поддерживаются в политиках вычислений (общедоступная предварительная версия)

17 октября 2023 г.

Теперь администраторы рабочей области могут добавлять библиотеки в политики вычислений. Вычисления, использующие политику, автоматически установят библиотеку. Пользователи не могут устанавливать или удалять библиотеки с областью вычислений на вычислительных ресурсах, использующих политику. Ранее установленные библиотеки будут удалены.

Databricks рекомендует перенести все библиотеки, установленные с помощью скриптов инициализации, для использования политик вычислений. См. раздел "Добавление библиотек в политику".

Partner Connect поддерживает Монте Карло

16 октября 2023 г.

Теперь вы можете использовать Partner Connect для подключения рабочей области Azure Databricks к Монте-Карло. Дополнительные сведения см. в статье "Подключение Azure Databricks к Монте-Карло".

Семантический поиск (общедоступная предварительная версия)

16 октября 2023 г.

Теперь вы можете использовать естественный язык для поиска Catalogtables Unity в диалоговом окне расширенного поиска. См. статью Семантический поиск.

Включение помощника Databricks на уровне рабочей области

11 октября 2023 г.

Администратор рабочей области теперь может включить или отключить Помощник Databricks для отдельной рабочей области, если администратор учетной записи разрешил ей. Дополнительные сведения см. в разделе Разделы справки включение помощника Databricks?.

Новые параметры фотона по умолчанию

11 октября 2023 г.

При создании кластера с помощью пользовательского интерфейса подсистема среды выполнения Databricks по умолчанию включена Photon. Это относится к кластерам всех назначений и заданий.

Новые кластеры, созданные с помощью политики кластера, совместимой с Photon, по умолчанию включают Photon. Политика кластера совместима с Photon, если Databricks Runtime поддерживает поддержку, тип узла поддерживается и runtime_engine не указан явно как set для STANDARD.

Databricks Runtime 14.1 — общедоступная версия

11 октября 2023 г.

Databricks Runtime 14.1 и Databricks Runtime 14.1 ML теперь общедоступны.

Сведения о Машинное обучение см. в databricks Runtime 14.1 и Databricks Runtime 14.1.

заметки о выпуске Средства разработчика перемещены

10 октября 2023 г.

Заметки о выпуске средств разработчика Azure Databricks после 10 октября 2023 г. теперь публикуются в заметках о выпуске средств разработчика Azure Databricks и пакетов SDK вместо заметок о выпуске платформы Azure Databricks.

Расширение Databricks для Visual Studio Code обновлено до версии 1.1.5

9 октября 2023 г.

Расширение Databricks для Visual Studio Code версии 1.1.5 содержит несколько дополнительных исправлений. Дополнительные сведения см. в журнале изменений версии 1.1.5.

Прогнозный ввод-вывод для обновлений — это общедоступная версия

9 октября 2023 г.

Прогнозный ввод-вывод для обновлений теперь общедоступен в Databricks Runtime 14.0 и более поздних версий. См. сведения о прогнозных ввода-выводах.

Векторы удаления — общедоступная версия

9 октября 2023 г.

Векторы удаления теперь общедоступны в Databricks Runtime 14.0 и более поздних версий. См. раздел " Что такое векторы удаления?".

Partner Connect поддерживает RudderStack

5 октября 2023 г.

Теперь вы можете использовать Partner Connect для подключения рабочей области Azure Databricks к RudderStack. Дополнительные сведения см. в разделе "Подключение к RudderStack".

Интерфейс командной строки Databricks обновлен до версии 0.207.0 (общедоступная предварительная версия)

4 октября 2023 г.

Интерфейс командной строки Databricks (Databricks CLI) обновлен до версии 0.207.0. Этот выпуск содержит обновления компонентов и исправления для пакетов активов Databricks, вносит дополнения и изменения в несколько групп команд и команд и многое другое. Дополнительные сведения см. в журнале изменений для версии 0.207.0.

Запуск выбранных ячеек в записной книжке

4 октября 2023 г.

Теперь вы можете запускать только выбранные ячейки в записной книжке. См. раздел "Запуск выбранных ячеек".

Использование привязкиcatalog рабочей области для предоставления доступа только для чтения к catalog

4 октября 2023 г.

При использовании привязки к рабочей областиcatalog для limitcatalog доступа к конкретным рабочим областям в вашей учетной записи, теперь можно сделать этот доступ доступным только для чтения. Привязка только для чтения —catalog привязка полезна для сценариев, таких как предоставление пользователям доступа только для чтения к производственным данным из рабочей зоны разработчика для развития и тестирования.

Этот update также объявляет конечную точку API /api/2.1/unity-catalog/workspace-bindings/ устаревшей и заменяет ее на /api/2.1/unity-catalog/bindings/.

См. Limitcatalog доступ к определенным рабочим областям.

Расширение Databricks для Visual Studio Code обновлено до версии 1.1.4

2 октября 2023 г.

Расширение Databricks для Visual Studio Code версии 1.1.4 добавляет поддержку пользовательских URL-адресов рабочей области Azure Databricks и многое другое. Дополнительные сведения см. в журнале изменений версии 1.1.4.

Пакет SDK Databricks для Python обновлен до версии 0.10.0 (бета-версия)

3 октября 2023 г.

Пакет SDK Databricks для Python версии 0.10.0 содержит 7 критических изменений, добавляет 10 классов данных, добавляет 6 полей и добавляет одну службу. Дополнительные сведения см. в журнале изменений версии 0.10.0.

Пакет SDK Databricks для Go обновлен до версии 0.22.0 (бета-версия)

3 октября 2023 г.

Пакет SDK Databricks для Go версии 0.22.0 содержит одно критическое изменение API и добавляет один API. Дополнительные сведения см. в журнале изменений для версии 0.22.0.

Unity Catalogvolumes теперь доступен в общедоступной предварительной версии в Azure Китая

2 октября 2023 г.

Теперь Catalogvolumes Unity доступны в качестве общедоступной предварительной версии функциональности в китайских регионах Azure. См. Что такое Unity Catalogvolumes?.