Июль 2024 г.

Эти функции и улучшения платформы Azure Databricks были выпущены в июле 2024 года.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Увеличенное ограничение для одновременных задач

31 июля 2024 г.

Ограничение рабочей области для задач, выполняющихся одновременно, было увеличено до 2000. Дополнительные сведения см. в статье Обзор ограничений ресурсов базы данных SQL Azure.

Внедрение и перетаскивание изображений в записные книжки

31 июля 2024 г.

Теперь изображения можно отображать в записных книжках, внедряя их непосредственно в ячейки Markdown. Перетащите изображения с рабочего стола непосредственно в ячейки Markdown, чтобы автоматически отправлять и отображать их. См. статью "Отображение изображений " и "Перетаскивание изображений".

Палитра команд, доступная в записных книжках

31 июля 2024 г.

Теперь вы можете быстро выполнять действия в записной книжке с помощью палитры команд. Нажмите клавиши CMD+SHIFT+P в MacOS или CTRL+SHIFT+P в Windows, пока в записной книжке для доступа к часто используемым действиям. См . палитру команд.

Схема системы рабочего процесса, переименованная в lakeflow

31 июля 2024 г.

Схема workflow обновлена до lakeflow. Рекомендуется переключиться на lakeflow, так как он будет включать все текущие таблицы, а также новые в будущем, такие как конвейеры. Клиенты должны принять участие в схеме lakeflow, чтобы сделать ее видимой в своем хранилище метаданных. См. справочник по системной таблице заданий.

LakeFlow Connect (доступная общедоступная предварительная версия)

31 июля 2024 г.

LakeFlow Connect предлагает собственные соединители, которые позволяют получать данные из баз данных и корпоративных приложений и загружать их в Azure Databricks. LakeFlow Connect использует эффективные добавочные операции чтения и записи, чтобы ускорить прием данных, масштабируемый и более экономичный, а данные остаются свежими для нижнего потребления.

Salesforce Sales Cloud, База данных SQL Microsoft Azure, Amazon RDS для SQL Server и Workday в настоящее время поддерживаются. См. статью LakeFlow Connect.

Поддержка хранилища Cloudflare R2 — общедоступная версия

30 июля 2024 г.

Возможность использовать Cloudflare R2 в качестве облачного хранилища для данных, зарегистрированных в каталоге Unity, теперь общедоступна. Cloudflare R2 предназначен в основном для вариантов использования Delta Sharing, в которых вы хотите избежать сборов за исходящие данные, взимаемые поставщиками облачных служб при пересечении данных между регионами. Хранилище R2 поддерживает все данные Databricks и ресурсы ИИ, поддерживаемые в AWS S3, Azure Data Lake Storage 2-го поколения и Google Cloud Storage. Для поддержки R2 требуется хранилище SQL или среда выполнения Databricks 14.3 или более поздней версии. См. статью "Использование реплик Cloudflare R2" или миграции хранилища в R2 и создание учетных данных хранения для подключения к Cloudflare R2.

Мониторинг действий Помощника Databricks с помощью системных таблиц (общедоступная предварительная версия)

30 июля 2024 г.

Теперь вы можете отслеживать действия Помощника Databricks на панели мониторинга с помощью системных таблиц. Дополнительные сведения см. в справочнике по системной таблице Databricks Assistant и примере.

Общий доступ к схемам с помощью разностного общего доступа теперь является общедоступной

30 июля 2024 г.

Возможность совместного использования схем с помощью разностного общего доступа — это общедоступная версия. Предоставление общего доступа ко всей схеме дает получателю доступ ко всем таблицам и представлениям в схеме на момент, когда вы делитесь, помимо этого, к любым таблицам и представлениям, добавленным в схему в дальнейшем. Для добавления схем в общую папку с помощью команд SQL требуется хранилище SQL или кластер под управлением Databricks Runtime 13.2 или более поздней версии. Выполнение этого же действия с помощью обозревателя каталогов не имеет требований к вычислениям. См. раздел "Добавление схем в общую папку".

Платформа агента ИИ мозаики доступна в northcentral и centralus

29 июля 2024 г.

Платформа агента ИИ мозаики теперь доступна в northcentral регионах и centralus регионах. См. Функции с ограниченной региональной доступностью.

Помощник Databricks может диагностировать проблемы с заданиями (общедоступная предварительная версия)

29 июля 2024 г.

Помощник по Databricks теперь может диагностировать проблемы с неудачными заданиями. См . статью "Диагностика ошибок в заданиях".

Обновления для проверки подлинности и общего доступа к папкам Databricks Git

29 июля 2024 г.

• Обработка проверки подлинности на основе папки Git. Теперь взаимодействие с пользователем упрощает восстановление пользователей после ошибок проверки подлинности при открытии диалогового окна папки Git. В диалоговом окне можно напрямую обновить учетные данные Git, которые активируют автоматическую повторную попытку. Этот подход можно использовать для устранения ошибок проверки подлинности.
  • При возникновении ошибки проверки подлинности диалоговое окно папки Git теперь отображает поставщика и URL-адрес папки Git в ошибке. Ранее это было скрыто, что затрудняет определение учетных данных Git для устранения ошибки.
• Общий доступ к папкам Git: теперь пользователи могут предоставлять url-ссылку другим пользователям рабочей области. При открытии URL-адреса в браузере получателя Databricks открывается и запускает ся существующее диалоговое окно добавления папки Git с предварительно заполненными значениями (например, поставщиком Git и URL-адресом репозитория Git). Это упрощает клонирование папок Git для часто используемых репозиториев Git среди пользователей рабочей области. Дополнительные сведения см. в статье "Совместная работа в папках Git".
  • Теперь пользователям предлагается создать собственные папки Git в своей рабочей области, а не совместно работать в папке Git другого пользователя.
  • Состояние диалогового окна папки Git теперь сохраняется в URL-адресе. Если вы копируете URL-адрес из браузера при открытии диалогового окна папки Git, его можно открыть позже или предоставить другому пользователю, а те же сведения будут отображаться.
• Представление диффа папок Git: в представлении диффа папки Git более темный красный и зеленый выделение было добавлено для заменяемого текста и для нескольких строк изменений, что упрощает определение того, что было изменено во время их незафиксированных изменений.
  • Открытие диалогового окна папки Git из записной книжки или редактора файлов выбирает записную книжку или файл в диалоговом окне папки Git и отображает изменения (диффы) по умолчанию.

Время ожидания установки библиотеки кластера

29 июля 2024 г.

Установка библиотеки в кластерах теперь имеет время ожидания в течение 2 часов. Не удалось установить библиотеку, которая заняла более 2 часов. Сведения о библиотеках кластера см. в разделе "Библиотеки кластера".

Исходящие IP-адреса плоскости вычислений необходимо добавить в список разрешенных IP-адресов рабочей области.

29 июля 2024 г.

При настройке защищенных списков доступа к кластеру и IP-адресов в новой рабочей области необходимо добавить в список разрешений все общедоступные IP-адреса, которые плоскость вычислений использует для доступа к плоскости управления списку разрешений или настроить серверной части приватного канала. Это изменение повлияет на все новые рабочие области 29 июля 2024 г. и существующие рабочие области 26 августа 2024 г. Дополнительные сведения см. в записи сообщества Databricks.

Например, если вы включите безопасное подключение к кластеру в рабочей области, которая использует внедрение виртуальной сети, Databricks рекомендует использовать стабильный общедоступный IP-адрес исходящего трафика. Этот общедоступный IP-адрес и любые другие должны быть включены в список разрешений. Ознакомьтесь с IP-адресами исходящего трафика при использовании безопасного подключения к кластеру. Кроме того, если вы используете виртуальную сеть, управляемую Azure Databricks, и вы настроите управляемый шлюз NAT для доступа к общедоступным IP-адресам, эти IP-адреса должны находиться в списке разрешений.

См . статью "Настройка списков IP-доступа для рабочих областей".

Расширенная поддержка databricks Runtime 9.1

26 июля 2024 г.

Поддержка Databricks Runtime 9.1 LTS и Databricks Runtime 9.1 LTS для Машинное обучение была продлена с 23 сентября 2024 г. до 19 декабря 2024 г.

Единый вход поддерживается в Федерации Lakehouse для SQL Server

25 июля 2024 г.

Каталог Unity теперь позволяет создавать подключения к SQL Server с аутентификацией по технологии единого входа. См. статью "Запуск федеративных запросов в Microsoft SQL Server".

Общий доступ к модели с помощью delta Sharing теперь общедоступен

26 июля 2024 г.

Поддержка разностного общего доступа для совместного использования моделей ИИ теперь является общедоступной. Обе рабочие области, и поставщика, и получателя, должны быть включены для каталога Unity, а модели должны быть зарегистрированы в каталоге Unity.

См. раздел "Добавление моделей в общую папку".

Совместное использование комментариев и ограничений первичного ключа с помощью разностного общего доступа

25 июля 2024 г.

Delta Sharing теперь поддерживает общий доступ к метаданным объекта, включая примечания и ограничения первичного ключа:

• Комментарии модели и комментарии к версии модели были включены в общие папки Databricks to Databricks в течение некоторого времени, но не объявлены.

• Комментарии к таблицам, комментарии столбцов, ограничения первичного ключа и комментарии томов теперь включены в совместное использование Databricks-to-Databricks, которые были переданы получателю на или после 25 июля 2024 года.

  Если вы хотите включить комментарии или ограничения в общий доступ, предоставленный получателю до этой даты, необходимо отозвать и повторно предоставить получателю доступ, чтобы инициировать совместное использование комментариев и ограничений.

См. раздел "Создание и управление общими доступами для Delta Sharing".

New Databricks JDBC Driver (OSS)

25 июля 2024 г.

Новый драйвер JDBC с открытым исходным кодом Databricks был выпущен для общедоступной предварительной версии. Этот драйвер реализовал API JDBC и предоставляет другие основные функции, включая OAuth, Cloud Fetch и такие функции, как загрузка томов каталога Unity. Дополнительные сведения см. в разделе Databricks JDBC Driver (OSS).

Databricks Runtime 15.4 LTS (бета-версия)

23 июля 2024 г.

Databricks Runtime 15.4 LTS и Databricks Runtime 15.4 LTS ML теперь доступны в качестве бета-версий.

Дополнительные сведения см. в разделе Databricks Runtime 15.4 LTS и Databricks Runtime 15.4 LTS для Машинное обучение.

Scala доступен в общем доступе на общих вычислительных ресурсах каталога Unity.

23 июля 2024 г.

В Databricks Runtime 15.4 LTS и более поздних версиях язык программирования Scala доступен в режиме общего доступа с поддержкой каталога Unity, включая поддержку скалярных пользовательских функций (UDF). Структурированная потоковая передача, ОПРЕДЕЛяемые пользователем функции Hive и Hive, не поддерживаются. Полный список ограничений см. в разделе Ограничения режима доступа к вычислительным ресурсам длякаталога Unity.

Однопользовательское вычисление поддерживает точное управление доступом, материализованные представления и потоковые таблицы.

23 июля 2024 г.

Databricks Runtime 15.4 LTS предоставляет поддержку точного управления доступом для вычислений одного пользователя, если рабочая область включена для бессерверных вычислений. Когда запрос обращается к любому из следующих, один пользователь вычислительный ресурс в Databricks Runtime 15.4 LTS передает запрос бессерверным вычислительным ресурсам для выполнения фильтрации данных:

• Представления, созданные на основе таблиц, в которых у пользователя нет прав SELECT
• Динамические представления
• Таблицы с примененными фильтрами строк или масками столбцов
• Материализованные представления и потоковые таблицы

Эти запросы не поддерживаются при вычислении одного пользователя, работающего в Databricks Runtime 15.3 и ниже.

Дополнительные сведения см. в разделе "Точное управление доступом" для вычислений одного пользователя.

Теперь доступна таблица системы временной шкалы узла (общедоступная предварительная версия)

23 июля 2024 г.

Теперь схема system.compute содержит таблицу node_timeline. Эта таблица регистрирует метрики использования по минуте для вычислительных ресурсов всех целей и заданий, выполняемых в вашей учетной записи. См. схему таблицы временной шкалы узла .

Примечание.

Чтобы получить доступ к этой таблице, администратор должен включить схему compute, если вы еще этого не сделали. См. включение схем системных таблиц.

Мета Ллома 3.1 теперь поддерживается в службе "Обслуживание моделей"

23 июля 2024 г.

Служба Mosaic AI Model Serving сотрудничает с Meta для поддержки Meta Llama 3.1, архитектуры модели, разработанной и обученной Meta, и распространяемой через Machine Learning платформы Azure с использованием каталога моделей AzureML. Llama 3.1 поддерживается как часть API модели Foundation. См. сведения об использовании API-интерфейсов модели Foundation.

• Meta-Llama-3.1-405B-Instruct и Meta-Llama-3.1-70B-Instruct доступны в регионах конечных точек обслуживания токенов.
• Использование полного набора моделей Llama 3.1 (8B, 70B и 405B) доступно в США с помощью подготовленной пропускной способности.

Начиная с 23 июля 2024 г., мета-Ллома-3.1-70B-Instruct заменяет поддержку мета-Ллома-3-70B-инструктажа в конечных точках api модели foundation.

Записные книжки: переключение более видимых названий ячеек

18 июля 2024 г.

Пользователи могут включить отображение заголовков ячеек в параметрах разработчика, чтобы сделать заголовки ячеек записной книжки более видимыми в пользовательском интерфейсе. См. заголовки ячейки с повышением уровня

/ в именах ресурсов рабочей области не рекомендуется

17 июля 2024 г.

Чтобы избежать неоднозначности строк пути, не рекомендуется использовать "/" в именах новых ресурсов рабочей области (например, записных книжек, папок и запросов). Существующие ресурсы с "/" в их именах не затрагиваются, но переименование существующих ресурсов следует тем же правилам, что и новые ресурсы.

Delta Sharing позволяет обмениваться таблицами, использующими liquid кластеризацию

16 июля 2024 г.

Delta Sharing теперь позволяет делиться таблицами, которые поддерживают жидкостную кластеризацию, и получатели могут выполнять пакетные запросы к ним. Отказоустойчивая кластеризация упрощает решения по макету данных и оптимизирует производительность запросов. См. статью Используйте кластеризацию с использованием жидкости для таблиц Delta и матрицу поддержки функций Delta Lake .

Теперь доступна системная таблица журнала запросов (общедоступная предварительная версия)

16 июля 2024 г.

Системные таблицы Azure Databricks теперь включают таблицу журнала запросов. Эта таблица записывает подробные записи каждого запроса, выполняемого в хранилище SQL в вашей учетной записи. Чтобы получить доступ к таблице, администраторы должны включить новую схему системы query. См. справочник по системной таблице журнала запросов .

Отчеты проверки уязвимостей теперь отправляются администраторам

16 июля 2024 г.

Отчеты проверки уязвимостей теперь отправляются администраторам рабочих областей в рабочих областях, которые обеспечивают расширенный мониторинг безопасности. Ранее администраторы рабочей области должны были запросить их из Azure Databricks. См . расширенный мониторинг безопасности.

Ведение журнала метаданных секций для внешних таблиц каталога Unity

15 июля 2024 г.

В Databricks Runtime 13.3 LTS и более поздних версиях можно включить ведение журнала метаданных секций для внешних таблиц, зарегистрированных в каталоге Unity, использующих Parquet, ORC, CSV или JSON. Ведение журнала метаданных секций — это стратегия обнаружения секций, согласованная с хранилищем метаданных Hive. См. раздел Обнаружение секционирования для внешних таблиц.

Бессерверные вычисления для рабочих процессов — общедоступная версия

15 июля 2024 г.

Бессерверные вычисления для рабочих процессов теперь общедоступны. Бессерверные вычисления для рабочих процессов позволяют выполнять задание Azure Databricks без настройки и развертывания инфраструктуры. При использовании бессерверных вычислений для рабочих процессов Azure Databricks эффективно управляет вычислительными ресурсами, выполняющими задание, включая оптимизацию и масштабирование вычислений для рабочих нагрузок. Ознакомьтесь с заданием Azure Databricks с бессерверными вычислениями для рабочих процессов.

Бессерверные вычисления для записных книжек — это общедоступная версия

15 июля 2024 г.

Бессерверные вычисления для записных книжек теперь общедоступны. Бессерверные вычисления для записных книжек предоставляют доступ по запросу к масштабируемым вычислительным ресурсам в записных книжках, позволяя немедленно записывать и запускать код Python или SQL. См . бессерверные вычисления для записных книжек.

Databricks Connect для Python теперь поддерживает бессерверные вычисления

15 июля 2024 г.

Databricks Connect для Python теперь поддерживает подключение к бессерверным вычислениям. Эта функция доступна в общедоступной предварительной версии. См. раздел "Настройка подключения к бессерверным вычислениям".

Фильтрация выходных данных с помощью запросов естественного языка

11 июля 2024 г.

Теперь помощник по Databricks позволяет фильтровать выходные данные с помощью запросов естественного языка. Например, чтобы отфильтровать таблицу с данными о выживших с «Титаника», можно ввести "Покажите мне только мужчин старше 70 лет". См. сведения о фильтрации данных с запросами естественного языка.

Поддержка секретов обычного текста для внешних моделей

11 июля 2024 г.

Теперь вы можете напрямую вводить ключи API в виде строк открытого текста для моделирования конечных точек, в которых размещаются внешние модели. См. статью "Настройка поставщика для конечной точки".

Прогнозирование данных временных рядов с помощью ai_forecast()

11 июля 2024 г.

Функции ИИ теперь поддерживают ai_forecast()новую функцию Databricks SQL для аналитиков и специалистов по обработке и анализу данных, предназначенных для экстраполирования данных временных рядов в будущем. См . ai_forecast функцию.

Поддержка задач SQL для файлов с несколькими инструкциями SQL-запросов — это общедоступная версия

10 июля 2024 г.

Поддержка использования файлов, содержащих запросы SQL с несколькими инструкциями с задачей "Файл SQL", теперь общедоступна. Это изменение позволяет выполнять несколько инструкций SQL из одного файла. Ранее необходимо добавить отдельный файл для каждой инструкции. Дополнительные сведения о задаче "Файл SQL" см . в статье "Задача SQL" для заданий.

Федерация Lakehouse поддерживает Облако данных Salesforce (общедоступная предварительная версия)

10 июля 2024 г.

Теперь можно выполнять федеративные запросы к данным, управляемым Salesforce Data Cloud. См. статью "Запуск федеративных запросов" в Cloud данных Salesforce.

Теперь доступна системная таблица Databricks Assistant (общедоступная предварительная версия)

10 июля 2024 г.

События Помощника Databricks теперь регистрируются в системной таблице, расположенной в system.access.assistant_events. См. справочник системной таблицы Databricks Assistant и пример.

API SCIM учетной записи версии 2.1 (общедоступная предварительная версия)

10 июля 2024 г.

API SCIM учетной записи обновляются с версии 2.0 до версии 2.1 для обеспечения скорости и надежности. Вы можете скачать PDF-файл справочника по API SCIM учетной записи версии 2.1.

Увеличение квоты ресурсов для таблиц для хранилища метаданных каталога Unity

3 июля 2024 г.

Хранилище метаданных каталога Unity теперь может зарегистрировать до одного миллиона таблиц. См . квоты ресурсов.

Помощник databricks может автоматически диагностировать ошибки записной книжки

2 июля 2024 г.

Помощник по Databricks теперь может автоматически запускаться /fix в записных книжках при обнаружении сообщения об ошибке. Помощник использует созданный ИИ для анализа кода и сообщения об ошибке, чтобы предложить исправление непосредственно в записной книжке. Дополнительные сведения см. в разделе "Отладка кода: примеры Python и SQL".

Поддержка синтаксиса :param с задачей SQL-файла — общедоступная версия

1 июля 2024 г.

Поддержка использования :param синтаксиса с параметризованными запросами в задаче "Задания SQL Azure Databricks" общедоступна. Теперь можно ссылаться на параметры запроса, префиксируя их имена двоеточием (:parameter_name). Этот синтаксис в дополнение к существующей поддержке синтаксиса двойных фигурных скобок ({{parameter_name}}). Дополнительные сведения об использовании параметризованных запросов с задачей SQL File см. в разделе Настройка параметров задачи.