Декабрь 2024 г.
Эти функции и улучшения платформы Azure Databricks были выпущены в декабре 2024 года.
Заметка
Выпуски этапируются. Учетная запись Azure Databricks может не обновляться до недели или более после начальной даты выпуска.
Databricks Runtime 16.1 — общедоступная версия
20 декабря 2024 г.
Databricks Runtime 16.1 и Databricks Runtime 16.1 ML теперь общедоступны.
См. Databricks Runtime 16.1 и Databricks Runtime 16.1 для машинного обучения.
Формат по умолчанию для новых записных книжек теперь — IPYNB (Jupyter)
20 декабря 2024 г.
Формат по умолчанию для новых записных книжек, создаваемых в рабочей области Azure Databricks, теперь — IPYNB (.ipynb). Ранее формат записных книжек по умолчанию был Source (.py, .sql, .scala, .r). Чтобы изменить формат по умолчанию, используйте настройку Формат файла по умолчанию для записных книжек на панели Разработчик параметров пользователя рабочей области. См. форматы записных книжек .
Модели, размещенные в Databricks для Databricks Assistant, доступны в общедоступной предварительной версии
19 декабря 2024 г.
Теперь вы можете использовать модели, размещенные в Azure Databricks, для использования помощника Databricks в Azure Databricks. Эта функция доступна в общедоступной предварительной версии.
Используйте модель, размещенную в Databricks, для помощника Databricks, см.
Исполнитель кода Python для агентов ИИ (общедоступная предварительная версия)
19 декабря 2024 г.
Теперь вы можете быстро предоставить агентам ИИ возможность запуска кода Python. Databricks теперь предлагает предварительно созданную функцию каталога Unity, которая может использоваться агентом ИИ в качестве инструмента для расширения возможностей, выходящих за рамки создания языка.
См. создание пользовательских средств агента ИИ с помощью функций каталога Unity.
выпуск пакета SDK 0.13.0 databricks-agent
18 декабря 2024 г.
Версия 0.13.0 пакета SDK databricks-agents выпущена в PyPI, содержащая следующие изменения:
- Уважайте текущий активный профиль интерфейса командной строки Databricks и URI реестра моделей MLflow при вызове
agents.deploy()и других API-интерфейсовdatabricks.agents. В частности, теперь можно указать сочетаниеDATABRICKS_CONFIG_PROFILE=my-profileиMLFLOW_REGISTRY_URI=databricks-uc://my-profileперед вызовомagents.deploy(), чтобы указать профиль ИНТЕРФЕЙСА командной строки Databricks для развертывания и доступа к агентам. - В
mlflow.evaluate()запускаются метрики извлечения и руководства только, если контекст извлечения и руководства имеются соответственно. - Добавьте клиентам аутентификацию, основанную на секретах, для
mlflow.evaluate().
Внешние группы теперь помечены и неизменяемы
18 декабря 2024 г.
Внешние группы — это группы, созданные в Azure Databricks из идентификатора Microsoft Entra. Эти группы создаются с помощью соединителя предоставления SCIM и синхронизируются с Microsoft Entra ID. Внешние группы теперь явно помечены как External и больше не могут обновляться из консоли учетной записи Azure Databricks или страницы параметров администратора рабочей области по умолчанию. Чтобы обновить членство во внешней группе из пользовательского интерфейса Azure Databricks, администратор учетной записи может отключить параметр 'Неизменяемые внешние группы' на странице предварительного просмотра консоли учетной записи.
См. Типы групп в Azure Databricks.
vector_search теперь поддерживает векторные входные данные
17 декабря 2024 г.
Функция ИИ vector_search теперь поддерживает векторные входные данные. Теперь можно использовать параметры query_text или query_vector для поиска определенных текстовых или векторных вложений в векторных индексах. См. функцию vector_search .
Указание форматов ответов для ai_query
17 декабря 2024 г.
ai_query теперь поддерживает поле responseFormat для структурированных выходных данных. Используйте responseFormat в запросах ai_query, чтобы указать формат ответа, который требуется выполнить. См. функцию ai_query.
Тестирование чистых помещений с участниками совместной работы в одном хранилище метаданных
17 декабря 2024 г.
Теперь вы можете протестировать чистую комнату до полного развертывания, добавив участника совместной работы из одного хранилища метаданных. См. создание чистых комнат.
Назначение вычислительных ресурсов группам (общедоступная предварительная версия)
17 декабря 2024 г.
Новый режим доступа с выделенным (ранее для одного пользователя) позволяет назначать выделенный универсальный вычислительный ресурс для группы или одного пользователя. См. раздел Назначение вычислительных ресурсов группе.
Эта общедоступная предварительная версия также предоставляет рабочей области доступ к новому упрощенному пользовательскому интерфейсу вычислений. См. Используйте простую форму для управления вычислениями.
Администратор рабочей области должен включить эту предварительную версию. См. Управление предварительными версиями Azure Databricks.
Делегировать возможность создания учетных данных для хранения в каталоге Unity служебному субъекту
17 декабря 2024 г.
Теперь вы можете предоставить служебным субъектам разрешения на создание учетных данных для хранения в репозитории метаданных каталога Unity с помощью привилегии CREATE STORAGE CREDENTIAL. См. CREATE STORAGE CREDENTIAL.
Версия 2.2 API заданий выпущена
16 декабря 2024 г.
Версия API заданий обновляется с версии 2.1 до версии 2.2. Обновления в API заданий версии 2.2 включают очередь новых или обновленных заданий по умолчанию, а также повышение разбиения по страницам заданий и ответов выполнения заданий, включающих поля с большим количеством значений. Дополнительные сведения об обновлениях в этой версии см. в обновлении API для заданий с версии 2.1 до 2.2. Чтобы ознакомиться с полной документацией по API вакансий 2.2, см. вакансии (новейшая версия). Хотя Databricks рекомендует использовать API заданий версии 2.2, вы по-прежнему можете получить доступ к версиям 2.1 и 2.0. См. задания (2.1) и API заданий 2.0.
Привилегия MANAGE каталога Unity (общедоступная предварительная версия)
14 декабря 2024 г.
Теперь вы можете предоставить пользователям права MANAGE в защищаемых объектах каталога Unity. Привилегия MANAGE позволяет пользователям выполнять ключевые действия в объекте каталога Unity, в том числе:
- Управление привилегиями
- Ронять объект
- Переименование объекта
- Передача владения
См. MANAGE.
Meta Llama 3.3 теперь доступен для задач с выделенной пропускной способностью
13 декабря 2024 г.
Meta Llama 3.3, архитектура модели, построенная и обученная Meta, теперь доступна для использования через API-интерфейсы модели Foundation, обеспеченные черезпропускной способности.
Просмотр метрик потоковой рабочей нагрузки для запусков заданий (общедоступная предварительная версия)
** 12 декабря 2024 г.*
При просмотре заданий в пользовательском интерфейсе заданий Databricks теперь можно просматривать метрики, такие как секунды невыполненной работы, байты невыполненной работы, записи невыполненной работы и файлы невыполненной работы для источников, поддерживаемых структурированной потоковой передачей Spark, включая Apache Kafka, Amazon Kinesis и автозагрузчик. Метрики просмотра для задач потоковой передачи.
Просмотр метрик потоковой нагрузки для обновлений pipeline Delta Live Tables (публичная предварительная версия)
** 12 декабря 2024 г.*
При просмотре обновлений конвейера в пользовательском интерфейсе разностных динамических таблиц теперь можно просматривать метрики, такие как секунды невыполненной работы, байты невыполненной работы, записи невыполненной работы и файлы невыполненной работы для каждого потока потоковой передачи в конвейере. Метрики потоковой передачи поддерживаются для источников структурированной потоковой передачи Spark, включая Apache Kafka, Amazon Kinesis и автозагрузчик. См. просмотр метрик потоковой передачи.
Федерация Lakehouse поддерживает Oracle (общедоступная предварительная версия)
12 декабря 2024 г.
Теперь вы можете выполнять федеративные запросы к данным, управляемым Oracle. См. статью Запуск федеративных запросов в Oracle.
Databricks Runtime 16.1 (бета-версия)
11 декабря 2024 г.
Databricks Runtime 16.1 и Databricks Runtime 16.1 ML теперь доступны в качестве бета-выпусков.
См. Databricks Runtime 16.1 и Databricks Runtime 16.1 для машинного обучения
Управление бессерверными исходящими сетевыми подключениями с помощью управления бессерверным исходящим трафиком
11 декабря 2024 г.
Управление исходящим трафиком без сервера позволяет ограничить исходящий доступ к указанным назначениям Интернета. См. Что такое бессерверное управление исходящими данными?.
Теперь доступна таблица системных событий доступа к сети (общедоступная предварительная версия)
11 декабря 2024 г.
Системные таблицы Azure Databricks теперь включают таблицу доступа к сети. Эта таблица регистрирует событие всякий раз, когда доступ к Интернету запрещен в вашей учетной записи. Чтобы получить доступ к таблице, администраторы должны включить системную схему access. См. справочник по системной таблице событий сетевого доступа .
Мониторинг и отзыв личных маркеров доступа в вашей учетной записи (частная предварительная версия)
11 декабря 2024 г.
Администраторы учетных записей теперь могут просматривать отчет о токенах, чтобы отслеживать и отзывать токены личного доступа (PAT) в консоли учетной записи. Databricks рекомендует использовать маркеры доступа OAuth вместо PATS для повышения безопасности и удобства. Чтобы присоединиться к этой предварительной версии, обратитесь к группе учетной записи Azure Databricks. См. , следите за использованием и отзывайте персональные токены доступа в учетной записи.
Каталог Unity может интегрироваться с хранилищами метаданных Hive
11 декабря 2024 г.
Теперь каталог Unity можно использовать для доступа к данным, зарегистрированным в хранилище метаданных Hive, и управлять ими. Сюда входят как хранилища метаданных Hive, управляемые внешними, так и устаревшие внутренние хранилища метаданных Databricks Hive Hive.
Удалить хранилище на уровне метахранилища для обеспечения изоляции хранилища на уровне каталога
11 декабря 2024 г.
Если у вас есть хранилище на уровне хранилища метаданных для управляемых таблиц и томов (также известных как корневой каталог хранилища метаданных), но вы хотите применить изоляцию хранилища данных на уровне каталога или схемы, теперь можно удалить это хранилище на уровне хранилища метаданных без прерывания существующих рабочих нагрузок. См. удаление хранилища метаданных.
Meta Llama 3.3 70B Instruct теперь доступен в службе обслуживания моделей
11 декабря 2024 г.
Mosaic AI Model Serving теперь поддерживает Meta Llama 3.3 70B Instruct, передовую языковую модель, созданную и обученную компанией Meta. Инструктивная модель Llama 3.3 70B доступна как часть API-интерфейсов Foundation Model с оплатой за токен. Эта доступность также включает поддержку вызова функций .
Начиная с 11 декабря 2024 года, Meta-Llama-3.1-70B-Instruct заменяет поддержку Meta-Llama-3-70B-Instruct в точках доступа API модели Foundation с оплатой за каждый токен.
bamboolib больше не поддерживается
10 декабря 2024 г.
bamboolib теперь устарел. Пользователи по-прежнему могут получить доступ к bamboolib для выполнения анализа данных с использованием низкокодового подхода в записных книжках, но Databricks больше не разрабатывает и не поддерживает это средство. Для получения помощи в создании кода используйте помощника Databricks .
Упрощение оценки агента ИИ с помощью синтетических наборов оценки
9 декабря 2024 г.
Оцените вашего агента ИИ, создав репрезентативный оценочный набор из ваших документов. API синтетической генерации тесно интегрирован с оценкой агента, что позволяет быстро оценивать и улучшать качество ответов вашего агента, не прибегая к дорогостоящему процессу человеческой разметки. См. наборы для оценки синтеза.
Улучшите производительность чтения таблиц в Databricks-to-Databricks Delta Sharing с помощью общего использования истории (Публичная предварительная версия)
5 декабря 2024 г.
Повышение производительности для обмена таблицами между Databricks-платформами путем включения совместного использования истории. См. Улучшение производительности чтения таблиц посредством совместного использования истории.
Максимальное время существования маркера личного доступа составляет 730 дней (два года)
5 декабря 2024 г.
Максимальное время существования по умолчанию для недавно созданных маркеров личного доступа Databricks теперь имеет значение 730 дней (два года). Ранее личные маркеры доступа можно создавать без истечения срока действия по умолчанию. С этим обновлением пользователи больше не могут создавать новые токены с временем жизни, превышающим 730 дней, и токены, созданные без установленного времени жизни, устанавливаются на 730 дней. Если вы настроили максимальное время существования маркера для рабочей области менее 730 дней, конфигурация остается неизменной. См. Мониторинг и отзыв личных токенов доступа и проверка подлинности с использованием личных токенов доступа Azure Databricks.
Обучение модели мозаичного искусственного интеллекта — бессерверное прогнозирование (общедоступная предварительная версия)
5 декабря 2024 г.
Обучение модели Мозаичного ИИ — прогнозирование улучшает существующий интерфейс прогнозирования AutoML с управляемыми бессерверными вычислениями, поддержкой каталога Unity, доступом к алгоритмам глубокого обучения и обновленным интерфейсом. См. прогнозирование (бессерверное) с помощью AutoML.
Добавление политик бюджета в модель конечных точек обслуживания
4 декабря 2024 г.
политики бюджета теперь поддерживаются в конечных точках обслуживания моделей. См. раздел Управление конечными точками обслуживания моделей.