Поделиться через

Ноябрь 2023 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в ноябре 2023 года.

Примечание.

Выпуски являются поэтапными. Рабочая область Azure Databricks может не обновляться до недели или более после начальной даты выпуска.

Поиск вектора мозаики — общедоступная предварительная версия

30 ноября 2023 г.

Поиск вектора вектора мозаики — это бессерверная поисковая система сходства, которая позволяет хранить векторное представление данных, включая метаданные, в векторной базе данных. В рамках этой функции можно создать индексы автоматического обновления векторного поиска из данных в каталоге Unity и запросить их с помощью простого API, чтобы вернуть наиболее похожие векторы в рамках рабочих процессов RAG. См . векторный поиск вектора мозаики.

Списки элементов управления доступом больше не могут быть отключены

29 ноября 2023 г.

Следующие параметры включены во всех рабочих областях плана Premium и больше не могут быть отключены на странице параметров администратора рабочей области или API conf рабочей области:

  • Управление доступом к рабочей области: позволяет пользователям настраивать разрешения для объектов рабочей области.
  • Кластер, пул, управление доступом к заданиям: позволяет пользователям настраивать разрешения для кластеров, пулов и заданий.
  • Элемент управления видимостью кластера: предотвращает отображение кластеров пользователям, у которых нет разрешений на них.
  • Элемент управления видимостью заданий: предотвращает отображение заданий пользователям, у которых нет разрешений на них.
  • Параметр управления видимостью рабочей области: запрещает пользователям, у которых нет разрешений на доступ к записным книжкам и папкам.

Параметры управления доступом включены по умолчанию в новых рабочих областях с марта 2018 г. и параметры управления видимостью включены по умолчанию с декабря 2020 г.

Дополнительные сведения см. в списках управления доступом.

Новые поведения и действия в обозревателе каталогов для томов

22 ноября 2023 г.

Теперь вы можете создать новый том в целевой схеме данных, если в пользовательском интерфейсе Загрузка в том ещё не существует ни одного тома. См. загрузку файлов в том Юнити Каталога.

Такие действия, как удаление файла и загрузка файла, были добавлены в Проводник каталогов для файлов на томах.

Databricks Runtime 14.2 — общедоступная версия

22 ноября 2023 г.

Databricks Runtime 14.2 и Databricks Runtime 14.2 ML теперь общедоступны.

См. статью Databricks Runtime 14.2 (EoS) и Databricks Runtime 14.2 для Машинное обучение (EoS).

Соединитель SQL Databricks для Python версии 3.0.0

17 ноября 2023 г.

Теперь можно запустить pip install databricks-sql-connector==3.0.0.

Этот выпуск:

  • Удаляет поддержку Python 3.7
  • Добавляет поддержку собственных параметризованных запросов SQL. Требуется DBR 14.2 и более поздних версий. Дополнительные сведения см. в разделе Использование собственных параметров в репозитории databricks-sql-python GitHub.
  • Включает наш полностью перезаписанный диалект SQLAlchemy:
    • Добавляет поддержку SQLAlchemy = 2.0 и удаляет поддержку SQLAlchemy >1.x
    • Полное комплексное покрытие тестов всех поддерживаемых функций
    • Подробные заметки об использовании, доступные здесь
    • Добавляет поддержку:
      • Новые типы: TIME, , TIMESTAMPTIMESTAMP_NTZTINYINT
      • Numeric тип масштабирования и точности, например Numeric(10,2)
      • Чтение и запись PrimaryKeyConstraintForeignKeyConstraint
      • Чтение и запись составных ключей
      • Чтение и запись из представлений
      • Запись значения Identity в таблицы (с автоматическим увеличением первичных ключей)
      • LIMIT и OFFSET для разбиения по страницам с помощью результатов
      • Кэширование вызовов метаданных
  • Включает cloud Fetch по умолчанию. Чтобы отключить, задайте use_cloud_fetch=False при создании databricks.sql.client.
  • Добавление тестов интеграции для запросов приема томов каталога Azure Databricks Unity
  • Повторных попыток:
    • Добавление _retry_max_redirects конфигурации
    • Задайте _enable_v3_retries=True и предупреждайте, если пользователи его переопределяют.
  • Безопасность: удар по минимальной версии pyarrow до 14.0.1 (CVE-2023-47248)

Библиотеки в файлах рабочей области, поддерживаемые в общих кластерах без изоляции

15 ноября 2023 г.

Теперь можно установить библиотеки, хранящиеся в виде файлов рабочей области, для вычислений, настроенных с режимом общего доступа без изоляции в Databricks Runtime 14.1 и более поздних версий.

Нерекомендуция библиотек рабочей области

15 ноября 2023 г.

Теперь библиотеки рабочей области устарели и создание новых библиотек рабочей области было отключено. Существующие библиотеки рабочей области продолжают функционировать. Обратите внимание, что хранение библиотек в качестве файлов рабочей области отличается от библиотек рабочих областей и по-прежнему полностью поддерживается. Библиотеки, хранящиеся в виде файлов рабочей области, можно установить непосредственно для задач вычислений или заданий. См . библиотеки.

Поддержка типов виртуальных машин конфиденциальных вычислений Azure теперь общедоступна

15 ноября 2023 г.

Поддержка Azure Databricks для типов виртуальных машин конфиденциальных вычислений Azure теперь общедоступна. Конфиденциальные вычисления Azure помогают защитить используемые данные, предотвращая доступ поставщика облачных служб к конфиденциальным данным. Ознакомьтесь с виртуальными машинами конфиденциальных вычислений Azure.

13 ноября 2023 г.

Теперь вы можете найти наборы данных, модели ИИ и акселераторы решений Databricks в Databricks Marketplace с помощью глобальной панели поиска в пользовательском интерфейсе рабочей области Azure Databricks. См. раздел "Что такое Databricks Marketplace" и поиск объектов рабочей области.

Использование продуктов данных в Databricks Marketplace с помощью внешних платформ

10 ноября 2023 г.

Потребители без рабочей области Azure Databricks с поддержкой каталога Unity теперь могут получить доступ к продуктам данных в Databricks Marketplace. С помощью соединителей открытого совместного использования Delta Sharing можно получить доступ к данным MarketPlace с помощью нескольких широко используемых платформ, включая Microsoft Power BI, Microsoft Excel, pandas, Apache Spark и рабочие области, отличные от каталога Unity Databricks. На внешних платформах доступны только табличные наборы данных (например, не записные книжки Или модели Databricks). См. статью "Доступ к продуктам данных" в Databricks Marketplace с помощью внешних платформ.

Поддержка бессерверных хранилищ SQL, добавленных для нескольких регионов Azure

9 ноября 2023 г.

Следующие регионы Azure теперь поддерживают бессерверные хранилища SQL:

  • Южная Бразилия (бразилия)
  • Центральная Индия (centralindia).
  • Восточная Япония (japaneast);
  • Северная центральная часть США (северная часть США)
  • Южная Часть Великобритании (uksouth)

Ознакомьтесь с регионами Azure Databricks и включение бессерверных хранилищ SQL.

Автоматическое включение каталога Unity для новых рабочих областей

9 ноября 2023 г.

Databricks начал автоматически включать каталог Unity для новых рабочих областей. Это устраняет необходимость для администраторов учетных записей настраивать каталог Unity после создания рабочей области. Развертывание будет постепенно продолжаться между учетными записями. См. автоматическое включение функции каталога Unity.

Databricks Runtime 14.2 (бета-версия)

8 ноября 2023 г.

Databricks Runtime 14.2 и Databricks Runtime 14.2 ML теперь доступны в качестве бета-выпусков.

См. статью Databricks Runtime 14.2 (EoS) и Databricks Runtime 14.2 для Машинное обучение (EoS).

Databricks Marketplace включает акселераторы решений Databricks

7 ноября 2023 г.

Databricks Marketplace теперь предоставляет доступ к акселераторам решений Databricks, специально созданным руководствам, которые предоставляют полностью функциональные блокноты, рекомендации по лучшим практикам и примеры данных для быстрой настройки многочисленных популярных сценариев использования в Azure Databricks. См. Получите доступ к акселераторам решений Databricks.

Федерация Lakehouse добавляет поддержку Google BigQuery

3 ноября 2023 г.

Теперь можно настроить федерацию Lakehouse для выполнения федеративных запросов с типом BigQuery соединителя. Новый соединитель BigQuery поддерживается в хранилищах Pro и Бессерверных sql и Databricks Runtime 13.3 LTS и более поздних версиях. См. статью "Запуск федеративных запросов" в Google BigQuery.