Поделиться через

Август 2024 г.

  • Статья

Эти функции и улучшения платформы Azure Databricks были выпущены в августе 2024 года.

Примечание.

Выпуски являются поэтапными. Ваша учетная запись Azure Databricks может быть обновлена только через неделю или более после первоначальной даты выпуска.

Отслеживание использования объектов в каталоге Unity в сравнении с квотами, используя новые API для квот ресурсов

30 августа 2024 г.

Новые API квот ресурсов позволяют отслеживать использование защищаемых объектов каталога Unity по квотам ресурсов. В ближайшее время вы также сможете получать Уведомления по электронной почте при приближении к ограничениям квот. Ознакомьтесь с мониторинг использования квот ресурсов каталога Unity и справочником по API квот ресурсов.

Инструкции mpT 7B и mpT 30B Instruct model retirements

30 августа 2024 г.

Теперь модели инструкций MPT 7B и MPT 30B Instruct теперь сняты. Ознакомьтесь с устаревшими моделями для рекомендуемых моделей замены.

AskSupport заменен помощником по Azure Databricks

29 августа 2024 г.

AskSupport, канал поддержки на основе Databricks Slack, был заменен помощником Databricks, который доступен в рабочей области Databricks. Используйте Ассистент Databricks для поиска технической документации, создания заявок и получения поддержки с учетом контекста.

Чтобы использовать помощник по искусственному интеллекту, помощник по искусственному интеллекту должен быть включен в консоли учетной записи.

Панель мониторинга управления затратами, добавленная в консоль учетной записи (общедоступная предварительная версия)

28 августа 2024 г.

Администраторы учетных записей теперь могут импортировать настраиваемую панель управления затратами из консоли учетной записи в любую рабочую область каталога Unity в своей учетной записи. Существует две версии панели мониторинга: одна из которых отслеживает использование всей учетной записи, а другая — для использования с одной рабочей областью.

Таблицы системы Lakeflow расширяются с помощью дополнительных столбцов

23 августа 2024 г.

Таблицы в схеме system.lakeflow расширяются с помощью дополнительных столбцов. Были внесены следующие изменения:

  • jobs расширен за счёт столбца description.
  • job_run_timeline расширяется с добавлением столбцов run_type, run_name, compute_ids, termination_code и job_parameters.
  • job_task_run_timeline расширен столбцами job_run_id, parent_run_id и termination_code.

Изменение схемы не является критическим и не прерывает существующие рабочие процессы. Новые столбцы не будут заполнены задним числом для уже созданных строк. Дополнительные сведения см. в справочнике по системным таблицам заданий.

Выделение ошибок форматирования кода Python

23 августа 2024 г.

Код Python в записных книжках и редакторах файлов может выделять ошибки форматирования и предупреждения, такие как непредвиденная отступы, длинная длина строки и многое другое. См . раздел "Выделение форматирования Python".

Разностный общий доступ: дополнительные функции Delta Lake теперь поддерживаются соединителями Python и Power BI.

21 августа 2024 г.

Соединитель Python delta Sharing 1.1.0+ и Power BI версии 2.132.908.0+ теперь поддерживают:

  • Режим имени сопоставления столбцов
  • Векторы удаления
  • Универсальный формат

Эти функции Delta Lake уже поддерживаются в Databricks Runtime 14.1+ и соединителе Apache Spark с открытым исходным кодом.

См . матрицу поддержки функций Delta Lake.

Delta Sharing добавляет поддержку TimestampNTZ

21 августа 2024 г.

Delta Sharing добавляет поддержку TimestampNTZ в Databricks Runtime 14.1 и более поздних версий и соединителя Apache Spark с открытым исходным кодом.

См . матрицу поддержки функций Delta Lake.

Задача "Задания For each Azure Databricks" — это общедоступная версия

21 августа 2024 г.

Задача For each теперь общедоступна. Задачу For each можно использовать для выполнения другой задачи в цикле, передавая другой набор параметров каждой итерации задачи. Задача For each может выполнять итерацию по любой из стандартных задач задания, таких как записная книжка, JAR-файл, скрипт Python или задача SQL. См . раздел "Запуск параметризованной задачи задания Azure Databricks" в цикле.

Разрешение Azure RBAC для администраторов рабочей области

20 августа 2024 г.

Ранее для назначения пользователю роли администратора рабочей области Azure Databricks из Azure требовалась встроенная роль Участника или Владельца в Azure RBAC (управление доступом на основе ролей). Теперь вы можете создать пользовательскую роль Azure RBAC с разрешением Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action предоставить пользователю роль администратора рабочей области Azure Databricks. Эти пользователи могут управлять службой Azure Databricks и настраивать ведение журнала диагностики. Дополнительные сведения см. в статье "Обязательные разрешения администратора Azure".

Databricks Runtime 15.4 LTS — общедоступная версия

19 августа 2024 г.

Databricks Runtime 15.4 LTS и Databricks Runtime 15.4 LTS ML теперь общедоступны.

Дополнительные сведения см. в разделе Databricks Runtime 15.4 LTS и Databricks Runtime 15.4 LTS для Машинное обучение.

Персонализированная автоматическая компиляция записной книжки

19 августа 2024 г.

Автозаполнение записной книжки теперь определяет приоритеты предложений на основе метаданных и использования каталога Unity, предоставляя настраиваемые рейтинги предложений для каждого пользователя. См. персонализированное автозавершение

18 августа 2024 г.

Теперь пользователи могут создавать символические ссылки в веб-терминале и ячейках записной книжки. Если навести указатель мыши на символическую ссылку, отображается подсказка с указанным базовым путем и возможностью скопировать путь. Все целевые объекты должны находиться в каталоге /Workspace.

Настройка режима доступа рабочей области по умолчанию для вычислений заданий

16 августа 2024 г.

Теперь администраторы рабочей области могут настроить режим доступа по умолчанию для вычислений заданий в рабочей области. Этот режим доступа по умолчанию применяется к вычислительным ресурсам без определенного режима доступа. Дополнительные сведения см. в разделе "Режим доступа по умолчанию" для вычислений заданий.

Новые команды косой черты для помощника по Databricks

14 августа 2024 г.

Помощник по databricks добавил следующие команды косой черты в качестве сочетаний клавиш для распространенных задач:

  • /findTables: выполняет поиск соответствующих таблиц на основе метаданных каталога Unity.
  • /findQueries: выполняет поиск соответствующих запросов на основе метаданных каталога Unity.
  • /prettify: форматирует код для удобства чтения.
  • /rename: предлагает обновленные имена для ячеек записной книжки и других элементов в зависимости от контекста.
  • /settings: настраивает параметры записной книжки непосредственно из помощника.

Дополнительные сведения см. в разделе "Использование команд косой черты" для запросов.

Поиск в рабочей среде теперь поддерживает тома

14 августа 2024 г.

Теперь тома включены в результаты поиска. См. статью "Поиск объектов рабочей области".

Модели Meta Llama 3.1 405B, поддерживаемые в тонкой настройке модели Foundation

14 августа 2024 г.

Модели Meta Llama 3.1 405B теперь поддерживаются в тонкой настройке модели Foundation. См. раздел "Поддерживаемые модели".

Драйвер JDBC Databricks 2.6.40

13 августа 2024 г.

Databricks JDBC Driver версии 2.6.40 теперь доступен из скачивания драйвера JDBC. В этом выпуске удаляются избыточные WARNING сообщения журнала для повышения удобства использования журнала и безопасности.

Этот выпуск включает следующие улучшения и новые возможности:

  • Поддержка конечной точки обнаружения OIDC. Теперь драйвер может задать конечную точку обнаружения OIDC, чтобы получить токен и конечную точку авторизации.
  • Обновлена поддержка стрелки. Теперь драйвер использует Apache Arrow версии 14.0.2. Более ранние версии драйвера использовали Apache Arrow версии 9.0.0.
  • ProxyIgnoreList поддержка. Теперь драйвер поддерживает свойство ProxyIgnoreList, когда UseProxy присвоено значение 1.
  • Поддержка маркера обновления. Теперь драйвер поддерживает необязательный маркер обновления. Он сохраняет маркер доступа и повторно использует его для новых подключений до тех пор, пока он действителен. Если драйвер не может продлить токен доступа с помощью токена обновления, ему придется снова выполнить вход в систему.
  • Обновлена поддержка проверки подлинности. Теперь драйвер поддерживает проверку подлинности на основе браузера (U2M) и учетных данных клиента (M2M) в Google Cloud.
  • Добавлены унифицированные параметры OAuth по умолчанию.
  • Теперь можно настроить порт перенаправления OAuth. Для этого задайте для порта свойство OAuth2RedirectUrlPort.

Полные сведения о конфигурации см. в руководстве по драйверу Databricks JDBC, установленному с пакетом загрузки драйвера.

Маркеры личного доступа Databricks отозваны, если не используется через 90 дней

13 августа 2024 г.

Databricks теперь автоматически отменяет любые личные маркеры доступа (PATs), которые не использовались в течение 90 или более дней. Для получения дополнительной информации см. раздел Мониторинг и отзывличных маркеров доступа.

API кластеров теперь поддерживает частичные обновления конфигурации

13 августа 2024 г.

Новый вызов API позволяет частично обновить конфигурацию кластера, требуя указать только атрибуты, которые требуется обновить. См. Обновление конфигурации кластера (частично) в справочнике по REST API.

Перенос строк в ячейки записной книжки

12 августа 2024 г.

Теперь можно включить или отключить оболочку строк в ячейках записной книжки, позволяя тексту либо упаковывать на несколько строк, либо оставаться на одной строке с горизонтальной прокруткой. См . оболочку строк.

12 августа 2024 г.

Теперь можно указать подмножество столбцов в таблице для использования в индексе векторного поиска. Столбец первичного ключа и столбец внедрения всегда синхронизируются. Узнайте , как создать и запросить индекс векторного поиска.

Файлы больше не могут иметь идентичные имена в папках рабочей области

9 августа 2024 г.

Databricks теперь запрещает создавать или переименовать ресурсы в папках рабочей области, когда имя ресурса совпадает с именем другого файла, учитывая расширение файла ресурса. Например, вы больше не можете создать файл с именем test.py , если уже есть записная книжка с базовым именем test с расширением .py в той же папке рабочей области.

Дополнительные сведения см. в разделе Именование ресурсов в папках рабочей области.

Теперь доступно применение политик вычислений

8 августа 2024 г.

Принудительное применение политик позволяет администраторам рабочих областей обновлять вычислительные ресурсы рабочей области в соответствии с последней версией политики. Эту функцию можно использовать в пользовательском интерфейсе или через API политик кластера.

См . раздел "Применение соответствия политик" или API политик кластера.

API-интерфейсы модели Foundation для оплаты за токен теперь являются общедоступной версии

7 августа 2024 г.

API-интерфейсы модели Foundation для оплаты за токен теперь общедоступны. См . API модели модели Foundation для оплаты за токены.

Совместная работа над проектами данных безопасно и частно с помощью чистых комнат Databricks (общедоступная предварительная версия)

6 августа 2024 г.

Databricks Clean Rooms использует Delta Sharing и бессерверные вычисления для создания безопасной среды, обеспечивающей защиту конфиденциальности, где несколько сторон могут совместно использовать конфиденциальные корпоративные данные и сотрудничать, не имея прямого доступа к данным друг друга.

С помощью чистых комнат пользователи из других учетных записей Databricks могут совместно создавать уникальные аналитические сведения о общих проектах, таких как рекламные кампании, инвестиционные решения или исследования и разработки, без перемещения или предоставления конфиденциальных данных. Выполнение сложных рабочих нагрузок в эфемерной среде с помощью любого языка, поддерживаемого записными книжками Databricks, включая Python, которая обеспечивает встроенную поддержку рабочих нагрузок машинного обучения.

Чтобы попробовать его, обратитесь к представителю Azure Databricks.

Узнайте , что такое Чистые комнаты Azure Databricks?.

Поиск вектора вектора мозаики теперь соответствует HIPAA

6 августа 2024 г.

Поиск вектора вектора мозаики теперь соответствует HIPAA во всех регионах.

Форматирование столбцов в таблицах результатов записных книжек и запросов

6 августа 2024 г.

Настройте таблицы результатов для повышения удобочитаемости с помощью параметров форматирования столбцов, таких как формат валюты , процент , URL-адрес , управление количеством десятичных знаков и другие настройки. См. статью Форматирование столбцов.

Фильтры строк и маски столбцов теперь являются общедоступными с улучшениями

6 августа 2024 г.

Возможность применять фильтры строк и маски столбцов к таблицам теперь общедоступна в Databricks Runtime 12.2 и выше. Фильтры строк и маски colum предотвращают доступ к конфиденциальным данным указанными пользователями. Эти фильтры и маски реализуются как определяемые пользователем функции SQL (определяемые пользователем функции). Общедоступная версия обеспечивает поддержку следующих функций, недоступных в общедоступной предварительной версии:

  • Константные выражения в параметрах политики (строки, числовые, интервалы, логические значения, null).

  • Материализованные представления и таблицы потоковой передачи (общедоступная предварительная версия).

  • Инструкции MERGE.

  • Выборка таблицы.

Отдельный выпуск поддержки гранулярного управления доступом для вычислительных сред одного пользователя также расширяет возможности вычислений для работы с таблицами, в которых применены фильтры строк и маски столбцов.

См. раздел Фильтрация конфиденциальных данных таблицы с помощью фильтров строк и маски столбцов.

Федерация Lakehouse общедоступна (GA)

1 августа 2024 г.

В Databricks Runtime 15.2 и более поздних версиях и Databricks SQL версии 2024.30 и более поздних версиях соединители Федерации Lakehouse в следующих типах баз данных общедоступны (общедоступная версия):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Снежинка
  • Microsoft SQL Server
  • Azure Synapse (хранилище данных SQL)
  • Databricks

В этом выпуске также представлены следующие улучшения:

  • Поддержка проверки подлинности единого входа в соединителях Snowflake и Microsoft SQL Server .

  • Приватный канал Azure поддержку соединителя SQL Server из бессерверных вычислительных сред. См . шаг 3. Создание правил частной конечной точки.

  • Поддержка дополнительных pushdowns (строковых, математических и других функций).

  • Улучшена скорость успешного выполнения pushdown в разных формах запросов.

  • Дополнительные возможности отладки pushdown:

    • В выходных EXPLAIN FORMATTED данных отображается отложенный текст запроса.
    • Пользовательский интерфейс профиля запроса отображает отложенный текст запроса, идентификаторы федеративного узла и время выполнения запроса JDBC (в подробном режиме). См. статью "Просмотр системных федеративных запросов".