Delta Live Tables версия 2025.04

23 января – 30 января 2025

Эти функции и улучшения были выпущены с выпуском Delta Live Tables 2025.04.

Версии среды выполнения Databricks, используемые этим выпуском

канал :

• CURRENT (по умолчанию): Databricks Runtime 15.4
• ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 15.4 или 16.1

Заметка

Так как выпуски канала Delta Live Tables следуют последовательному процессу обновления, обновления каналов развертываются в разных регионах в разные времена. Ваш выпуск, включая версии среды выполнения Databricks, может не обновляться в течение недели или более после первоначальной даты выпуска. Сведения о том, как найти версию среды выполнения Databricks для конвейера, см. в сведения о среде выполнения.

Новые функции и улучшения

• По умолчанию новые конвейеры Delta Live Tables поддерживают создание и обновление материализованных представлений и потоковых таблиц в нескольких каталогах и схемах. Это новое поведение по умолчанию для конфигурации конвейера требует, чтобы пользователи указали целевую схему, которая становится схемой по умолчанию для конвейера. Виртуальная схема LIVE и связанный с ней синтаксис больше не требуется. Дополнительные сведения см. в статье Настройка целевого каталога и схемы, настройка конвейера delta Live Tablesи схемы LIVE (устаревшая версия).

• Теперь общедоступен запрос clone a pipeline в REST API Databricks. Этот запрос можно использовать для копирования существующего конвейера, который публикуется в хранилище метаданных Hive в новый конвейер, который публикуется в каталоге Unity. См. статью Создание конвейера каталога Unity путем клонирования конвейера хранилища метаданных Hive.

• Возможность просмотра метрик потоковых нагрузок для обновлений конвейера Delta Live Tables доступна в рамках публичного предварительного просмотра. При просмотре обновлений конвейера в пользовательском интерфейсе Delta Live Tables теперь можно просматривать метрики, такие как задержка в секундах, задержка в байтах, задержка в записях и задержка в файлах для каждого потока в конвейере. Метрики потоковой передачи поддерживаются для источников структурированной потоковой передачи Spark, включая Apache Kafka, Amazon Kinesis и автозагрузчик. См. потоковые метрики .