Поделиться через

Delta Live Tables версии 2024.49

  • Статья

с 9 по 12 декабря 2024 года

Эти функции и улучшения были выпущены в выпуске Delta Live Tables 2024.49.

Версии среды выполнения Databricks, используемые этим выпуском

канал :

  • CURRENT (по умолчанию): Databricks Runtime 15.4
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 15.4

Заметка

Так как выпуски канала Delta Live Tables следуют последовательному процессу обновления, обновления каналов развертываются в разных регионах в разные времена. Ваш выпуск, включая версии Databricks Runtime, может не обновляться в течение недели или позже после первоначальной даты релиза. Чтобы узнать версию среды выполнения Databricks для конвейера, см. информацию о среде выполнения.

Новые функции и улучшения

  • Теперь вы можете настроить вычисление одного узла для конвейеров с поддержкой каталога Unity. При настройке вычислений одного узла минимальное количество узлов, необходимых для запуска конвейера, уменьшается с двух узлов на один узел путем запуска заданий Spark на том же узле, что и драйвер Spark. Чтобы настроить кластер одного узла, задайте min_workers и max_workers значение 0. См. Создайте кластер с одним узлом.

  • Этот выпуск включает следующие изменения при удалении материализованного представления или потоковой таблицы. Удаление материализованного представления или потоковой таблицы может произойти при удалении определения материализованного представления или потоковой таблицы из конвейера или удаления ее в обозревателе каталогов:

    • Время восстановления материализованного представления или определения потоковой таблицы сокращается до семи дней. Это тот же период времени, что и управляемые каталогом Unity таблицы. После семидневного периода объявление материализованного представления или потоковой таблицы с тем же именем создает новое материализованное представление или потоковую таблицу.
    • Базовые данные в удаленном материализованном представлении или потоковой таблице удаляются через 30 дней.

Исправления ошибок

  • В этом выпуске исправлена ошибка, которая приводит к ошибке при попытке создать материализованное представление с дефисом в имени, даже если имя заключено в обратные кавычки. Например, без этого исправления следующая инструкция создает ошибку: CREATE MATERIALIZED VIEW my_catalog.my_schema.`mv-hyphen` AS....