Заметки о выпуске Delta Live Tables и процесс обновления до новой версии

Статья
01/23/2025

В этой статье объясняется процесс выпуска Delta Live Tables, как управляется рантайм Delta Live Tables, и предоставляются ссылки на заметки о выпуске для каждого выпуска Delta Live Tables.

каналы среды выполнения Delta Live Tables

Примечание.

Сведения о версиях среды выполнения Databricks, используемых в выпуске Delta Live Tables, см. в заметках о релизе.

Кластеры Delta Live Tables используют среды выполнения на основе версий заметок о выпуске Databricks и совместимости. Databricks автоматически обновляет среды выполнения Delta Live Tables для поддержки улучшений и обновлений платформы. Вы можете использовать поле channel в параметрах конвейера delta Live Tables для управления версией среды выполнения Delta Live Tables, которая запускает конвейер. Поддерживаемые значения:

current для использования текущей версии среды выполнения.
preview для тестирования конвейера с предстоящим изменениями для версии среды выполнения.

По умолчанию конвейеры выполняются с версией current среды выполнения. Databricks рекомендует использовать среду выполнения current для рабочих нагрузок. Сведения об использовании параметра preview для тестирования конвейеров со следующей версией среды выполнения см. в разделе Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения.

Внимание

Функции, помеченные как общедоступная или общедоступная предварительная версия, доступны в канале current .

Дополнительные сведения о каналах Delta Live Tables см. в поле channel в параметрах конвейера Delta Live Tables .

Чтобы понять, как Delta Live Tables управляет процессом обновления для каждого выпуска, см. Как работает обновление Delta Live Tables?.

Как найти версию среды выполнения Databricks для обновления конвейера?

Вы можете запросить журнал событий Delta Live Tables, чтобы найти версию среды выполнения Databricks для обновления своего конвейера. См . сведения о среде выполнения.

Заметки о выпуске Delta Live Tables

Заметки о выпуске Delta Live Tables организованы по годам и неделям в году. Так как Delta Live Tables без версий, изменения в рабочей области и среде выполнения происходят автоматически. В следующих заметках о выпуске приводятся общие сведения об изменениях и исправлениях ошибок в каждом выпуске:

Как работает обновление Delta Live Tables?

Delta Live Tables считается продуктом без версии, что означает, что Databricks автоматически обновляет среду выполнения Delta Live Tables для поддержки улучшений и обновлений платформы. Databricks рекомендует ограничить внешние зависимости для конвейеров Delta Live Tables.

Databricks предпринимает упреждающие меры, чтобы предотвратить автоматическое обновление во избежание ошибок или проблем с процессами в Delta Live Tables. См. процесс обновления Delta Live Tables.

Особенно для пользователей, которые развертывают конвейеры Delta Live Tables с внешними зависимостями, Databricks рекомендует упреждающее тестирование конвейеров с помощью каналов preview. См . статью "Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения".

процесс обновления Delta Live Tables

Databricks управляет средой выполнения Databricks, используемой вычислительными ресурсами Delta Live Tables. Delta Live Tables автоматически обновляет среду выполнения в рабочих областях Azure Databricks и отслеживает работоспособность конвейеров после обновления.

Если Delta Live Tables обнаруживает, что не удается запустить конвейер из-за обновления, версия среды выполнения для конвейера возвращается к предыдущей версии, которая, как известно, стабильна, и следующие шаги запускаются автоматически:

Среда выполнения Delta Live Tables конвейера прикреплена к предыдущей известной версии.
Служба поддержке Databricks уведомляется о проблеме.
- Если проблема связана с регрессией во время выполнения, Databricks устраняет проблему.
- Если проблема вызвана пользовательской библиотекой или пакетом, используемым конвейером, Databricks обращается к вам, чтобы устранить эту проблему.
Когда проблема устранена, Databricks снова инициирует обновление.

Внимание

Delta Live Tables откатывают только те конвейеры, которые работают в режиме продакшн с установленным для канала значением current.

Автоматизация тестирования конвейеров со следующей версией среды выполнения

Чтобы убедиться, что изменения в следующей версии среды выполнения Delta Live Tables не влияют на конвейеры, используйте функцию каналов Delta Live Tables:

Создайте промежуточный конвейер и задайте для канала значение preview.
В пользовательском интерфейсе Delta Live Tables создайте расписание, чтобы запускать конвейер каждую неделю, и включите оповещения, чтобы получать уведомления по электронной почте о ошибках или сбоях конвейера. Databricks рекомендует планировать еженедельные тестовые запуски конвейеров, особенно если вы используете пользовательские зависимости конвейера.
Если вы получаете уведомление о сбое и не можете устранить его, отправьте запрос в службу поддержки Databricks.

Зависимости конвейера

Delta Live Tables поддерживает внешние зависимости в конвейерах; Например, можно установить любой пакет Python с помощью команды %pip install. Delta Live Tables также поддерживают использование глобальных и кластерных скриптов инициализации. Но эти внешние зависимости, особенно скрипты инициализации, повышают риск возникновения проблем с обновлениями среды выполнения. Чтобы снизить эти риски, сведите к минимуму использование скриптов инициализации в конвейерах. Если для обработки требуются скрипты инициализации, автоматизируйте тестирование конвейера для раннего обнаружения проблем (см. раздел Автоматизация тестирования конвейеров с помощью следующей версии среды выполнения). Если вы используете скрипты инициализации, Databricks рекомендует увеличить частоту тестирования.

Поделиться через