Поделиться через

Разностные динамические таблицы версии 2022.49

  • Статья

6 декабря – 9, 2022 г.

Эти функции и улучшения были выпущены с выпуском Delta Live Tables 202.49.

Версии среды выполнения Databricks, используемые этим выпуском

Канал:

  • CURRENT (по умолчанию): Databricks Runtime 11.0.11
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.3.2

Новые функции и улучшения в этом выпуске

  • Теперь вы можете импортировать файлы из папки Databricks Git в виде модулей Python. Файлы можно импортировать из текущего пути репозитория или указанного пути репозитория с помощью sys.path.append().

  • Улучшенная автомасштабирование теперь общедоступна. В этом выпуске расширенный режим автомасштабирования — это режим автомасштабирования по умолчанию для новых конвейеров, созданных в пользовательском интерфейсе. Databricks рекомендует обновлять конвейеры, использующие автомасштабирование существующего кластера для использования расширенного автомасштабирования.

  • При выполнении конвейеров в непрерывном режиме ограничение повторных попыток по умолчанию равно 2 при возникновении повторных сбоев. Включая исходную попытку, все потоки имеют три попытки (с экспоненциальным обратным выходом) для выполнения при возникновении неустранимых сбоев. Ранее значения по умолчанию были несвязанными повторными попытками для пакетных потоков и пять попыток потоковой передачи.

  • Теперь параметр pipelines.maxFlowRetryAttempts конфигурации применяется к ограничению повторных попыток для всех потоков, включая потоки пакетной и потоковой передачи, а также непрерывные или триггерные конвейеры. Ранее применяется pipelines.maxFlowRetryAttempts ко всем ограничениям повторных попыток в активированном режиме, но только пакетным потокам в непрерывном режиме; повторные попытки для конвейеров потоковой передачи в непрерывном режиме контролируются pipelines.numStreamRetryAttempts. Для существующих конвейеров продолжает поддерживать потоки потоковой передачи pipelines.numStreamRetryAttempts в непрерывном режиме. Если оба pipelines.numStreamRetryAttempts и pipelines.maxFlowRetryAttempts задано, pipelines.numStreamRetryAttempts принимает приоритет для потоковых потоков в непрерывном режиме. В противном случае используется настроенное значение pipelines.maxFlowRetryAttempts . См . справочник по свойствам "Разностные динамические таблицы".

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, приводяшая к отображению неправильных вычислений DBU в час для кластеров с поддержкой Фотона.

  • В этом выпуске исправлена ошибка, из-за которой задачи обслуживания разностных динамических таблиц завершаются сбоем в рабочих областях каталога Unity.

  • В этом выпуске исправлена ошибка при остановке или перезапуске непрерывного конвейера, который прием данных с помощью автозагрузчика приводит к зависаю конвейеру в течение нескольких минут.