Поделиться через

Delta Live Tables версия 2022.40

  • Статья

28 сентября – 5 октября 2022 г.

Эти функции и улучшения были выпущены с выпуском Delta Live Tables 2022.40.

Версии среды выполнения Databricks, используемые этим выпуском

Канал:

  • CURRENT (по умолчанию): Databricks Runtime 11.0.7
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.0.7

Новые функции и улучшения в этом выпуске

  • Использование метки кластера, default отличной от параметров конвейера или maintenance в параметрах конвейера, приводит к сбоям во время создания или редактирования конвейера. Дополнительные сведения о конфигурации кластера для конвейеров delta Live Tables см. в разделе Настройка вычислений для конвейера delta Live Tables.

  • Теперь вы можете открывать или запускать конвейеры непосредственно из записных книжек Delta Live Tables. См. статью Разработка и отладка конвейеров Delta Live Tables в ноутбуках.

  • Этот выпуск включает разрушительное изменение структуры данных параметров конвейера, возвращаемой Delta Live Tables в запросах API . Это изменение возвращает edition поле в качестве значения верхнего регистра. Ранее это значение было возвращено в виде смешанного регистра. Необходимо обновить клиенты, которые считывают значение edition в ответах API, чтобы обеспечить правильную обработку возвращаемого значения. edition Однако значение запросов API не учитывает регистр. Клиенты, отправиющие запросы, включая это поле, не требуют обновления.

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, из-за которой пользовательский интерфейс Delta Live Tables показывал поток в состоянии RUNNING даже после сбоя обновления.

  • Это обновление устраняет ошибку в интерфейсе APPLY_CHANGES при повторной обработке входных данных, в которых данные содержат повторяющиеся операции DELETE с тем же значением в столбце SEQUENCE. Этот сценарий приводит к значению NULL в целевой таблице и удалению значения DeleteVersion. Это эквивалентно маркировке записи как NOT-DELETED. При этом изменении повторяющиеся DELETE операции обрабатываются идемпотентно и всегда помечают запись как DELETED.

  • В этом выпуске исправлена ошибка, из-за которой строки скрывались во время обработки типа 2 SCD, когда предыдущая историческая запись, содержащая те же столбцы, что и следующая историческая запись, удалялась.

  • Это обновление исправляет ошибку, из-за которой представление с ожиданием expect_or_fail остается в состоянии RUNNING, даже если это ожидание завершается неудачей. При этом исправлении конвейер завершается сбоем и переходит в FAILED состояние.