Поделиться через

Delta Live Tables версия 2022.37

  • Статья

14 сентября – 22, 2022 г.

Эти функции и улучшения были выпущены в выпуске Delta Live Tables 2022.37.

Версии среды выполнения Databricks, используемые этим выпуском

Канал:

  • CURRENT (по умолчанию): Databricks Runtime 10.3.7
  • ПРЕДВАРИТЕЛЬНАЯ ВЕРСИЯ: Databricks Runtime 11.0.5

Новые функции и улучшения в этом выпуске

  • Запрос API начального обновления теперь возвращает поле request_id в тексте ответа. request_id — это стабильный идентификатор исходного запроса, запускающий обновление. Если обновление повторно обработано или перезапущено, новое обновление наследует request_id.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Новый запрос API requests (GET /pipelines/{pipeline_id}/requests/{request_id}) возвращает состояние обновления конвейера, связанного с request_id. Ответ содержит сведения о последнем обновлении.

{
   "status": "ACTIVE",
   "latest_update": {
   }
 }

  • Теперь код Python может вызывать операции spark.sql за пределами dlt.table() или dlt.view() функций, если операция не считывается из материализованного представления или потоковой таблицы.

  • Теперь записи журнала событий содержат свойство maturity, указывающее стабильность схемы события. Возможные значения: stable, evolvingи deprecated. Дополнительные сведения о журнале событий Delta Live Tables см. в разделе Что такое журнал событий Delta Live Tables?.

  • Сообщение об ошибке улучшается при внесении несовместимых изменений в исходные таблицы, используемые потоковой таблицей.

  • Теперь можно выбрать политику кластера в пользовательском интерфейсе Delta Live Tables при создании или изменении конвейера. Ранее установка политики кластера для конвейера требовала изменения параметров JSON конвейера.

  • Быстрый запуск конвейера. Этот выпуск включает усовершенствования, которые ускоряют SETTING_UP_TABLES шаг при запуске конвейера.

Исправления ошибок в этом выпуске

  • В этом выпуске исправлена ошибка, которая предотвращает увеличение масштаба расширенного автомасштабирования при отсутствии неактивных экземпляров кластера.