Поделиться через

Ограничения DLT

  • Статья

Ниже приведены ограничения DLT, которые важны для разработки конвейеров:

  • Рабочая область Azure Databricks ограничена 100 параллельными обновлениями конвейера. Количество наборов данных, которые может содержать один конвейер, определяется конфигурацией конвейера и сложностью рабочей нагрузки.
  • Наборы данных DLT можно определить только один раз. Из-за этого они могут быть мишенью только одной операции во всех конвейерах DLT. Исключением являются потоковые таблицы с обработкой добавленного потока, которая позволяет записывать в потоковую таблицу из нескольких потоковых источников. См. раздел , используйте поток добавления для записи в потоковую таблицу из нескольких исходных потоков.
  • Идентификационные столбцы имеют следующие ограничения. Дополнительные сведения о идентификационных столбцах в таблицах Delta см. в разделе Использование идентификационных столбцов в Delta Lake.
    • Идентификационные столбцы не могут быть использованы в таблицах для обработки процесса APPLY CHANGES.
    • Столбцы идентификаторов могут быть пересчитаны при обновлении материализованных представлений. Из-за этого Databricks рекомендует использовать идентификационные столбцы в DLT только с таблицами потоковых данных.
  • Материализованные представления и таблицы потоковой передачи, опубликованные из конвейера DLT, включая созданные Databricks SQL, могут быть доступны только клиентам и приложениям Azure Databricks. Однако для создания материализованных представлений и потоковых таблиц, доступных внешне, можно использовать API DLT sink для записи в таблицы во внешнем экземпляре Delta. См. записи Потоковой передачи во внешние службы с приемниками DLT.
  • Нельзя использовать Delta Sharing для совместного использования материализованных представлений и потоковых таблиц, созданных с помощью конвейера DLT.
  • Существуют ограничения на вычислительные ресурсы Databricks, необходимые для запуска и выполнения запросов в конвейерах Unity Catalog. См. требования для конвейеров, которые публикуются в каталоге Unity.
  • Только владелец конвейера может получить доступ к журналу событий для конвейера. См. запрос журнала событий.
  • Запросы на перемещение по времени Delta Lake поддерживаются только в таблицах потоковой передачи и не поддерживаются с материализованными представлениями. См. раздел Работа с историей таблиц Delta Lake.
  • Невозможно включить считывание Iceberg для материализованных представлений и потоковых таблиц, созданных конвейерами DLT.