Поделиться через

Ограничения Delta Live Tables

  • Статья

Ниже перечислены ограничения Delta Live Tables, которые важно знать при разработке ваших конвейеров:

  • Рабочая область Azure Databricks ограничена 100 параллельными обновлениями конвейера. Количество наборов данных, которые может содержать один конвейер, определяется конфигурацией конвейера и сложностью рабочей нагрузки.
  • Наборы данных Delta Live Tables можно определить только один раз. Из-за этого они могут быть мишенью только одной операции во всех конвейерах Delta Live Tables. Исключение составляют потоковые таблицы с обработкой добавления, которая позволяет записывать в потоковую таблицу из нескольких потоковых источников. См. Использование потока добавлений для записи в поточную таблицу из разных исходных потоков.
  • Столбцы идентификаторов имеют следующие ограничения. Дополнительные сведения о столбцах идентификаторов в таблицах Delta см. в разделе Использование столбцов идентификаторов в Delta Lake.
    • Столбцы идентификаторов не поддерживаются в таблицах, которые являются целью обработки с использованием APPLY CHANGES.
    • Столбцы идентификаторов могут быть пересчитаны во время обновления материализованных представлений. Из-за этого Databricks рекомендует использовать идентификационные столбцы в таблицах Delta Live только с потоковыми таблицами.
  • Наборы данных, созданные в конвейере Delta Live Tables, записываются только в Delta Lake. Невозможно выводить данные из конвейера в приемники, отличные от Delta Lake.
  • Материализованные представления и потоковые таблицы, в том числе созданные конвейером Delta Live Tables или Databricks SQL, могут быть доступны только клиентам и приложениям Azure Databricks.
  • Использование Delta Sharing невозможно для совместного использования материализованных представлений и потоковых таблиц, которые были созданы конвейером Delta Live Tables.
  • Существуют ограничения для вычислительных ресурсов Databricks, необходимых для запуска и выполнения запросов в конвейерах Unity Catalog. См. требования для конвейеров, которые публикуют в каталоге Unity.
  • Только владелец конвейера может получить доступ к журналу событий для конвейера. См. запрос журнала событий.
  • Запросы на перемещение по времени Delta Lake поддерживаются только в таблицах потоковой передачи и не поддерживаются с материализованными представлениями. См. раздел История работы с таблицами Delta Lake.
  • Невозможно включить Айсберг считывает для материализованных представлений и потоковых таблиц, созданных конвейерами Delta Live Tables.