Поделиться через

Совместимость формата таблицы Delta Lake

  • Статья

В Microsoft Fabric формат таблицы Delta Lake является стандартным для аналитики. Delta Lake — это уровень хранения с открытым исходным кодом, который обеспечивает транзакции ACID (атомарность, согласованность, изоляция, устойчивость) для больших данных и аналитических нагрузок.

Все сценарии использования Fabric создают и используют таблицы Delta Lake, способствуя взаимодействию и унифицированному пользовательскому опыту. Таблицы Delta Lake, созданные одним вычислительным ядром, например хранилищем данных Fabric или Synapse Spark, могут использоваться любым другим ядром, например Power BI. При приеме данных в Fabric, Fabric сохраняет их в виде таблиц Delta по умолчанию. Вы можете легко интегрировать внешние данные, содержащие таблицы Delta Lake, с помощью сочетаний клавиш OneLake.

Функции Delta Lake и опыт работы с Fabric

Для обеспечения взаимодействия все возможности Fabric соответствуют возможностям Delta Lake и Fabric. Некоторые интерфейсы могут записывать только в таблицы Delta Lake, а другие могут читать из него.

  • Авторы: хранилища данных, потоки событий и экспортированные семантические модели Power BI в OneLake
  • читатели: конечная точка аналитики SQL и семантические модели Power BI с прямым подключением к хранилищу
  • писатели и читатели: среда выполнения Fabric Spark, потоки данных, конвейеры данных и базы данных на языке запросов Kusto (KQL)

В следующей матрице показаны ключевые функции Delta Lake и их поддержка для каждой возможности Fabric.

Возможности Fabric Сопоставления столбцов на основе имен Векторы удаления Написание в V-порядке Оптимизация таблиц и обслуживание Запись разделов Чтение разделов Кластеризация Жидкости TIMESTAMP_NTZ Версия Delta для чтения и записи и функции таблицы по умолчанию
Экспорт хранилища данных Delta Lake Нет Да Да Да Нет Да Нет Нет Читатель: 3
Писатель: 7
Векторы удаления
Конечная точка аналитики SQL Да Да N/A (неприменимо) N/A (неприменимо) N/A (неприменимо) Да Да Нет N/A (неприменимо)
Среда выполнения Fabric Spark 1.3 Да Да Да Да Да Да Да Да Читатель: 1
Писатель: 2
Среда выполнения Spark Fabric 1.2 Да Да Да Да Да Да Да, только для чтения Да Читатель: 1
Писатель: 2
Среда выполнения Spark Fabric 1.1 Да Нет Да Да Да Да Да, только для чтения Нет Читатель: 1
Писатель: 2
Потоки данных Да Да Да Нет Да Да Да, только для чтения Нет Читатель: 1
Писатель: 2
Конвейеры данных Нет Нет Да Нет Да, только перезаписать Да Да, только для чтения Нет Читатель: 1
Писатель: 2
Модели семантики прямого подключения к озеру данных Power BI Да Да N/A (неприменимо) N/A (неприменимо) N/A (неприменимо) Да Да Нет N/A (неприменимо)
Экспорт семантических моделей Power BI в OneLake Да N/A (неприменимо) Да Нет Да N/A (неприменимо) Нет Нет Читатель: 2
Писатель: 5
Базы данных KQL Да Да Нет Нет* Да Да Нет Нет Читатель: 1
Писатель: 1
Потоки событий Нет Нет Нет Нет Да N/A (неприменимо) Нет Нет Читатель: 1
Писатель: 2

* базах данных KQL предоставляют определенные возможности обслуживания таблиц, такие как хранения. Данные удаляются в конце периода хранения из OneLake. Дополнительные сведения см. в разделе "One Logical Copy".

Заметка

  • Fabric по умолчанию не записывает именные сопоставления столбцов. Интерфейс Fabric по умолчанию создает таблицы, совместимые со службой. Delta Lake, созданное сторонними сервисами, может иметь несовместимые табличные функции.
  • Некоторые возможности Fabric не имеют встроенных возможностей оптимизации таблиц и обслуживания, таких как bin-compaction, V-order, и очистка старых неиспользуемых файлов. Чтобы обеспечить оптимальную настройку таблиц Delta Lake для аналитики, следуйте методам в Использовать функцию обслуживания таблиц для управления разностными таблицами в Fabric для таблиц, которые используются с помощью этих функций.

Текущие ограничения

В настоящее время Fabric не поддерживает следующие функции Delta Lake:

  • Delta Lake 3.x Uniform
  • Запись в столбцы идентификаторов (собственная функция Databricks)
  • Delta Live Tables (собственная функция Databricks)
  • RLE (кодировка длины выполнения) включена в файле контрольных точек

Связанное содержимое