Freigeben über

Interoperabilität des Delta Lake-Tabellenformats

  • Artikel

In Microsoft Fabric ist das Delta Lake-Tabellenformat der Standard für Analysen. Delta Lake ist eine Open-Source-Speicherebene, die ACID-Transaktionen (Atomizität, Konsistenz, Isolation und Dauerhaftigkeit) in Big Data- und Analyseworkloads einführt.

Alle Fabric-Umgebungen generieren und verwenden Delta Lake-Tabellen und sorgen so für Interoperabilität und ein einheitliches Produkterlebnis. Delta Lake-Tabellen, die von einer Compute-Engine wie Fabric Data Warehouse oder Synapse Spark erstellt werden, können von jeder anderen Engine wie Power BI genutzt werden. Wenn Sie in Fabric Daten erfassen, werden sie standardmäßig als Delta-Tabellen gespeichert. Sie können externe Daten, die Delta Lake-Tabellen enthalten, ganz einfach mit den Tastaturkurzbefehlen von OneLake integrieren.

Delta Lake-Features und Fabric-Umgebungen

Um Interoperabilität zu erreichen, sind alle Fabric-Umgebungen auf die Delta Lake-Features und Fabric-Funktionen abgestimmt. Einige Umgebungen können nur in Delta Lake-Tabellen schreiben, während andere daraus lesen können.

  • Writers: Data Warehouse, Eventstreams und exportierte semantische Power BI-Modelle in OneLake
  • Readers: SQL-Analyseendpunkt und semantische Power BI Direct Lake-Modelle
  • Writers und Readers: Fabric Spark Runtime, Dataflows, Datenpipelines und KQL-Datenbank

Die folgende Matrix zeigt wichtige Delta Lake-Features und deren Unterstützung für jede Fabric-Funktion.

Fabric-Funktion Namensbasierte Spaltenzuordnungen Löschvektoren Schreiben in V-Reihenfolge Tabellenoptimierung und -wartung Schreibpartitionen Lesepartitionen Liquid Clustering TIMESTAMP_NTZ Version von Delta-Reader/-Writer und Standardtabellenfeatures
Delta Lake-Export in Data Warehouse Nein Ja Ja Ja Keine Ja Nr. No Reader: 3
Writer: 7
Löschvektoren
SQL-Analyseendpunkt Ja Ja N/V (nicht zutreffend) N/V (nicht zutreffend) N/V (nicht zutreffend) Ja Ja No N/V (nicht zutreffend)
Fabric Spark-Runtime 1.3 Ja Ja Ja Ja Ja Ja Ja Ja Reader: 1
Writer: 2
Fabric Spark-Runtime 1.2 Ja Ja Ja Ja Ja Ja Ja, nur Lesezugriff Ja Reader: 1
Writer: 2
Fabric Spark-Runtime 1.1 Ja Keine Ja Ja Ja Ja Ja, nur Lesezugriff No Reader: 1
Writer: 2
Dataflows Ja Ja Ja Keine Ja Ja Ja, nur Lesezugriff No Reader: 1
Writer: 2
Datenpipelines Nein Nein Ja Nein Ja, nur überschreiben Ja Ja, nur Lesezugriff No Reader: 1
Writer: 2
Power BI Direct Lake-Semantikmodelle Ja Ja N/V (nicht zutreffend) N/V (nicht zutreffend) N/V (nicht zutreffend) Ja Ja No N/V (nicht zutreffend)
Exportieren von Power BI-Semantikmodellen in OneLake Ja N/V (nicht zutreffend) Ja Keine Ja N/V (nicht zutreffend) No No Reader: 2
Writer: 5
KQL-Datenbank Ja Ja Nr. Nein* Ja Ja Nr. No Reader: 1
Writer: 1
Eventstreams Nein Nr. Nr. Nein Ja N/V (nicht zutreffend) No No Reader: 1
Writer: 2

*KQL-Datenbanken bieten bestimmte Tabellen-Wartungsfunktionen wie z. B. Aufbewahrung. Daten werden am Ende des Aufbewahrungszeitraums aus OneLake entfernt. Weitere Informationen finden Sie unter Eine logische Kopie.

Hinweis

  • Fabric schreibt standardmäßig keine namensbasierten Spaltenzuordnungen. Die Standard-Fabric-Umgebung erzeugt Tabellen, die mit dem Dienst kompatibel sind. Ein Delta Lake, das von Drittanbietern erstellt wurde, kann inkompatible Tabellenfunktionen aufweisen.
  • Einige Fabric-Umgebungen verfügen nicht über vererbte Tabellenoptimierungs- und Wartungsfunktionen wie Bin-Komprimierung, V-Reihenfolge und Bereinigen nicht referenzierter alter Dateien. Um Delta Lake-Tabellen für Analysen zu optimieren, befolgen Sie für Tabellen, die mit diesen Verfahren eingelesen werden, die Methoden unter Verwenden des Tabellenwartungsfeatures zum Verwalten von Delta-Tabellen in Fabric.

Aktuelle Einschränkungen

Derzeit unterstützt Fabric die folgenden Delta Lake-Features nicht:

  • Delta Lake 3.x Uniform
  • Schreiben von Identitätsspalten (geschützte Databricks-Funktion)
  • Delta Live-Tabellen (geschützte Databricks-Funktion)
  • RLE (Run Length Encoding) für die Prüfpunktdatei aktiviert

Zugehöriger Inhalt