Interoperabilität des Delta Lake-Tabellenformats
In Microsoft Fabric ist das Tabellenformat Delta Lake der Standard für Analysen. Delta Lake ist eine Open-Source-Speicherschicht, die ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability, Atomarität, Konsistenz, Isolation, Dauerhaftigkeit) in Big Data und Analytics-Workloads einführt.
Alle Fabric-Erfahrungen generieren und nutzen Delta Lake-Tabellen, die die Interoperabilität fördern und eine einheitliche Benutzererfahrung schaffen. Delta Lake-Tabellen, die von einem Computemodul wie Fabric Data Warehouse oder Synapse Spark erstellt werden, können von jedem anderen Modul wie Power BI genutzt werden. Wenn Sie Daten in Fabric aufnehmen, speichert Fabric sie standardmäßig als Delta-Tabellen. Sie können externe Daten, die Delta Lake-Tabellen enthalten, ganz einfach mithilfe von OneLake-Tastenkombinationen integrieren.
Delta Lake-Features und Fabric-Erfahrungen
Um Interoperabilität zu erreichen, sind alle Fabric-Erfahrungen auf die Delta Lake-Features und Fabric-Funktionen abgestimmt. Einige Umgebungen können nur in Delta Lake-Tabellen schreiben, während andere daraus lesen können.
- Writer: Data Warehouse, Eventstreams und exportierte semantische Power BI-Modelle in OneLake
- Readers: SQL-Analyseendpunkt und semantische Power BI Direct Lake-Modelle
- Writer und Reader: Fabric Spark Runtime, Dataflows, Datenpipelines und KQL-Datenbank
Die folgende Matrix zeigt wichtige Delta Lake-Features und deren Unterstützung für jede Fabric-Funktion.
Fabric-Funktion | Namensbasierte Spaltenzuordnungen | Vektoren löschen | Schreiben in V-Reihenfolge | Tabellenoptimierung und -wartung | Schreiben von Partitionen | Partitionen lesen | Flüssigkeits-Clusterbildung | TIMESTAMP_NTZ | Delta-Leser/Schreiber-Version und Standardtabellenfunktionen |
---|---|---|---|---|---|---|---|---|---|
Export des Data Warehouse Delta Lake | Nein | Ja | Ja | Ja | Nein | Ja | Nein | Nein | Reader: 3 Autor: 7 Vektoren löschen |
SQL-Analyseendpunkt | Ja | Ja | N/A (nicht zutreffend) | N/A (nicht zutreffend) | N/A (nicht zutreffend) | Ja | Ja | Nein | N/A (nicht zutreffend) |
Fabric Spark Runtime 1.3 | Ja | Ja | Ja | Ja | Ja | Ja | Ja | Ja | Leser: 1 Autor: 2 |
Fabric Spark Runtime 1.2 | Ja | Ja | Ja | Ja | Ja | Ja | Ja, nur Lesezugriff | Ja | Leser: 1 Autor: 2 |
Fabric Spark Runtime 1.1 | Ja | Nein | Ja | Ja | Ja | Ja | Ja, nur Lesezugriff | Nein | Leser: 1 Autor: 2 |
Datenflüsse | Ja | Ja | Ja | Nein | Ja | Ja | Ja, nur Lesezugriff | Nein | Leser: 1 Autor: 2 |
Datenpipelines | Nein | Nein | Ja | Nein | Ja, nur überschreiben | Ja | Ja, nur Lesezugriff | Nein | Leser: 1 Autor: 2 |
Power BI Direct Lake Semantikmodelle | Ja | Ja | N/A (nicht zutreffend) | N/A (nicht zutreffend) | N/A (nicht zutreffend) | Ja | Ja | Nein | N/A (nicht zutreffend) |
Exportieren von Power BI-Semantikmodellen in OneLake | Ja | N/A (nicht zutreffend) | Ja | Nein | Ja | N/A (nicht zutreffend) | Nein | Nein | Reader: 2 Autor: 5 |
KQL-Datenbanken | Ja | Ja | Nein | Nein* | Ja | Ja | Nein | Nein | Leser: 1 Autor: 1 |
Eventstreams | Nein | Nein | Nein | Nein | Ja | N/A (nicht zutreffend) | Nein | Nein | Leser: 1 Autor: 2 |
* KQL-Datenbanken bieten bestimmte Tabellenwartungsfunktionen wie die Aufbewahrung. Daten werden am Ende des Aufbewahrungszeitraums aus OneLake entfernt. Weitere Informationen finden Sie unter Eine logische Kopie.
Anmerkung
- Fabric schreibt standardmäßig keine namensbasierten Spaltenzuordnungen. Die Standardmäßige Fabric-Oberfläche generiert Tabellen, die über den Dienst hinweg kompatibel sind. Delta Lake, der von Drittanbieterdiensten produziert wird, kann inkompatible Tabellenfeatures aufweisen.
- Einige Fabric-Umgebungen verfügen nicht über geerbte Tabellenoptimierungs- und Wartungsfunktionen, z. B. Bin-Komprimierung, V-Reihenfolge und Bereinigen alter nicht referenzierter Dateien. Um Delta Lake-Tabellen für Analysen zu optimieren, befolgen Sie für Tabellen, die mit diesen Verfahren eingelesen werden, die Methoden unter Verwenden des Tabellenwartungsfeatures zum Verwalten von Delta-Tabellen in Fabric.
Aktuelle Einschränkungen
Derzeit unterstützt Fabric diese Delta Lake-Features nicht:
- Delta Lake 3.x Uniform
- Schreiben von Identitätsspalten (geschütztes Databricks-Feature)
- Delta Live Tables (proprietäre Databricks-Funktion)
- Lauflängencodierung (Run Length Encoding, RLE) für die Prüfpunktdatei aktiviert
Verwandte Inhalte
- Was ist Delta Lake?
- Erfahren Sie mehr über Delta Lake-Tabellen in Fabric Lakehouse und Synapse Spark.
- Erfahren Sie mehr über Direct Lake in Power BI und Microsoft Fabric.
- Hier erfahren Sie mehr über das Abfragen von Tabellen aus dem Warehouse über die veröffentlichten Delta Lake-Protokolle.