Del via

Interoperabilitet i tabelformatet Delta Lake

  • Artikel

I Microsoft Fabric er tabelformatet Delta Lake standard for analyser. Delta Lake er et lagerlag med åben kildekode, der bringer ACID-transaktioner (Atomicity, Consistency, Isolation, Holdbarhed) til big data- og analysearbejdsbelastninger.

Alle Fabric-oplevelser genererer og forbruger Delta Lake-tabeller, der skaber interoperabilitet og en samlet produktoplevelse. Delta Lake-tabeller, der er produceret af ét beregningsprogram, f.eks. Fabric Data Warehouse eller Synapse Spark, kan forbruges af et hvilket som helst andet program, f.eks. Power BI. Når du indfødning af data i Fabric, gemmer Fabric dem som standard som Delta-tabeller. Du kan nemt integrere eksterne data, der indeholder Delta Lake-tabeller, ved hjælp af OneLake-genveje.

Delta Lake-funktioner og Fabric-oplevelser

For at opnå interoperabilitet er alle Fabric-oplevelserne på linje med Delta Lake-funktionerne og Fabric-funktionerne. Nogle oplevelser kan kun skrive til Delta Lake-tabeller, mens andre kan læse fra dem.

  • Forfattere: Data warehouses, eventstreams og eksporterede semantiske Power BI-modeller til OneLake
  • Læsere: Semantiske sql analytics-slutpunkter og semantiske Power BI-direct lake-modeller
  • Forfattere og læsere: Fabric Spark-kørsel, dataflow, datapipelines og KQL-databaser (Kusto Query Language)

Følgende matrix viser vigtige Delta Lake-funktioner og deres understøttelse af hver Fabric-funktion.

Strukturfunktionalitet Navnebaserede kolonnetilknytninger Sletningsvektorer V-ordreskrivning Tabeloptimering og vedligeholdelse Skriv partitioner Læs partitioner Flydende klynger TIMESTAMP_NTZ Delta-læser-/skriveversion og standardtabelfunktioner
Data warehouse Delta Lake-eksport Nej Ja Ja Ja Nr. Ja Nr. Nej Læser: 3
Forfatter: 7
Sletningsvektorer
SQL Analytics-slutpunkt Ja Ja I/T (ikke relevant) I/T (ikke relevant) I/T (ikke relevant) Ja Ja Nej I/T (ikke relevant)
Fabric Spark Runtime 1.3 Ja Ja Ja Ja Ja Ja Ja Ja Læser: 1
Forfatter: 2
Fabric Spark Runtime 1.2 Ja Ja Ja Ja Ja Ja Ja, skrivebeskyttet Ja Læser: 1
Forfatter: 2
Fabric Spark Runtime 1.1 Ja Nr. Ja Ja Ja Ja Ja, skrivebeskyttet Nr. Læser: 1
Forfatter: 2
Dataflows Ja Ja Ja Nr. Ja Ja Ja, skrivebeskyttet Nr. Læser: 1
Forfatter: 2
Datapipelines Nr. Nej Ja Nej Ja, overskriv kun Ja Ja, skrivebeskyttet Nr. Læser: 1
Forfatter: 2
Semantiske power BI-modeller til direct lake Ja Ja I/T (ikke relevant) I/T (ikke relevant) I/T (ikke relevant) Ja Ja Nej I/T (ikke relevant)
Eksportér semantiske Power BI-modeller til OneLake Ja I/T (ikke relevant) Ja Nr. Ja I/T (ikke relevant) Nr. Nej Læser: 2
Forfatter: 5
KQL-databaser Ja Ja Nr. Nej* Ja Ja Nr. Nej Læser: 1
Forfatter: 1
Eventstreams Nr. Nej Nej Nej Ja I/T (ikke relevant) Nr. Nej Læser: 1
Forfatter: 2

* KQL-databaser indeholder visse funktioner til tabelvedligeholdelse, f.eks . opbevaring. Data fjernes i slutningen af opbevaringsperioden fra OneLake. Du kan få flere oplysninger under Én logisk kopi.

Bemærk

  • Fabric skriver ikke navnebaserede kolonnetilknytninger som standard. Standardoplevelsen Fabric genererer tabeller, der er kompatible på tværs af tjenesten. Delta Lake, der er produceret af tredjepartstjenester, kan have inkompatible tabelfunktioner.
  • Nogle Fabric-oplevelser har ikke nedarvede tabeloptimerings- og vedligeholdelsesfunktioner, f.eks. bin-compaction, V-order og oprydning af gamle filer, der ikke refereres til. Hvis du vil holde Delta Lake-tabeller optimale til analyse, skal du følge teknikkerne i Funktionen Brug tabelvedligeholdelse til at administrere deltatabeller i Fabric for tabeller, der indtages ved hjælp af disse oplevelser.

Aktuelle begrænsninger

Fabric understøtter i øjeblikket ikke disse Delta Lake-funktioner:

  • Delta Lake 3.x Uniform
  • Skrivning af identitetskolonner (funktionen Privatejede Databricks)
  • Delta Live Tables (funktionen Databricks, der er beskyttet af ejendomsret)
  • RLE (Run Length Encoding) aktiveret på kontrolpunktfilen

Relateret indhold