Del via

Interoperabilitet i tabelformatet Delta Lake

  • Artikel

I Microsoft Fabric er tabelformatet Delta Lake standard for analyser. Delta Lake er et lagerlag med åben kildekode, der bringer ACID-transaktioner (Atomicity, Consistency, Isolation, Holdbarhed) til big data- og analysearbejdsbelastninger.

Alle Fabric-oplevelser genererer og forbruger Delta Lake-tabeller, der skaber interoperabilitet og en samlet produktoplevelse. Delta Lake-tabeller, der er produceret af ét beregningsprogram, f.eks. Fabric Data Warehouse eller Synapse Spark, kan forbruges af et hvilket som helst andet program, f.eks. Power BI. Når du indfødning af data i Fabric, gemmer Fabric dem som standard som Delta-tabeller. Du kan nemt integrere eksterne data, der indeholder Delta Lake-tabeller, ved hjælp af OneLake-genveje.

Delta Lake-funktioner og Fabric-oplevelser

For at opnå interoperabilitet er alle Fabric-oplevelserne på linje med Delta Lake-funktionerne og Fabric-funktionerne. Nogle oplevelser kan kun skrive til Delta Lake-tabeller, mens andre kan læse fra dem.

  • Writers: Data warehouses, eventstreams og eksporterede semantiske Power BI-modeller til OneLake
  • læsere: SQL-analyseslutpunkt og semantiske power BI-modeller til direct lake
  • Forfattere og læsere: Fabric Spark-kørsel, dataflow, datapipelines og KQL-databaser (Kusto Query Language)

Følgende matrix viser vigtige Delta Lake-funktioner og deres understøttelse af hver Fabric-funktion.

Strukturfunktionalitet Navnebaserede kolonnetilknytninger Sletningsvektorer V-ordreskrivning Tabeloptimering og vedligeholdelse Skriv partitioner Læs partitioner Flydende klynger TIMESTAMP_NTZ Delta-læser-/skriveversion og standardtabelfunktioner
Data warehouse Delta Lake-eksport Nej Ja Ja Ja Nej Ja Nej Nej Læser: 3
Forfatter: 7
Sletningsvektorer
SQL Analytics-slutpunkt Ja Ja I/T (ikke relevant) I/T (ikke relevant) I/T (ikke relevant) Ja Ja Nej I/T (ikke relevant)
Fabric Spark Runtime 1.3 Ja Ja Ja Ja Ja Ja Ja Ja Læser: 1
Forfatter: 2
Fabric Spark Runtime 1.2 Ja Ja Ja Ja Ja Ja Ja, skrivebeskyttet Ja Læser: 1
Forfatter: 2
Fabric Spark Runtime 1.1 Ja Nej Ja Ja Ja Ja Ja, skrivebeskyttet Nej Læser: 1
Forfatter: 2
Dataflow Ja Ja Ja Nej Ja Ja Ja, skrivebeskyttet Nej Læser: 1
Forfatter: 2
Datapipelines Nej Nej Ja Nej Ja, overskriv kun Ja Ja, skrivebeskyttet Nej Læser: 1
Forfatter: 2
Semantiske power BI-modeller til direct lake Ja Ja I/T (ikke relevant) I/T (ikke relevant) I/T (ikke relevant) Ja Ja Nej I/T (ikke relevant)
Eksportér semantiske Power BI-modeller til OneLake Ja I/T (ikke relevant) Ja Nej Ja I/T (ikke relevant) Nej Nej Læser: 2
Forfatter: 5
KQL-databaser Ja Ja Nej Ingen* Ja Ja Nej Nej Læser: 1
Forfatter: 1
Eventstreams Nej Nej Nej Nej Ja I/T (ikke relevant) Nej Nej Læser: 1
Forfatter: 2

* KQL-databaser indeholder visse funktioner til tabelvedligeholdelse, f.eks. opbevaring. Data fjernes i slutningen af opbevaringsperioden fra OneLake. Du kan få flere oplysninger under En logisk kopi.

Seddel

  • Fabric skriver ikke navnebaserede kolonnetilknytninger som standard. Standardoplevelsen Fabric genererer tabeller, der er kompatible på tværs af tjenesten. Delta Lake, der er produceret af tredjepartstjenester, kan have inkompatible tabelfunktioner.
  • Nogle Fabric-oplevelser har ikke nedarvede tabeloptimerings- og vedligeholdelsesfunktioner, f.eks. bin-compaction, V-order og oprydning af gamle filer, der ikke refereres til. Hvis du vil holde Delta Lake-tabeller optimale til analyse, skal du følge teknikkerne i Brug funktionen til vedligeholdelse af tabeller til at administrere deltatabeller i Fabric for tabeller, der indtages ved hjælp af disse oplevelser.

Aktuelle begrænsninger

Fabric understøtter i øjeblikket ikke disse Delta Lake-funktioner:

  • Delta Lake 3.x Uniform
  • Skrivning af identitetskolonner (funktionen Privatejede Databricks)
  • Delta Live Tables (funktionen Databricks, der er beskyttet af ejendomsret)
  • RLE (Run Length Encoding) aktiveret på kontrolpunktfilen

Relateret indhold