Del via

Interoperabilitet i Tabellformat for Delta Lake

  • Artikkel

I Microsoft Fabric er tabellformatet Delta Lake standard for analyse. Delta Lake er et lagringslag med åpen kildekode som bringer ACID-transaksjoner (Atomicity, Consistency, Isolation, Durability) til store data- og analysearbeidsbelastninger.

Alle stoffopplevelser genererer og bruker Delta Lake-tabeller, driver interoperabilitet og en enhetlig produktopplevelse. Delta Lake-tabeller produsert av én databehandlingsmotor, for eksempel Fabric Data Warehouse eller Synapse Spark, kan forbrukes av en hvilken som helst annen motor, for eksempel Power BI. Når du inntar data i Fabric, lagrer Fabric dem som Delta-tabeller som standard. Du kan enkelt integrere eksterne data som inneholder Delta Lake-tabeller ved hjelp av OneLake-snarveier.

Delta Lake-funksjoner og stoffopplevelser

For å oppnå interoperabilitet justeres alle Stoff-opplevelsene på Delta Lake-funksjonene og Fabric-funksjonene. Noen opplevelser kan bare skrive til Delta Lake-tabeller, mens andre kan lese fra den.

  • Writers: Datalagre, eventstreams og eksporterte semantiske Modeller for Power BI til OneLake
  • Readers: SQL analytics endpoint og Power BI direct lake semantic models
  • Forfattere og lesere: Fabric Spark runtime, dataflyter, datasamlebånd og KQL-databaser (Kusto Query Language)

Følgende matrise viser viktige Delta Lake-funksjoner og deres støtte på hver stofffunksjonalitet.

Stofffunksjonalitet Navnebaserte kolonnetilordninger Slettingsvektorer V-ordreskriving Tabelloptimalisering og vedlikehold Skrive partisjoner Lese partisjoner Flytende klynger TIMESTAMP_NTZ Deltaleser/forfatterversjon og standard tabellfunksjoner
Eksport av Datalager Delta Lake Nei Ja Ja Ja Nei Ja Nei Nei Leser: 3
Forfatter: 7
Slettingsvektorer
Endepunkt for SQL-analyse Ja Ja I/T (ikke aktuelt) I/T (ikke aktuelt) I/T (ikke aktuelt) Ja Ja Nei I/T (ikke aktuelt)
Stoff Spark Runtime 1.3 Ja Ja Ja Ja Ja Ja Ja Ja Leser: 1
Forfatter: 2
Stoff Spark Runtime 1.2 Ja Ja Ja Ja Ja Ja Ja, skrivebeskyttet Ja Leser: 1
Forfatter: 2
Stoff Spark Runtime 1.1 Ja Nei Ja Ja Ja Ja Ja, skrivebeskyttet Nei Leser: 1
Forfatter: 2
Dataflyter Ja Ja Ja Nei Ja Ja Ja, skrivebeskyttet Nei Leser: 1
Forfatter: 2
Datasamlebånd Nei Nei Ja Nei Ja, overskriv bare Ja Ja, skrivebeskyttet Nei Leser: 1
Forfatter: 2
Semantiske modeller for Power BI-direkte innsjø Ja Ja I/T (ikke aktuelt) I/T (ikke aktuelt) I/T (ikke aktuelt) Ja Ja Nei I/T (ikke aktuelt)
Eksporter semantiske Modeller for Power BI til OneLake Ja I/T (ikke aktuelt) Ja Nei Ja I/T (ikke aktuelt) Nei Nei Leser: 2
Forfatter: 5
KQL-databaser Ja Ja Nei Ingen* Ja Ja Nei Nei Leser: 1
Forfatter: 1
Hendelsesstrømmer Nei Nei Nei Nei Ja I/T (ikke aktuelt) Nei Nei Leser: 1
Forfatter: 2

* KQL-databaser gir bestemte vedlikeholdsfunksjoner for tabeller, for eksempel oppbevaring. Data fjernes på slutten av oppbevaringsperioden fra OneLake. Hvis du vil ha mer informasjon, kan du se én logisk kopi.

Notat

  • Fabric skriver ikke navnebaserte kolonnetilordninger som standard. Standard fabric-opplevelse genererer tabeller som er kompatible på tvers av tjenesten. Delta lake, produsert av tredjepartstjenester, kan ha inkompatible tabellfunksjoner.
  • Noen stoffopplevelser har ikke arvede tabelloptimaliserings- og vedlikeholdsfunksjoner, for eksempel bin-komprimering, V-rekkefølge og opprydding av gamle ureferansefiler. Hvis du vil holde Delta Lake-tabeller optimale for analyse, følger du teknikkene i Bruk funksjonen for tabellvedlikehold til å administrere deltatabeller i Fabric for tabeller som er inntatt ved hjelp av disse opplevelsene.

Gjeldende begrensninger

Fabric støtter for øyeblikket ikke disse Delta Lake-funksjonene:

  • Delta Lake 3.x Uniform
  • Skrive identitetskolonner (proprietær Databricks-funksjon)
  • Delta Live Tables (proprietær Databricks-funksjon)
  • RLE (Kjørelengdekoding) aktivert på kontrollpunktfilen

Relatert innhold