Delen via

Interoperabiliteit van Delta Lake-tabelindeling

  • Artikel

In Microsoft Fabric is de Delta Lake-tabelindeling de standaard voor analyse. Delta Lake is een opensource-opslaglaag die ACID-transacties (Atomicity, Consistency, Isolation, Duurzaamheid) naar big data- en analyseworkloads brengt.

Alle Fabric-ervaringen genereren en verbruiken Delta Lake-tabellen, zorgen voor interoperabiliteit en een uniforme productervaring. Delta Lake-tabellen die worden geproduceerd door één rekenmachine, zoals Fabric Data Warehouse of Synapse Spark, kunnen worden gebruikt door elke andere rekenmachine, zoals Power BI. Wanneer u gegevens opneemt in Fabric, slaat Fabric deze standaard op als Delta-tabellen. U kunt eenvoudig externe gegevens met Delta Lake-tabellen integreren met behulp van OneLake-snelkoppelingen.

Delta Lake-functies en Fabric-ervaringen

Om interoperabiliteit te bereiken, zijn alle Fabric-ervaringen afgestemd op de Delta Lake-functies en infrastructuurmogelijkheden. Sommige toepassingen kunnen alleen naar Delta Lake-tabellen schrijven, terwijl andere ervan kunnen lezen.

  • Writers: Datawarehouses, eventstreams en geëxporteerde semantische Power BI-modellen naar OneLake
  • Lezers: SQL Analytics-eindpunt en semantische Power BI-modellen voor Direct Lake
  • Schrijvers en lezers: Fabric Spark-runtime, gegevensstromen, gegevenspijplijnen en KQL-databases (Kusto Query Language)

In de volgende matrix ziet u de belangrijkste Delta Lake-functies en hun ondersteuning voor elke Fabric-capaciteit.

Netwerkfunctionaliteit Naamgebaseerde kolomtoewijzingen Verwijderingsvectoren V-order schrijven Tabeloptimalisatie en -onderhoud Partities schrijven Partities lezen Vloeistof Clustering TIMESTAMP_NTZ Delta reader/writer-versie en standaardtabelfuncties
Data Warehouse Delta Lake-export Nee Ja Ja Ja Nee Ja Nee Nee Lezer: 3
Schrijver: 7
Verwijderingsvectoren
SQL Analytics-eindpunt Ja Ja N.b. (niet van toepassing) N.b. (niet van toepassing) N.b. (niet van toepassing) Ja Ja Nee N.b. (niet van toepassing)
Fabric Spark Runtime 1.3 Ja Ja Ja Ja Ja Ja Ja Ja Lezer: 1
Schrijver: 2
Fabric Spark Runtime 1.2 Ja Ja Ja Ja Ja Ja Ja, alleen lezen Ja Lezer: 1
Schrijver: 2
Fabric Spark Runtime 1.1 Ja Nee Ja Ja Ja Ja Ja, alleenlezen Nee Lezer: 1
Schrijver: 2
Gegevensstromen Ja Ja Ja Nee Ja Ja Ja, alleen lezen Nee Lezer: 1
Schrijver: 2
Gegevenspijplijnen Nee Nee Ja Nee Ja, alleen overschrijven Ja Ja, alleen lezen Nee Lezer: 1
Schrijver: 2
Semantische Power BI-modellen voor directe meer Ja Ja N.b. (niet van toepassing) N.b. (niet van toepassing) N.b. (niet van toepassing) Ja Ja Nee N.b. (niet van toepassing)
Semantische Power BI-modellen exporteren naar OneLake Ja N.b. (niet van toepassing) Ja Nee Ja N.b. (niet van toepassing) Nee Nee Lezer: 2
Schrijver: 5
KQL-databases Ja Ja Nee Geen* Ja Ja Nee Nee Lezer: 1
Schrijver: 1
Eventstreams Nee Nee Nee Nee Ja N.b. (niet van toepassing) Nee Nee Lezer: 1
Schrijver: 2

* KQL-databases bieden bepaalde onderhoudsmogelijkheden voor tabellen, zoals retentie. Gegevens worden verwijderd aan het einde van de bewaarperiode van OneLake. Zie Logische kopievoor meer informatie.

Notitie

  • Fabric schrijft standaard geen kolomtoewijzingen op basis van een naam. Met de standaard fabric-ervaring worden tabellen gegenereerd die compatibel zijn in de service. Delta Lake, geproduceerd door services van derden, kan incompatibele tabelfuncties hebben.
  • Sommige Fabric-functionaliteiten hebben geen geërfde tabeloptimalisatie- en onderhoudsmogelijkheden, zoals bin-compactie, V-order en het opschonen van oude niet-gerefereerde bestanden. Als u Delta Lake-tabellen optimaal wilt houden voor analyse, volgt u de technieken in Gebruik de functie Tabelonderhoud om deltatabellen in Fabric- te beheren voor tabellen die zijn opgenomen met behulp van deze ervaringen.

Huidige beperkingen

Momenteel biedt Fabric geen ondersteuning voor deze Delta Lake-functies:

  • Delta Lake 3.x Uniform
  • Identiteitskolommen schrijven (eigen Databricks-functie)
  • Delta Live Tables (eigen Databricks-functie)
  • RLE (Run Length Encoding) ingeschakeld op het checkpoint-bestand

Verwante inhoud