Delen via

Interoperabiliteit van Delta Lake-tabelindeling

  • Artikel

In Microsoft Fabric is de Delta Lake-tabelindeling de standaard voor analyse. Delta Lake is een opensource-opslaglaag die ACID-transacties (atomiciteit, consistentie, isolatie, duurzaamheid) naar big data- en analyseworkloads brengt.

Alle Fabric-ervaringen genereren en verbruiken Delta Lake-tabellen, zorgen voor interoperabiliteit en een uniforme productervaring. Delta Lake-tabellen die worden geproduceerd door één rekenengine, zoals Fabric Data Warehouse of Synapse Spark, kunnen worden gebruikt door elke andere engine, zoals Power BI. Wanneer u gegevens opneemt in Fabric, slaat Fabric deze standaard op als Delta-tabellen. U kunt eenvoudig externe gegevens met Delta Lake-tabellen integreren met behulp van OneLake-snelkoppelingen.

Delta Lake-functies en Fabric-ervaringen

Om interoperabiliteit te bereiken, zijn alle Fabric-ervaringen afgestemd op de Delta Lake-functies en infrastructuurmogelijkheden. Sommige ervaringen kunnen alleen schrijven naar Delta Lake-tabellen, terwijl anderen ermee kunnen lezen.

  • Schrijvers: Datawarehouses, eventstreams en geëxporteerde semantische Power BI-modellen naar OneLake
  • Lezers: SQL Analytics-eindpunt en semantische Power BI-modellen voor Direct Lake
  • Schrijvers en lezers: Fabric Spark-runtime, gegevensstromen, gegevenspijplijnen en Kusto-querytaal (KQL)-databases

In de volgende matrix ziet u de belangrijkste Delta Lake-functies en de bijbehorende ondersteuning voor elke infrastructuurfunctie.

Infrastructuurmogelijkheid Kolomtoewijzingen op basis van naam Verwijderingsvectoren V-order schrijven Tabeloptimalisatie en -onderhoud Partities schrijven Partities lezen Liquid Clustering TIMESTAMP_NTZ Delta reader/writer-versie en standaardtabelfuncties
Datawarehouse Delta Lake-export Nr. Ja Ja Ja No Ja No Nr. Lezer: 3
Schrijver: 7
Verwijderingsvectoren
SQL Analytics-eindpunt Ja Ja N.b. (niet van toepassing) N.b. (niet van toepassing) N.b. (niet van toepassing) Ja Ja Nr. N.b. (niet van toepassing)
Fabric Spark Runtime 1.3 Ja Ja Ja Ja Ja Ja Ja Ja Lezer: 1
Schrijver: 2
Fabric Spark Runtime 1.2 Ja Ja Ja Ja Ja Ja Ja, alleen-lezen Ja Lezer: 1
Schrijver: 2
Fabric Spark Runtime 1.1 Ja No Ja Ja Ja Ja Ja, alleen-lezen Nee Lezer: 1
Schrijver: 2
Gegevensstromen Ja Ja Ja No Ja Ja Ja, alleen-lezen Nee Lezer: 1
Schrijver: 2
Gegevenspijplijnen Nee No Ja Nr. Ja, alleen overschrijven Ja Ja, alleen-lezen Nee Lezer: 1
Schrijver: 2
Semantische Power BI-modellen voor het direct lake Ja Ja N.b. (niet van toepassing) N.b. (niet van toepassing) N.b. (niet van toepassing) Ja Ja Nr. N.b. (niet van toepassing)
Semantische Power BI-modellen exporteren naar OneLake Ja N.b. (niet van toepassing) Ja No Ja N.b. (niet van toepassing) Nee Nr. Lezer: 2
Schrijver: 5
KQL-databases Ja Ja No Geen* Ja Ja No Nr. Lezer: 1
Schrijver: 1
Eventstreams Nee Nee Nee No Ja N.b. (niet van toepassing) Nee Nr. Lezer: 1
Schrijver: 2

* KQL-databases bieden bepaalde onderhoudsmogelijkheden voor tabellen, zoals retentie. Gegevens worden verwijderd aan het einde van de bewaarperiode van OneLake. Zie Een logische kopie voor meer informatie.

Notitie

  • Fabric schrijft standaard geen kolomtoewijzingen op basis van een naam. Met de standaard fabric-ervaring worden tabellen gegenereerd die compatibel zijn in de service. Delta Lake, geproduceerd door services van derden, kan incompatibele tabelfuncties hebben.
  • Sommige Fabric-ervaringen hebben geen overgenomen tabeloptimalisatie- en onderhoudsmogelijkheden, zoals bin-compactie, V-order en het opschonen van oude niet-deductiebestanden. Als u Delta Lake-tabellen optimaal wilt houden voor analyse, volgt u de technieken in De functie Tabelonderhoud gebruiken om deltatabellen in Fabric te beheren voor tabellen die zijn opgenomen met behulp van deze ervaringen.

Huidige beperkingen

Momenteel biedt Fabric geen ondersteuning voor deze Delta Lake-functies:

  • Delta Lake 3.x Uniform
  • Identiteitskolommen schrijven (eigen Databricks-functie)
  • Delta Live Tables (eigen Databricks-functie)
  • RLE (Run Length Encoding) ingeschakeld op het controlepuntbestand

Gerelateerde inhoud