Delta Lake -taulukkomuodon yhteentoimivuus
Microsoft Fabricissa Delta Lake -taulukkomuoto on analytiikan vakiomuoto. Delta Lake on avoimen lähdekoodin tallennuskerros, joka tuo ACID (Atomicity, Consistency, Isolation, Durability) -tapahtumat massadata- ja analytiikkakuormitusten kanssa.
Kaikki Fabric-kokemukset tuottavat ja kuluttavat Delta Lake -taulukoita, ovat yhteentoimivuutta ajavia ja yhtenäisiä tuotekokemuksia. Yhden laskentamoduulin, kuten Fabric Data Warehousen tai Synapse Sparkin, tuottamia Delta Lake -taulukoita voi käyttää mikä tahansa toinen moduuli, kuten Power BI. Kun käytät tietoja Fabriciin, Fabric tallentaa sen oletuksena Delta-taulukkoina. Voit helposti integroida Delta Lake -taulukoita sisältäviä ulkoisia tietoja OneLake-pikakuvakkeiden avulla.
Delta Laken ominaisuudet ja Fabric-kokemukset
Yhteentoimivuuden saavuttamiseksi kaikki Fabric-käyttökokemukset ovat linjassa Delta Lake- ja Fabric-ominaisuuksien kanssa. Jotkin kokemukset voivat kirjoittaa vain Delta Lake -taulukoihin, kun taas osa voi lukea siitä.
- kirjoittajat: tietovarastot, tapahtumatoiminnot ja viedyt Semanttiset Power BI -mallit OneLakeen
- Readers -: SQL-analytiikan päätepiste ja Power BI:n direct lake -semanttiset mallit
- kirjoittajat ja lukijat: Fabric Spark -suorituspalvelu, tietovuot, tietoputket ja Kusto Query Language (KQL) -tietokannat
Seuraavassa matriisissa näkyvät Tärkeimmät Delta Lake -ominaisuudet ja niiden tuki kullekin Fabric-ominaisuudelle.
| Fabric-ominaisuus | Nimipohjaisten sarakkeiden yhdistämismääritykset | Poistovektorit | V-järjestyksen kirjoittaminen | Taulukon optimointi ja ylläpito | Osioiden kirjoittaminen | Osioiden lukeminen | Nesteklusterointi | TIMESTAMP_NTZ | Deltalukuohjelman/kirjoittajan versio ja taulukon oletusominaisuudet |
|---|---|---|---|---|---|---|---|---|---|
| Tietovarasto Delta Lake export | Ei | Kyllä | Kyllä | Kyllä | Ei | Kyllä | Ei | Ei | Lukija: 3 Kirjoittaja: 7 Poista vektorit |
| SQL-analytiikan päätepiste | Kyllä | Kyllä | N/A (ei käytettävissä) | N/A (ei käytettävissä) | N/A (ei käytettävissä) | Kyllä | Kyllä | Ei | N/A (ei käytettävissä) |
| Fabric Spark Runtime 1.3 | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä | Lukija: 1 Kirjoittaja: 2 |
| Fabric Spark Runtime 1.2 | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä, vain luku | Kyllä | Lukija: 1 Kirjoittaja: 2 |
| Fabric Spark Runtime 1.1 | Kyllä | Ei | Kyllä | Kyllä | Kyllä | Kyllä | Kyllä, vain luku | Ei | Lukija: 1 Kirjoittaja: 2 |
| Tietovuot | Kyllä | Kyllä | Kyllä | Ei | Kyllä | Kyllä | Kyllä, vain luku | Ei | Lukija: 1 Kirjoittaja: 2 |
| Tietoputket | Ei | Ei | Kyllä | Ei | Kyllä, vain korvaaminen | Kyllä | Kyllä, vain luku | Ei | Lukija: 1 Kirjoittaja: 2 |
| Power BI Direct Laken semanttiset mallit | Kyllä | Kyllä | N/A (ei käytettävissä) | N/A (ei käytettävissä) | N/A (ei käytettävissä) | Kyllä | Kyllä | Ei | N/A (ei käytettävissä) |
| Power BI:n semanttisten mallien vieminen OneLakeen | Kyllä | N/A (ei käytettävissä) | Kyllä | Ei | Kyllä | N/A (ei käytettävissä) | Ei | Ei | Lukija: 2 Kirjoittaja: 5 |
| KQL-tietokannat | Kyllä | Kyllä | Ei | Ei* | Kyllä | Kyllä | Ei | Ei | Lukija: 1 Kirjoittaja: 1 |
| Tapahtumavirrat | Ei | Ei | Ei | Ei | Kyllä | N/A (ei käytettävissä) | Ei | Ei | Lukija: 1 Kirjoittaja: 2 |
* KQL-tietokannat tarjoavat tiettyjä taulukoiden ylläpitotoimintoja, kuten säilytys. Tiedot poistetaan OneLaken säilytysajan päättyessä. Lisätietoja on kohdassa Yksi looginen kopio.
Muistiinpano
- Fabric ei oletusarvoisesti kirjoita nimipohjaisten sarakkeiden yhdistämismäärityksiä. Oletusarvoinen Fabric-käyttökokemus luo taulukoita, jotka ovat yhteensopivia koko palvelussa. Kolmannen osapuolen palveluiden tuottamalla Delta Lake -järvellä saattaa olla yhteensopimattomia taulukko-ominaisuuksia.
- Jotkin Fabric-käyttökokemukset eivät ole perineet taulukon optimointi- ja ylläpitotoimintoja, kuten lokeron kompaktin, V-järjestyksen ja vanhojen, tuloksettamattomien tiedostojen puhdistamisen. Jotta Delta Lake -taulukot pysyvät optimaalisina analytiikassa, noudata Käytä taulukon ylläpitotoimintoa delta-taulukoiden hallintaan Fabric- taulukoille, jotka on käytetty näitä kokemuksia käyttämällä.
Nykyiset rajoitukset
Tällä hetkellä Fabric ei tue näitä Delta Lake -ominaisuuksia:
- Delta Lake 3.x Uniform
- Käyttäjätiedot-sarakkeiden kirjoittaminen (databricks-ominaisuus)
- Delta Live Tables (oma Databricks-ominaisuus)
- RLE (Run Length -koodaus) otettu käyttöön tarkistuspisteen tiedostossa
Aiheeseen liittyvä sisältö
- Mikä on Delta Lake?
- Lue lisää Delta Lake -taulukoista Fabric Lakehousessa ja Synapse Sparkissä.
- Lisätietoja Direct Lakesta Power BI:ssä ja Microsoft Fabric.
- Lue lisää siitä, taulukoiden kyseleminen Varastosta sen julkaistun Delta Lake Logs -avulla.