Jaa

Delta Lake -lokit Warehousessa Microsoft Fabricissa

  • Artikkeli

Koskee:✅ Microsoft Fabric -varasto

Microsoft Fabricin Varasto koostuu avoimista tiedostomuodoista. Käyttäjätaulukot tallennetaan parquet-tiedostomuodossa ja Delta Lake -lokit julkaistaan kaikille käyttäjätaulukoille.

Delta Lake -lokit avaavat suoran pääsyn varaston käyttäjätaulukoihin mille tahansa moduulille, joka voi lukea Delta Lake -taulukoita. Käyttö on rajoitettu vain luku -käyttöoikeudeseen, jotta voidaan varmistaa, että käyttäjätiedot säilyttävät ACID-tapahtuman yhteensopivuuden. Kaikki taulukoiden tiedoissa olevat lisäykset, päivitykset ja poistot on suoritettava Warehousen kautta. Kun tapahtuma on tehty, järjestelmän taustaprosessi käynnistetään, jotta päivitetty Delta Lake -loki julkaistaan taulukoille, joita asia koskee.

OneLake-polun hankkiminen

Seuraavissa vaiheissa kerrotaan, miten saat OneLake-polun varaston taulukosta:

  1. Avaa Microsoft Fabric -työtilasi Varasto .

  2. Löydät Object Explorerista enemmän vaihtoehtoja (...) valitusta taulukosta Taulukot-kansiosta. Valitse Ominaisuudet-valikko.

    Näyttökuva, jossa näkyy Ominaisuudet-vaihtoehdon etsiminen valitusta taulukosta.

  3. Kun valitset Ominaisuudet-ruudun, näet seuraavat tiedot:

    1. Nimi
    2. Muotoile
    3. Tyyppi
    4. URL
    5. Suhteellinen polku
    6. ABFS-polku

    Näyttökuva Ominaisuudet-ruudusta.

Delta Lake -lokien polun hankkiminen

Voit paikantaa Delta Lake -lokit seuraavien menetelmien avulla:

  • Delta Lake -lokeihin voi tehdä kyselyjä Lakehousessa luotujen pikakuvakkeiden avulla. Voit tarkastella tiedostoja Microsoft Fabric Spark Notebookin tai Fabric Data Engineeringin Lakehouse Explorerin avulla Microsoft Fabric -portaalissa.

  • Delta Lake -lokit löytyvät Azure-tallennus Explorerin kautta Spark-yhteyksien, kuten Power BI Direct Lake -tilan, kautta tai käyttämällä mitä tahansa muuta palvelua, joka voi lukea delta-taulukoita.

  • Delta Lake -lokit löytyvät _delta_log kunkin taulukon kansiosta Windowsin OneLake Explorerin kautta seuraavassa näyttökuvassa esitetyllä tavalla.

    Windows OneLake Explorerin näyttökuva, joka näyttää call_center-taulukon deltalokit-kansion polun.

Delta Lake Log Publishingin keskeyttäminen

Delta Lake -lokien julkaiseminen voidaan keskeyttää ja jatkaa tarvittaessa. Kun julkaiseminen keskeytetään, Microsoft Fabric -moottorit, jotka lukevat taulukoita Varaston ulkopuolella, näkevät tiedot sellaisina kuin ne olivat ennen taukoa. Se varmistaa, että raportit pysyvät vakaina ja yhtenäisinä ja heijastavat kaikkien taulukoiden tietoja sellaisina kuin ne olivat olemassa ennen taulukoihin tehtyjä muutoksia. Kun tietosi ovat valmiita, voit jatkaa Delta Lake Log -julkaisua, jotta kaikki viimeisimmät tietomuutokset näkyvät muille analyysitoiminnoille. Toinen käyttötarkoitus Delta Lake -lokijulkaisujen keskeyttämiseen on se, että käyttäjät eivät tarvitse yhteentoimivuutta muiden Microsoft Fabricin käsittelymoduulien kanssa, sillä se voi auttaa säästämään laskentakustannuksissa.

Delta Lake -lokin julkaisemisen keskeyttämisen ja jatkamisen syntaksi on seuraava:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED | AUTO

Esimerkki: Delta Lake -lokin julkaisemisen keskeyttäminen ja jatkamista

Keskeytä Delta Lake -lokin julkaiseminen käyttämällä seuraavaa koodikatkelmaa:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = PAUSED

Kyselyt nykyisen varaston taulukoihin muista Microsoft Fabric -moottoreista (esimerkiksi Lakehousen kyselyt) näyttävät nyt tiedoista version sellaisina kuin ne olivat ennen Delta Lake -lokin julkaisemisen keskeyttämistä. Varastokyselyissä näkyy edelleen tietojen uusin versio.

Jatka Delta Lake -lokin julkaisemista käyttämällä seuraavaa koodikatkelmaa:

ALTER DATABASE CURRENT SET DATA_LAKE_LOG_PUBLISHING = AUTO

Kun tilaksi vaihdetaan auto, Fabric Warehouse -moduuli julkaisee lokit kaikista varaston taulukoihin tehdyistä uusimmista muutoksista, jotta Microsoft Fabricin muut analysointimoduulit voivat lukea uusimman tietoversion.

Delta Lake -lokijulkaisun tilan tarkistaminen

Voit tarkistaa Delta Lake -lokin nykyisen tilan julkaisemisen nykyisen työtilan kaikissa varastoissa käyttämällä seuraavaa koodikatkelmaa:

SELECT [name], [DATA_LAKE_LOG_PUBLISHING_DESC] FROM sys.databases

Rajoitukset

  • Spark ja muut järjestelmät voivat käyttää taulukoiden nimiä vain, jos ne sisältävät vain nämä merkit: A-Z a-z 0-9 ja alaviivat.
  • Sparkin ja muiden järjestelmien käyttämät sarakenimet eivät voi sisältää seuraavia:
    • Tilat
    • välilehdet
    • rivinvaihdot
    • [
    • ,
    • ;
    • {
    • }
    • (
    • )
    • =
    • ]

Liittyvä sisältö