Lakehouse-kohteen lisääminen tapahtumavirtaan

Tässä artikkelissa kerrotaan, miten voit lisätä Lakehouse-kohteen kohdesijainniksi Microsoft Fabric -tapahtumavirtojen tapahtumavirtaan. Jos haluat optimoidun suoratoiston suorituskyvyn ja reaaliaikaisen kyselyn, harkitse tietojen suoratoistoa Eventhouse-kohtaan lisäämällä Eventhouse-kohde tapahtumavirtaan ja ottamalla sitten käyttöön Eventhouse OneLake -saatavuus.

Muistiinpano

Parannetut ominaisuudet ovat oletusarvoisesti käytössä, kun luot tapahtumavirtoja nyt. Jos sinulla on tapahtumavirtoja, jotka on luotu vakio-toiminnoilla, nämä tapahtumavirrat toimivat edelleen. Voit edelleen muokata ja käyttää niitä tavalliseen tapaan. Suosittelemme, että luot uuden tapahtumavirran vakiotapahtumavirtojen korvaamiseksi, jotta voit hyödyntää parannettujen tapahtumatoimintojen lisäominaisuuksia ja etuja.

Tärkeä

Tietojen kirjoittamisessa Lakehousen kohdetaulukkoon on rakennevalvontaa . Kaikkien taulukon uusien kirjoitusten on oltava yhteensopivia kohdetaulukon rakenteen kanssa kirjoitusaikana, mikä takaa tietojen laadun.

Kun tuloste kirjoitetaan uuteen delta-taulukkoon, taulukon rakenne luodaan ensimmäisen tietueen perusteella. Kaikki tulostetietojen tietueet projisoidaan olemassa olevan taulukon rakenteeseen.

Jos saapuvissa tiedoissa on sarakkeita, jotka eivät ole olemassa olevassa taulukon rakenteessa, ylimääräisiä sarakkeita ei sisällytetä taulukkoon kirjoitettuihin tietoihin. Samoin jos saapuvista tiedoista puuttuu sarakkeita, jotka ovat olemassa olevassa taulukon rakenteessa, puuttuvat sarakkeet kirjoittavat taulukkoon arvot tyhjäarvoina.

Edellytykset

• Työtilan käyttöoikeus Fabric-kapasiteetin käyttöoikeustilassa (tai) kokeiluversion käyttöoikeustilassa Osallistuja-oikeudella tai korkeammilla käyttöoikeuksilla.
• Käyttöoikeus työtilaan, jossa Lakehouse sijaitsee, osallistujan tai korkea-arvoisten käyttöoikeuksien avulla.

Muistiinpano

Yhden tapahtumavirran lähteiden ja kohteiden enimmäismäärä on 11.

Lisää lakehouse kohdesijainniksi

Jos haluat lisätä Lakehouse-kohteen oletus- tai johdettuun tapahtumavirtaan, toimi seuraavasti.

1. Valitse tapahtumavirran Muokkaa-tilassa valintanauhasta Lisää kohde ja valitse lakehouse avattavasta luettelosta.

   

2. Yhdistä lakehouse-solmu stream-solmuun tai -operaattoriin.

3. Täytä Lakehousen määritysnäytössä seuraavat tiedot:

   1. Anna kohdenimi.
   2. Valitse Työtila , joka sisältää Lakehouse-talosi.
   3. Valitse aiemmin luotu Lakehouse määrittämästäsi työtilasta.
   4. Valitse aiemmin luotu Delta-taulukko tai luo uusi taulukko tietojen vastaanottamista varten.
   5. Valitse Lakehouse-tallennustilaan lähetetty syötetietomuoto . Tuettuja tietomuotoja ovat JSON, Avro ja CSV (otsikoilla).

   

4. Valitse Lisäasetukset.

5. Lakehouse-kohteeseen on saatavilla kaksi käsittelytilaa. Määritä skenaariosi perusteella nämä tilat optimoimaan, miten Fabric-tapahtumavirrat kirjoittavat Lakehouselle.

   • Vähimmäisrivit ovat ne rivit, joita Lakehouse käyttää yksittäisessä tiedostossa. Pienin arvo on yksi rivi, ja suurin arvo on 2 miljoonaa riviä tiedostoa kohden. Mitä pienempi rivien vähimmäismäärä on, sitä enemmän tiedostoja Lakehouse luo tietojen käsittelemisen aikana.

   • Enimmäiskesto on enimmäiskesto, joka lakehousella kestää yksittäisen tiedoston käyttöön. Pienin arvo on 1 minuutti ja suurin arvo on 2 tuntia. Mitä kauemmin kesto on, sitä enemmän rivejä käsitellään tiedostossa.

   

6. Valitse Tallenna.

7. Jos haluat ottaa käyttöön juuri lisätyn Lakehouse-kohteen, valitse Julkaise.

   

Kun olet suorittanut nämä vaiheet, Lakehouse-kohde on visualisoitavissa reaaliaikaisessa näkymässä. Tiedot-ruudussa voit valita Optimoi taulukko muistikirjassa -pikakuvakkeen käynnistääksesi Apache Spark -työn muistikirjassa, joka kokoaa target lakehouse -taulukon pienet virtautettavat tiedostot.

Liittyvä sisältö

Lisätietoja muiden kohteiden lisäämisestä tapahtumavirtaan on seuraavissa artikkeleissa:

• Tapahtumien reititys kohteisiin
• Mukautettu sovellus
• Johdettu tietovirta
• Eventhouse
• Fabric-aktivoija
• Luo tapahtumavirta

Edellytykset

Ennen kuin aloitat, sinun on täytettävä seuraavat edellytykset:

• Työtilan käyttöoikeus Fabric-kapasiteetin käyttöoikeustilassa (tai) kokeiluversion käyttöoikeustilassa Osallistuja-oikeudella tai korkeammilla käyttöoikeuksilla.
• Hanki käyttöoikeus työtilaan, jossa on Osallistuja- tai Yllä-oikeudet, joissa Lakehouse sijaitsee.

Muistiinpano

Yhden tapahtumavirran lähteiden ja kohteiden enimmäismäärä on 11.

Lisää lakehouse kohdesijainniksi

Jos työtilassasi on luotu Lakehouse, lisää Lakehouse tapahtumavirtaasi kohdesijainniksi noudattamalla seuraavia ohjeita:

1. Valitse valintanauhasta uusi kohde tai+ pääeditorin pohjasta Uusi kohde ja valitse sitten Lakehouse. Lakehousen kohdemääritysnäyttö tulee näkyviin.

2. Anna eventstream-kohteen nimi ja anna lakehouse-tietosi.

   

   1. Lakehouse: Valitse aiemmin luotu Lakehouse määrittämästäsi työtilasta.

   2. Delta-taulukko: Valitse aiemmin luotu delta-taulukko tai luo uusi tietojen vastaanottamista varten.

      Muistiinpano

      Kun kirjoitat tietoja Lakehouse-taulukkoon, kyse on Skeeman täytäntöönpanosta. Tämä tarkoittaa sitä, että kaikkien taulukon uusien kirjoitusten on oltava yhteensopivia kohdetaulukon rakenteen kanssa kirjoitusaikana, mikä takaa tietojen laadun.

      Kaikki tulostetietojen tietueet projisoidaan olemassa olevan taulukon rakenteeseen. Kun kirjoitat tulostetta uuteen delta-taulukkoon, taulukon rakenne luodaan ensimmäisen tietueen perusteella. Jos saapuvilla tiedoilla on lisäsarake verrattuna olemassa olevaan taulukon rakenteeseen, se kirjoittaa taulukkoon ilman ylimääräistä saraketta. Jos saapuvista tiedoista puolestaan puuttuu sarake olemassa olevaan taulukon rakenteeseen verrattuna, se kirjoittaa taulukkoon, jonka sarakkeen arvo on tyhjäarvo.

   3. Syötä tietomuoto: Valitse Lakehouse-tallennustilaan lähetettyjen tietojen (syötetietojen) muoto.

      Muistiinpano

      Tuettuja syötetapahtuman tietomuotoja ovat JSON, Avro ja CSV (otsikoilla).

   4. Tapahtuman käsittely: Tapahtuman käsittely -editorin avulla voit määrittää, miten tietoja käsitellään ennen niiden lähettämistä Lakehouse-laitteeseesi. Avaa tapahtuman käsittelyeditori valitsemalla Avaa tapahtuman käsittelijä . Jos haluat lisätietoja reaaliaikaisen käsittelyn käytöstä tapahtuman käsittelijän avulla, lue artikkeli Tapahtumatietojen käsittely tapahtumien käsittelijän editorilla. Kun olet valmis editorin kanssa, valitse Valmis palataksesi Lakehousen kohdemääritysnäyttöön.

      

3. Lakehouse-kohteeseen on saatavilla kaksi käsittelytilaa. Valitse jokin näistä tiloista optimoidaksesi, miten Fabric-tapahtuman stream-ominaisuus kirjoittaa Lakehouselle skenaariosi mukaan.

   1. Rivit tiedostoa kohti – Lakehousen yksittäisessä tiedostossa käyttämän rivien vähimmäismäärä. Mitä pienempi rivien vähimmäismäärä on, sitä enemmän tiedostoja Lakehouse luo tietojen käsittelemisen aikana. Pienin arvo on yksi rivi. Suurin sallittu arvo on 2 miljoonaa riviä tiedostoa kohden.

   2. Duration – Lakehousen enimmäiskesto yksittäisen tiedoston käyttöön. Mitä kauemmin kesto on, tiedostoon lisätään enemmän rivejä. Pienin arvo on 1 minuutti ja suurin arvo on 2 tuntia.

      

4. Lisää Lakehouse-kohde valitsemalla Lisää .

5. Lakehouse-kohdesijainnissa käytettävissä oleva taulukon optimoinnin pikakuvake. Tämä ratkaisu helpottaa käynnistämällä Spark-työn muistikirjassa, joka yhdistää nämä pienet suoratoistettavat tiedostot kohteen Lakehouse-taulukkoon.

   

6. Pohjalle ilmestyy lakehouse-kohde, jossa on pyörivä tilailmaisin. Järjestelmän tilaksi muuttaminen aktiiviseksi kestää muutaman minuutin.

   

Hallitse kohdetta

Muokkaa/poista: Voit muokata tai poistaa tapahtumavirran kohdetta joko siirtymisruudun tai pohjan kautta.

Kun valitset Muokkaa, pääeditorin oikealle puolelle avautuu muokkausruutu. Voit muokata määritystä haluamallasi tavalla, mukaan lukien tapahtuman muunnoslogiikan tapahtumankäsittelyeditorin kautta.

Liittyvä sisältö

Lisätietoja muiden kohteiden lisäämisestä tapahtumavirtaan on seuraavissa artikkeleissa:

• Tapahtumien reititys kohteisiin
• Mukautettu sovellus
• KQL-tietokanta
• Fabric-aktivoija
• Luo tapahtumavirta