Tietovuon Gen2-tietokohteet ja hallitut asetukset

Kun olet siistinyt ja valmistellut tietosi Dataflow Gen2 -funktiolla, haluat päätyä tietoihisi kohdesijainnissa. Voit tehdä tämän käyttämällä Tietovuo Gen2:n tietokohdeominaisuuksia. Tämän ominaisuuden avulla voit valita eri kohteista, kuten Azure SQL:stä, Fabric Lakehousesta ja monista muista. Tietovuo Gen2 kirjoittaa sitten tietosi kohdesijainniin, ja sieltä voit käyttää tietojasi lisäanalyyseihin ja raportointiin.

Seuraava luettelo sisältää tuetut tietokohteet.

• Azure SQL -tietokannat
• Azure Data Explorer (Kusto)
• Fabric Lakehouse
• Fabric Warehouse
• Fabric KQL -tietokanta
• Fabric SQL -tietokanta

Aloituspisteet

Jokaisella tietovuon Gen2-tietokyselyllä voi olla tietokohde. Funktioita ja luetteloita ei tueta. voit käyttää sitä vain taulukkomuotoisiin kyselyihin. Voit määrittää jokaisen kyselyn tietokohteen yksitellen, ja voit käyttää tietovuossa useita eri kohteita.

Tietokohteen määrittämiseen on kolme tärkeintä aloituskohtaa:

• Ylimmän valintanauhan kautta.

  

• Kyselyasetusten kautta.

  

• Kaavionäkymän kautta.

  

Yhdistäminen tietosijainniin

Yhteyden muodostaminen tietokohteeseen muistuttaa yhteyden muodostamista tietolähteeseen. Yhteyksiä voidaan käyttää sekä tietojen lukemiseen että kirjoittamiseen, koska sinulla on oikeat käyttöoikeudet tietolähteeseen. Sinun on luotava uusi yhteys tai valittava aiemmin luotu yhteys ja valittava sitten Seuraava.

Luo uusi taulukko tai valitse aiemmin luotu taulukko

Kun lataat tietokohteeseen, voit joko luoda uuden taulukon tai valita aiemmin luodun taulukon.

Luo uusi taulukko

Kun päätät luoda uuden taulukon, tietovuon Gen2 päivityksen aikana tietokohteeseen luodaan uusi taulukko. Jos taulukko poistetaan tulevaisuudessa siirtymällä kohdesijainniin manuaalisesti, tietovuo luo taulukon uudelleen seuraavan tietovuon päivityksen yhteydessä.

Taulukon nimellä on oletusarvoisesti sama nimi kuin kyselyn nimellä. Jos taulukon nimessä on virheellisiä merkkejä, joita kohde ei tue, taulukon nimeä muutetaan automaattisesti. Esimerkiksi monet kohteet eivät tue välilyöntejä tai erikoismerkkejä.

Seuraavaksi sinun on valittava kohdesäilö. Jos valitset jonkin Fabric-tietokohteista, siirtymistoiminnon avulla voit valita Fabric-artefaktin, johon haluat ladata tietosi. Azure-kohteissa voit joko määrittää tietokannan yhteyden luomisen aikana tai valita tietokannan siirtymistoiminnon kautta.

Käytä aiemmin luotua taulukkoa

Jos haluat valita aiemmin luodun taulukon, käytä siirtymistoiminnon yläreunan vaihtokytkintä. Kun valitset aiemmin luodun taulukon, sinun on valittava sekä Fabric-artefakti/tietokanta että taulukko siirtymistoiminnon avulla.

Kun käytät aiemmin luotua taulukkoa, taulukkoa ei voi luoda uudelleen missään skenaariossa. Jos poistat taulukon manuaalisesti tietokohteesta, Dataflow Gen2 ei luo taulukkoa uudelleen seuraavan päivityksen yhteydessä.

Uusien taulukoiden hallitut asetukset

Kun lataat uuteen taulukkoon, automaattiset asetukset ovat oletusarvoisesti käytössä. Jos käytät automaattisia asetuksia, Dataflow Gen2 hallitsee yhdistämistä puolestasi. Automaattiset asetukset tarjoavat seuraavan toiminnon:

• Päivitysmenetelmän korvaaminen: Tiedot korvataan jokaisen tietovuon päivityksen yhteydessä. Kaikki kohdesijainnin tiedot poistetaan. Kohdesijainnissa olevat tiedot korvataan tietovuon tulostetieduksilla.

• Hallittu yhdistäminen: Yhdistäminen on hallittu puolestasi. Kun sinun on tehtävä muutoksia tietoihin/kyselyyn toisen sarakkeen lisäämiseksi tai tietotyypin muuttamiseksi, yhdistämistä säädetään automaattisesti tätä muutosta varten, kun julkaiset tietovuon uudelleen. Sinun ei tarvitse siirtyä tietokohdekokemukseen aina, kun teet muutoksia tietovuohon. Tämä helpottaa rakennemuutosten mahdollistamista, kun julkaiset tietovuon uudelleen.

• Pudota taulukko uudelleen ja luo se uudelleen: Jotta nämä rakenteen muutokset voidaan sallia, taulukko pudotetaan ja luodaan uudelleen jokaisessa tietovuon päivityksessä. Tietovuon päivitys saattaa aiheuttaa aiemmin taulukkoosi lisättyjen suhteiden tai mittareiden poistamisen.

Muistiinpano

Tällä hetkellä automaattista asetusta tuetaan vain Lakehouse- ja Azure SQL -tietokannoissa tietokohteena.

Manuaaliset asetukset

Jos poistat asetuksen Käytä automaattisia asetuksia, voit hallita täysin, miten tiedot ladataan tietosi kohdesijainniin. Voit tehdä muutoksia sarakkeiden yhdistämismääritykseen muuttamalla lähdetyyppiä tai jättämällä pois sarakkeen, jota et tarvitse tietosijainnissa.

Menetelmien päivittäminen

Useimmat kohteet tukevat sekä liimistä että korvaamista päivitysmenetelminä. Fabric KQL -tietokannat ja Azure Data Explorer eivät kuitenkaan tue korvaamista päivitysmenetelmänä.

• Korvaa: Jokaisen tietovuon päivityksen yhteydessä tiedot pudotetaan pois kohdesijainnista ja ne korvataan tietovuon tulostetiedillä.

• Liitä: Jokaisen tietovuon päivityksen yhteydessä tietovuon tulostetiedot liitetään tietokohdetaulukossa olemassa oleviin tietoihin.

Rakenteen asetukset julkaisua käytettäessä

Julkaisemisen rakenneasetukset ovat käytössä vain, kun päivitysmenetelmä korvataan. Kun liität tietoja, rakenteen muutokset eivät ole mahdollisia.

• Dynaaminen rakenne: Kun valitset dynaamista rakennetta, sallit rakenteen muutokset tietokohteessa, kun julkaiset tietovuon uudelleen. Koska et käytä hallittua yhdistämismääritystä, sinun on silti päivitettävä sarakkeen yhdistämismääritys tietovuon kohdetyönkulussa, kun teet muutoksia kyselyyn. Kun tietovuo päivitetään, taulukko pudotetaan ja luodaan uudelleen. Tietovuon päivitys saattaa aiheuttaa aiemmin taulukkoosi lisättyjen suhteiden tai mittareiden poistamisen.

• Kiinteä rakenne: Kun valitset kiinteän rakenteen, rakennemuutokset eivät ole mahdollisia. Kun tietovuo päivitetään, vain taulukon rivit poistetaan ja korvataan tietovuon tulostetiedoilla. Kaikki taulukoissa olevat yhteydet tai mittarit säilyvät ennallaan. Jos teet muutoksia kyselyyn tietovuossa, tietovuon julkaisu epäonnistuu, jos se havaitsee, että kyselyrakenne ei vastaa tietokohteen rakennetta. Käytä tätä asetusta, kun et aio muuttaa rakennetta ja lisätä suhteita tai mittaria kohdetaulukkoosi.

Muistiinpano

Kun tietoja ladataan varastoon, vain kiinteää rakennetta tuetaan.

Tuetut tietolähdetyypit per kohde

Tuetut tietotyypit tallennussijaintia kohti	DataflowStagingLakehouse	Azure DB (SQL) -tuloste	Azure Data Explorerin tuloste	Fabric Lakehouse (LH) Output	Fabric Warehouse (WH) -tulos	Fabric SQL -tietokannan (SQL) tuloste
Toimi	En	No	No	No	No	En
Any	En	No	No	No	No	En
Binaarinen	En	No	No	No	No	En
Valuutta	Kyllä	Kyllä	Kyllä	Kyllä	No	Kyllä
Päivämäärä, aika ja aikavyöhyke	Kyllä	Kyllä	Kyllä	No	No	Kyllä
Duration	En	No	Kyllä	No	No	En
Function	En	No	No	No	No	Ei
Ei ole	En	No	No	No	No	En
Tyhjäarvo	En	No	No	No	No	En
Aika	Kyllä	Kyllä	No	No	No	Kyllä
Tyyppi	En	No	No	No	No	En
Structured (List, Record, Table)	En	No	No	No	No	En

Edistyneet aiheet

Valmistelun käyttäminen ennen kohdesijainniin lataamista

Kyselyjen käsittelyn suorituskyvyn parantamiseksi valmistelua voidaan käyttää Dataflows Gen2:ssa kyselyiden suorittamiseen Fabric-käsittelyn avulla.

Kun valmistelu on käytössä kyselyissäsi (oletustoiminto), tiedot ladataan valmistelusijaintiin, joka on sisäinen Lakehouse, jota voivat käyttää vain itse tietovuot.

Valmistelusijainnit voivat parantaa suorituskykyä joissakin tapauksissa, joissa kyselyn delegointi SQL-analytiikan päätepisteeseen on nopeampaa kuin muistin käsittelyssä.

Kun lataat tietoja Lakehouseen tai muihin kohteisiin, joihin ei ole varastoa, valmistelutoiminto poistetaan oletusarvoisesti käytöstä suorituskyvyn parantamiseksi. Kun lataat tietoja tietokohteeseen, tiedot kirjoitetaan suoraan tietokohteeseen valmistelua käyttämättä. Jos haluat käyttää kyselyn valmistelua, voit ottaa sen uudelleen käyttöön.

Voit ottaa valmistelun käyttöön napsauttamalla kyselyä hiiren kakkospainikkeella ja ottamalla valmistelun käyttöön valitsemalla Ota valmistelu käyttöön -painikkeen. Kysely muuttuu siniseksi.

Tietojen lataaminen varastoon

Kun lataat tietoja varastoon, valmistelu on pakollista ennen tietokohteeseen kirjoitustoimintoa. Tämä vaatimus parantaa suorituskykyä. Tällä hetkellä tuetaan vain lataamista samaan työtilaan kuin tietovuo. Varmista, että valmistelu on käytössä kaikille kyselyille, jotka latautuvat varastoon.

Kun valmistelu on poistettu käytöstä ja valitset tuloskohteeksi Varasto, saat varoituksen, joka ottaa valmistelun käyttöön ennen kuin voit määrittää tietokohteen.

Jos sinulla on jo varasto kohdesijaintina ja yrität poistaa valmistelun käytöstä, näkyviin tulee varoitus. Voit joko poistaa varaston kohdesijaintina tai hylätä valmistelutoiminnon.

Lakehouse-tietokohteen imurointi

Kun käytät Lakehousea Dataflow Gen2:n kohdesijaintina Microsoft Fabricissa, on tärkeää tehdä säännöllistä ylläpitoa optimaalisen suorituskyvyn ja tehokkaan tallennustilan hallinnan varmistamiseksi. Yksi tärkeä ylläpitotehtävä on tietokohteen imurointi. Tämä prosessi auttaa poistamaan vanhat tiedostot, joihin delta-taulukkoloki ei enää viittaa, mikä optimoi tallennuskustannukset ja säilyttää tietoidesi eheyden.

Miksi imurointi on tärkeää

1. Tallennustilan optimointi: Ajan mittaan Delta-taulukot keräävät vanhoja tiedostoja, joita ei enää tarvita. Imurointi auttaa siistimään näitä tiedostoja, vapauttamaan tallennustilaa ja pienentämään kustannuksia.
2. Suorituskyvyn parannus: Tarpeettomien tiedostojen poistaminen voi parantaa kyselyn suorituskykyä vähentämällä niiden tiedostojen määrää, jotka on luettava lukutoimintojen aikana.
3. Tietojen eheys: Tietojen eheyden varmistaminen, että vain asianmukaiset tiedostot säilytetään, auttaa säilyttämään tietosi eheyden estäen mahdolliset ongelmat, jotka voivat johtaa lukijavirheisiin tai taulukon vioittumiseen.

Tietokohteen tyhjiö

Jos haluat imuroida Delta-taulukot Lakehousessa, toimi seuraavasti:

1. Siirry Lakehouse-laitteeseesi: Siirry Microsoft Fabric -tililtäsi haluamaasi Lakehouseen.
2. Käyttötaulukon ylläpito: Napsauta Lakehouse Explorerissa hiiren kakkospainikkeella taulukkoa, jota haluat ylläpitää, tai käytä kolmea pistettä, jotta pääset pikavalikkoon.
3. Valitse ylläpitovaihtoehdot: Valitse Ylläpito-valikkomerkintä ja valitse Tyhjiö-vaihtoehto.
4. Suorita tyhjiökomento: Määritä säilytyskynnysarvo (oletusarvo on seitsemän päivää) ja suorita tyhjiökomento valitsemalla Suorita nyt.

Parhaat käytännöt

• Säilytysaika: Määritä säilytysväliksi vähintään seitsemän päivää sen varmistamiseksi, että vanhoja tilannevedoksia ja sitomattomia tiedostoja ei poisteta ennenaikaisesti, mikä voi häiritä taulukon lukijoita ja kirjoittajia.
• Säännöllinen ylläpito: Ajoita säännöllinen imurointi osana tietojen ylläpitorutiinia, jotta Delta-taulukkosi pysyvät optimoituina ja valmiina analysointia varten.

Sisällyttämällä imuroinnin tietojen ylläpitostrategiaan voit varmistaa, että Lakehouse-kohde pysyy tehokkaana, kustannustehokkaana ja luotettavana tietovuotoiminnoillesi.

Tarkempia tietoja lakehouse-taulukon ylläpidosta on Delta-taulukoiden ylläpitoa koskevista ohjeista.

Tyhjäarvot salliva

Joissakin tapauksissa, kun sarakkeessa on tyhjäarvoja salliva sarake, Power Query havaitsee sen muuksi kuin tyhjäarvoksi, ja kun kirjoitat tietokohteeseen, saraketyyppi ei ole tyhjäarvoja salliva. Päivityksen aikana tapahtuu seuraava virhe:

E104100 Couldn't refresh entity because of an issue with the mashup document MashupException.Error: DataFormat.Error: Error in replacing table's content with new data in a version: #{0}., InnerException: We can't insert null data into a non-nullable column., Underlying error: We can't insert null data into a non-nullable column. Details: Reason = DataFormat.Error;Message = We can't insert null data into a non-nullable column.; Message.Format = we can't insert null data into a non-nullable column.

Jos haluat pakottaa tyhjäarvoja sisältävät sarakkeet, voit kokeilla seuraavia vaiheita:

1. Poista taulukko tietokohteesta.

2. Poista tietokohde tietovuosta.

3. Siirry tietovuohon ja päivitä tietotyypit käyttämällä seuraavaa Power Query -koodia:

   Table.TransformColumnTypes(
      #"PREVIOUS STEP", {
         {"COLLUMNNAME1", type nullable text}, 
         {"COLLUMNNAME2", type nullable Int64.Type}
      }
   ) 
   

4. Lisää tietokohde.

Tietotyyppien muuntaminen ja skaalautuminen

Joissakin tapauksissa tietovuon tietotyyppi eroaa siitä, mitä alla olevassa tietokohteessa tuetaan, ovat joitakin oletusmuunnoksia, jotka olemme tehneet varmistaaksemme, että pystyt edelleen saamaan tietosi tietokohteeseen:

Kohde	Tietovuon tietotyyppi	Kohteen tietotyyppi
Fabric Warehouse	Int8.Type	Int16.Type