Lisäävä päivitys Tietovuo Gen2:ssa (esikatselu)
Tässä artikkelissa esitellään lisäävä tietojen päivitys Dataflow Gen2:ssa Microsoft Fabric's Data Factorylle. Kun käytät tietovoita tietojen käsittelyssä ja muuntamiseen, on olemassa tilanteita, joissa sinun on erityisesti päivitettävä vain uudet tai päivitetyt tiedot – varsinkin kun tietosi kasvavat edelleen. Lisäävä päivitystoiminto vastaa tähän tarpeeseen, sillä voit lyhentää päivitysaikoja, parantaa luotettavuutta välttämällä pitkäkestoisia toimintoja ja minimoida resurssien käytön.
Edellytykset
Jos haluat käyttää lisäävää päivitystä Tietovuo Gen2:ssa, sinun on täytettävä seuraavat edellytykset:
- Sinulla on oltava Fabric-kapasiteetti.
- Tietolähteesi tukee lähteeseen delegointia (suositus), ja sen on sisällettävä Date/DateTime-sarake, jota voidaan käyttää tietojen suodattamiseen.
- Sinulla tulisi olla tietokohde, joka tukee lisäävää päivitystä. Lisätietoja on kohdassa Kohdetuki.
- Varmista ennen aloittamista, että olet tarkastanut lisäävän päivityksen rajoitukset. Lisätietoja on kohdassa Rajoitukset.
Kohdetuki
Lisäävää päivitystä tuetaan seuraavissa tietokohteissa:
- Fabric Warehouse
- Azure SQL Database
- Azure Synapse Analytics
Muita kohteita, kuten Lakehousea, voidaan käyttää yhdessä lisäävän päivityksen kanssa käyttämällä toista kyselyä, joka viittaa vaiheisiin tietoihin tietokohteen päivittämiseksi. Näin voit edelleen käyttää lisäävää päivitystä, jos haluat vähentää lähdejärjestelmästä käsiteltävien ja sieltä noudettavan tiedon määrää. Sinun on kuitenkin tehtävä täysi päivitys vaiheistetun tiedon tiedoissa tietokohteeseen.
Lisäävän päivityksen käyttäminen
Luo uusi tietovuo Gen2 tai avaa olemassa oleva tietovuo Gen2.
Luo tietovuoeditorissa uusi kysely, joka noutaa lisäävästi päivitettävien tietojen noutamisen.
Tarkista tietojen esikatselu sen varmistamiseksi, että kysely palauttaa tiedot, jotka sisältävät päivämäärä/aika-, päivämäärä- tai päivämäärä/aikavyöhykesarakkeen, jota voit käyttää tietojen suodattamiseen.
Varmista, että kysely on täysin taitettu, mikä tarkoittaa, että kysely on lähetetty kokonaan lähdejärjestelmään. Jos kysely ei täysin taita, sinun on muokattava kyselyä niin, että se delegoi lähteeseen kokonaan. Voit varmistaa, että kysely delegoi täysin lähteeseen, tarkistamalla kyselyeditorissa olevat kyselyvaiheet.
Napsauta kyselyä hiiren kakkospainikkeella ja valitse Lisäävä päivitys.
Anna lisäävän päivityksen vaaditut asetukset.
- Valitse Päivämäärä ja aika -sarake, jonka mukaan suodatetaan.
- Poimi tietoja menneisyydestä.
- Säilön koko.
- Poimi uudet tiedot vain, kun tämän sarakkeen enimmäisarvo muuttuu.
Määritä lisäasetukset tarvittaessa.
- Edellytä lisäävän päivityksen kysely, jotta taitat sen kokonaan.
Tallenna asetukset valitsemalla OK .
Voit halutessasi määrittää kyselyn tietokohteen. Varmista, että teet tämän määrityksen ennen ensimmäistä lisäävää päivitystä, sillä muussa tapauksessa tietosi kohde sisältää vain lisäävästi muuttuneet tiedot viimeisimmän päivityksen jälkeen.
Julkaise Gen2-tietovuo.
Kun olet määrittänyt lisäävän päivityksen, tietovuo päivittää tiedot automaattisesti lisäävästi antamiesi asetusten perusteella. Tietovuo hakee vain tiedot, jotka ovat muuttuneet viimeisimmän päivityksen jälkeen. Näin ollen tietovuo toimii nopeammin ja kuluttaa vähemmän resursseja.
Lisäävän päivityksen toiminta taustalla
Lisäävä päivitys toimii jakamalla tiedot datetime-sarakkeeseen perustuviin säilöihin. Kukin säilö sisältää tiedot, jotka ovat muuttuneet viimeisimmän päivityksen jälkeen. Tietovuo tietää, mikä on muuttunut, tarkistamalla määrittämäsi sarakkeen enimmäisarvon. Jos enimmäisarvoa muutetaan kyseisessä säilössä, tietovuo noutaa koko säilön ja korvaa kohdesijainnin tiedot. Jos suurin arvo ei muuttunut, tietovuo ei nouda mitään tietoja. Seuraavissa osioissa on korkean tason yleiskatsaus siitä, miten lisäävä päivitys toimii vaiheittain.
Ensimmäinen vaihe: Muutosten arvioiminen
Kun tietovuo suoritetaan, se arvioi ensin tietolähteen muutokset. Se tekee tämän arvioinnin vertaamalla DateTime-sarakkeen enimmäisarvoa edellisen päivityksen enimmäisarvoon. Jos suurin arvo muuttuu tai jos kyseessä on ensimmäinen päivitys, tietovuo merkitsee säilön muutetuksi ja luettelee sen käsiteltäviksi. Jos suurin arvo ei ole muuttunut, tietovuo ohittaa säilön eikä käsittele sitä.
Toinen vaihe: tietojen noutaminen
Tietovuo on nyt valmis noutamaan tiedot. Se noutaa jokaisen muutuneen säilön tiedot. Tietovuo noutaa tiedot rinnakkain suorituskyvyn parantamiseksi. Tietovuo noutaa tiedot lähdejärjestelmästä ja lataa ne valmistelualueelle. Tietovuo hakee vain säilöalueen sisältämät tiedot. Toisin sanoen tietovuo noutaa vain tiedot, jotka ovat muuttuneet viimeisimmän päivityksen jälkeen.
Viimeinen vaihe: tietokohteen tietojen korvaaminen
Tietovuo korvaa kohdesijainnin tiedot uusilla tiedoilla. Tietovuossa käytetään - replace menetelmää tietojen korvaamiseen kohdesijainnissa. Toisin sanoen tietovuo poistaa ensin kyseisen säilön kohdesijainnin tiedot ja lisää sitten uudet tiedot. Tietovuo ei vaikuta säilöalueen ulkopuolisiin tietoihin. Jos siis sinulla on kohdesijainnissa tietoja, jotka ovat vanhempia kuin ensimmäinen säilö, lisäävä päivitys ei vaikuta näihin tietoihin millään tavalla.
Lisäävän päivityksen asetukset selitetty
Jos haluat määrittää lisäävän päivityksen, sinun on määritettävä seuraavat asetukset.
Yleiset asetukset
Yleisiä asetuksia tarvitaan, ja ne määrittävät lisäävän päivityksen perusmääritykset.
Valitse Päivämäärä ja aika -sarake, jonka mukaan suodatetaan
Tämä asetus vaaditaan ja määrittää sarakkeen, jota tietovuot käyttävät tietojen suodattamiseen. Tämän sarakkeen tulee olla joko DateTime-, Date- tai DateTimeZone-sarake. Tietovuo käyttää tätä saraketta tietojen suodattamiseen ja hakee vain tiedot, jotka ovat muuttuneet viimeisimmän päivityksen jälkeen.
Tuo tietoja seuraavalta kuluneelta ajalta
Tämä asetus vaaditaan, ja se määrittää, kuinka kauan sitten tietovuon pitäisi poimia tiedot. Tätä asetusta käytetään alkuperäisen tietokuormituksen noutamiseen. Tietovuo noutaa kaikki tiedot lähdejärjestelmästä, joka on määritetyn aika-alueen sisällä. Mahdollisia arvoja ovat:
- x päivää
- x viikkoa
- x kuukautta
- x vuosineljännekset
- x vuotta
Jos määrität esimerkiksi kuukauden, tietovuo noutaa kaikki uudet tiedot lähdejärjestelmästä, joka on viimeisen kuukauden aikana.
Säilön koko
Tämä asetus vaaditaan ja määrittää niiden säilöjen koon, joita tietovuo käyttää tietojen suodattamiseen. Tietovuo jakaa tiedot säilöihin DateTime-sarakkeen perusteella. Kukin säilö sisältää tiedot, jotka ovat muuttuneet viimeisimmän päivityksen jälkeen. Säilön koko määrittää, kuinka paljon tietoja käsitellään kussakin iteraatiossa. Pienempi säilön koko tarkoittaa sitä, että tietovuo käsittelee vähemmän tietoja kussakin iteraatiossa, mutta se tarkoittaa myös sitä, että kaikkien tietojen käsittelyyn tarvitaan enemmän iterointia. Suurempi säilön koko tarkoittaa sitä, että tietovuo käsittelee enemmän tietoja jokaisessa iteraatiossa, mutta se tarkoittaa myös sitä, että kaikkien tietojen käsittelyyn tarvitaan vähemmän iterointia.
Poimi uudet tiedot vain, kun tämän sarakkeen enimmäisarvo muuttuu
Tämä asetus vaaditaan, ja se määrittää sarakkeen, jota tietovuo käyttää tietojen muuttumisen selvittämiseen. Tietovuo vertaa tämän sarakkeen enimmäisarvoa edellisen päivityksen enimmäisarvoon. Jos enimmäisarvoa muutetaan, tietovuo noutaa tiedot, jotka ovat muuttuneet viimeisen päivityksen jälkeen. Jos enimmäisarvoa ei muuteta, tietovuo ei nouda mitään tietoja.
Poimi vain päättyneen jakson tiedot
Tämä asetus on valinnainen, ja se määrittää, poimitaanko tietovuon tiedot vain päätetyille ajanjaksoille. Jos tämä asetus on käytössä, tietovuo poimii tiedot vain päättyneelta ajanjaksolta. Näin ollen tietovuo poimii tiedot vain jaksoille, jotka ovat valmiita eivätkä sisällä tulevia tietoja. Jos tämä asetus on poistettu käytöstä, tietovuo poimii tiedot kaikilta kausilta, mukaan lukien jaksot, jotka eivät ole valmiita, ja sisältävät tulevia tietoja.
Jos sinulla on esimerkiksi DateTime-sarake, joka sisältää tapahtuman päivämäärän ja haluat päivittää vain täydelliset kuukaudet, voit ottaa tämän asetuksen käyttöön yhdistelminä säilön koon monthkanssa. Siksi tietovuo poimii vain täydelliset kuukaudet eikä poimi tietoja epätäydelliseltä kuukaudelta.
Lisäasetukset
Jotkin asetukset katsotaan lisäasetuksiksi, eikä niitä vaadita useimmissa skenaarioissa.
Edellytä lisäävän päivityksen kysely, jotta voit täysin delegoida lähteeseen
Tämä asetus on valinnainen ja määrittää, onko lisäävässä päivityksessä käytetyn kyselyn oltava kokonaan lähteeseen. Jos tämä asetus on käytössä, lisäävässä päivityksessä käytetyn kyselyn on oltava kokonaan lähteessä. Toisin sanoen kysely on työnnettävä kokonaan lähdejärjestelmään. Jos tämä asetus on poistettu käytöstä, lisäävässä päivityksessä käytetyn kyselyn ei tarvitse delegoida kokonaan lähteeseen. Tässä tapauksessa kysely voidaan siirtää osittain lähdejärjestelmään. Suosittelemme , että otat tämän asetuksen käyttöön suorituskyvyn parantamiseksi, jotta tarpeettomia ja suodattamattomia tietoja ei noudeta.
Rajoitukset
Vain SQL-pohjaisia tietokohteita tuetaan
Tällä hetkellä lisäävä päivitys tukee vain SQL-pohjaisia tietokohteita. Voit siis käyttää Vain Fabric Warehousea, Azure SQL -tietokantaa tai Azure Synapse Analyticsia lisäävän päivityksen tietokohteena. Tämä rajoitus johtuu siitä, että nämä tietokohteet tukevat SQL-pohjaisia toimintoja, joita tarvitaan lisäävässä päivityksessä. Poista- ja Lisää-toimintoja käytetään tietokohteen tietojen korvaamiseen. Tätä ei voida tehdä rinnakkain muissa tietokohteissa.
Tietokohde on asetettava kiinteään rakenteeseen
Tietokohteeksi on määritettävä kiinteä rakenne, mikä tarkoittaa sitä, että tietokohteessa olevan taulukon rakenne on korjattava, eikä sitä voi muuttaa. Jos tietokohteessa olevan taulukon rakenteen arvoksi on määritetty dynaaminen rakenne, sinun on muutettava se kiinteäksi rakenteeksi ennen lisäävän päivityksen määrittämistä.
Ainoa tuettu päivitysmenetelmä tietokohteessa on replace
Ainoa tuettu päivitysmenetelmä tietokohteessa on replace, mikä tarkoittaa sitä, että tietovuo korvaa tietokohteen kunkin säilön tiedot uusilla tiedoilla. Tämä ei kuitenkaan vaikuta säilön alueen ulkopuolisiin tietoihin. Jos siis tietokohteessa on tietoja, jotka ovat vanhempia kuin ensimmäinen säilö, lisäävä päivitys ei vaikuta näihin tietoihin millään tavalla.
Säilöjen enimmäismäärä on 50 yksittäistä kyselyä varten ja 150 koko tietovuota varten.
Tietovuon tukemien kyselykohtaisten säilöjen enimmäismäärä on 50. Jos sinulla on yli 50 säilöä, sinun on suurennnettava säilön kokoa tai pienentävä säilöaluetta ja pienentävä säilöjen määrää. Koko tietovuossa säilöjen enimmäismäärä on 150. Jos tietovuossa on yli 150 säilöä, sinun on vähennettävä lisäävien päivityskyselyiden määrää tai suurentava säilön kokoa säilöjen määrän pienentämiseksi.
Tietovuon Gen1:n ja Tietovuon Gen2:n lisäävän päivityksen erot
Tietovuon Gen1 ja Tietovuo Gen2 välillä on joitain eroja lisäävän päivityksen toimivuuksien välillä. Seuraavassa luettelossa kerrotaan merkittävistä eroista tietovuon Gen1 ja tietovuon Gen2 lisäävän päivityksen välillä.
- Lisäävä päivitys on nyt tietovuon Gen2:n ykkösluokkaa. Tietovuo Gen1:ssä jouduit määrittämään lisäävän päivityksen sen jälkeen, kun olit julkaissut tietovuon. Tietovuo Gen2:ssa lisäävä päivitys on nyt ensiluokkainen ominaisuus, jonka voit määrittää suoraan tietovuoeditorissa. Tämä ominaisuus helpottaa lisäävän päivityksen määrittämistä ja vähentää virheiden riskiä.
- Tietovuo Gen1:ssä sinun oli määritettävä historiallinen tietoalue, kun määritit lisäävän päivityksen. Tietovuo Gen2:ssa sinun ei tarvitse määrittää historiallista tietoaluetta. Tietovuo ei poista mitään tietoja säilöalueen ulkopuolella olevasta kohdesijainnista. Jos siis kohdesijainnissa on tietoja, jotka ovat vanhempia kuin ensimmäinen säilö, lisäävä päivitys ei vaikuta näihin tietoihin millään tavalla.
- Tietovuo Gen1:ssä jouduit määrittämään lisäävän päivityksen parametrit, kun määritit lisäävän päivityksen. Tietovuo Gen2:ssa sinun ei tarvitse määrittää lisäävän päivityksen parametreja. Tietovuo lisää suodattimet ja parametrit automaattisesti kyselyn viimeisenä vaiheena. Sinun ei siis tarvitse määrittää lisäävän päivityksen parametreja manuaalisesti.
UKK
Sain varoituksen, että olen käyttänyt samaa saraketta muutosten ja suodatuksen havaitsemiseen. Mitä tämä merkitsee?
Jos näyttöön tulee varoitus siitä, että olet käyttänyt samaa saraketta muutosten ja suodatuksen havaitsemiseen, tarkoittaa, että muutosten havaitsemiseen määrittämääsi saraketta käytetään myös tietojen suodattamiseen. Emme suosittele tätä käyttöä, koska se voi johtaa odottamattomiin tuloksiin. Suosittelemme sen sijaan, että käytät eri saraketta muutosten havaitsemiseen ja tietojen suodattamiseen. Jos tiedot siirtyvät säilöjen välillä, tietovuo ei ehkä pysty tunnistamaan muutoksia oikein ja se voi luoda päällekkäisiä tietoja kohdesijainnissa. Voit ratkaista tämän varoituksen käyttämällä eri saraketta muutosten havaitsemiseen ja tietojen suodattamiseen. Voit myös ohittaa varoituksen, jos olet varma, että tiedot eivät muutu määrittämäsi sarakkeen päivitysten välillä.
Haluan käyttää lisäävää päivitystä sellaisessa tietokohteessa, jota ei tueta. Mitä voin tehdä?
Jos haluat käyttää lisäävää päivitystä sellaisessa tietokohteessa, jota ei tueta, voit ottaa lisäävän päivityksen käyttöön kyselyssäsi ja käyttää toista kyselyä, joka viittaa vaiheisiin tietoihin tietokohteen päivittämiseksi. Näin voit edelleen käyttää lisäävää päivitystä vähentääksesi niiden tietojen määrää, jotka on käsiteltävä ja noudettava lähdejärjestelmästä, mutta sinun on tehtävä täysi päivitys vaiheistetuista tiedoista tietokohteeseen. Varmista, että olet määrittänyt ikkunan ja säilön koon oikein, koska emme takaa, että valmistelutilassa olevat tiedot säilytetään säilöalueen ulkopuolella.
Mistä tiedän, onko lisäävä päivitys käytössä kyselyssäni?
Näet, onko lisäävä päivitys käytössä kyselyssäsi, valitsemalla kyselyn vieressä olevan kuvakkeen tietovuoeditorissa. Jos kuvake sisältää sinisen kolmion, lisäävä päivitys on käytössä. Jos kuvake ei sisällä sinistä kolmiota, lisäävää päivitystä ei ole otettu käyttöön.
Lähteestäni tulee liikaa pyyntöjä, kun käytän lisäävää päivitystä. Mitä voin tehdä?
Lisäsimme asetuksen, jonka avulla voit määrittää rinnakkaisten kyselyarviointien enimmäismäärän. Tämä asetus löytyy tietovuon yleisistä asetuksista. Määrittämällä tämän arvon pienempään lukuun voit vähentää lähdejärjestelmään lähetettyjen pyyntöjen määrää. Tämä asetus voi auttaa vähentämään samanaikaisten pyyntöjen määrää ja parantamaan lähdejärjestelmän suorituskykyä. Voit määrittää rinnakkaisten kyselysuoritusten enimmäismäärän siirtymällä tietovuon yleisiin asetuksiin, siirtymällä Skaalaus-välilehteen ja määrittämällä rinnakkaisten kyselyarviointien enimmäismäärän. Suosittelemme, että et ota tätä rajoitusta käyttöön, ellei lähdejärjestelmässä ole ongelmia.
Haluan käyttää lisäävää päivitystä, mutta näen, että käyttöönoton jälkeen tietovuon päivittyminen kestää kauemmin. Mitä voin tehdä?
Lisäävä päivitys, kuten tässä artikkelissa on kuvattu, on suunniteltu vähentämään tietomäärää, joka on käsiteltävä ja noudettava lähdejärjestelmästä. Jos tietovuon päivittäminen kestää kuitenkin kauemmin lisäävän päivityksen käyttöönoton jälkeen, syynä voi olla se, että lisäkuormitus tietojen muuttamisen ja säilöjen käsittelyn tarkistamiseen on suurempi kuin vähemmän tietoja käsittelemällä tallennettu aika. Suosittelemme tässä tapauksessa, että tarkistat lisäävän päivityksen asetukset ja muokkaat niitä skenaarioosi paremmin. Voit esimerkiksi suurentaa säilön kokoa säilöjen määrän ja niiden käsittelemisen kuormituksen pienentämiseksi. Voit myös pienentää säilöjen määrää suurentamalla säilön kokoa. Jos suorituskyky on edelleen heikko asetusten säätämisen jälkeen, voit poistaa lisäävän päivityksen käytöstä ja käyttää täyttä päivitystä sen sijaan, koska se voisi olla tehokkaampaa skenaariossasi.