Nopea kopio Tietovuot Gen2:ssa

Tässä artikkelissa kuvataan Dataflows Gen2 for Data Factoryn nopea kopiointitoiminto Microsoft Fabricissa. Tietovoiden avulla voit käsitellä ja muuntaa tietoja. Kun tietovuo skaalataan ulos SQL DW -käsittelyn avulla, voit muuntaa tietoja skaalautuvassa mittakaavassa. Tietojasi on kuitenkin käytettävä ensin. Nopean kopion käyttöönoton myötä voit käyttää teratavuja tietoja, joiden käyttökokemus on helppo, mutta putken kopiointitoiminnon skaalattavan taustan ansiosta.

Kun tämä ominaisuus on otettu käyttöön, tietovuot vaihtavat taustaa automaattisesti, kun tietojen koko ylittää tietyn raja-arvon, eikä mitään tarvitse muuttaa tietovoiden laatimisen aikana. Tietovuon päivittämisen jälkeen voit tarkistaa päivityshistoriasta, käytettiinkö nopeaa kopiota suorituksen aikana, katsomalla siellä näkyvää Moduuli-tyyppiä .

Kun Edellytä nopeaa kopiointia --asetus on käytössä, tietovuon päivitys peruutetaan, jos nopeaa kopiota ei käytetä. Näin vältät päivityksen aikakatkaisun jatkamisen. Tästä toiminnasta voi olla hyötyä myös virheenkorjausistunnossa, jos haluat testata tietovuon toimintaa tiedoillasi ja lyhentää samalla odotusaikaa. Kyselyn vaiheet -ruudun nopean kopioinnin ilmaisimien avulla voit helposti tarkistaa, voidaanko kysely suorittaa nopealla kopiolla.

Edellytykset

• Sinulla on oltava Fabric-kapasiteetti.
• Tiedostojen .csv ja parquet-muodot ovat vähintään 100 Mt ja ne on tallennettu Azure Data Lake Storage (ADLS) Gen2:een tai Blob-säilön tiliin.
• Tietokannassa, kuten Azure SQL DB:ssä ja PostgreSQL:ssä, on vähintään 5 miljoonaa riviä tietoa tietolähteessä.

Muistiinpano

Voit ohittaa raja-arvon pakottamalla nopean kopioinnin valitsemalla Edellytä nopeaa kopiota -asetuksen.

Liittimen tuki

Nopeaa kopiointia tuetaan tällä hetkellä seuraavissa Tietovuon Gen2-liittimillä:

• ADLS Gen2
• Blob-säilö
• Azure SQL DB
• Lakehouse
• PostgreSQL
• Paikallinen SQL Server
• Varasto
• Oracle
• Snowflake

Kopiointitoiminto tukee vain muutamia muunnoksia muodostettaessa yhteyttä tiedostolähteeseen:

• Yhdistä tiedostot
• Valitse sarakkeet
• Tietotyyppien muuttaminen
• Sarakkeen nimeäminen uudelleen
• Sarakkeen poistaminen

Voit edelleen käyttää muita muunnoksia jakamalla käsittely- ja muunnosvaiheet erillisiin kyselyihin. Ensimmäinen kysely todellisuudessa noutaa tiedot, ja toinen kysely viittaa sen tuloksiin, jotta DW-käsittely voidaan käyttää. SQL-lähteissä tuetaan kaikkia muunnoksia, jotka ovat osa alkuperäistä kyselyä.

Kun lataat kyselyn suoraan tulostekohteeseen, tällä hetkellä tuetaan vain Lakehouse-kohteita. Jos haluat käyttää toista tulostekohdetta, voit vaiheistaa kyselyn ensin ja viitata siihen myöhemmin.

Nopean kopion käyttäminen

1. Siirry asianmukaiseen Fabric-päätepisteeseen.

2. Siirry Premium-työtilaan ja luo tietovuo Gen2.

3. Valitse uuden tietovuon Aloitus-välilehdessä Asetukset:

   

4. Valitse sitten Skaalaus-välilehti Asetukset-valintaikkunassa ja valitse Salli nopeiden kopiointiliittimien käyttö -valintaruutu, jos haluat ottaa nopean kopion käyttöön. Sulje sitten Asetukset-valintaikkuna.

   

5. Valitse Nouda tiedot , valitse ADLS Gen2 -lähde ja täytä säilön tiedot.

6. Käytä Yhdistä tiedosto -toimintoa.

   

7. Voit varmistaa nopean kopioinnin käyttämällä vain tämän artikkelin Osassa Yhdistintuki lueteltuja muunnoksia. Jos sinun on otettava käyttöön lisää muunnoksia, vaiheista tiedot ensin ja viittaa kyselyyn myöhemmin. Tee muita muunnoksia viitatussa kyselyssä.

8. (Valinnainen) Voit määrittää Edellytä nopeaa kopiota -asetuksen kyselylle napsauttamalla sitä hiiren kakkospainikkeella, jotta voit valita ja ottaa sen käyttöön.

   

9. (Valinnainen) Tällä hetkellä voit määrittää lähtökohteeksi vain Lakehousen. Missä tahansa muussa kohdesijainnissa järjestä kysely ja viittaa siihen myöhemmin toisessa kyselyssä, jossa voit tulostaa mihin tahansa lähteeseen.

10. Tarkista nopean kopioinnin ilmaisimet, jotta näet, voiko kyselysi suorittaa nopealla kopiolla. Jos näin on, Moduuli-tyypissä näkyy CopyActivity.

    

11. Julkaise tietovuo.

12. Tarkista, että nopea kopio on käytössä, kun päivitys on valmis.

Kyselyn jakaminen nopean kopion hyödyntämiseksi

Jotta suorituskyky olisi optimaalinen käsiteltäessä suuria tietomääriä Dataflow Gen2:n avulla, käytä Nopea kopiointi -toimintoa tietojen ensimmäisen käsittelyn valmisteluun ja muunna se sitten mittakaavassa SQL DW -käsittelyllä. Tämä lähestymistapa parantaa merkittävästi suorituskykyä päästä päähän.

Tämän toteuttamiseen nopean kopioinnin ilmaisimet voivat opastaa kyselyn jakamisessa kahteen osaan: tietojen käsittely valmisteluun ja laajamittaiseen muuntamiseen SQL DW -käsittelyllä. Sinua kehotetaan työntämään yhtä suuri osa kyselyn arvioinnista nopeaan kopioon, jota voidaan käyttää tietojesi käsittelyä varten. Kun nopean kopioinnin ilmaisimet kertovat, että nopea kopiointi ei voi suorittaa muita vaiheita, voit jakaa loput kyselystä niin, että valmistelu on käytössä.

Vaiheen diagnostiikan ilmaisimet

Indikaattori	Ikoni	Kuvaus
Tämä vaihe arvioidaan nopealla		Nopean kopioinnin ilmaisin kertoo, että tähän vaiheeseen asti tehtävä kysely tukee nopeaa kopiota.
nopea ei tue tätä vaihetta		Nopean kopioinnin ilmaisin näyttää, että tämä vaihe ei tue nopeaa kopiota.
nopea kysely ei tue yhtä tai useampaa kyselyn vaihetta		Nopean kopioinnin ilmaisin näyttää, että jotkin tämän kyselyn vaiheet tukevat nopeaa kopiointia, kun taas toiset eivät. Jos haluat optimoida, jaa kysely: keltaiset vaiheet (mahdollisesti nopean kopion tukema) ja punaiset vaiheet (ei tueta).

Vaiheittaiset ohjeet

Kun tietojen muunnoslogiikka on suoritettu Dataflow Gen2:ssa, nopean kopioinnin ilmaisin arvioi jokaisen vaiheen määrittääkseen, kuinka monta vaihetta voi hyödyntää nopean kopioinnin avulla suorituskyvyn parantamiseksi.

Alla olevassa esimerkissä viimeinen vaihe näyttää punaisen, mikä ilmaisee, että nopea kopiointi ei tue vaihetta, jossa on Ryhmittelyperuste. Nopea kopiointi voi kuitenkin mahdollisesti tukea kaikkia keltaista näyttämistä edeltäviä vaiheita.

Jos tällä hetkellä julkaiset ja suoritat tietovuon Gen2-työnkulun suoraan, se ei käytä nopean kopioinnin moduulia tietojesi lataamiseen alla olevan kuvan mukaisesti:

Jos haluat käyttää nopean kopioinnin moduulia ja parantaa tietovuon Gen2:n suorituskykyä, voit jakaa kyselysi kahteen osaan: tietojen käsittely valmisteluun ja suuren mittakaavan muuntamiseen SQL DW -käsittelyllä seuraavasti:

1. Poista muunnokset (punainen), joita nopea kopiointi ei tue, sekä kohde (jos määritetty).

2. Nopean kopioinnin ilmaisin näyttää nyt vihreänä jäljellä olevissa vaiheissa, mikä tarkoittaa, että ensimmäinen kyselysi voi parantaa suorituskykyä nopealla kopiolla.

   Valitse ensimmäisessä kyselyssä Toiminto ja valitse sitten Ota valmistelu käyttöön ja Viittaus.

   

3. Uudessa viitatussa kyselyssä luettiin Ryhmittelyperuste-muunnos ja kohde (jos sovellettavissa).

   

4. Julkaise ja päivitä Tietovuo Gen2. Näet nyt kaksi kyselyä tietovuon Gen2-ympäristössä, ja kokonaiskesto on pitkälti pienempi.

   • Ensimmäinen kysely käyttää tietoja valmisteluun nopean kopion avulla.

   • Toinen kysely suorittaa suuren mittakaavan muunnoksia SQL DW -käsittelyn avulla.

     

   Ensimmäinen kysely:

   

   Toinen kysely:

   

Tunnetut rajoitukset

1. Nopean kopion tueksi tarvitaan paikallisen tietoyhdyskäytävän versio 3000.214.2 tai uudempi versio.
2. VNet-yhdyskäytävää ei tueta.
3. Tietojen kirjoittamista aiemmin luotuun taulukkoon Lakehousessa ei tueta.
4. Kiinteää rakennetta ei tueta.

Liittyvä sisältö

• Tietovoiden Gen2-yleiskatsaus
• Tietovoiden gen2-valvonnan valvonta