Tietovaraston määrittäminen kopiointitoiminnossa

Tässä artikkelissa kerrotaan, miten voit kopioida tietoja tietovarastosta ja tietovarastoon tietoputken kopiointitoiminnon avulla.

Tuettu määritys

Jos haluat määrittää kunkin välilehden kopiointitoiminnon kohdassa, siirry seuraaviin osioihin.

• Yleiset
• Source
• Kohde
• Kuvaus
• Asetukset

Yleiset

Jos kyseessä on Yleiset-välilehden määritys, siirry kohtaan Yleiset.

Lähde

Seuraavia ominaisuuksia tuetaan tietovarastossa lähteenä kopiointitoiminnossa.

Seuraavat ominaisuudet vaaditaan:

• Tietosäilön tyyppi: Valitse Työtila.

• Työtilan tietosäilön tyyppi: Valitse tietovarasto tietosäilön tyyppiluettelosta.

• Tietovarasto: Valitse aiemmin luotu tietovarasto työtilasta.

• Käytä kyselyä: Valitse Taulukko, Kysely tai Tallennettu toimintosarja.

  • Jos valitset Taulukko-vaihtoehdon, valitse taulukkoluettelosta aiemmin luotu taulukko tai määritä taulukon nimi manuaalisesti valitsemalla Muokkaa-ruutu.

    

  • Jos valitset Kyselyn, käytä mukautettua SQL-kyselyeditoria kirjoittaaksesi SQL-kyselyn, joka noutaa lähdetiedot.

    

  • Jos valitset Tallennettu toimintosarja, valitse avattavasta luettelosta aiemmin luotu tallennettu toimintosarja tai määritä tallennetun toimintosarjan nimi lähteeksi valitsemalla Muokkaa-ruutu .

    

Lisäasetukset-kohdassa voit määrittää seuraavat kentät:

• Kyselyn aikakatkaisu (minuuttia): Kyselyn komennon suorituksen aikakatkaisu, oletusarvo on 120 minuuttia. Jos tämä ominaisuus on määritetty, sallitut arvot ovat aikavälin muodossa, kuten "02:00:00" (120 minuuttia).

• Eristystaso: Määritä tapahtumien lukitustoiminta SQL-lähteelle.

• Osio-asetus: Määritä tietojen osiointiasetukset, joita käytetään tietojen lataamiseen tietovarastosta. Voit valita Ei mitään tai Dynaaminen alue.

  Jos valitset Dynaamisen alueen, alueen osion parametri(?AdfDynamicRangePartitionCondition) on pakollinen, kun kyselyä käytetään rinnakkain käytössä. Mallikysely: SELECT * FROM <TableName> WHERE ?AdfDynamicRangePartitionCondition.

  

  • Osion sarakkeen nimi: Määritä lähdesarakkeen nimi kokonaisluku- tai päivämäärä/päivämäärä/aika-tyyppinä (int, smallint, bigint, smalldatetimedate, , datetime, datetime2tai datetimeoffset), jota alueen osiointi käyttää rinnakkaista kopiointia varten. Jos tätä ei määritetä, indeksi tai taulukon perusavain tunnistetaan automaattisesti ja sitä käytetään osiosarakkeena.
  • Osion yläraja: Osiosarakkeen enimmäisarvo osioalueen jakamisessa. Tämän arvon avulla päätetään osion harppaus, ei taulukon rivien suodattamisessa. Kaikki taulukon tai kyselyn tuloksen rivit ositetaan ja kopioidaan.
  • Osion alaraja: Osiosarakkeen vähimmäisarvo osioalueen jakamisessa. Tämän arvon avulla päätetään osion harppaus, ei taulukon rivien suodattamisessa. Kaikki taulukon tai kyselyn tuloksen rivit ositetaan ja kopioidaan.

• Lisäsarakkeet: Lisää tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä.

  

Kohde

Seuraavia ominaisuuksia tuetaan, kun Tietovarasto on kohde kopiointitoiminnossa.

Seuraavat ominaisuudet vaaditaan:

• Tietosäilön tyyppi: Valitse Työtila.
• Työtilan tietosäilön tyyppi: Valitse tietovarasto tietosäilön tyyppiluettelosta.
• Tietovarasto: Valitse aiemmin luotu tietovarasto työtilasta.
• Taulukko: Valitse taulukkoluettelosta olemassa oleva taulukko tai määritä taulukon nimi kohdesijainniksi.

Lisäasetukset-kohdassa voit määrittää seuraavat kentät:

• Kopioi komentoasetukset: Määritä kopiointikomentoominaisuudet.

  

• Taulukon asetukset: Määritä, luodaanko kohdetaulukko automaattisesti, jos sitä ei ole lähderakenteen perusteella. Voit valita Ei mitään tai Automaattinen luo taulukko.

• Esikopiota komentosarja: Määritä suoritettava SQL-kysely, ennen kuin kirjoitat tietoja Data Warehouseen jokaisen suorituksen aikana. Tämän ominaisuuden avulla voit puhdistaa esilatatut tiedot.

• Erän aikakatkaisun kirjoittaminen: Erälisäystoiminnon odotusaika ennen aikakatkaisua. Sallitut arvot ovat aikavälin muodossa. Oletusarvo on 00.30.00 (30 minuuttia).

• Poista suorituskyvyn mittarien analysointi käytöstä: Palvelu kerää mittareita suorituskyvyn optimoinnin ja suositusten kopioimista varten. Jos olet huolissasi tästä toiminnosta, poista tämä ominaisuus käytöstä.

Suora kopio

COPY-lauseke on ensisijainen tapa käsitellä tietoja Warehouse-taulukoihin. Data Warehouse COPY -komento tukee suoraan Azure Blob -säilöä ja Azure Data Lake Storage Gen2:ta lähdetietosäilöinä. Jos lähdetiedot täyttävät tässä osiossa kuvatut ehdot, kopioi ne suoraan lähdetietosäilöstä Tietovarastoon COPY-komennolla.

1. Lähdetiedot ja muoto sisältävät seuraavat tyypit ja todentamismenetelmät:

   Tuettu lähdetietosäilön tyyppi	Tuettu muoto	Tuettu lähteen todennustyyppi
   Azure Blob -säilö	Eroteltu teksti Parquet	Anonyymi todentaminen Tiliavaimen todentaminen Jaetun käytön allekirjoitustodentaminen
   Azure Data Lake Storage Gen2	Eroteltu teksti Parquet	Tiliavaimen todentaminen Jaetun käytön allekirjoitustodentaminen

2. Voit määrittää seuraavat Muotoilu-asetukset:
   

   1. Parquet: Pakkaustyyppi voi olla Ei mitään, snappy tai gzip.
   2. DelimitedText:
      1. Rivin erotin: Kun kopioit eroteltua tekstiä Tietovarastoon suoralla COPY-komennolla, määritä rivin erotin eksplisiittisesti (\r; \n; tai \r\n). Vain silloin, kun lähdetiedoston rivin erotin on \r\n, oletusarvo (\r, \n tai \r\n) toimii. Muussa tapauksessa ota käyttöön valmistelu skenaariossasi.
      2. Tyhjäarvo jätetään oletuksena tai määritetään tyhjäksi merkkijonoksi ("").
      3. Koodaus jätetään oletukseksi tai sen arvoksi on määritetty UTF-8 tai UTF-16.
      4. Ohita rivimäärä jätetään oletuksena tai arvoksi 0.
      5. Pakkaustyyppi voi olla Ei mitään tai gzip.

3. Jos lähde on kansio, valitse Rekursiivisesti-valintaruutu .

4. Aloitusaikaa (UTC) ja UTC-aikaa (UTC) Suodattimessa viimeisimmän muokkauksen mukaan, Etuliite, Ota osion etsiminen käyttöön ja Lisäsarakkeita ei määritetä.

Katso tästä artikkelista, miten voit käyttää tietoja tietovarastossa COPY-komennolla.

Jos lähdetietosäilöä ja -muotoa ei alun perin tueta COPY-komennolla, käytä sen sijaan Vaiheittainen kopiointi -toimintoa COPY-komentotoiminnon avulla. Se muuntaa tiedot automaattisesti COPY-komentoyhteensopivaksi muodoksi ja kutsuu sitten COPY-komentoa tietojen lataamiseksi Tietovarastoon.

Vaiheutettu kopio

Jos lähdetietosi eivät ole suoraan yhteensopivia COPY-komennon kanssa, ota käyttöön tietojen kopiointi väliaikaisen valmistelusäilön kautta. Tässä tapauksessa palvelu muuntaa tiedot automaattisesti COPY-komennon tietomuotovaatimusten mukaisiksi. Sitten se käynnistää KOPIOI-komennon tietojen lataamiseksi Tietovarastoon. Lopuksi se tyhjentää tilapäiset tietosi tallennustilasta.

Jos haluat käyttää vaiheittaista kopiota, siirry Asetukset-välilehteen ja valitse Ota valmistelu käyttöön. Voit valita Työtilan käyttämään automaattisesti luotua valmistelusäilöä Fabricissa. Ulkoista, Azure Blob -säilöä ja Azure Data Lake Storage Gen2:ta tuetaan ulkoisena valmistelusäilönä. Sinun on ensin luotava Azure Blob -säilö tai Azure Data Lake Storage Gen2-yhteys ja valittava sitten yhteys avattavasta luettelosta, jotta voit käyttää valmistelusäilöä.

Huomaa, että sinun on varmistettava, että tietovaraston IP-alue on sallittu oikein valmistelusäilöstä.

Yhdistämismääritys

Jos et käytä Yhdistämismääritys-välilehden määrityksissä tietovarastoa, jonka kohteena on automaattinen luontitaulukko, siirry kohtaan Yhdistämismääritykset.

Jos käytät tietovarastoa, jonka kohdesijaintina on automaattinen luontitaulukko, lukuun ottamatta Yhdistämismääritys-kohdan määritystä, voit muokata kohdesarakkeiden tyyppiä. Kun olet valinnut Tuo rakenteet, voit määrittää saraketyypin kohdesijainnissa.

Esimerkiksi lähteen TUNNUS-sarakkeen tyyppi on int, ja voit muuttaa sen liukulukutyypiksi, kun yhdistät kohdesarakkeeseen.

Asetukset

Valitse Asetukset-välilehden määritykset kohdasta Asetukset.

Taulukon yhteenveto

Seuraavat taulukot sisältävät lisätietoja tietovaraston kopiointitoiminnosta.

Lähteen tiedot

Name	Kuvaus	Arvo	Pakollinen	JSON-komentosarjaominaisuus
Tietosäilön tyyppi	Tietosäilön tyyppi.	Työtila	Kyllä	/
Työtilan tietosäilön tyyppi	Osio, jossa valitaan työtilan tietosäilön tyyppi.	Tietovarasto	Kyllä	tyyppi
Tietovarasto	Tietovarasto, jota haluat käyttää.	<oma tietovarasto>	Kyllä	päätepiste artifactId
Käytä kyselyä	Tapa lukea tietoja tietovarastosta.	•Taulukot •Kysely • Tallennetut toimintosarjat	En	(alle typeProperties ->source) • typeProperties:  rakenne  table • sqlReaderQuery • sqlReaderStoredProcedureName
Kyselyn aikakatkaisu (minuuttia)	Kyselyn komennon suorituksen aikakatkaisu, oletusarvo on 120 minuuttia. Jos tämä ominaisuus on määritetty, sallitut arvot ovat aikavälin muodossa, kuten "02:00:00" (120 minuuttia).	aikaväli	En	queryTimeout
Eristystaso	Tapahtuman lukitustoiminta lähteelle.	•Ei lainkaan •Valokuva	En	isolationLevel
Osio-asetus	Tietojen osioinnin asetukset, joita käytetään tietojen lataamiseen tietovarastosta.	•Ei lainkaan • Dynaaminen alue	En	osioAsetus
Osion sarakkeen nimi	Lähdesarakkeen nimi kokonaisluku- tai päivämäärä/päivämäärä/aika-tyyppinä (int, smallint, bigint, date, smalldatetime, datetime, , datetime2tai datetimeoffset), jota alueen osiointi käyttää rinnakkaisessa kopiossa. Jos tätä ei määritetä, indeksi tai taulukon perusavain tunnistetaan automaattisesti ja sitä käytetään osiosarakkeena.	<osion sarakkeen nimi>	En	partitionColumnName
Osion yläraja	Osiosarakkeen enimmäisarvo osioalueen jakamisessa osiin. Tämän arvon avulla päätetään osion harppaus, ei taulukon rivien suodattamisessa. Kaikki taulukon tai kyselyn tuloksen rivit ositetaan ja kopioidaan.	<osion yläraja>	En	partitionUpperBound
Osion alaraja	Osion sarakkeen vähimmäisarvo osioalueen jakamisessa. Tämän arvon avulla päätetään osion harppaus, ei taulukon rivien suodattamisessa. Kaikki taulukon tai kyselyn tuloksen rivit ositetaan ja kopioidaan.	<osion alaraja>	En	partitionLowerBound
Lisäsarakkeet	Lisää tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi.	• Nimi •Arvo	En	additionalColumns: •Nimi •arvo

Kohdetiedot

Name	Kuvaus	Arvo	Pakollinen	JSON-komentosarjaominaisuus
Tietosäilön tyyppi	Tietosäilön tyyppi.	Työtila	Kyllä	/
Työtilan tietosäilön tyyppi	Osio, jossa valitaan työtilan tietosäilön tyyppi.	Tietovarasto	Kyllä	tyyppi
Tietovarasto	Tietovarasto, jota haluat käyttää.	<oma tietovarasto>	Kyllä	päätepiste artifactId
Table	Kohdetaulukko tietojen kirjoittamiseen.	<kohdetaulukon nimi>	Kyllä	skeema table
Kopioi komentoasetukset	Kopioi komento -ominaisuusasetukset. Sisältää oletusarvoasetukset.	Oletusarvo: •Sarake •Arvo	En	copyCommandSettings: defaultValues: • columnName • defaultValue
Taulukko-asetus	Määrittää, luodaanko kohdetaulukko automaattisesti, jos lähderakenteen perusteella ei ole yhtään.	•Ei lainkaan • Automaattinen luontitaulukko	En	taulukkoVaihtoehto: • automaattinen luominen
Esikopiota komentosarja	SQL-kysely, joka suoritetaan ennen tietojen kirjoittamista Tietovarastoon jokaisen suorituksen aikana. Tämän ominaisuuden avulla voit puhdistaa esilatatut tiedot.	<esikopio komentosarja>	En	preCopyScript
Erän aikakatkaisun kirjoittaminen	Erälisäystoiminnon odotusaika loppuun ennen aikakatkaisua. Sallitut arvot ovat aikavälin muodossa. Oletusarvo on 00.30.00 (30 minuuttia).	aikaväli	En	writeBatchTimeout
Poista suorituskyvyn mittareiden analysointi käytöstä	Palvelu kerää mittarit suorituskyvyn optimointia ja suosituksia varten, mikä lisää tietokannan pääkäyttöoikeuksia.	valitse tai poista valinta	En	disableMetricsCollection: tosi tai epätosi

Liittyvä sisältö

• Tietovarastoyhdistimen yleiskatsaus