Snowflaken määrittäminen kopiointitoiminnossa
Tässä artikkelissa kerrotaan, miten voit kopioida tietoja Snowflakesta ja Snowflakeen tietoputken kopiointitoiminnon avulla.
Tuettu määritys
Jos haluat määrittää kunkin välilehden kopiointitoiminnon kohdassa, siirry seuraaviin osioihin.
Yleiset
Yleiset asetukset -välilehden määrittäminen on yleisissä asetuksissa.
Lähde
Seuraavat ominaisuudet ovat tuettuja Snowflaken kohdalla kopiointiaktiviteetin Lähde-välilehdellä .
Seuraavat ominaisuudet vaaditaan:
- Tietosäilön tyyppi: Valitse Ulkoinen.
- Yhteys: Valitse Snowflake-yhteys yhteysluettelosta. Jos yhteyttä ei ole, luo uusi Snowflake-yhteys valitsemalla Uusi.
- Tietokanta: Oletustietokanta, jota käytetään, kun yhteys on muodostettu. Sen on oltava olemassa oleva tietokanta, johon määritetyllä roolilla on oikeudet.
- Käytä kyselyä: Voit valita käytä kyselyksi joko taulukkoa tai kyselyä . Seuraavassa luettelossa kuvataan jokaisen asetuksen määritykset.
- Taulukko: Valitse tietokantasi taulukko avattavasta luettelosta. Voit myös kirjoittaa taulukon nimen manuaalisesti valitsemalla Muokkaa .
- Kysely: Määritä SQL-kysely tietojen lukemiseksi Snowflakesta. Jos rakenteen, taulukon ja sarakkeiden nimissä on pieniä kirjaimia, lainausmerkki objektitunnistetta kyselyssä, kuten
select * from "schema"."myTable".
Lisäasetukset-kohdassa voit määrittää seuraavat kentät:
Tallennustilan integrointi: Määritä Tallennustilan integroinnin nimi, jonka loit Snowflakessa. Lisätietoja tallennustilan integroinnin käyttämisen edellytyksistä on kohdassa Snowflake-tallennustilan integroinnin määrittäminen.
Snowflaken muut kopiointiasetukset: Määritä lisää Snowflake-kopiointiasetuksia, joita käytetään Snowflaken COPY-lausekkeessa tietojen lataamiseen. Lisää kopiointivaihtoehtoja on key-value-parien sanastossa. Esimerkkejä: MAX_FILE_SIZE, OVERWRITE. Lisätietoja on kohdassa Snowflaken kopiointiasetukset.
Snowflake-muotoilun lisäasetukset: Määritä lisää Snowflake-muotoiluasetuksia, joita käytetään Snowflaken COPY-lausekkeessa tietojen lataamiseen. COPY-komennolle annetaan lisää tiedostomuotoasetuksia avain-arvoparien hakemistona. Esimerkkejä: DATE_FORMAT, TIME_FORMAT TIMESTAMP_FORMAT. Lisätietoja on kohdassa Snowflaken muotoilutyypin asetukset.
Suora kopio Snowflakesta
Jos kohdetietosi tallennetaan ja muotoillaan tässä osiossa kuvattujen ehtojen mukaisesti, voit kopioida tietoja suoraan Snowflakesta kohdesijainniin Kopioi aktiviteetti -toiminnon avulla. Palvelu tarkistaa asetukset ja jättää kopiointitoiminnon suorittamisen epäonnistumiseen, jos seuraavat ehdot eivät täyty:
Kun määrität lähteen Tallennustilan integroinnin : Kohdetietosäilö on Azure Blob -säilö, johon viittasit Snowflaken ulkoisessa vaiheessa. Sinun on suoritettava seuraavat vaiheet ennen tietojen kopioimista:
Luo Azure Blob -säilöyhteys Azure Blob -kohdesäilöön millä tahansa tuetuilla todennustyypeillä.
Myönnä Snowflake-palvelun päänimelle vähintään tallennustilan Blob-tietojen osallistujan rooli Kohdesijainnin Azure Blob -Käyttöoikeuksien hallinta (IAM)..
Kun et määritä lähteen Storage-integrointia :
Kohdeyhteys on Azure Blob -säilö ja jaetun käytön allekirjoitustodentaminen. Jos haluat kopioida tiedot suoraan Azure Data Lake Storage Gen2:een seuraavassa tuetussa muodossa, voit luoda Azure Blob -säilön yhteyden SAS-todennuksella Azure Data Lake Storage Gen2 -tiliäsi vastaan, jotta vältyt snowflaken vaiheittaisten kopioiden käytöltä.
Kohdetietojen muoto on Parquet, DelimitedText tai JSON käyttäen seuraavia määrityksiä:
- Parquet-muodon pakkauspakkauksenhallinta on Ei mitään, Snappy tai Lzo.
- DelimitedText-muoto:
- Rivin erotin on \r\n tai mikä tahansa yksittäinen merkki.
- Pakkaustyyppi voi olla Ei mitään, gzip, bzip2 tai deflate.
- Koodaus jätetään oletuksena tai sen arvoksi on määritetty UTF-8.
- Lainausmerkki on Kaksinkertainen lainausmerkki, Heittomerkki tai Ei lainausmerkkiä.
- JSON-muodossa suora kopio tukee vain tapausta, jossa Snowflake-lähdetaulukolla tai kyselyn tuloksella on vain yksi sarake ja tämän sarakkeen tietotyyppi on VARIANT, OBJECT tai ARRAY.
- Pakkaustyyppi voi olla Ei mitään, gzip, bzip2 tai deflate.
- Koodaus jätetään oletuksena tai sen arvoksi on määritetty UTF-8.
- Kopioi aktiviteettikohde -kohdassa oleva tiedostomalli jätetään oletuksena tai objektijoukoksi.
Kopioi aktiviteettilähde -kohdassa Lisäsarakkeita ei määritetä.
Sarakkeiden yhdistämismääritystä ei ole määritetty.
Vaiheittainen kopio Snowflakesta
Kun kohdetietojen tallennus tai muoto ei ole alkuperäisessä yhteensopiva Snowflake COPY -komennon kanssa, kuten viimeisessä osiossa mainittiin, ota käyttöön sisäinen vaiheittainen kopio käyttämällä väliaikaista Azure Blob -säilön esiintymää. Vaiheiteltu kopiointiominaisuus tarjoaa myös paremman siirtomäärän. Palvelu vie tiedot Snowflakesta valmistelusäilöön, kopioi tiedot kohdesijaintiin ja tyhjentää väliaikaiset tiedot valmistelusäilöstä.
Jos haluat käyttää tätä ominaisuutta, luo Azure Blob -säilöyhteys , joka viittaa Azure-tallennustiliin väliaikaisena valmistelutoimintona. Määritä sitten valmisteluasetukset Asetukset-välilehdellä . Sinun on valittava Ulkoinen , jotta voit määrittää Azure Blob -säilön valmisteluyhteyden.
Kun määrität lähteessä Tallennustilan integroinnin , väliaikaisen valmistelun Azure Blob -säilön on oltava se, johon viittasit Snowflaken ulkoisessa vaiheessa. Varmista, että luot sille Azure Blob -säilön yhteyden millä tahansa tuetussa todennuksessa ja myönnät ainakin Blob-tietojen tallennustilan osallistujan roolin Snowflake-palvelun päänimelle valmistelussa Azure Blob -säilön Käyttöoikeuksien hallinta (IAM). Asetukset-välilehden Valmisteluasetukset-kohdassa oleva Tallennuspolku on pakollinen.
Kun et määritä Tallennustilan integrointia lähteeseen, valmistelun Azure Blob -säilön yhteyden on käytettävä jaetun käytön allekirjoitustodennusta SnowflakeN COPY-komennon edellyttämällä tavalla. Varmista, että myönnät asianmukaisen käyttöoikeuden Snowflakeen valmistelussa Azure Blob -säilössä. Lisätietoja tästä on tässä artikkelissa.
Kohde
Seuraavat ominaisuudet ovat tuettuja Snowflaken kohdalla kopiointiaktiviteetin Kohde-välilehdessä .
Seuraavat ominaisuudet vaaditaan:
- Tietosäilön tyyppi: Valitse Ulkoinen.
- Yhteys: Valitse Snowflake-yhteys yhteysluettelosta. Jos yhteyttä ei ole, luo uusi Snowflake-yhteys valitsemalla Uusi.
- Tietokanta: Oletustietokanta, jota käytetään, kun yhteys on muodostettu. Sen on oltava olemassa oleva tietokanta, johon määritetyllä roolilla on oikeudet.
- Taulukko: Valitse tietokantasi taulukko avattavasta luettelosta. Voit myös kirjoittaa taulukon nimen manuaalisesti valitsemalla Muokkaa .
Lisäasetukset-kohdassa voit määrittää seuraavat kentät:
Esikopioi komentosarja: Määritä komentosarja Kopioi aktiviteetti suoritettavaksi ennen tietojen kirjoittamista kohdetaulukkoon jokaisen suorituksen aikana. Tämän ominaisuuden avulla voit puhdistaa valmiiksi ladatut tiedot.
Tallennustilan integrointi: Määritä Tallennustilan integroinnin nimi, jonka loit Snowflakessa. Lisätietoja tallennustilan integroinnin käyttämisen edellytyksistä on kohdassa Snowflake-tallennustilan integroinnin määrittäminen.
Snowflaken muut kopiointiasetukset: Määritä lisää Snowflake-kopiointiasetuksia, joita käytetään Snowflaken COPY-lausekkeessa tietojen lataamiseen. Lisää kopiointivaihtoehtoja on key-value-parien sanastossa. Esimerkkejä: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Lisätietoja on kohdassa Snowflaken kopiointiasetukset.
Snowflake-muotoilun lisäasetukset: Määritä lisää Snowflake-muotoiluasetuksia, joita käytetään Snowflaken COPY-lausekkeessa tietojen lataamiseen. COPY-komennolle annetaan lisää tiedostomuotoasetuksia avain-arvoparien hakemistona. Esimerkkejä: DATE_FORMAT, TIME_FORMAT TIMESTAMP_FORMAT. Lisätietoja on kohdassa Snowflaken muotoilutyypin asetukset.
Suora kopio Snowflakeen
Jos lähdetietosi tallennetaan ja muoto täyttävät tässä osiossa kuvatut ehdot, voit kopioida lähteestä suoraan Snowflakeen Kopioi aktiviteetti -toiminnon avulla. Palvelu tarkistaa asetukset ja jättää kopiointitoiminnon suorittamisen epäonnistumiseen, jos seuraavat ehdot eivät täyty:
Kun määrität Tallennustilan integroinnin kohdesijaintiin:
Lähdetietosäilö on Azure Blob -säilö, johon viittasit ulkoisessa vaiheessa Snowflakessa. Sinun on suoritettava seuraavat vaiheet ennen tietojen kopioimista:
Luo Azure Blob -säilöyhteys Lähteeseen Azure Blob -säilöön tuetuilla todennustyypeillä.
Myönnä Snowflake-palvelun päänimelle vähintään blob-tietojen tallennustilan lukijarooli Azure Blob -säilön Käyttöoikeuksien hallinta (IAM).
Kun et määritä Tallennustilan integrointia kohdesijaintiin:
Lähdeyhteys on Azure Blob -säilö, jossa on jaetun käytön allekirjoitustodentaminen. Jos haluat kopioida tietoja suoraan Azure Data Lake Storage Gen2:sta seuraavassa tuetussa muodossa, voit luoda Azure Blob -säilön yhteyden SAS-todennuksella Azure Data Lake Storage Gen2 -tiliäsi vastaan, jotta et käytä vaiheittaista kopiota Snowflakeen.
Lähdetietomuoto on Parquet, DelimitedText tai JSON käyttäen seuraavia määrityksiä:
Parquet-muotoilussa pakkauspakkauksenhallinta on Ei mitään tai Snappy.
DelimitedText-muoto:
- Rivin erotin on \r\n tai mikä tahansa yksittäinen merkki. Jos rivin erotin ei ole "\r\n", Ensimmäinen rivi otsikkona on valitsematon, ja Ohita rivimäärää ei ole määritetty.
- Pakkaustyyppi voi olla Ei mitään, gzip, bzip2 tai deflate.
- Koodaus jätetään oletukseksi tai sen arvoksi on määritetty "UTF-8", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2, "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
- Lainausmerkki on Kaksinkertainen lainausmerkki, Heittomerkki tai Ei lainausmerkkiä.
JSON-muodossa suora kopio tukee vain tapausta, jossa Snowflake-kohdetaulukossa on vain yksi sarake ja tämän sarakkeen tietotyyppi on VARIANT, OBJECT tai ARRAY.
- Pakkaustyyppi voi olla Ei mitään, gzip, bzip2 tai deflate.
- Koodaus jätetään oletuksena tai sen arvoksi on määritetty UTF-8.
- Sarakkeiden yhdistämismääritystä ei ole määritetty.
Kopioi aktiviteettilähde -kohdassa:
- Lisäsarakkeita ei määritetä.
- Jos lähde on kansio, se valitaan Rekursiivisesti .
- Etuliitettä, alkamisaikaa (UTC) ja UTC-aikaa (UTC) ei ole määritetty Kohdassa Suodatus viimeisimmän muokkauksen ja Ota osion etsiminen käyttöön .
Vaiheittainen kopio Snowflakeen
Kun lähdetietosäilö tai -muoto ei ole oletusarvoisesti yhteensopiva Snowflake COPY -komennon kanssa, kuten viimeisessä osiossa mainittiin, ota käyttöön sisäinen vaiheistettu kopio käyttämällä väliaikaista Azure Blob -säilön esiintymää. Vaiheiteltu kopiointiominaisuus tarjoaa myös paremman siirtomäärän. Palvelu muuntaa tiedot automaattisesti Snowflaken tietomuotovaatimusten mukaisiksi. Sen jälkeen se käynnistää KOPIOI-komennon tietojen lataamiseksi Snowflakeen. Lopuksi se siistii tilapäiset tietosi blob-säilöstä.
Jos haluat käyttää tätä ominaisuutta, luo Azure Blob -säilöyhteys , joka viittaa Azure-tallennustiliin väliaikaisena valmistelutoimintona. Määritä sitten valmisteluasetukset Asetukset-välilehdellä . Sinun on valittava Ulkoinen , jotta voit määrittää Azure Blob -säilön valmisteluyhteyden.
Kun määrität Tallennustilan integroinnin kohdesijaintiin, väliaikaisen valmistelun Azure Blob -säilön on oltava se, johon viittasit Snowflaken ulkoisessa vaiheessa. Varmista, että luot sille Azure Blob -säilön yhteyden millä tahansa tuetussa todennuksessa ja myönnät ainakin Blob-tietojen lukijan roolin Snowflake-palvelun päänimelle valmistelussa Azure Blob -säilön Käyttöoikeuksien hallinta (IAM). Asetukset-välilehden Valmisteluasetukset-kohdassa oleva Tallennuspolku on pakollinen.
Kun et määritä Tallennustilan integrointia kohdesijaintiin, valmistelun Azure Blob -säilön yhteyden on käytettävä Snowflake COPY -komennon edellyttämää jaettujen käyttöoikeuksien allekirjoitustodennusta.
Yhdistämismääritys
Siirry Yhdistämismääritys-välilehden määritystä varten Yhdistämismääritysten määrittäminen -välilehteen.
Asetukset
Valitse Asetukset-välilehden määritys kohdassa Määritä muut asetuksesi Asetukset-välilehdessä.
Taulukon yhteenveto
Seuraavat taulukot sisältävät lisätietoja Snowflaken kopiointitoiminnosta.
Lähde
| Name | Kuvaus | Arvo | Pakollinen | JSON-komentosarjaominaisuus |
|---|---|---|---|---|
| Tietosäilön tyyppi | Tietosäilön tyyppi. | Ulkoinen | Kyllä | / |
| Yhteys | Yhteys lähdetietosäilöön. | < yhteytesi > | Kyllä | yhteys |
| Database | Tietokanta, jota käytät lähteenä. | < tietokantasi > | Kyllä | tietokanta |
| Käytä kyselyä | Tapa lukea tietoja Snowflakesta. | •Pöytä •Kysely |
En | •pöytä •kysely |
| Table | Tietoja luettavan taulukon nimi. | < lähdetaulukon nimi> | Kyllä | skeema table |
| Kysely | SQL-kysely, joka lukee tietoja Snowflakesta. | < lähdekyselyn nimi> | Kyllä | kysely |
| Tallennustilan integrointi | Määritä Snowflakessa luomasi tallennustilan integroinnin nimi. Lisätietoja tallennustilan integroinnin käyttämisen edellytyksistä on kohdassa Snowflake-tallennustilan integroinnin määrittäminen. | < tallennustilan integrointi > | En | storageIntegration |
| Snowflaken muut kopiointiasetukset | Lisää kopiointivaihtoehtoja, jotka annetaan avain-arvo-parien sanastona. Esimerkkejä: MAX_FILE_SIZE, OVERWRITE. Lisätietoja on kohdassa Snowflaken kopiointiasetukset. | • Nimi •Arvo |
En | additionalCopyOptions |
| Snowflake-muotoilun lisäasetukset | Muut tiedostomuotovaihtoehdot, jotka on annettu COPY-komennolle avain-arvoparien hakemistona. Esimerkkejä: DATE_FORMAT, TIME_FORMAT TIMESTAMP_FORMAT. Lisätietoja on kohdassa Snowflaken muotoilutyypin asetukset. | • Nimi •Arvo |
En | additionalFormatOptions |
Kohde
Muistiinpano
Vaikka lähde tukee vain Azure Snowflake -esiintymiä, vain Azure Snowflake -esiintymiä tuetaan tällä hetkellä Snowflake-kohteissa (kutsutaan myös Azure Data Factoryn nieluiksi).
| Name | Kuvaus | Arvo | Pakollinen | JSON-komentosarjaominaisuus |
|---|---|---|---|---|
| Tietosäilön tyyppi | Tietosäilön tyyppi. | Ulkoinen | Kyllä | / |
| Yhteys | Yhteytesi kohdetietosäilöön. | < yhteytesi > | Kyllä | yhteys |
| Database | Tietokanta, jota käytät kohdesijaintina. | < tietokantasi> | Kyllä | / |
| Table | Kohdetietotaulukkosi. | < kohdetaulukon nimi> | Kyllä | •skeema •pöytä |
| Esikopiota komentosarja | SQL-kysely Kopioi aktiviteetti suoritettavaksi -toiminnolle ennen tietojen kirjoittamista Snowflakeen kussakin ajossa. Tämän ominaisuuden avulla voit puhdistaa esilatatut tiedot. | < esikopio-komentosarjasi> | EI | preCopyScript |
| Tallennustilan integrointi | Määritä Snowflakessa luomasi tallennustilan integroinnin nimi. Lisätietoja tallennustilan integroinnin käyttämisen edellytyksistä on kohdassa Snowflake-tallennustilan integroinnin määrittäminen. | < tallennustilan integrointi > | En | storageIntegration |
| Snowflaken muut kopiointiasetukset | Lisää kopiointivaihtoehtoja, jotka annetaan avain-arvo-parien sanastona. Esimerkkejä: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Lisätietoja on kohdassa Snowflaken kopiointiasetukset. | • Nimi •Arvo |
En | additionalCopyOptions |
| Snowflake-muotoilun lisäasetukset | COPY-komennolle annetaan lisää tiedostomuotoasetuksia, jotka annetaan avain-arvo-parien hakemistona. Esimerkkejä: DATE_FORMAT, TIME_FORMAT TIMESTAMP_FORMAT. Lisätietoja on kohdassa Snowflaken muotoilutyypin asetukset. | • Nimi •Arvo |
En | additionalFormatOptions |