Konfigurere Snowflake i en kopiaktivitet
Denne artikkelen beskriver hvordan du bruker kopieringsaktiviteten i datasamlebåndet til å kopiere data fra og til Snowflake.
Støttet konfigurasjon
Hvis du vil ha konfigurasjonen av hver fane under kopieringsaktivitet, kan du gå til følgende inndelinger.
Generelt
Se veiledningen for generelle innstillinger for å konfigurere fanen Generelle innstillinger.
Kilde
Følgende egenskaper støttes for Snowflake under Kilde-fanen for en kopiaktivitet.
Følgende egenskaper er nødvendige:
- Datalagertype: Velg ekstern.
- Tilkobling: Velg en Snowflake-tilkobling fra tilkoblingslisten. Hvis tilkoblingen ikke finnes, oppretter du en ny Snowflake-tilkobling ved å velge Ny.
- Database: Standarddatabasen som skal brukes når den er tilkoblet. Det bør være en eksisterende database der den angitte rollen har rettigheter.
- Bruk spørring: Du kan velge enten Tabell eller Spørring som bruksspørring. Listen nedenfor beskriver konfigurasjonen av hver innstilling.
- Tabell: Velg tabellen i databasen fra rullegardinlisten. Eller merk av for Rediger for å angi tabellnavnet manuelt.
- Spørring: Angi SQL-spørringen for å lese data fra Snowflake. Hvis navnene på skjemaet, tabellen og kolonnene inneholder små bokstaver, siterer du objektidentifikatoren i spørringen, for eksempel
select * from "schema"."myTable".
Under Avansert kan du angi følgende felt:
Lagringsintegrasjon: Angi navnet på lagringsintegrasjonen du opprettet i Snowflake. Hvis du vil se de nødvendige trinnene for å bruke lagringsintegrasjonen, kan du se Konfigurere en Snowflake-lagringsintegrasjon.
Flere kopieringsalternativer for Snowflake: Angi flere snowflake-kopieringsalternativer som skal brukes i Snowflake COPY-setning for å laste inn data. Flere kopieringsalternativer er angitt som en ordliste med nøkkelverdipar. Eksempler: MAX_FILE_SIZE, OVERSKRIV. Hvis du vil ha mer informasjon, kan du se Alternativer for Snowflake-kopiering.
Flere alternativer for Snowflake-format: Angi flere alternativer for Snowflake-format, som skal brukes i Snowflake COPY-setningen til å laste inn data. Du finner flere alternativer for filformat i KOPIER-kommandoen som en ordliste med nøkkelverdipar. Eksempler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Hvis du vil ha mer informasjon, kan du se Formattypealternativer for Snowflake.
Direkte kopi fra Snowflake
Hvis måldatalageret og -formatet oppfyller vilkårene som er beskrevet i denne delen, kan du bruke Kopier-aktiviteten til å kopiere direkte fra Snowflake til målet. Tjenesten kontrollerer innstillingene og mislykkes kopieringsaktiviteten hvis følgende vilkår ikke oppfylles:
Når du angir lagringsintegrering i kilden: Måldatalageret er Azure Blob Storage som du refererte til i den eksterne fasen i Snowflake. Du må fullføre følgende trinn før du kopierer data:
Opprett en Azure Blob Storage-tilkobling for målet Azure Blob Storage med alle støttede godkjenningstyper.
Gi minst lagrings-BLOB-databidragsyterrollen til Snowflake-tjenestekontohaveren i målet Azure Blob Storage Access Control (IAM).
Når du ikke angir lagringsintegrering i kilden:
Måltilkoblingen er Azure Blob-lagring med godkjenning av delt tilgangssignatur. Hvis du vil kopiere data direkte til Azure Data Lake Storage Gen2 i følgende støttede format, kan du opprette en Azure Blob Storage-tilkobling med SAS-godkjenning mot Azure Data Lake Storage Gen2-kontoen, for å unngå å bruke trinnvis kopi fra Snowflake.
Måldataformatet er av Parquet, DelimitedText eller JSON med følgende konfigurasjoner:
- For Parquet-format er komprimeringskodeksen Ingen, Snappy eller Lzo.
- For Skilletegntekst-format :
- Radskilletegn er \r\n eller ett enkelt tegn.
- Komprimeringstype kan være Ingen, gzip, bzip2 eller deflate.
- Koding er igjen som standard eller satt til UTF-8.
- Anførselstegn er dobbelt anførselstegn, enkelt anførselstegn eller ingen anførselstegn.
- For JSON-format støtter direktekopi bare tilfeller der kildesnøfntabell eller spørringsresultat bare har én kolonne, og datatypen for denne kolonnen er VARIANT, OBJECT eller ARRAY.
- Komprimeringstype kan være Ingen, gzip, bzip2 eller deflate.
- Koding er igjen som standard eller satt til UTF-8.
- Filmønsteret i kopieringsaktivitetsmålet er igjen som standard eller satt til Sett med objekter.
I kopier aktivitetskilde er det ikke angitt flere kolonner .
Kolonnetilordning er ikke angitt.
Iscenesatt kopi fra Snowflake
Når måldatalageret eller -formatet ikke er kompatibelt med Snowflake COPY-kommandoen, som nevnt i den siste delen, aktiverer du den innebygde trinnvise kopien ved hjelp av en midlertidig Azure Blob-lagringsforekomst. Den trinnvise kopieringsfunksjonen gir deg også bedre gjennomstrømming. Tjenesten eksporterer data fra Snowflake til oppsamlingslagring, kopierer deretter dataene til målet, og til slutt rydder du opp midlertidige data fra oppsamlingslagringen.
Hvis du vil bruke denne funksjonen, oppretter du en Azure Blob-lagringstilkobling som refererer til Azure-lagringskontoen som midlertidig oppsamling. Gå deretter til Innstillinger-fanen for å konfigurere innstillingene for oppsamling. Du må velge Ekstern for å konfigurere oppsamlingstilkoblingen for Azure Blob Storage.
Når du angir lagringsintegrering i kilden, bør den midlertidige oppsamlingen av Azure Blob Storage være den du refererte til i den eksterne fasen i Snowflake. Sørg for at du oppretter en Azure Blob Storage-tilkobling for den med eventuell støttet godkjenning, og gi minst lagrings-BLOB-databidragsyterrolle til Snowflake-tjenestekontohaveren i azure Blob Storage Access Control (IAM). Lagringsbanen under Innstillinger-fanen krever innstillinger.
Når du ikke angir lagringsintegrering i kilden, må azure Blob Storage-tilkoblingen bruke godkjenning av delt tilgangssignatur, som kreves av Snowflake COPY-kommandoen. Kontroller at du gir riktig tilgangstillatelse til Snowflake i Azure Blob Storage. Hvis du vil ha mer informasjon om dette, kan du se denne artikkelen.
Mål
Følgende egenskaper støttes for Snowflake under Mål-fanen for en kopiaktivitet.
Følgende egenskaper er nødvendige:
- Datalagertype: Velg ekstern.
- Tilkobling: Velg en Snowflake-tilkobling fra tilkoblingslisten. Hvis tilkoblingen ikke finnes, oppretter du en ny Snowflake-tilkobling ved å velge Ny.
- Database: Standarddatabasen som skal brukes når den er tilkoblet. Det bør være en eksisterende database der den angitte rollen har rettigheter.
- Tabell: Velg tabellen i databasen fra rullegardinlisten. Eller merk av for Rediger for å angi tabellnavnet manuelt.
Under Avansert kan du angi følgende felt:
Forhåndskopieringsskript: Angi et skript for kopieringsaktivitet som skal utføres før du skriver data inn i måltabellen i hver kjøring. Du kan bruke denne egenskapen til å rydde opp i de forhåndsinnlastede dataene.
Lagringsintegrasjon: Angi navnet på lagringsintegrasjonen du opprettet i Snowflake. Hvis du vil se de nødvendige trinnene for å bruke lagringsintegrasjonen, kan du se Konfigurere en Snowflake-lagringsintegrasjon.
Flere kopieringsalternativer for Snowflake: Angi flere alternativer for Snowflake-kopiering, som skal brukes i Snowflake COPY-setningen til å laste inn data. Flere kopieringsalternativer er angitt som en ordliste med nøkkelverdipar. Eksempler: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Hvis du vil ha mer informasjon, kan du se Alternativer for Snowflake-kopiering.
Flere alternativer for Snowflake-format: Angi flere alternativer for Snowflake-format, som skal brukes i Snowflake COPY-setningen til å laste inn data. Du finner flere alternativer for filformat i KOPIER-kommandoen som en ordliste med nøkkelverdipar. Eksempler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Hvis du vil ha mer informasjon, kan du se Formattypealternativer for Snowflake.
Direkte kopi til Snowflake
Hvis kildedatalageret og -formatet oppfyller vilkårene som er beskrevet i denne delen, kan du bruke Kopier-aktiviteten til å kopiere direkte fra kilde til Snowflake. Tjenesten kontrollerer innstillingene og mislykkes kopieringsaktiviteten hvis følgende vilkår ikke oppfylles:
Når du angir lagringsintegrering i målet:
Kildedatalageret er Azure Blob Storage som du refererte til i den eksterne fasen i Snowflake. Du må fullføre følgende trinn før du kopierer data:
Opprett en Azure Blob Storage-tilkobling for kilden Azure Blob Storage med alle støttede godkjenningstyper.
Gi minst lagrings-BLOB-dataleserrollen til Snowflake-tjenestekontohaveren i kilden Azure Blob Storage Access Control (IAM).
Når du ikke angir lagringsintegrering i målet:
Kildetilkoblingen er Azure Blob-lagring med godkjenning av delt tilgangssignatur. Hvis du vil kopiere data direkte fra Azure Data Lake Storage Gen2 i følgende støttede format, kan du opprette en Azure Blob Storage-tilkobling med SAS-godkjenning mot Azure Data Lake Storage Gen2-kontoen, for å unngå å bruke trinnvis kopi til Snowflake.
Kildedataformatet er Parquet, DelimitedText eller JSON med følgende konfigurasjoner:
For Parquet-format er komprimeringskodeksen Ingen, eller Rask.
For Skilletegntekst-format :
- Radskilletegn er \r\n eller ett enkelt tegn. Hvis radskilletegn ikke er \r\n, er første rad som topptekst umerket, og hopp over linjeantall ikke er angitt.
- Komprimeringstype kan være Ingen, gzip, bzip2 eller deflate.
- Koding er igjen som standard eller satt til UTF-8, UTF-16, UTF-16BE, "UTF-32", "UTF-32BE", "BIG5", "EUC-JP", "EUC-KR", "GB18030", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255".
- Anførselstegn er dobbelt anførselstegn, enkelt anførselstegn eller ingen anførselstegn.
For JSON-format støtter direktekopi bare tilfeller der snowflake-tabellen bare har én kolonne, og datatypen for denne kolonnen er VARIANT, OBJECT eller ARRAY.
- Komprimeringstype kan være Ingen, gzip, bzip2 eller deflate.
- Koding er igjen som standard eller satt til UTF-8.
- Kolonnetilordning er ikke angitt.
I kopier aktivitetskilden:
- Flere kolonner er ikke angitt.
- Hvis kilden er en mappe, velges Rekursivt .
- Prefiks, starttidspunkt (UTC) og sluttidspunkt (UTC) i Filter etter sist endret , og Aktiver partisjonsgjenkjenning er ikke angitt.
Trinnvis kopi til Snowflake
Når kildedatalageret eller -formatet ikke er kompatibelt med Snowflake COPY-kommandoen, som nevnt i den siste delen, aktiverer du den innebygde trinnvise kopien ved hjelp av en midlertidig Azure Blob-lagringsforekomst. Den trinnvise kopieringsfunksjonen gir deg også bedre gjennomstrømming. Tjenesten konverterer automatisk dataene slik at de oppfyller kravene til dataformat for Snowflake. Deretter aktiveres KOPIER-kommandoen for å laste inn data i Snowflake. Til slutt rydder den opp i midlertidige data fra blob-lagringsplassen.
Hvis du vil bruke denne funksjonen, oppretter du en Azure Blob-lagringstilkobling som refererer til Azure-lagringskontoen som midlertidig oppsamling. Gå deretter til Innstillinger-fanen for å konfigurere innstillingene for oppsamling. Du må velge Ekstern for å konfigurere oppsamlingstilkoblingen for Azure Blob Storage.
Når du angir lagringsintegrering i målet, bør den midlertidige oppsamlingen av Azure Blob Storage være den du refererte til i den eksterne fasen i Snowflake. Sørg for at du oppretter en Azure Blob Storage-tilkobling for den med eventuell støttet godkjenning, og gi minst Lagrings-BLOB Data Reader-rollen til Snowflake-tjenestekontohaveren i den oppsamlingsbaserte Azure Blob Storage Access Control (IAM). Lagringsbanen under Innstillinger-fanen krever innstillinger.
Når du ikke angir lagringsintegrering i målet, må azure Blob Storage-tilkoblingen bruke godkjenning av delt tilgangssignatur som kreves av Snowflake COPY-kommandoen.
Tilordning
For tilordningsfanekonfigurasjon går du til Konfigurer tilordningene under tilordningsfanen.
Innstillinger
For konfigurasjon av innstillinger-fanen går du til Konfigurer de andre innstillingene under innstillinger-fanen.
Tabellsammendrag
Tabellene nedenfor inneholder mer informasjon om kopieringsaktiviteten i Snowflake.
Kilde
| Name | Beskrivelse | Verdi | Kreves | JSON-skriptegenskap |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Ekstern | Ja | / |
| Forbindelse | Tilkoblingen til kildedatalageret. | < tilkoblingen > | Ja | forbindelse |
| Database | Databasen du bruker som kilde. | < databasen > | Ja | database |
| Bruk spørring | Måten å lese data fra Snowflake på. | •Bord •Spørsmål |
No | •bord •spørsmål |
| Tabell | Navnet på tabellen som skal leses data. | < navnet på kildetabellen> | Ja | skjema tabellen |
| Spørsmål | SQL-spørringen for å lese data fra Snowflake. | < navnet på kildespørringen> | Ja | spørring |
| Lagringsintegrering | Angi navnet på lagringsintegrasjonen du opprettet i Snowflake. Hvis du vil se de nødvendige trinnene for å bruke lagringsintegrasjonen, kan du se Konfigurere en Snowflake-lagringsintegrasjon. | < lagringsintegrering > | No | storageIntegration |
| Flere kopieringsalternativer for Snowflake | Flere kopieringsalternativer, angitt som en ordliste med nøkkelverdipar. Eksempler: MAX_FILE_SIZE, OVERSKRIV. Hvis du vil ha mer informasjon, kan du se Alternativer for Snowflake-kopiering. | • Navn •Verdi |
No | additionalCopyOptions |
| Flere alternativer for Snowflake-format | Flere filformatalternativer som er angitt for KOMMANDOEN KOPIER som en ordliste med nøkkelverdipar. Eksempler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Hvis du vil ha mer informasjon, kan du se Formattypealternativer for Snowflake. | • Navn •Verdi |
No | additionalFormatOptions |
Mål
Merk
Selv om ikke-Azure Snowflake-forekomster støttes for kilde, støttes bare Azure Snowflake-forekomster for øyeblikket for Snowflake-destinasjoner (også kalt vasker i Azure Data Factory).
| Name | Beskrivelse | Verdi | Kreves | JSON-skriptegenskap |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Ekstern | Ja | / |
| Forbindelse | Tilkoblingen til måldatalageret. | < tilkoblingen > | Ja | forbindelse |
| Database | Databasen du bruker som mål. | < databasen> | Ja | / |
| Tabell | Måldatatabellen. | < navnet på måltabellen> | Ja | •skjema •bord |
| Forhåndskopier skript | En SQL-spørring for kopieringsaktiviteten som skal kjøres før du skriver data til Snowflake i hver kjøring. Bruk denne egenskapen til å rydde opp i de forhåndslastede dataene. | < forhåndskopieringsskriptet> | NEI | preCopyScript |
| Lagringsintegrering | Angi navnet på lagringsintegrasjonen du opprettet i Snowflake. Hvis du vil se de nødvendige trinnene for å bruke lagringsintegrasjonen, kan du se Konfigurere en Snowflake-lagringsintegrasjon. | < lagringsintegrering > | No | storageIntegration |
| Flere kopieringsalternativer for Snowflake | Flere kopieringsalternativer, angitt som en ordliste med nøkkelverdipar. Eksempler: ON_ERROR, FORCE, LOAD_UNCERTAIN_FILES. Hvis du vil ha mer informasjon, kan du se Alternativer for Snowflake-kopiering. | • Navn •Verdi |
No | additionalCopyOptions |
| Flere alternativer for Snowflake-format | Flere filformatalternativer som er angitt for KOPIER-kommandoen, som er angitt som en ordliste over nøkkelverdipar. Eksempler: DATE_FORMAT, TIME_FORMAT, TIMESTAMP_FORMAT. Hvis du vil ha mer informasjon, kan du se Formattypealternativer for Snowflake. | • Navn •Verdi |
No | additionalFormatOptions |