Del via

Konfigurer Amazon S3 i en kopiaktivitet

  • Artikkel

Denne artikkelen beskriver hvordan du bruker kopieringsaktiviteten i et datasamlebånd til å kopiere data fra og til Amazon S3.

Tillatelser som kreves

Hvis du vil kopiere data fra Amazon S3, må du kontrollere at du har fått følgende tillatelser for Amazon S3-objektoperasjoner: s3:GetObject og s3:GetObjectVersion.

I tillegg s3:ListAllMyBuckets kreves tillatelser s3:ListBucket/s3:GetBucketLocation for operasjoner som testing av tilkobling og nettlesing fra roten.

Hvis du vil ha den fullstendige listen over Amazon S3-tillatelser, kan du gå til Angi tillatelser i en policy på AWS-nettstedet.

Støttet format

Amazon S3 støtter følgende filformater. Se hver artikkel for formatbaserte innstillinger.

Støttet konfigurasjon

Hvis du vil ha konfigurasjonen av hver fane under kopieringsaktivitet, kan du gå til følgende inndelinger.

Generelt

Se veiledningen for generelle innstillinger for å konfigurere fanen Generelle innstillinger.

Source

Følgende egenskaper støttes for Amazon S3 under Kilde-fanen for en kopiaktivitet.

Screenshot showing source tab and the list of properties.

Følgende egenskaper er nødvendige:

  • Datalagertype: Velg ekstern.

  • Koble til ion: Velg en Amazon S3-tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Amazon-tilkobling ved å velge Ny.

  • Koble til iontype: Velg Amazon S3 for tilkoblingstypen din.

  • Filtype: Du kan velge Filbane, Prefiks, Jokertegnfilbane eller Liste over filer som filtype. Konfigurasjonen for hver innstilling er:

    • Filbane: Hvis du velger denne typen, kan dataene kopieres fra den angitte samlingen eller den angitte samlings- og mappebanen.

    • Prefiks: Hvis du velger denne typen, angir du samling og prefiks.

      • Samling: Angi navnet på S3-samlingen. Det kreves.

      • Prefiks: Angi prefikset for S3-nøkkelnavnet under den angitte samlingen for å filtrere S3-kildefiler. S3-taster med navn som begynner med bucket/this_prefix , er valgt. Den benytter S3s servicesidefilter, som gir bedre ytelse enn et jokertegnfilter.

        Når du bruker prefikset og velger å kopiere til filbasert mål med å bevare hierarkiet, noterer du underbanen etter at det siste /- i prefikset beholdes. Du har for eksempel kilde bucket/folder/subfolder/file.txt, og konfigurerer prefikset som folder/sub, så er subfolder/file.txtden bevarte filbanen .

      Screenshot showing prefix.

    • Jokertegnfilbane: Hvis du velger denne typen, angir du samlings - og jokertegnbanene.

      • Samling: Angi navnet på S3-samlingen. Det kreves.

      • Jokertegnbaner: Angi mappen eller filbanen med jokertegn under den angitte samlingen for å filtrere kildemappene eller filene.

        Tillatte jokertegn er: * (samsvarer med null eller flere tegn) og ? (samsvarer med null eller enkelttegn). Brukes ^ til å unnslippe hvis mappenavnet har jokertegn eller dette escape-tegnet inni. Se flere eksempler i eksempler på mappe- og filfilter. Screenshot showing wildcard file path.Jokertegnmappebane: Mappebanen med jokertegn under den angitte samlingen for å filtrere kildemapper.

        Jokertegnfilnavn: Filnavnet med jokertegn under angitt samlings- og mappebane (eller jokertegnmappebane) for å filtrere kildefiler.

    • Liste over filer: Hvis du velger denne typen, angir du mappebanen og Bane til fil-listen for å angi å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje, som er den relative banen til banen som er konfigurert. Hvis du vil ha flere eksempler, kan du gå til Eksempler på filliste.

      Screenshot showing list of files.

      • Mappebane: Angi banen til mappen under angitt samling. Det kreves.
      • Bane til filliste: Angi banen til tekstfilen som inneholder en liste over filer du vil kopiere.

  • Rekursivt: Angi om dataene skal leses rekursivt fra undermappene eller bare fra den angitte mappen. Når Rekursivt er valgt og målet er et filbasert lager, kopieres eller opprettes ikke en tom mappe eller undermappe på målet. Denne egenskapen er valgt som standard og gjelder ikke når du konfigurerer Bane til fil-listen.

  • Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.

Under Avansert kan du angi følgende felt:

  • Filtrer etter sist endret: Filer filtreres basert på de siste endrede datoene du har angitt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer.

    • Starttidspunkt (UTC): Filene velges hvis den siste endrede tiden er større enn eller lik det konfigurerte tidspunktet.
    • Sluttidspunkt (UTC): Filene velges hvis siste endringstidspunkt er mindre enn det konfigurerte tidspunktet.

    Når Starttidspunkt (UTC) har datetime-verdi, men sluttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er større enn eller lik datetime-verdien, velges. Når sluttidspunkt (UTC) har datetime-verdi, men Starttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er mindre enn datetime-verdien, blir valgt. Egenskapene kan være NULL, noe som betyr at ingen filattributtfilter vil bli brukt på dataene.

  • Aktiver partisjonsgjenkjenning: Angi om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. Det er ikke merket av som standard og støttes ikke når du bruker binært filformat.

    • Partisjonsrotbane: Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner.

      Hvis det ikke er angitt, som standard,

      • Når du bruker filbanen eller listen over filer på kilden, er partisjonsrotbanen banen du konfigurerte.
      • Når du bruker jokertegnmappefilter, er partisjonsrotbanen underbanen før det første jokertegnet.
      • Når du bruker prefikset, er partisjonsrotbanen underbane før siste /.

      Hvis du for eksempel konfigurerer banen som root/folder/year=2020/month=08/day=27:

      • Hvis du angir partisjonsrotbane som root/folder/year=2020, vil kopieringsaktivitet generere to kolonner måned og dag med henholdsvis verdien 08 og 27, i tillegg til kolonnene i filene.
      • Hvis partisjonsrotbanen ikke er angitt, genereres ingen ekstra kolonne.

      Screenshot showing Enable partition discovery.

  • Maksimal samtidig tilkobling: Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.

  • Flere kolonner: Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte.

Mål

Følgende egenskaper støttes for Amazon S3 under Mål-fanen for en kopiaktivitet.

Screenshot showing destination tab and the list of properties.

Følgende egenskaper er nødvendige:

  • Datalagertype: Velg ekstern.
  • Koble til ion: Velg en Amazon S3-tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Amazon-tilkobling ved å velge Ny.
  • Koble til iontype: Velg Amazon S3 for tilkoblingstypen din.
  • Filbane: Dataene kan kopieres til den angitte samlingen eller den angitte samlings- og mappebanen.
  • Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.

Under Avansert kan du angi følgende felt:

  • Kopier virkemåte: Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. Du kan velge en virkemåte fra rullegardinlisten.

    • Flate ut hierarki: Alle filer fra kildemappen er på det første nivået i målmappen. Målfilene har automatisk genererte navn.
    • Flette filer: Slår sammen alle filer fra kildemappen til én fil. Hvis filnavnet er angitt, er det flettede filnavnet det angitte navnet. Ellers er det et automatisk generert filnavn.
    • Behold hierarki: Bevarer filhierarkiet i målmappen. Den relative banen til kildefilen til kildemappen er identisk med den relative banen til målfilen til målmappen.

  • Maksimalt antall samtidige tilkoblinger: Denne egenskapen angir den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.

Tilordning

For tilordningsfanekonfigurasjon går du til Konfigurer tilordningene under tilordningsfanen. Hvis du velger Binær som filformat, støttes ikke tilordning.

Innstillinger

Gå til Konfigurer de andre innstillingene under innstillinger-fanen for konfigurasjon av Innstillinger-fanen.

Tabellsammendrag

Tabellene nedenfor inneholder mer informasjon om kopiaktiviteten i Amazon S3.

Kildeinformasjon

Name Beskrivelse Verdi Kreves JSON-skriptegenskap
Datalagertype Datalagertypen. Ekstern Ja /
Koble til ion Tilkoblingen til kildedatalageret. <Amazon S3-tilkoblingen> Ja Tilkobling
Koble til iontype Velg en type for tilkoblingen. Amazon S3 Ja /
Filtype Filtypen som brukes til å hente kildedata. • Filbane
• Prefiks
• Jokertegnfilbane
• Liste over filer		 Ja /
Filbane
Bøtte Navnet på S3-samlingen. <samlingsnavnet ditt> Ja bucketName
Katalogen Banen til mappen under den angitte samlingen. <mappenavnet> No mappebane
Filnavn Filnavnet under den angitte samlings- og mappebanen. <filnavnet ditt> No Filnavn
For prefiks
Bøtte Navnet på S3-samlingen. <samlingsnavnet ditt> Ja bucketName
Prefiks Prefikset for S3-nøkkelnavnet under den angitte samlingen for å filtrere S3-kildefiler. <prefikset> No Prefiks
For jokertegnfilbane
Bøtte Navnet på S3-samlingen. <samlingsnavnet ditt> Ja bucketName
Jokertegnmappebane Mappebanen med jokertegn under den angitte samlingen for å filtrere kildemapper. <mappebanen med jokertegn> No wildcardFolderPath
Jokertegnfilnavn Filnavnet med jokertegn under angitt samlings- og mappebane (eller jokertegnmappebane) for å filtrere kildefiler. <filnavnet med jokertegn> Ja wildcardFileName
For liste over filer
Bøtte Navnet på S3-samlingen. <samlingsnavnet ditt> Ja bucketName
Katalogen Banen til mappen under den angitte samlingen. <mappenavnet> No mappebane
Bane til filliste Angir å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje. < fillistebane > No fileListPath
Filformat Filformatet for kildedataene. Hvis du vil ha informasjon om ulike filformater, kan du se artikler i støttet format for detaljert informasjon. / Ja /
Rekursivt Angir om dataene leses rekursivt fra undermappene eller bare fra den angitte mappen. Vær oppmerksom på at når Rekursivt er valgt og målet er et filbasert lager, kopieres ikke en tom mappe eller undermappe på målet. Denne egenskapen gjelder ikke når du konfigurerer Bane til fil-listen. valgt (standard) eller fjern merking No Rekursiv
Filtrer etter sist endret Filene med siste endringstidspunkt i området [Starttidspunkt, Sluttidspunkt) filtreres for videre behandling. Tiden brukes på UTC-tidssone i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskapene kan hoppes over, noe som betyr at ingen filattributtfilter vil bli brukt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer. datetime No modifiedDatetimeStart
modifiedDatetimeEnd
Aktiver partisjonsoppdagelse Angir om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. merket eller umerket (standard) No enablePartitionDiscovery:
sann eller usann (standard)
Partisjonsrotbane Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner. < partisjonsrotbanen > No partitionRootPath
Maksimal samtidig tilkobling Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. <maks samtidige tilkoblinger> No maxConcurrent Koble til ions
Flere kolonner Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte. • Navn
•Verdi		 No additionalColumns:
•navn
•Verdi

Målinformasjon

Name Beskrivelse Verdi Kreves JSON-skriptegenskap
Datalagertype Datalagertypen. Ekstern Ja /
Koble til ion Tilkoblingen til måldatalageret. <Amazon S3-tilkoblingen> Ja Tilkobling
Koble til iontype Velg en type for tilkoblingen. Amazon S3 Ja /
Filbane Mappe-/filbanen til målfilen. <mappe-/filbane> Ja /
Bøtte Navnet på S3-samlingen. <samlingsnavnet ditt> Ja bucketName
Katalogen Banen til mappen under den angitte samlingen. <mappenavnet> No mappebane
Filnavn Filnavnet under den angitte samlings- og mappebanen. <filnavnet ditt> No Filnavn
Kopier virkemåte Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. • Flate ut hierarki
• Slå sammen filer
• Bevare hierarki
 No copyBehavior:
• FlattenHierarchy
• MergeFiles
• PreserveHierarchy
Maksimalt antall samtidige tilkoblinger Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. <maks samtidige tilkoblinger> No maxConcurrent Koble til ions

Relatert innhold