Del via

Konfigurer Amazon S3-kompatibel i en kopiaktivitet

  • Artikkel

Denne artikkelen beskriver hvordan du bruker kopieringsaktiviteten i et datasamlebånd til å kopiere data fra Amazon S3 Compatible.

Tillatelser som kreves

Hvis du vil kopiere data fra Amazon S3 Compatible, må du kontrollere at du har fått følgende tillatelser for Amazon S3-kompatible objektoperasjoner: s3:GetObject og s3:GetObjectVersion.

I tillegg s3:ListAllMyBuckets kreves tillatelser s3:ListBucket/s3:GetBucketLocation for operasjoner som testing av tilkobling og nettlesing fra roten.

Hvis du vil ha en fullstendig liste over Amazon S3-kompatible tillatelser, kan du gå til Angi tillatelser i en policy på AWS-nettstedet.

Støttet format

Amazon S3 Compatible støtter følgende filformater. Se hver artikkel for formatbaserte innstillinger.

Støttet konfigurasjon

Hvis du vil ha konfigurasjonen av hver fane under kopieringsaktivitet, kan du gå til følgende inndelinger.

Generelt

Se veiledningen for generelle innstillinger for å konfigurere fanen Generelle innstillinger.

Source

Følgende egenskaper støttes for Amazon S3 Compatible under Kilde-fanen for en kopiaktivitet.

Screenshot showing source tab and the list of properties.

Følgende egenskaper er nødvendige:

  • Datalagertype: Velg ekstern.

  • Koble til ion: Velg en Amazon S3-kompatibel tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Amazon S3-kompatibel tilkobling ved å velge Ny.

  • Koble til iontype: Velg Amazon S3 Kompatibel for tilkoblingstypen din.

  • Filtype: Du kan velge Filbane, Prefiks, Jokertegnfilbane eller Liste over filer som filtype. Konfigurasjonen for hver innstilling er:

    • Filbane: Hvis du velger denne typen, kan dataene kopieres fra den angitte samlingen eller den angitte samlings- og mappebanen.

    • Prefiks: Hvis du velger denne typen, angir du samling og prefiks.

      • Samling: Angi navnet på S3-kompatibel lagringssamling. Det kreves.

      • Prefiks: Angi prefikset for S3-kompatible lagringsnøkkelnavn under den angitte samlingen for å filtrere kilde-S3-kompatible lagringsfiler. S3-kompatible lagringsnøkler med navn som begynner med bucket/this_prefix , er valgt. Det benytter S3 Compatible Storages servicesidefilter, som gir bedre ytelse enn et jokertegnfilter.

        Når du bruker prefikset og velger å kopiere til filbasert mål med å bevare hierarkiet, noterer du underbanen etter at det siste /- i prefikset beholdes. Du har for eksempel kilde bucket/folder/subfolder/file.txt, og konfigurerer prefikset som folder/sub, så er subfolder/file.txtden bevarte filbanen .

      Screenshot showing prefix.

    • Jokertegnfilbane: Hvis du velger denne typen, angir du samlings - og jokertegnbanene.

      • Samling: Angi navnet på S3-kompatibel lagringssamling. Det kreves.

      • Jokertegnbaner: Angi mappen eller filbanen med jokertegn under den angitte samlingen for å filtrere kildemappene eller filene.

        Tillatte jokertegn er: * (samsvarer med null eller flere tegn) og ? (samsvarer med null eller enkelttegn). Brukes ^ til å unnslippe hvis mappenavnet har jokertegn eller dette escape-tegnet inni. Se flere eksempler i eksempler på mappe- og filfilter. Screenshot showing wildcard file path.Jokertegnmappebane: Mappebanen med jokertegn under den angitte samlingen for å filtrere kildemapper.

        Jokertegnfilnavn: Filnavnet med jokertegn under angitt samlings- og mappebane (eller jokertegnmappebane) for å filtrere kildefiler.

    • Liste over filer: Hvis du velger denne typen, angir du mappebanen og Bane til fil-listen for å angi å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje, som er den relative banen til banen som er konfigurert. Hvis du vil ha flere eksempler, kan du gå til Eksempler på filliste.

      Screenshot showing list of files.

      • Mappebane: Angi banen til mappen under angitt samling. Det kreves.
      • Bane til filliste: Angi banen til tekstfilen som inneholder en liste over filer du vil kopiere.

  • Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.

  • Rekursivt: Angi om dataene skal leses rekursivt fra undermappene eller bare fra den angitte mappen. Når Rekursivt er valgt og målet er et filbasert lager, kopieres eller opprettes ikke en tom mappe eller undermappe på målet. Denne egenskapen er valgt som standard og gjelder ikke når du konfigurerer Bane til fil-listen.

Under Avansert kan du angi følgende felt:

  • Filtrer etter sist endret: Filer filtreres basert på de siste endrede datoene du har angitt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer.

    • Starttidspunkt (UTC): Filene velges hvis den siste endrede tiden er større enn eller lik det konfigurerte tidspunktet.
    • Sluttidspunkt (UTC): Filene velges hvis siste endringstidspunkt er mindre enn det konfigurerte tidspunktet.

    Når Starttidspunkt (UTC) har datetime-verdi, men sluttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er større enn eller lik datetime-verdien, velges. Når sluttidspunkt (UTC) har datetime-verdi, men Starttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er mindre enn datetime-verdien, blir valgt. Egenskapene kan være NULL, noe som betyr at ingen filattributtfilter vil bli brukt på dataene.

  • Aktiver partisjonsgjenkjenning: Angi om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. Det er ikke merket av som standard og støttes ikke når du bruker binært filformat.

    • Partisjonsrotbane: Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner.

      Hvis det ikke er angitt, som standard,

      • Når du bruker filbanen eller listen over filer på kilden, er partisjonsrotbanen banen du konfigurerte.
      • Når du bruker jokertegnmappefilter, er partisjonsrotbanen underbanen før det første jokertegnet.
      • Når du bruker prefikset, er partisjonsrotbanen underbane før siste /.

      Hvis du for eksempel konfigurerer banen som root/folder/year=2020/month=08/day=27:

      • Hvis du angir partisjonsrotbane som root/folder/year=2020, vil kopieringsaktivitet generere to kolonner måned og dag med henholdsvis verdien 08 og 27, i tillegg til kolonnene i filene.
      • Hvis partisjonsrotbanen ikke er angitt, genereres ingen ekstra kolonne.

      Screenshot showing Enable partition discovery.

  • Maksimal samtidig tilkobling: Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.

  • Flere kolonner: Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte.

Mål

Følgende egenskaper støttes for Amazon S3 Compatible under Mål-fanen for en kopiaktivitet.

Screenshot showing destination tab and the list of properties.

Følgende egenskaper er nødvendige:

  • Datalagertype: Velg ekstern.
  • Koble til ion: Velg en Amazon S3-kompatibel tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Amazon S3-kompatibel tilkobling ved å velge Ny.
  • Koble til iontype: Velg Amazon S3 Kompatibel for tilkoblingstypen din.
  • Filbane: Dataene kan kopieres til den angitte samlingen eller den angitte samlings- og mappebanen.
  • Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.

Under Avansert kan du angi følgende felt:

  • Kopier virkemåte: Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. Du kan velge en virkemåte fra rullegardinlisten.

    • Flate ut hierarki: Alle filer fra kildemappen er på det første nivået i målmappen. Målfilene har automatisk genererte navn.
    • Flette filer: Slår sammen alle filer fra kildemappen til én fil. Hvis filnavnet er angitt, er det flettede filnavnet det angitte navnet. Ellers er det et automatisk generert filnavn.
    • Behold hierarki: Bevarer filhierarkiet i målmappen. Den relative banen til kildefilen til kildemappen er identisk med den relative banen til målfilen til målmappen.

  • Maksimalt antall samtidige tilkoblinger: Denne egenskapen angir den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.

Tilordning

For tilordningsfanekonfigurasjon går du til Konfigurer tilordningene under tilordningsfanen. Hvis du velger Binær som filformat, støttes ikke tilordning.

Innstillinger

Gå til Konfigurer de andre innstillingene under innstillinger-fanen for konfigurasjon av Innstillinger-fanen.

Tabellsammendrag

Tabellene nedenfor inneholder mer informasjon om kopieringsaktiviteten i Amazon S3 Compatible.

Kildeinformasjon

Name Beskrivelse Verdi Kreves JSON-skriptegenskap
Datalagertype Datalagertypen. Ekstern Ja /
Koble til ion Tilkoblingen til kildedatalageret. <Amazon S3-kompatibel tilkobling> Ja Tilkobling
Koble til iontype Velg en type for tilkoblingen. Amazon S3-kompatibel Ja /
Filtype Filtypen som brukes til å hente kildedata. • Filbane
• Prefiks
• Jokertegnfilbane
• Liste over filer		 Ja /
Filbane
Bøtte Navnet på S3-kompatibel lagringssamling. <samlingsnavnet ditt> Ja bucketName
Katalogen Banen til mappen under den angitte samlingen. <mappenavnet> No mappebane
Filnavn Filnavnet under den angitte samlings- og mappebanen. <filnavnet ditt> No Filnavn
For prefiks
Bøtte Navnet på S3-kompatibel lagringssamling. <samlingsnavnet ditt> Ja bucketName
Prefiks Prefikset for S3 Compatible Storage-nøkkelnavnet under den angitte samlingen for å filtrere kilde-S3-kompatible lagringsfiler. <prefikset> No Prefiks
For jokertegnfilbane
Bøtte Navnet på S3-kompatibel lagringssamling. <samlingsnavnet ditt> Ja bucketName
Jokertegnmappebane Mappebanen med jokertegn under den angitte samlingen for å filtrere kildemapper. <mappebanen med jokertegn> No wildcardFolderPath
Jokertegnfilnavn Filnavnet med jokertegn under angitt samlings- og mappebane (eller jokertegnmappebane) for å filtrere kildefiler. <filnavnet med jokertegn> Ja wildcardFileName
For liste over filer
Bøtte Navnet på S3-kompatibel lagringssamling. <samlingsnavnet ditt> Ja bucketName
Katalogen Banen til mappen under den angitte samlingen. <mappenavnet> No mappebane
Bane til filliste Angir å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje. < fillistebane > No fileListPath
Filformat Filformatet for kildedataene. Hvis du vil ha informasjon om ulike filformater, kan du se artikler i støttet format for detaljert informasjon. / Ja /
Rekursivt Angir om dataene leses rekursivt fra undermappene eller bare fra den angitte mappen. Vær oppmerksom på at når Rekursivt er valgt og målet er et filbasert lager, kopieres ikke en tom mappe eller undermappe på målet. Denne egenskapen gjelder ikke når du konfigurerer Bane til fil-listen. valgt (standard) eller fjern merking No Rekursiv
Filtrer etter sist endret Filene med siste endringstidspunkt i området [Starttidspunkt, Sluttidspunkt) filtreres for videre behandling. Tiden brukes på UTC-tidssone i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskapene kan hoppes over, noe som betyr at ingen filattributtfilter vil bli brukt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer. datetime No modifiedDatetimeStart
modifiedDatetimeEnd
Aktiver partisjonsoppdagelse Angir om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. merket eller umerket (standard) No enablePartitionDiscovery:
sann eller usann (standard)
Partisjonsrotbane Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner. < partisjonsrotbanen > No partitionRootPath
Maksimal samtidig tilkobling Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. <maks samtidige tilkoblinger> No maxConcurrent Koble til ions
Flere kolonner Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte. • Navn
•Verdi		 No additionalColumns:
•navn
•Verdi

Målinformasjon

Name Beskrivelse Verdi Kreves JSON-skriptegenskap
Datalagertype Datalagertypen. Ekstern Ja /
Koble til ion Tilkoblingen til måldatalageret. <Amazon S3-kompatibel tilkobling> Ja Tilkobling
Koble til iontype Velg en type for tilkoblingen. Amazon S3-kompatibel Ja /
Filbane Mappe-/filbanen til målfilen. <mappe-/filbane> Ja /
Bøtte Navnet på S3-kompatibel lagringssamling. <samlingsnavnet ditt> Ja bucketName
Katalogen Banen til mappen under den angitte samlingen. <mappenavnet> No mappebane
Filnavn Filnavnet under den angitte samlings- og mappebanen. <filnavnet ditt> No Filnavn
Kopier virkemåte Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. • Flate ut hierarki
• Slå sammen filer
• Bevare hierarki
 No copyBehavior:
• FlattenHierarchy
• MergeFiles
• PreserveHierarchy
Maksimalt antall samtidige tilkoblinger Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. <maks samtidige tilkoblinger> No maxConcurrent Koble til ions

Relatert innhold