Konfigurer Amazon S3-kompatibel i en kopiaktivitet
I denne artikel beskrives det, hvordan du bruger kopiaktiviteten i en datapipeline til at kopiere data fra Amazon S3 Compatible.
Påkrævede tilladelser
Hvis du vil kopiere data fra Amazon S3 Compatible, skal du sørge for, at du har fået tildelt følgende tilladelser til Amazon S3-kompatible objekthandlinger: s3:GetObject og s3:GetObjectVersion.
Derudover kræves der tilladelser til s3:ListBucket/s3:GetBucketLocation handlinger, s3:ListAllMyBuckets f.eks. test af forbindelse og gennemsyn fra roden.
Hvis du vil se en komplet liste over Amazon S3-kompatible tilladelser, skal du gå til Angivelse af tilladelser i en politik på AWS-webstedet.
Understøttet format
Amazon S3 Compatible understøtter følgende filformater. Se hver artikel for at få formatbaserede indstillinger.
- Avro-format
- Binært format
- Afgrænset tekstformat
- Excel-format
- JSON-format
- ORC-format
- Parquetformat
- XML-format
Understøttet konfiguration
Hvis du vil konfigurere hver fane under kopiaktivitet, skal du gå til henholdsvis følgende afsnit.
Generelt
Se vejledningen til generelle indstillinger for at konfigurere fanen Generelle indstillinger.
Kilde
Følgende egenskaber understøttes for Amazon S3 Compatible under fanen Source for en kopiaktivitet.
Følgende egenskaber er påkrævet:
Datalagertype: Vælg ekstern.
Forbind ion: Vælg en Amazon S3-kompatibel forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny Amazon S3-kompatibel forbindelse ved at vælge Ny.
Forbind ionstype: Vælg Amazon S3 Kompatibel for din forbindelsestype.
Filtype: Du kan vælge Filsti, Præfiks, Sti til jokertegn eller Liste over filer som filtype. Konfigurationen for hver indstilling er:
Filsti: Hvis du vælger denne type, kan dataene kopieres fra den angivne bucket eller den angivne bucket- og mappesti.
Præfiks: Hvis du vælger denne type, skal du angive bucketen og præfikset.
Bucket: Angiv navnet på den S3-kompatible lager bucket. Det er påkrævet.
Præfiks: Angiv præfikset for det S3-kompatible lagernøglenavn under den angivne bucket for at filtrere S3-kompatible lagerfiler fra kilden. S3-kompatible lagringsnøgler, hvis navne starter med
bucket/this_prefix, er valgt. Den bruger S3 Compatible Storages tjenestesidefilter, hvilket giver bedre ydeevne end et jokertegnfilter.Når du bruger præfikset og vælger at kopiere til en filbaseret destination med bevarelse af hierarkiet, skal du bemærke, at understien efter det sidste "/" præfiks bevares. Du har f.eks. kilde
bucket/folder/subfolder/file.txtog konfigurerer præfikset somfolder/sub, hvorefter den bevarede filsti ersubfolder/file.txt.
Sti til jokertegnfil: Hvis du vælger denne type, skal du angive stierne Bucket og Jokertegn.
Bucket: Angiv navnet på den S3-kompatible lager bucket. Det er påkrævet.
Jokertegnstier: Angiv mappen eller filstien med jokertegn under den angivne bucket for at filtrere kildemapperne eller -filerne.
Tilladte jokertegn er:
*(svarer til nul eller flere tegn) og?(svarer til nul eller enkelt tegn). Bruges^til at escape, hvis mappenavnet har jokertegn eller dette escape-tegn. Se flere eksempler i Eksempler på mappe- og filfilter.
Sti til jokertegnmappe: Mappestien med jokertegn under den angivne bucket til filtrering af kildemapper.Filnavn med jokertegn: Filnavnet med jokertegn under den angivne bucket og mappesti (eller sti til jokertegnmappen) til filtrering af kildefiler.
Liste over filer: Hvis du vælger denne type, skal du angive mappestien og listen Sti til fil for at angive, at et bestemt filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje, som er den relative sti til den konfigurerede sti. Du kan få flere eksempler ved at gå til Eksempler på fillister.
- Mappesti: Angiv stien til mappen under den angivne bucket. Det er påkrævet.
- Sti til filliste: Angiv stien til den tekstfil, der indeholder en liste over filer, du vil kopiere.
Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.
Rekursivt: Angiv, om dataene skal læses rekursivt fra undermapperne eller kun fra den angivne mappe. Når Rekursivt vælges, og destinationen er et filbaseret lager, kopieres eller oprettes der ikke en tom mappe eller undermappe på destinationen. Denne egenskab er valgt som standard og gælder ikke, når du konfigurerer sti til filliste.
Under Avanceret kan du angive følgende felter:
Filtrer efter senest ændret: Filer filtreres på baggrund af de senest ændrede datoer, du har angivet. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.
- Starttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstid er større end eller lig med det konfigurerede tidspunkt.
- Sluttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstidspunkt er mindre end det konfigurerede tidspunkt.
Når Starttidspunkt (UTC) har datetime-værdi, men Sluttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er større end eller lig med datetime-værdien, vælges. Når Sluttidspunkt (UTC) har datetime-værdi, men Starttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er mindre end datetime-værdien, vælges. Egenskaberne kan være NULL, hvilket betyder, at der ikke anvendes et filattributfilter på dataene.
Aktivér registrering af partition: Angiv, om partitionerne skal fortolkes fra filstien, og tilføj dem som yderligere kildekolonner. Den er som standard ikke markeret og understøttes ikke, når du bruger binært filformat.
Partitionsrodsti: Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner.
Hvis den ikke er angivet som standard,
- Når du bruger filstien eller listen over filer på kilden, er partitionsrodstien den sti, du har konfigureret.
- Når du bruger jokertegnmappefilteret, er partitionsrodstien understien før det første jokertegn.
- Når du bruger præfikset, er partitionsrodstien understien før det sidste "/".
Hvis du f.eks. konfigurerer stien som
root/folder/year=2020/month=08/day=27:- Hvis du angiver rodstien for partitionen som
root/folder/year=2020, genererer kopiaktivitet to kolonner mere måned og dag med værdien "08" og "27" ud over kolonnerne i filerne. - Hvis der ikke er angivet en partitionsrodsti, oprettes der ingen ekstra kolonne.
Maks. samtidig forbindelse: Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.
Flere kolonner: Tilføj flere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte.
Destination
Følgende egenskaber understøttes for Amazon S3 Compatible under fanen Destination for en kopiaktivitet.
Følgende egenskaber er påkrævet:
- Datalagertype: Vælg ekstern.
- Forbind ion: Vælg en Amazon S3-kompatibel forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny Amazon S3-kompatibel forbindelse ved at vælge Ny.
- Forbind ionstype: Vælg Amazon S3 Kompatibel for din forbindelsestype.
- Filsti: Dataene kan kopieres til den angivne bucket eller den angivne bucket- og mappesti.
- Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde detaljerede oplysninger i artikler i Understøttet format for at få flere oplysninger om indstillinger for forskellige filformater.
Under Avanceret kan du angive følgende felter:
Funktionsmåde for kopiering: Definerer kopifunktionsmåden, når kilden er filer fra et filbaseret datalager. Du kan vælge en funktionsmåde på rullelisten.
- Fladgør hierarki: Alle filer fra kildemappen er på det første niveau i destinationsmappen. Destinationsfilerne har automatisk genererede navne.
- Flet filer: Fletter alle filer fra kildemappen til én fil. Hvis filnavnet er angivet, er det flettede filnavn det angivne navn. Ellers er det et automatisk genereret filnavn.
- Bevar hierarki: Bevarer filhierarkiet i destinationsmappen. Den relative sti for kildefilen til kildemappen er identisk med den relative sti for destinationsfilen til destinationsmappen.
Maks. antal samtidige forbindelser: Denne egenskab angiver den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.
Tilknytning
For Konfiguration af fanen Tilknytning skal du gå til Konfigurer dine tilknytninger under fanen Tilknytning. Hvis du vælger Binær som filformat, understøttes tilknytning ikke.
Indstillinger
For konfigurationen af fanen Indstillinger skal du gå til Konfigurer dine andre indstillinger under fanen Indstillinger.
Tabeloversigt
Følgende tabeller indeholder flere oplysninger om kopiaktiviteten i Amazon S3 Compatible.
Kildeoplysninger
| Navn | Beskrivelse | Værdi | Obligatorisk | JSON-scriptegenskab |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Eksternt | Ja | / |
| Forbind ion | Din forbindelse til kildedatalageret. | <din Amazon S3-kompatible forbindelse> | Ja | Forbindelse |
| Forbind ionstype | Vælg en type til forbindelsen. | Amazon S3-kompatibel | Ja | / |
| Filtype | Den filtype, der bruges til at hente kildedata. | • Filsti • Præfiks • Sti til jokertegnfil • Liste over filer |
Ja | / |
| For filsti | ||||
| Spand | Navnet på den S3-kompatible lager bucket. | <dit bucketnavn> | Ja | bucketName |
| Register | Stien til mappen under den angivne bucket. | <dit mappenavn> | Nr. | folderpath |
| Filnavn | Filnavnet under den angivne bucket og mappesti. | <dit filnavn> | Nr. | Filnavn |
| For præfiks | ||||
| Spand | Navnet på den S3-kompatible lager bucket. | <dit bucketnavn> | Ja | bucketName |
| Præfiks | Præfikset for navnet på den S3-kompatible lagernøgle under den angivne bucket til at filtrere S3-kompatible lagerfiler fra kilden. | <dit præfiks> | Nr. | Præfiks |
| For sti til jokertegnfil | ||||
| Spand | Navnet på den S3-kompatible lager bucket. | <dit bucketnavn> | Ja | bucketName |
| Sti til jokertegnmappe | Mappestien med jokertegn under den angivne bucket til filtrering af kildemapper. | <mappestien med jokertegn> | Nr. | jokertegnFolderPath |
| Filnavn med jokertegn | Filnavnet med jokertegn under den angivne bucket og mappesti (eller sti til jokertegnmappen) til filtrering af kildefiler. | <filnavnet med jokertegn> | Ja | jokertegnFileName |
| For Liste over filer | ||||
| Spand | Navnet på den S3-kompatible lager bucket. | <dit bucketnavn> | Ja | bucketName |
| Register | Stien til mappen under den angivne bucket. | <dit mappenavn> | Nr. | folderpath |
| Sti til filliste | Angiver, at et givent filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje. | < sti til filliste > | Nr. | fileListPath |
| Filformat | Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttet format for at få detaljerede oplysninger. | / | Ja | / |
| Rekursivt | Angiver, om dataene læses rekursivt fra undermapperne eller kun fra den angivne mappe. Bemærk, at når Rekursivt vælges, og destinationen er et filbaseret lager, kopieres eller oprettes der ikke en tom mappe eller undermappe på destinationen. Denne egenskab gælder ikke, når du konfigurerer Sti til filliste. | valgt (standard) eller fravælg | Nr. | Rekursive |
| Filtrer efter senest ændret | Filerne med tidspunkt for seneste ændring i intervallet [Starttidspunkt, Sluttidspunkt) filtreres til yderligere behandling. Klokkeslættet anvendes på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskaber kan springes over, hvilket betyder, at der ikke anvendes et filattributfilter. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer. |
dato/klokkeslæt | Nr. | modifiedDatetimeStart modifiedDatetimeEnd |
| Aktivér registrering af partition | Angiver, om partitionerne fra filstien skal fortolkes og tilføjes som yderligere kildekolonner. | markeret eller ikke markeret (standard) | Nr. | enablePartitionDiscovery: true eller false (standard) |
| Sti til partitionsrod | Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner. | < din partitionsrodsti > | Nr. | partitionRootPath |
| Maks. samtidig forbindelse | Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser. | <maks. antal samtidige forbindelser> | Nr. | maxConcurrent Forbind ions |
| Flere kolonner | Tilføj yderligere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. | • Navn •Værdi |
Nr. | additionalColumns: •Navn •Værdi |
Destinationsoplysninger
| Navn | Beskrivelse | Værdi | Obligatorisk | JSON-scriptegenskab |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Eksternt | Ja | / |
| Forbind ion | Din forbindelse til destinationsdatalageret. | <din Amazon S3-kompatible forbindelse> | Ja | Forbindelse |
| Forbind ionstype | Vælg en type til forbindelsen. | Amazon S3-kompatibel | Ja | / |
| Filsti | Mappe-/filstien til destinationsfilen. | <mappe-/filsti> | Ja | / |
| Spand | Navnet på den S3-kompatible lager bucket. | <dit bucketnavn> | Ja | bucketName |
| Register | Stien til mappen under den angivne bucket. | <dit mappenavn> | Nr. | folderpath |
| Filnavn | Filnavnet under den angivne bucket og mappesti. | <dit filnavn> | Nr. | Filnavn |
| Funktionsmåde for kopiering | Definerer funktionsmåden for kopiering, når kilden er filer fra et filbaseret datalager. | • Fladgør hierarki • Flet filer • Bevar hierarki |
Nr. | copyBehavior: • Fladt hierarki • Fletfiler • PreserveHierarchy |
| Maks. antal samtidige forbindelser | Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser. | <maks. antal samtidige forbindelser> | Nr. | maxConcurrent Forbind ions |