Konfigurer Oracle Cloud Storage i en kopiaktivitet
I denne artikel beskrives det, hvordan du bruger kopiaktiviteten i en datapipeline til at kopiere data fra Oracle Cloud Storage.
Forudsætninger
Hvis du vil kopiere data fra Oracle Cloud Storage, skal du se Object Storage Amazon S3 Compatibility API for at få forudsætningerne og den nødvendige tilladelse.
Understøttet format
Oracle Cloud Storage understøtter følgende filformater. Se hver artikel for at få formatbaserede indstillinger.
- Avro-format
- Binært format
- Afgrænset tekstformat
- Excel-format
- JSON-format
- ORC-format
- Parquetformat
- XML-format
Understøttet konfiguration
Hvis du vil have konfigurationen af hver fane i en kopiaktivitet, skal du gå til følgende afsnit:
Generelt
Gå til Generelt for konfiguration af fanen Generelt.
Kilde
Følgende egenskaber understøttes for Oracle Cloud Storage under fanen Kilde i en kopiaktivitet.
Følgende egenskaber er påkrævet:
Datalagertype: Vælg ekstern.
Forbind ion: Vælg en Oracle Cloud Storage-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny Oracle Cloud Storage-forbindelse ved at vælge Ny.
Filtype: Du kan vælge Filsti, Præfiks, Sti til jokertegn eller Liste over filer som filtype. Konfigurationen af hver af disse indstillinger er:
Filsti: Dataene kan kopieres fra den angivne bucket eller mappe-/filsti, der er angivet i Filsti.
Præfiks: Angiv bucketen og præfikset.
Bucket: Angiv navnet på Oracle Cloud Storage-bucketen. Det er påkrævet.
Præfiks: Præfiks for Oracle Cloud Storage-nøglenavnet under den angivne bucket til filtrering af Oracle Cloud Storage-kildefiler. Oracle Cloud Storage-nøgler, hvis navne starter med
given_bucket/this_prefix, er valgt. Det bruger Oracle Cloud Storages filter på tjenestesiden, hvilket giver bedre ydeevne end et jokertegnfilter.
Sti til jokertegnfil: Angiv stierne Bucket og Jokertegn.
Bucket: Angiv navnet på Oracle Cloud Storage-bucketen. Det er påkrævet.
Jokertegnstier: Angiv mappen eller filstien med jokertegn under den angivne bucket for at filtrere kildemapperne eller -filerne.
Tilladte jokertegn er:
*(svarer til nul eller flere tegn) og?(svarer til nul eller et enkelt tegn). Bruges^til at escape, hvis mappenavnet har et jokertegn eller dette escape-tegn. Du kan få flere eksempler ved at gå til Eksempler på mappe- og filfilter.
- Sti til jokertegnmappe: Angiv mappestien med jokertegn under den angivne bucket for at filtrere kildemapper.
- Filnavn med jokertegn: Angiv filnavnet med jokertegn under den angivne bucket og mappesti (eller sti til jokertegnmappen) for at filtrere kildefiler.
Liste over filer: Angiv mappestien og stien til fillisten for at angive, at der skal kopieres et angivet filsæt. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje, som er den relative sti til den konfigurerede sti. Du kan få flere eksempler ved at gå til Eksempler på fillister.
- Mappesti: Angiv stien til mappen under den angivne bucket. Det er påkrævet.
- Sti til filliste: Angiv stien til den tekstfil, der indeholder en liste over filer, du vil kopiere.
Rekursivt: Angiver, om dataene læses rekursivt fra undermapperne eller kun fra den angivne mappe. Når dette afkrydsningsfelt er markeret, og destinationen er et filbaseret lager, kopieres eller oprettes der ikke en tom mappe eller undermappe på destinationen.
Filformat: Vælg det filformat, der anvendes på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde indstillinger for forskellige filformater i artiklerne i Understøttet format.
Under Avanceret kan du angive følgende felter:
Filtrer efter senest ændret: Filer filtreres på baggrund af de senest ændrede datoer, du har angivet. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.
- Starttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstid er større end eller lig med det konfigurerede tidspunkt.
- Sluttidspunkt (UTC):Filerne vælges, hvis deres seneste ændringstidspunkt er mindre end det konfigurerede tidspunkt.
Når Starttidspunkt (UTC) har en datetime-værdi, men Sluttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er større end eller lig med datetime-værdien, er valgt. Når Sluttidspunkt (UTC) har en datetime-værdi, men Starttidspunkt (UTC) er NULL, betyder det, at de filer, hvis senest ændrede attribut er mindre end datetime-værdien, er valgt. Egenskaberne kan være NULL, hvilket betyder, at der ikke anvendes et filattributfilter på dataene.
Aktivér registrering af partitioner: Angiv, om partitionerne skal fortolkes fra filstien, og tilføj dem som andre kildekolonner. Den er ikke valgt som standard og understøttes ikke, når du bruger binært filformat.
Partitionsrodsti: Når partitionsregistrering er aktiveret, skal du angive den absolutte rodsti til at læse partitionerede mapper som datakolonner.
Hvis den ikke er angivet, skal du som standard:
- Når du bruger en filsti eller en liste over filer på kilden, er partitionens rodsti den sti, du har konfigureret.
- Når du bruger et jokertegnmappefilter, er partitionsrodstien understien før det første jokertegn.
- Når du bruger et præfiks, er partitionsrodstien understien før det sidste "/".
Hvis du f.eks. konfigurerer stien som
root/folder/year=2020/month=08/day=27:- Hvis du angiver partitionsrodstien som
root/folder/year=2020, genererer kopiaktiviteten to kolonner mere, måned og dag. Disse kolonner har værdierne "08" og "27" ud over kolonnerne i filerne. - Hvis partitionens rodsti ikke er angivet, oprettes der ingen ekstra kolonne.
Maksimalt antal samtidige forbindelser: Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.
Flere kolonner: Tilføj flere datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte.
Tilknytning
Hvis du vil have mere at vide om konfiguration af fanen Tilknytning , skal du se Konfigurer dine tilknytninger under fanen Tilknytning. Hvis du vælger Binær som filformat, understøttes tilknytning ikke.
Indstillinger
Hvis du vil have Indstillinger fanekonfiguration, skal du se Konfigurer dine andre indstillinger under fanen Indstillinger.
Tabeloversigt
Følgende tabel indeholder flere oplysninger om kopiaktiviteten i Oracle Cloud Storage.
Kildeoplysninger
| Navn | Beskrivelse | Værdi | Påkrævet | JSON-scriptegenskab |
|---|---|---|---|---|
| Datalagertype | Datalagertypen. | Eksternt | Ja | / |
| Forbind ion | Din forbindelse til kildedatalageret. | <din Oracle Cloud Storage-forbindelse> | Ja | Forbindelse |
| Filtype | Den filtype, der bruges til at hente kildedata. | • Filsti • Præfiks • Sti til jokertegnfil • Liste over filer |
Ja | / |
| For filsti | ||||
| Spand | Navnet på Oracle Cloud Storage-bucket'en. | <dit bucketnavn> | Ja | bucketName |
| Register | Stien til mappen under den angivne bucket. | <dit mappenavn> | Nr. | folderpath |
| Filnavn | Filnavnet under den angivne bucket og mappesti. | <dit filnavn> | Nr. | Filnavn |
| For præfiks | ||||
| Spand | Navnet på Oracle Cloud Storage-bucket'en. | <dit bucketnavn> | Ja | bucketName |
| Præfiks | Præfikset for Oracle Cloud Storage-nøglenavnet under den angivne bucket til filtrering af Oracle Cloud Storage-kildefiler. | <dit præfiks> | Nr. | Præfiks |
| For sti til jokertegnfil | ||||
| Spand | Navnet på Oracle Cloud Storage-bucket'en. | <dit bucketnavn> | Ja | bucketName |
| Sti til jokertegnmappe | Mappestien med jokertegn under den angivne bucket til filtrering af kildemapper. | <mappestien med jokertegn> | Nr. | jokertegnFolderPath |
| Filnavn med jokertegn | Filnavnet med jokertegn under den angivne bucket og mappesti (eller sti til jokertegnmappen) til filtrering af kildefiler. | <filnavnet med jokertegn> | Ja | jokertegnFileName |
| For Liste over filer | ||||
| Spand | Navnet på Oracle Cloud Storage-bucket'en. | <dit bucketnavn> | Ja | bucketName |
| Register | Stien til mappen under den angivne bucket. | <dit mappenavn> | Nr. | folderpath |
| Sti til filliste | Angiver, at et angivet filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje. | < sti til filliste > | Nr. | fileListPath |
| Filformat | Filformatet for kildedataene. Du kan finde oplysninger om forskellige filformater i artikler i Understøttet format. | / | Ja | / |
| Rekursivt | Angiver, om dataene læses rekursivt fra undermapperne eller kun fra den angivne mappe. Når dette afkrydsningsfelt er markeret, og destinationen er et filbaseret lager, kopieres eller oprettes der ikke en tom mappe eller undermappe på destinationen. | valgt (standard) eller fravælg | Nr. | Rekursive |
| Filtrer efter senest ændret | Filerne med det tidspunkt, hvor den senest ændrede tid er i intervallet [Starttidspunkt, Sluttidspunkt), filtreres til yderligere behandling. Klokkeslættet anvendes på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskaber kan springes over, hvilket betyder, at der ikke anvendes et filattributfilter. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer. |
dato/klokkeslæt | Nr. | modifiedDatetimeStart modifiedDatetimeEnd |
| Aktivér registrering af partitioner | Angiver, om partitionerne fra filstien skal fortolkes og tilføjes som andre kildekolonner. | markeret eller ikke markeret (standard) | Nr. | enablePartitionDiscovery: true eller false (standard) |
| Rodsti til partitioner | Når registrering af partition er aktiveret, skal du angive den absolutte rodsti til at læse partitionerede mapper som datakolonner. | < din partitionsrodsti > | Nr. | partitionRootPath |
| Maks. antal samtidige forbindelser | Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser. | <maks. antal samtidige forbindelser> | Nr. | maxConcurrent Forbind ions |
| Flere kolonner | Tilføj andre datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. | • Navn •Værdi |
Nr. | additionalColumns: •Navn •Værdi |