Konfigurer Azure-filer i en kopiaktivitet
Denne artikkelen beskriver hvordan du bruker kopieringsaktiviteten i datasamlebåndet til å kopiere data fra og til Azure Files.
Støttet format
Azure Files støtter følgende filformater. Se hver artikkel for formatbaserte innstillinger.
- Avro-format
- Binærformat
- Tekstformat med skilletegn
- Excel-format
- JSON-format
- ORC-format
- Parquet-format
- XML-format
Støttet konfigurasjon
Hvis du vil ha konfigurasjonen av hver fane under kopieringsaktivitet, kan du gå til følgende inndelinger.
Generelt
Se veiledningen for generelle innstillinger for å konfigurere fanen Generelle innstillinger.
Kilde
Følgende egenskaper støttes for Azure Files under Kilde-fanen for en kopiaktivitet.
Følgende egenskaper er nødvendige:
Datalagertype: Velg ekstern.
Koble til ion: Velg en Azure Files-tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny Azure Files-tilkobling ved å velge Ny.
Filtype: Du kan velge Filbane, Prefiks, Jokertegnfilbane, Liste over filer som filtype. Konfigurasjonen av hver innstilling er:
Filbane: Hvis du velger denne typen, kan dataene kopieres fra den angitte mappen/filbanen.
Prefiks: Prefiks for filnavnet under den angitte delte filressursen for å filtrere kildefiler. Filer med navn som begynner med
fileshare_in_connection/this_prefix
, er valgt. Det bruker servicefilteret for Azure Files, som gir bedre ytelse enn et jokertegnfilter.Jokertegnfilbane: Angi mappen eller filbanen med jokertegn for å filtrere kildemapper eller filer.
Tillatte jokertegn er (samsvarer
*
med null eller flere tegn) og?
(samsvarer med null eller enkelttegn). Brukes^
til å unnslippe hvis mappenavnet har et jokertegn eller dette escape-tegnet inni. Hvis du vil ha flere eksempler, kan du gå til eksempler på mappe- og filfilter.Jokertegnmappebane: Angi mappebanen med jokertegn for å filtrere kildemapper.
Jokertegnfilnavn: Angi filnavnet med jokertegn under den konfigurerte mappe-/jokertegnmappebanen for å filtrere kildefiler.
Liste over filer: Angir et gitt filsett å kopiere til. Skriv inn eller bla til en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje i Bane til fil-listen, som er den relative banen til hver fil.
Når du bruker dette alternativet, må du ikke angi et filnavn. Hvis du vil ha flere eksempler, kan du gå til Eksempler på filliste.
Mappebane: Angi banen til en mappe. Det kreves.
Bane til filliste: Angi banen til tekstfilen som inneholder en liste over filer du vil kopiere.
Rekursivt: Angi om dataene skal leses rekursivt fra undermappene eller bare fra den angitte mappen. Vær oppmerksom på at når Rekursivt er valgt og målet er et filbasert lager, kopieres ikke en tom mappe eller undermappe på målet. Denne egenskapen er valgt som standard og gjelder ikke når du konfigurerer Bane til fil-listen.
Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.
Under Avansert kan du angi følgende felt:
Filtrer etter sist endret: Filer filtreres basert på de siste endrede datoene. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer.
Starttidspunkt (UTC): Filene velges hvis den siste endrede tiden er større enn eller lik det konfigurerte tidspunktet.
Sluttidspunkt (UTC): Filene velges hvis siste endringstidspunkt er mindre enn det konfigurerte tidspunktet.
Når Starttidspunkt (UTC) har datetime-verdi, men sluttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er større enn eller lik datetime-verdien, velges. Når sluttidspunkt (UTC) har datetime-verdi, men Starttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er mindre enn datetime-verdien, blir valgt. Egenskapene kan være NULL, noe som betyr at ingen filattributtfilter vil bli brukt på dataene.
Aktiver partisjonsgjenkjenning: Angi om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. Det er ikke merket av som standard og støttes ikke når du bruker binært filformat.
Partisjonsrotbane: Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner.
Hvis det ikke er angitt, som standard,
- Når du bruker filbanen eller listen over filer på kilden, er partisjonsrotbanen banen du konfigurerte.
- Når du bruker jokertegnmappefilter, er partisjonsrotbanen underbanen før det første jokertegnet.
Hvis du for eksempel konfigurerer banen som
root/folder/year=2020/month=08/day=27
:- Hvis du angir partisjonsrotbane som
root/folder/year=2020
, vil kopieringsaktivitet generere to kolonner måned og dag med henholdsvis verdien 08 og 27, i tillegg til kolonnene i filene. - Hvis partisjonsrotbanen ikke er angitt, genereres ingen ekstra kolonne.
Maksimalt antall samtidige tilkoblinger: Denne egenskapen angir den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.
Flere kolonner: Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte.
Mål
Følgende egenskaper støttes for Azure Files under Mål-fanen for en kopiaktivitet.
Følgende egenskaper er nødvendige:
- Datalagertype: Velg ekstern.
- Koble til ion: Velg en Azure Files-tilkobling fra tilkoblingslisten. Hvis tilkoblingen ikke finnes, oppretter du en ny Azure Files-tilkobling ved å velge Ny.
- Filbane: Velg Bla gjennom for å velge filen du vil kopiere eller fylle ut banen manuelt.
- Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.
Under Avansert kan du angi følgende felt:
Kopier virkemåte: Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. Du kan velge en virkemåte fra rullegardinlisten.
- Flate ut hierarki: Alle filer fra kildemappen er på det første nivået i målmappen. Målfilene har automatisk genererte navn.
- Flette filer: Slår sammen alle filer fra kildemappen til én fil. Hvis filnavnet er angitt, er det flettede filnavnet det angitte navnet. Ellers er det et automatisk generert filnavn.
- Behold hierarki: Bevarer filhierarkiet i målmappen. Den relative banen til kildefilen til kildemappen er identisk med den relative banen til målfilen til målmappen.
Maks samtidige tilkoblinger: Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.
Maksimalt antall rader per fil: Når du skriver data inn i en mappe, kan du velge å skrive til flere filer og angi maksimalt antall rader per fil. Angi maksimalt antall rader du vil skrive per fil.
Tilordning
For tilordningsfanekonfigurasjon går du til Konfigurer tilordningene under tilordningsfanen. Hvis du velger Binær som filformat, støttes ikke tilordning.
Innstillinger
Hvis du vil ha Innstillinger fanekonfigurasjon, kan du se Konfigurere de andre innstillingene under innstillinger-fanen.
Tabellsammendrag
Tabellene nedenfor inneholder mer informasjon om kopieringsaktiviteten i Azure Files.
Kildeinformasjon
Name | Beskrivelse | Verdi | Kreves | JSON-skriptegenskap |
---|---|---|---|---|
Datalagertype | Datalagertypen. | Ekstern | Ja | / |
Koble til ion | Tilkoblingen til kildedatalageret. | <Azure Files-tilkoblingen> | Ja | Tilkobling |
Filtype | Filtypen som brukes til å hente kildedata. | • Filbane •Prefiks • Jokertegnfilbane • Liste over filer |
Ja | / |
Filbane | ||||
Katalogen | Banen til mappen. | <mappenavnet> | No | folderPath |
Filnavn | Filnavnet under den angitte mappebanen. | <filnavnet ditt> | No | Filnavn |
For prefiks | ||||
Prefiks | Prefikset for filnavnet under den angitte delte filressursen for å filtrere kildefiler. | <prefikset> | No | Prefiks |
For jokertegnfilbane | ||||
Jokertegnmappebane | Mappebanen med jokertegn for å filtrere kildemapper. | <mappebanen med jokertegn> | No | wildcardFolderPath |
Jokertegnfilnavn | Filnavnet med jokertegn under den angitte mappe-/jokertegnmappebanen for å filtrere kildefiler. | <filnavnet med jokertegn> | Ja | wildcardFileName |
For liste over filer | ||||
Mappebane | Banen til mappen. | <mappenavnet> | No | mappebane |
Bane til filliste | Angir å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje. | < fillistebane > | No | fileListPath |
Rekursivt | Behandle alle filer i inndatamappen og undermappene rekursivt eller bare de i den valgte mappen. Denne innstillingen deaktiveres når én enkelt fil er valgt. | Merket eller fjern merking | No | Rekursiv |
Filformat | Filformatet for kildedataene. Hvis du vil ha informasjon om ulike filformater, kan du se artikler i støttet format for detaljert informasjon. | / | Ja | / |
Filtrer etter sist endret | Filene med siste endringstidspunkt i området [Starttidspunkt, Sluttidspunkt) filtreres for videre behandling. Tiden brukes på UTC-tidssone i formatet yyyy-mm-ddThh:mm:ss.fffZ . Disse egenskapene kan hoppes over, noe som betyr at ingen filattributtfilter vil bli brukt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer. |
datetime | No | modifiedDatetimeStart modifiedDatetimeEnd |
Aktiver partisjonsoppdagelse | Angir om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. | merket eller umerket (standard) | No | enablePartitionDiscovery: sann eller usann (standard) |
Maksimalt antall samtidige tilkoblinger | Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. | <maks samtidige tilkoblinger> | No | maxConcurrent Koble til ions |
Flere kolonner | Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte. | • Navn •Verdi |
No | additionalColumns: •navn •Verdi |
Målinformasjon
Name | Beskrivelse | Verdi | Kreves | JSON-skriptegenskap |
---|---|---|---|---|
Datalagertype | Datalagertypen. | Ekstern | Ja | / |
Koble til ion | Tilkoblingen til måldatalageret. | <tilkoblingen> | Ja | Tilkobling |
Filbane | Mappe-/filbanen til målfilen. | < mappe-/filbane > | Ja | / |
Katalogen | Banen til mappen under den angitte samlingen. | <mappenavnet> | No | mappebane |
Filnavn | Filnavnet under den angitte samlings- og mappebanen. | <filnavnet ditt> | No | Filnavn |
Kopier virkemåte | Definerer kopieringsvirkemåten når kilden er filer fra et filbasert datalager. | • Flate ut hierarki • Slå sammen filer • Bevare hierarki |
No | copyBehavior: • FlattenHierarchy • MergeFiles • PreserveHierarchy |
Maksimalt antall samtidige tilkoblinger | Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. | <maks samtidige tilkoblinger> | No | maxConcurrent Koble til ions |
Maksimalt antall rader per fil | Når du skriver data inn i en mappe, kan du velge å skrive til flere filer og angi maksimalt antall rader per fil. Angi maksimalt antall rader du vil skrive per fil. | < maksimalt antall rader per fil > | No | maxRowsPerFile |