Del via

Konfigurere FTP i en kopiaktivitet

  • Artikkel

Denne artikkelen beskriver hvordan du bruker kopieringsaktiviteten i datasamlebåndet til å kopiere data fra FTP.

Støttet format

FTP støtter følgende filformater. Se hver artikkel for formatbaserte innstillinger.

Støttet konfigurasjon

Hvis du vil ha konfigurasjonen av hver fane under kopieringsaktivitet, kan du gå til følgende inndelinger.

Generelt

Se veiledningen for generelle innstillinger for å konfigurere fanen Generelle innstillinger.

Source

Gå til Kilde-fanen for å konfigurere kopiaktivitetskilden. Se følgende innhold for detaljert konfigurasjon.

Screenshot showing source tab and the list of properties.

Følgende tre egenskaper kreves:

  • Datalagertype: Velg ekstern.

  • Koble til ion: Velg en FTP-tilkobling fra tilkoblingslisten. Hvis det ikke finnes noen tilkobling, oppretter du en ny FTP-tilkobling ved å velge Ny.

  • Filtype: Velg fra Filbane, Jokertegn-filbane og Liste over filer basert på måten du vil lese filer på.

    • Filbane: Hvis du velger denne typen, angir du kildefilbanen. Du kan velge Bla gjennom for å velge kildefilene eller angi filbanen manuelt.

    • Vill filbane: Hvis du velger denne typen, angir du jokertegnbanene for å filtrere kildemappene eller -filene.

      Tillatte jokertegn er (samsvarer * med null eller flere tegn) og ? (samsvarer med null eller enkelttegn). Brukes ^ til å unnslippe hvis mappenavnet har et jokertegn eller dette escape-tegnet inni. Hvis du vil ha flere eksempler, kan du gå til eksempler på mappe- og filfilter.

      Screenshot showing wildcard file path.

      Jokertegnmappebane: Angi mappebanen med jokertegn for å filtrere kildemapper.

      Jokertegnfilnavn: Angi filnavnet med jokertegn under den angitte mappebanen iPath/jokertegn for å filtrere kildefiler.

    • Liste over filer: Hvis du velger denne typen, angir du mappebanen og Bane til fil-listen for å angi å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje. Hvis du vil ha flere eksempler, kan du gå til Eksempler på filliste.

      Mappebane: Angi banen til kildemappen. Det kreves.
      Bane til filliste: Angi banen til tekstfilen som inneholder en liste over filer du vil kopiere.

      Screenshot showing list of files.

  • Filformat: Velg filformatet som brukes fra rullegardinlisten. Velg Innstillinger for å konfigurere filformatet. Hvis du vil ha innstillinger for ulike filformater, kan du se artikler i støttet format for detaljert informasjon.

Under Avansert kan du angi følgende felt:

  • Filtrer etter sist endret: Filer filtreres basert på de siste endrede datoene. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer.

    • Starttidspunkt (UTC): Filene velges hvis den siste endrede tiden er større enn eller lik det konfigurerte tidspunktet.
    • Sluttidspunkt (UTC): Filene velges hvis siste endringstidspunkt er mindre enn det konfigurerte tidspunktet.

    Når Starttidspunkt (UTC) har datetime-verdi, men sluttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er større enn eller lik datetime-verdien, velges. Når sluttidspunkt (UTC) har datetime-verdi, men Starttidspunkt (UTC) er NULL, betyr det at filene som sist endret attributtet er mindre enn datetime-verdien, blir valgt. Egenskapene kan være NULL, noe som betyr at ingen filattributtfilter vil bli brukt på dataene.

  • Deaktiver deling: Delingen er utformet for å optimalisere ytelsen og skjer under. Med dette alternativet kan du deaktivere deling i hver fil. Når du kopierer data fra FTP, prøver tjenesten å hente fillengden først, og deretter dele filen inn i flere deler og lese dem parallelt. Angi om FTP-serveren støtter å få fillengde eller søker å lese fra en bestemt forskyvning. Det er ikke valgt som standard.

  • Aktiver partisjonsgjenkjenning: Angi om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. Det er ikke merket av som standard og støttes ikke når du bruker binært filformat.

    • Partisjonsrotbane: Når partisjonsgjenkjenning er aktivert, angir du den absolutte rotbanen for å lese partisjonerte mapper som datakolonner.
      Hvis det ikke er angitt, som standard,

      • Når du bruker filbanen eller listen over filer på kilden, er partisjonsrotbanen banen du konfigurerte.
      • Når du bruker jokertegnmappefilter, er partisjonsrotbanen underbanen før det første jokertegnet.

      Hvis du for eksempel konfigurerer banen som root/folder/year=2020/month=08/day=27:

      • Hvis du angir partisjonsrotbane som root/folder/year=2020, vil kopieringsaktivitet generere to kolonner måned og dag med henholdsvis verdien 08 og 27, i tillegg til kolonnene i filene.
      • Hvis partisjonsrotbanen ikke er angitt, genereres ingen ekstra kolonne.

      Screenshot showing partition discovery.

  • Bruk binæroverføring: Angi om du vil bruke binæroverføringsmodus. Velg den for å bruke binærmodus (standard), eller fjern merkingen for å bruke ASCII.

  • Maksimalt antall samtidige tilkoblinger: Denne egenskapen angir den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger.

  • Flere kolonner: Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte. Hvis du vil ha mer informasjon, kan du gå til Legg til flere kolonner under kopieringen.

Tilordning

Se Konfigurere tilordninger under tilordningsfanen for fanen Tilordning. Hvis du velger Binær som filformat, støttes ikke tilordning.

Innstillinger

Hvis du vil ha Innstillinger fanekonfigurasjon, kan du gå til Konfigurer de andre innstillingene under innstillinger-fanen.

Tabellsammendrag

Tabellen nedenfor inneholder mer informasjon om kopieringsaktiviteten i FTP.

Source

Name Beskrivelse Verdi Kreves JSON-skriptegenskap
Datalagertype Datalagertypen. Ekstern Ja /
Koble til ion FTP-tilkoblingen til kildedatalageret. < FTP-tilkoblingen > Ja Tilkobling
Filtype Filtypen som brukes til å hente kildedata. • Filbane
• Jokertegnfilbane
• Liste over filer		 Ja /
Filbane Banen til kildefilen. < filbane> Ja Filnavn
mappebane
Jokertegnbaner Jokertegnbanen til kildefilen. < jokertegnfilbanen > Ja for jokertegnfilnavn wildcardFolderPath
wildcardFileName
Mappebane Banen til kildemappen. < vanlig startmappebane> Ja folderPath
Bane til filliste Angir å kopiere et gitt filsett. Pek på en tekstfil som inneholder en liste over filer du vil kopiere, én fil per linje. < fillistebane > No fileListPath
Filformat Filformatet for kildedataene. Hvis du vil ha informasjon om ulike filformater, kan du se artikler i støttet format for detaljert informasjon. / Ja /
Filtrer etter sist endret Filene med siste endringstidspunkt i området [Starttidspunkt, Sluttidspunkt) filtreres for videre behandling. Tiden brukes på UTC-tidssone i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskapene kan hoppes over, noe som betyr at ingen filattributtfilter vil bli brukt. Denne egenskapen gjelder ikke når du konfigurerer filtypen som liste over filer. datetime No modifiedDatetimeStart
modifiedDatetimeEnd
Deaktiver deling Delingen er utformet for å optimalisere ytelsen og skjer under. Med dette alternativet kan du deaktivere deling i hver fil. Når du kopierer data fra FTP, prøver tjenesten å hente fillengden først, og deretter dele filen inn i flere deler og lese dem parallelt. Angi om FTP-serveren støtter å få fillengde eller søker å lese fra en bestemt forskyvning. merket eller umerket (standard) No disableChunking:
sann eller usann (standard)
Aktiver partisjonsoppdagelse Angir om du vil analysere partisjonene fra filbanen og legge dem til som flere kildekolonner. merket eller umerket (standard) No enablePartitionDiscovery:
sann eller usann (standard)
Partisjonsrotbane Den absolutte partisjonsrotbanen for å kunne lese partisjonerte mapper som datakolonner. Angi den når partisjonsgjenkjenning er aktivert. < partisjonsrotbane > No partitionRootPath
Bruk binæroverføring Angir om du vil bruke binæroverføringsmodus. Verdiene er sanne for binærmodus (standard) og usann for ASCII. valgt (standard) eller umerket No useBinaryTransfer:
sann (standard) eller usann
Maksimalt antall samtidige tilkoblinger Den øvre grensen for samtidige tilkoblinger som ble opprettet i datalageret under aktivitetskjøringen. Angi en verdi bare når du vil begrense samtidige tilkoblinger. < øvre grense for samtidige tilkoblinger >
(heltall)		 No maxConcurrent Koble til ions
Flere kolonner Legg til flere datakolonner for å lagre kildefilens relative bane eller statiske verdi. Uttrykket støttes for sistnevnte. Hvis du vil ha mer informasjon, kan du gå til Legg til flere kolonner under kopi • Navn
•Verdi		 No additionalColumns:
•navn
•Verdi

Relatert innhold