Konfigurer SFTP i en kopiaktivitet

I denne artikel beskrives det, hvordan du bruger kopiaktiviteten i datapipeline til at kopiere data fra SFTP.

Understøttet format

SFTP understøtter følgende filformater. Se hver artikel for at få formatbaserede indstillinger.

• Avro-format
• binært format
• afgrænset tekstformat
• Excel-format
• JSON-format
• ORC-format
• parquetformat
• XML-format

Understøttet konfiguration

Hvis du vil konfigurere hver fane under kopiaktivitet, skal du gå til henholdsvis følgende afsnit.

• Generelle
• Kilde
• destination
• tilknytning
• indstillinger

Generel

Se Generelle indstillinger for vejledning til at konfigurere fanen Generelle indstillinger for .

Kilde

Gå til fanen Kilde for at konfigurere din kopiaktivitetskilde. Se følgende indhold for at få den detaljerede konfiguration.

Følgende tre egenskaber er påkrævede:

• Datalagertype: Vælg eksterne.

• Forbindelse: Vælg en SFTP-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny SFTP-forbindelse ved at vælge Ny.

• Filstitype: Vælg mellem FilstiSti til jokertegn og Liste over filer baseret på den måde, du vil læse filer på.

  • Filsti: Hvis du vælger denne type, skal du angive stien til kildefilen. Du kan vælge Gennemse for at vælge kildefilerne eller angive filstien manuelt.

  • Sti til jokertegn: Hvis du vælger denne type, skal du angive de jokertegnstier, for at filtrere kildemapperne eller -filerne.

    Tilladte jokertegn er * (svarer til nul eller flere tegn) og ? (svarer til nul eller enkelt tegn). Brug ^ til at escape, hvis mappenavnet har et jokertegn eller dette escape-tegn i. Du kan få flere eksempler ved at gå til eksempler på mappe- og filfiltre.

    

    sti til mappen Med jokertegn: Angiv mappestien med jokertegn for at filtrere kildemapper.

    Filnavnet med jokertegn: Angiv filnavnet med jokertegn under den angivne mappesti/sti til jokertegn for at filtrere kildefiler.

  • Liste over filer: Hvis du vælger denne type, skal du angive stien til mappe og Sti til filliste, angiver, at et bestemt filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje. Du kan få flere eksempler ved at gå til Eksempler på fillister.

    • mappesti: Angiv stien til kildemappen. Det er påkrævet.
      

    • Sti til filliste: Angiv stien til den tekstfil, der indeholder en liste over filer, du vil kopiere.

      

• filformat: Vælg det anvendte filformat på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde flere oplysninger om indstillinger for forskellige filformater i artikler i Understøttet format.

Under Advancedkan du angive følgende felter:

• Filtrer efter senest ændrede: Filer filtreres på baggrund af de senest ændrede datoer, du har angivet. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.

  • Starttidspunkt (UTC): Filerne vælges, hvis deres seneste ændringstid er større end eller lig med det konfigurerede klokkeslæt.
  • Sluttidspunkt (UTC): Filerne vælges, hvis deres seneste ændringstid er mindre end det konfigurerede tidspunkt.

  Når UTC- har en datetime-værdi, men UTC- (End time) er NULL, betyder det, at de filer, hvis senest ændrede attribut er større end eller lig med datetime-værdien, er valgt. Når UTC- har en datetime-værdi, men UTC- (Start time) er NULL, betyder det, at de filer, hvis senest ændrede attribut er mindre end datetime-værdien, er valgt. Egenskaberne kan være NULL, hvilket betyder, at der ikke anvendes et filattributfilter på dataene.

• Deaktiver segmentering: Segmentering er designet til at optimere ydeevnen og sker nedenunder. Med denne indstilling kan du deaktivere segmentering i hver fil. Når du kopierer data fra SFTP, forsøger tjenesten først at hente fillængden og derefter opdele filen i flere dele og læse dem parallelt. Angiv, om SFTP-serveren understøtter hentning af fillængde eller forsøg på at læse fra en bestemt forskydning. Den er som standard ikke markeret.

• Aktivér registrering af partitioner: Angiv, om partitionerne skal fortolkes fra filstien, og tilføj dem som ekstra kildekolonner. Den er som standard ikke markeret og understøttes ikke, når du bruger binært filformat.

  • Rodsti til partition: Når registrering af partition er aktiveret, skal du angive den absolutte rodsti for at læse partitionerede mapper som datakolonner.
    Hvis den ikke er angivet som standard,

    • Når du bruger filstien eller listen over filer på kilden, er partitionsrodstien den sti, du har konfigureret.
    • Når du bruger jokertegnmappefilteret, er partitionsrodstien understien før det første jokertegn.

    Hvis du f.eks. konfigurerer stien som root/folder/year=2020/month=08/day=27:

    • Hvis du angiver partitionsrodstien som root/folder/year=2020, genererer kopiaktivitet to kolonner mere måned og dag med værdien "08" og "27" ud over kolonnerne i filerne.
    • Hvis der ikke er angivet en partitionsrodsti, oprettes der ingen ekstra kolonne.

    

• Maks. antal samtidige forbindelser: Denne egenskab angiver den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

• Yderligere kolonner: Tilføj ekstra datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. Du kan få flere oplysninger ved at gå til Tilføj ekstra kolonner under kopiering.

Destination

Gå til fanen Destination for at konfigurere din kopiaktivitetsdestination. Se følgende indhold for at få den detaljerede konfiguration.

• Datalagertype: Vælg eksterne.
• Forbindelse: Vælg en SFTP-forbindelse på forbindelseslisten. Hvis der ikke findes nogen forbindelse, skal du oprette en ny SFTP-forbindelse ved at vælge Ny.
• Filsti: Angiv den filsti, dataene skal skrives til. Du kan vælge Gennemse for at vælge kildefilerne eller angive filstien manuelt.
• filformat: Vælg det anvendte filformat på rullelisten. Vælg Indstillinger for at konfigurere filformatet. Du kan finde flere oplysninger om indstillinger for forskellige filformater i artikler i Understøttet format.

Under Advancedkan du angive følgende felter:

• funktionsmåden Kopiér: Angiv kopifunktionsmåden, når kilden er filer fra et filbaseret datalager. Vælg mellem følgende egenskaber.

  • Fladt hierarki: Alle filer fra kildemappen findes på det første niveau i destinationsmappen. Destinationsfilerne har automatisk genererede navne.
  • Flet filer: Fletter alle filer fra kildemappen til én fil. Hvis filnavnet er angivet, er det flettede filnavn det angivne navn. Ellers er det et automatisk genereret filnavn.
  • Bevar hierarki (standard): Bevarer filhierarkiet i destinationsmappen. Den relative sti til kildefilen til kildemappen er identisk med den relative sti for destinationsfilen til destinationsmappen.
  • Tilføj dynamisk indhold: Vælg dette for at angive funktionsmåden for kopiering ved hjælp af dynamisk indhold.

• Maks. antal samtidige forbindelser: Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.

• timeout for handling (minutter): Angiv timeout for skrivning af hvert afsnit til SFTP-serveren. Standardværdien er 60 minutter.

• Upload med midlertidig fil: Angiv, om du vil overføre til midlertidige filer og omdøbe dem, eller skriv direkte til destinationsmappen eller filplaceringen. Som standard er den valgt, og tjenesten skriver først til midlertidige filer og omdøber dem derefter, når overførslen er fuldført.

  Denne sekvens hjælper med at (1) undgå konflikter, der kan resultere i en beskadiget fil, hvis du har andre processer, der skriver til den samme fil, og (2) sikre, at den oprindelige version af filen findes under overførslen. Hvis din SFTP-server ikke understøtter en omdøbning, skal du deaktivere denne indstilling og sørge for, at du ikke har samtidig skriveadgang til destinationsfilen.

  Drikkepenge

  Hvis du får vist fejlmeddelelsen "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" eller "SftpOperationFail", når du skriver data til SFTP, og den SFTP-bruger, du bruger, har de korrekte tilladelser, skal du kontrollere, om omdøbningen af filen på SFTP-serveren fungerer. Hvis det ikke er muligt, skal du deaktivere indstillingen Upload med midlertidig fil og prøve igen.

Kortlægning

Du kan få Konfiguration af tilknytning fane i Konfigurer dine tilknytninger under fanen Tilknytning. Hvis du vælger Binær som filformat, understøttes tilknytning ikke.

Indstillinger

For Indstillinger fanekonfiguration skal du gå til Konfigurer dine andre indstillinger under fanen Indstillinger.

Tabeloversigt

Følgende tabel indeholder flere oplysninger om kopiaktiviteten i SFTP.

Kilde

Navn	Beskrivelse	Værdi	Kræves	JSON-scriptegenskab
Datalagertype	Datalagertypen.	eksterne	Ja	/
forbindelse	Din SFTP-forbindelse til kildedatalageret.	< din SFTP-forbindelse >	Ja	forbindelse
Filtype	Den filtype, der bruges til at hente kildedata.	• filstien • sti til fil med jokertegn • Liste over filer	Ja	/
Filsti	Stien til kildefilen.	< filsti>	Ja	Filnavn folderPath
jokertegnstier	Jokertegnstien til kildefilen.	< stien til jokertegnfilen >	Ja for filnavnet på jokertegn	jokertegnFolderPath jokertegnFileName
sti til mappe	Stien til kildemappen.	< mappestien>	Ja	folderPath
Sti til filliste	Angiver, at et givent filsæt skal kopieres. Peg på en tekstfil, der indeholder en liste over filer, du vil kopiere, én fil pr. linje.	sti til fillisten <>	Nej	fileListPath
filformat	Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttede format for at få detaljerede oplysninger.	/	Ja	/
Filtrer efter senest ændrede	Filerne med tidspunkt for seneste ændring i intervallet [Starttidspunkt, Sluttidspunkt) filtreres til yderligere behandling. Klokkeslættet anvendes på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ. Disse egenskaber kan springes over, hvilket betyder, at der ikke anvendes et filattributfilter. Denne egenskab gælder ikke, når du konfigurerer filtypen som Liste over filer.	datetime	Nej	modifiedDatetimeStart modifiedDatetimeEnd
Deaktiver segmentering	Segmentering er designet til at optimere ydeevnen og sker nedenunder. Med denne indstilling kan du deaktivere segmentering i hver fil. Når du kopierer data fra SFTP, forsøger tjenesten først at hente fillængden og derefter opdele filen i flere dele og læse dem parallelt. Angiv, om SFTP-serveren understøtter hentning af fillængde eller forsøg på at læse fra en bestemt forskydning.	markeret eller ikke markeret (standard)	Nej	disableChunking: true eller false (standard)
Aktivér registrering af partitioner	Angiver, om partitionerne fra filstien skal fortolkes og tilføjes som ekstra kildekolonner.	markeret eller ikke markeret (standard)	Nej	enablePartitionDiscovery: true eller false (standard)
rodsti til partition	Den absolutte partitionsrodsti for at læse partitionerede mapper som datakolonner. Angiv den, når partitionsregistrering er aktiveret.	< rodsti til partition >	Nej	partitionRootPath
Maks. antal samtidige forbindelser	Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.	< øvre grænse for samtidige forbindelser > (heltal)	Nej	maxConcurrentConnections
Yderligere kolonner	Tilføj ekstra datakolonner for at gemme kildefilernes relative sti eller statiske værdi. Udtrykket understøttes for sidstnævnte. Du kan få flere oplysninger ved at gå til Tilføj ekstra kolonner under kopiering	•Navn •Værdi	Nej	additionalColumns: •Navn •værdi

Destination

Navn	Beskrivelse	Værdi	Kræves	JSON-scriptegenskab
Datalagertype	Datalagertypen.	Ekstern	Ja	/
forbindelse	Din forbindelse til SFTP-kilden.	< forbindelsen >	Ja	forbindelse
Filsti	Filstien til dine destinationsdata.	Filstien til destinationen	Ja	folderPath Filnavn
filformat	Filformatet for kildedataene. Du kan finde flere oplysninger om forskellige filformater i artikler i Understøttede format for at få detaljerede oplysninger.	/	Ja	/
funktionsmåden Kopiér	Definerer funktionsmåden for kopiering, når kilden er filer fra et filbaseret datalager.	• Fladgør hierarki • Flet filer • Bevar hierarki	Nej	copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy
Maks. antal samtidige forbindelser	Den øvre grænse for samtidige forbindelser, der er oprettet til datalageret under aktivitetskørslen. Angiv kun en værdi, når du vil begrænse samtidige forbindelser.	< maksimale antal samtidige forbindelser >	Nej	maxConcurrentConnections
timeout for handling (minutter)	Timeout for skrivning af hvert afsnit til SFTP-server.	< handlingens timeout > Standardværdien er 60	Nej	operationTimeout
upload med temp-fil	Angiver, om midlertidige filer skal uploades og omdøbes. Deaktiver denne indstilling, hvis SFTP-serveren ikke understøtter omdøbning.	markeret (standard) eller ikke markeret	Nej	useTempFileRename: true (standard) eller false

Relateret indhold

• oversigt over SFTP-connector