SFTP:n määrittäminen kopiointitoiminnossa

Tässä artikkelissa kerrotaan, miten voit kopioida tietoja SFTP:stä tietoputken kopiointitoiminnon avulla.

Tuettu muoto

SFTP tukee seuraavia tiedostomuotoja. Lue kukin artikkeli, jos haluat muotopohjaiset asetukset.

• Avro-muoto
• Binaarimuoto
• Erotellun tekstin muoto
• Excel-muoto
• JSON-muoto
• ORC-muoto
• Parquet-muoto
• XML-muoto

Tuettu määritys

Jos haluat määrittää kunkin välilehden kopiointitoiminnon kohdassa, siirry seuraaviin osioihin.

• Yleiset
• Source
• Kohde
• Kartoitus
• Asetukset

Yleiset

Yleiset asetukset -välilehden määrittäminen on yleisissä asetuksissa.

Lähde

Siirry Lähde-välilehteen , jos haluat määrittää kopiointitoiminnon lähteen. Katso yksityiskohtaiset määritykset seuraavasta sisällöstä.

Seuraavat kolme ominaisuutta ovat pakollisia:

• Tietosäilön tyyppi: Valitse Ulkoinen.

• Näyttöyhteys: Valitse SFTP-yhteys yhteysluettelosta. Jos yhteyttä ei ole, luo uusi SFTP-yhteys valitsemalla Uusi.

• Tiedostopolun tyyppi: Valitse tiedostopolusta, yleismerkkitiedostopolusta ja tiedostoluettelosta sen perusteella, miten haluat lukea tiedostoja.

  • Tiedostopolku: Jos valitset tämän tyypin, määritä lähdetiedoston polku. Voit valita lähdetiedostot valitsemalla Selaa tai antaa tiedostopolun manuaalisesti.

  • Yleistiedostopolku: Jos valitset tämän tyypin, määritä Yleismerkit-polut lähdekansioiden tai tiedostojen suodattamiseksi.

    Sallitut yleismerkit ovat * (vastaa nollaa tai useampaa merkkiä) ja ? (vastaa nollaa tai yhtä merkkiä). Käytä ^ tätä tilana, jos kansion nimessä on yleismerkki tai tämä escape-merkki. Saat lisää esimerkkejä kansio- ja tiedostosuodatinesimerkeistä.

    

    Yleismerkkikansion polku: Määritä kansiopolku yleismerkeillä lähdekansioiden suodattamiseksi.

    Yleismerkkitiedoston nimi: Määritä tiedoston nimi yleismerkeillä kansiopolun tai yleismerkkikansion polussa lähdetiedostojen suodattamiseksi.

  • Tiedostoluettelo: Jos valitset tämän tyypin, määritä Kansiopolku ja Polku tiedostoon -luettelo , joka ilmaisee, että kopioit määritetyn tiedostojoukon. Osoita tekstitiedostoa, joka sisältää kopioitavien tiedostojen luettelon sekä yhden tiedoston per rivi. Lisää esimerkkejä on Tiedosto-luettelon esimerkeissä.

    • Kansiopolku: Määritä lähdekansion polku. Se on pakollinen.
      

    • Polku tiedostoluetteloon: Määritä sen tekstitiedoston polku, joka sisältää kopioitavien tiedostojen luettelon.

      

• Tiedostomuoto: Valitse avattavasta luettelosta käytetty tiedostomuoto. Määritä tiedostomuoto valitsemalla Asetukset. Jos haluat lisätietoja eri tiedostomuodoista, lue artikkelit, jotka ovat tuetussa muodossa .

Lisäasetukset-kohdassa voit määrittää seuraavat kentät:

• Suodata viimeisimmän muokkaukset mukaan: Tiedostot suodatetaan viimeksi määrittämiesi päivämäärien perusteella. Tämä ominaisuus ei päde, kun määrität tiedostopolun tyypiksi Tiedostoluettelo.

  • Alkamisaika (UTC): Tiedostot valitaan, jos niiden viimeisimmän muokkauksen aika on suurempi tai yhtä suuri kuin määritetty aika.
  • Päättymisaika (UTC): Tiedostot valitaan, jos niiden viimeisimmän muokkauksen aika on pienempi kuin määritetty aika.

  Kun aloitusajalla (UTC) on päivämäärä/aika-arvo, mutta päättymisaika (UTC) on NULL, se tarkoittaa, että tiedostot, joiden viimeisin määrite on suurempi tai yhtä suuri kuin datetime-arvo, valitaan. Kun päättymisajalla (UTC) on päivämäärä/aika-arvo, mutta alkamisaika (UTC) on NULL, se tarkoittaa, että tiedostot, joiden viimeisin määrite on pienempi kuin datetime-arvo, valitaan. Ominaisuudet voivat olla NULL-arvoja, mikä tarkoittaa, että tietoihin ei käytetä tiedostomääritesuodatinta.

• Poista lohkotus käytöstä: Lohkotus on suunniteltu optimoimaan suorituskyky ja tapahtuu alla. Tämän asetuksen avulla voit poistaa paloittelun käytöstä kussakin tiedostossa. Kun kopioit tietoja SFTP:stä, palvelu yrittää ensin hakea tiedoston pituuden, jakaa sitten tiedoston useisiin osiin ja lukea ne rinnakkain. Määritä, tukeeko SFTP-palvelimesi tiedoston pituuden hakemista vai lukimista tietystä siirtymästä. Oletusarvoisesti se ei ole valittuna.

• Ota osion etsiminen käyttöön: Määritä, jäsennetäänkö osiot tiedostopolusta ja lisätäänkö ne ylimääräisinä lähdesarakkeina. Oletusarvoisesti se ei ole valittuna, eikä sitä tueta, kun käytät binaaritiedostomuotoa.

  • Osion pääpolku: Kun osion etsintä on käytössä, määritä absoluuttinen pääpolku, jotta voit lukea osioidut kansiot tietosarakkeina.
    Jos sitä ei ole määritetty, oletusarvoisesti

    • Kun käytät lähteessä olevaa tiedostopolkua tai tiedostoluetteloa, osion pääpolku on määrittämäsi polku.
    • Kun käytät yleismerkkikansiosuodatinta, osion pääpolku on alipolku ennen ensimmäistä yleismerkkiä.

    Oletetaan esimerkiksi, että määrität polun seuraavasti root/folder/year=2020/month=08/day=27:

    • Jos määrität osion pääpolun arvoksi root/folder/year=2020, kopiointitoiminto luo tiedostojen sisältämien sarakkeiden lisäksi kaksi saraketta kuukauden ja päivän, joiden arvot ovat "08" ja "27".
    • Jos osion pääpolkua ei ole määritetty, lisäsaraketta ei luoda.

    

• Samanaikaisten yhteyksien enimmäismäärä: Tämä ominaisuus ilmaisee tietosäilöön vahvistettujen samanaikaisten yhteyksien ylärajan aktiviteetin suorittamisen aikana. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.

• Lisäsarakkeet: Lisää tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä. Lisätietoja on kohdassa Lisää sarakkeita kopioinnin aikana.

Kohde

Siirry Kohde-välilehteen ja määritä kopiointitoiminnon kohde. Katso yksityiskohtaiset määritykset seuraavasta sisällöstä.

• Tietosäilön tyyppi: Valitse Ulkoinen.
• Näyttöyhteys: Valitse SFTP-yhteys yhteysluettelosta. Jos yhteyttä ei ole, luo uusi SFTP-yhteys valitsemalla Uusi.
• Tiedostopolku: Määritä tiedostopolku, jolle tiedot kirjoitettavat. Voit valita lähdetiedostot valitsemalla Selaa tai antaa tiedostopolun manuaalisesti.
• Tiedostomuoto: Valitse avattavasta luettelosta käytetty tiedostomuoto. Määritä tiedostomuoto valitsemalla Asetukset. Jos haluat lisätietoja eri tiedostomuodoista, lue artikkelit, jotka ovat tuetussa muodossa .

Lisäasetukset-kohdassa voit määrittää seuraavat kentät:

• Kopiointitoiminta: Määritä kopion toiminta, kun lähde on tiedostopohjaisen tietosäilön tiedostot. Valitse seuraavista ominaisuuksista.

  • Tasoittaa hierarkia: Kaikki lähdekansion tiedostot ovat kohdekansion ensimmäisellä tasolla. Kohdetiedostoilla on automaattisesti luodut nimet.
  • Yhdistä tiedostot: Yhdistää kaikki lähdekansion tiedostot yhteen tiedostoon. Jos tiedostonimi on määritetty, yhdistetty tiedostonimi on määritetty nimi. Muussa tapauksessa se on automaattisesti muodostettu tiedostonimi.
  • Säilytä hierarkia (oletus): Säilyttää tiedostohierarkian kohdekansiossa. Lähdetiedoston suhteellinen polku lähdekansioon on sama kuin kohdetiedoston suhteellinen polku kohdekansioon.
  • Lisää dynaamista sisältöä: Valitse tämä, jos haluat määrittää kopioinnin toiminnan dynaamisen sisällön avulla.

• Samanaikaisten yhteyksien enimmäismäärä: Tietosäilöön vahvistettujen samanaikaisten yhteyksien yläraja aktiviteetin suorittamisen aikana. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.

• Toiminnon aikakatkaisu (minuuttia): Määritä aikakatkaisu jokaisen lohkon kirjoittamiselle SFTP-palvelimeen. Oletusarvo on 60 minuuttia.

• Palvelimeen lataaminen tilapäistiedoston avulla: Määritä, haluatko ladata väliaikaiseen tiedostoon ja nimetä ne uudelleen, vai kirjoittaa suoraan kohdekansioon tai tiedostosijaintiin. Oletusarvoisesti se on valittuna ja palvelu kirjoittaa ensin väliaikaisiin tiedostoihin ja nimeää ne sitten uudelleen, kun lataus on valmis.

  Tämä vaihe auttaa (1) välttämään ristiriidat, jotka saattavat johtaa vioittuneeseen tiedostoon, jos sinulla on muita prosesseja, jotka kirjoittavat samaan tiedostoon, ja (2) varmistamaan, että tiedoston alkuperäinen versio on olemassa siirron aikana. Jos SFTP-palvelin ei tue uudelleennimeämistä, poista tämä asetus käytöstä ja varmista, että sinulla ei ole samanaikaista kirjoitusta kohdetiedostoon.

  Vihje

  Jos saat virheilmoituksen "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" tai "SftpOperationFail", kun kirjoitat tietoja SFTP:hen, ja käyttämälläsi SFTP-käyttäjällä on oikeat käyttöoikeudet, tarkista, toimiiko SFTP-palvelimen tukitiedoston uudelleennimeämistoiminto. Jos se ei ole, poista Palvelimeen lataaminen tilapäistiedostolla -asetus käytöstä ja yritä uudelleen.

Yhdistämismääritys

Katso Yhdistämismääritykset-välilehden määritys kohdassa Yhdistämismääritysten määrittäminen -välilehti. Jos valitset tiedostomuodoksi Binary, yhdistämistä ei tueta.

Asetukset

Jos haluat Asetukset välilehden määrityksen, siirry asetukset-välilehden kohtaan Määritä muut asetukset.

Taulukon yhteenveto

Seuraavassa taulukossa on lisätietoja SFTP:n kopiointitoiminnosta.

Lähde

Name	Kuvaus	Arvo	Pakollinen	JSON-komentosarjaominaisuus
Tietosäilön tyyppi	Tietosäilön tyyppi.	Ulkoinen	Kyllä	/
Näyttöyhteys ion	SFTP-yhteytesi lähdetietosäilöön.	< SFTP-yhteytesi >	Kyllä	Yhteys
Tiedostopolun tyyppi	Lähdetietojen noutamiseen käytettävä tiedostopolkutyyppi.	• Tiedostopolku • Yleismerkkitiedostopolku • Tiedostoluettelo	Kyllä	/
Tiedostopolku	Lähdetiedoston polku.	< tiedostopolku>	Kyllä	Tiedostonimi folderPath
Yleismerkit-polut	Lähdetiedoston yleismerkkipolku.	< yleismerkkitiedoston polku >	Kyllä yleismerkkitiedoston nimelle	yleismerkkiFolderPath yleismerkkiTiedostonimi
Kansiopolku	Lähdekansion polku.	< kansiopolkusi>	Kyllä	folderPath
Tiedostoluettelon polku	Ilmaisee, kopioidaanko tietty tiedostojoukko. Osoita tekstitiedostoa, joka sisältää kopioitavien tiedostojen luettelon sekä yhden tiedoston per rivi.	< tiedostoluettelon polku >	En	fileListPath
Tiedostomuoto	Lähdetietojen tiedostomuoto. Jos haluat lisätietoja eri tiedostomuodoista, katso tarkempia tietoja artikkelista Tuettu muoto .	/	Kyllä	/
Suodata viimeisimmän muokkatun mukaan	Tiedostot, joiden viimeksi muokattu aika on alueella [Alkamisaika, Päättymisaika), suodatetaan jatkokäsittelyä varten. Aikaa käytetään UTC-aikavyöhykkeeseen muodossa yyyy-mm-ddThh:mm:ss.fffZ. Nämä ominaisuudet voidaan ohittaa, mikä tarkoittaa, että tiedostomääritesuodatinta ei käytetä. Tämä ominaisuus ei päde, kun määrität tiedostopolun tyypiksi Tiedostoluettelo.	datetime	En	modifiedDatetimeStart modifiedDatetimeEnd
Poista lohkotus käytöstä	Lohkotus on suunniteltu suorituskyvyn optimoinniksi, ja se tapahtuu alla. Tämän asetuksen avulla voit poistaa paloittelun käytöstä kussakin tiedostossa. Kun kopioit tietoja SFTP:stä, palvelu yrittää ensin hakea tiedoston pituuden, jakaa sitten tiedoston useisiin osiin ja lukea ne rinnakkain. Määritä, tukeeko SFTP-palvelimesi tiedoston pituuden hakemista vai lukimista tietystä siirtymästä.	valittuna tai valitsemattomana (oletus)	En	disableChunking: tosi tai epätosi (oletus)
Osion etsimisen ottaminen käyttöön	Ilmaisee, haluatko jäsentää osiot tiedostopolusta ja lisätä ne ylimääräisinä lähdesarakkeina.	valittuna tai valitsemattomana (oletus)	En	enablePartitionDiscovery: tosi tai epätosi (oletus)
Osion pääpolku	Absoluuttinen osion pääpolku, jotta osioituja kansioita voidaan lukea tietosarakkeina. Määritä se, kun osion etsintä on käytössä.	< osion pääpolku >	En	partitionRootPath
Samanaikaisten yhteyksien enimmäismäärä	Tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien yläraja. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.	< samanaikaisten yhteyksien yläraja > (kokonaisluku)	En	maxConcurrent Näyttöyhteys ions
Lisäsarakkeet	Lisää tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä. Jos haluat lisätietoja, siirry kohtaan Lisää sarakkeita kopioinnin aikana	• Nimi •Arvo	En	additionalColumns: •Nimi •Arvo

Kohde

Name	Kuvaus	Arvo	Pakollinen	JSON-komentosarjaominaisuus
Tietosäilön tyyppi	Tietosäilön tyyppi.	Ulkoinen	Kyllä	/
Näyttöyhteys ion	Yhteys lähteeseen SFTP.	< yhteytesi >	Kyllä	Yhteys
Tiedostopolku	Kohdetietojen tiedostopolku.	Kohdesijainnin tiedostopolku	Kyllä	folderPath Tiedostonimi
Tiedostomuoto	Lähdetietojen tiedostomuoto. Jos haluat lisätietoja eri tiedostomuodoista, katso tarkempia tietoja artikkelista Tuettu muoto .	/	Kyllä	/
Kopiointitoiminta	Määrittää kopioinnin toiminnan, kun lähde on tiedostopohjaisen tietosäilön tiedostot.	• Tasoittaa hierarkia • Tiedostojen yhdistäminen • Hierarkian säilyttäminen	En	copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy
Samanaikaisten yhteyksien enimmäismäärä	Tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien yläraja. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.	< samanaikaisten yhteyksien enimmäismäärä >	En	maxConcurrent Näyttöyhteys ions
Toiminnon aikakatkaisu (minuuttia)	Aikakatkaisu jokaisen lohkon kirjoittamiselle SFTP-palvelimeen.	< toiminnon aikakatkaisu > Oletusarvo on 60	En	operationTimeout
Palvelimeen lataaminen tilapäistiedoston avulla	Ilmaisee, ladataanko väliaikaiset tiedostot palvelimeen ja nimetäänkö ne uudelleen. Poista tämä asetus käytöstä, jos SFTP-palvelin ei tue uudelleennimeämistä.	valittuna (oletus) tai valitsemattomana	En	useTempFileRename: true (oletus) tai false

Liittyvä sisältö

• SFTP-liittimen yleiskatsaus