SFTP:n määrittäminen kopiointitoiminnossa
Tässä artikkelissa kerrotaan, miten voit kopioida tietoja SFTP:stä tietoputken kopiointitoiminnon avulla.
Tuettu muoto
SFTP tukee seuraavia tiedostomuotoja. Lue kukin artikkeli, jos haluat muotopohjaiset asetukset.
- Avro -muoto
- binaarimuoto
- eroteltu tekstimuoto
- Excel -muotoilun
- JSON -muodon
- ORC-muodon
- Parquet-muoto
- XML-muoto
Tuettu määritys
Jos haluat määrittää kunkin välilehden kopiointitoiminnon kohdassa, siirry seuraaviin osioihin.
Yleiset
Katso Yleiset -asetukset -ohjeet, jotta voit määrittää Yleiset -asetukset -välilehden.
Lähde
Voit määrittää kopiointiaktiviteetin lähteen Source välilehdellä. Katso yksityiskohtaiset määritykset seuraavasta sisällöstä.
Seuraavat kolme ominaisuutta pakollisia:
Tietosäilön tyyppi: Valitse Ulkoinen.
Connection: Valitse SFTP-yhteys yhteysluettelosta. Jos yhteyttä ei ole, luo uusi SFTP-yhteys valitsemalla Uusi.
Tiedostopolkutyyppi: Valitse Tiedostopolku, Yleismerkki-tiedostopolku ja Luettelo tiedostoista tiedostojen lukutavan mukaan.
Tiedostopolku: Jos valitset tämän tyypin, määritä lähdetiedostopolkusi. Voit valita lähdetiedostot valitsemalla Selaa tai antaa tiedostopolun manuaalisesti.
Wild-tiedostopolku: Jos valitset tämän tyypin, määritä Yleismerkki-polut, joita lähdekansioiden tai tiedostojen suodattamiseen.
Sallitut yleismerkit ovat
*
(vastaa nollaa merkkiä tai useampia merkkejä) ja?
(vastaa nollaa tai yhtä merkkiä). käytä^
, jos kansion nimessä on yleismerkki tai tämä escape-merkki. Jos haluat lisää esimerkkejä, siirry kansio- ja tiedostosuodatinesimerkkien .Yleismerkki-kansiopolku: Määritä kansiopolku yleismerkeillä lähdekansioiden suodattamiseksi.
Yleismerkki-tiedostonimen: Määritä tiedostonimi yleismerkeillä annetun kansiopolun tai yleismerkkikansion polussa lähdetiedostojen suodattamiseksi.
tiedostoluettelo: Jos valitset tämän tyypin, määritä -kansiopolku ja Polku tiedostoon -luettelo, ilmaisee, että kopioit määritetyn tiedostojoukon. Osoita tekstitiedostoa, joka sisältää kopioitavien tiedostojen luettelon sekä yhden tiedoston per rivi. Lisää esimerkkejä on tiedostoluettelon esimerkeissä.
Kansiopolku: Määritä lähdekansiosi polku. Se on pakollista.
Polku tiedostoon -luettelo: Määritä sen tekstitiedoston polku, joka sisältää kopioitavien tiedostojen luettelon.
Tiedostomuoto: Valitse käytettävä tiedostomuoto avattavasta luettelosta. Määritä tiedostomuoto valitsemalla Asetukset. Jos haluat lisätietoja eri tiedostomuodoista, lue artikkelit kohdasta Tuettu muoto.
Lisäasetukset-voit määrittää seuraavat kentät:
Suodata viimeisimmän muokatunmukaan: Tiedostot suodatetaan viimeisen määrittämäsi muokatun päivämäärän perusteella. Tämä ominaisuus ei päde, kun määrität tiedostopolun tyypiksi Tiedostoluettelo.
- aloitusaika: Tiedostot valitaan, jos niiden viimeisin muokkausaika on suurempi tai yhtä suuri kuin määritetty aika.
- Päättymisaika (UTC) -: Tiedostot valitaan, jos niiden viimeisin muokkausaika on pienempi kuin määritetty aika.
Kun Aloitusaika (UTC) - on päivämäärä/aika-arvo, mutta päättymisaika (UTC) - on NULL, se tarkoittaa tiedostoja, joiden viimeksi muokattu määrite on suurempi tai yhtä suuri kuin datetime-arvo valitaan. Kun päättymisaika (UTC) - on päivämäärä/aika-arvo, mutta aloitusaika (UTC) - on NULL, se tarkoittaa tiedostoja, joiden viimeksi muokattu määrite on pienempi kuin datetime-arvo on valittuna. Ominaisuudet voivat olla NULL-arvoja, mikä tarkoittaa, että tietoihin ei käytetä tiedostomääritesuodatinta.
Poista lohkotus käytöstä: Lohkotus on suunniteltu suorituskyvyn optimoinniksi, ja se tapahtuu alla. Tämän asetuksen avulla voit poistaa paloittelun käytöstä kussakin tiedostossa. Kun kopioit tietoja SFTP:stä, palvelu yrittää ensin hakea tiedoston pituuden, jakaa sitten tiedoston useisiin osiin ja lukea ne rinnakkain. Määritä, tukeeko SFTP-palvelimesi tiedoston pituuden hakemista vai lukimista tietystä siirtymästä. Oletusarvoisesti se ei ole valittuna.
Ota osion etsintä käyttöön -: Määritä, jäsennetäänkö osiot tiedostopolusta ja lisätäänkö ne ylimääräisinä lähdesarakkeina. Oletusarvoisesti se ei ole valittuna, eikä sitä tueta, kun käytät binaaritiedostomuotoa.
Osion pääpolku -: Kun osion etsintä on käytössä, määritä absoluuttinen pääpolku, jotta voit lukea osioidut kansiot tietosarakkeina.
Jos sitä ei ole määritetty oletusarvoisesti,- Kun käytät lähteessä olevaa tiedostopolkua tai tiedostoluetteloa, osion pääpolku on määrittämäsi polku.
- Kun käytät yleismerkkikansiosuodatinta, osion pääpolku on alipolku ennen ensimmäistä yleismerkkiä.
Oletetaan esimerkiksi, että määrität polun muotoon
root/folder/year=2020/month=08/day=27
:- Jos määrität osion pääpolun
root/folder/year=2020
, kopiointitoiminto luo kaksi muuta saraketta kuukausi ja päivä arvoilla "08" ja "27" tiedostojen sisältämien sarakkeiden lisäksi. - Jos osion pääpolkua ei ole määritetty, lisäsaraketta ei luoda.
Samanaikaisten yhteyksien enimmäismäärä: Tämä ominaisuus ilmaisee tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien ylärajan. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.
Lisäsarakkeet-: Lisää ylimääräisiä tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä. Jos haluat lisätietoja, siirry kohtaan Lisää ylimääräisiä sarakkeita kopioinnin.
Kohde
Siirry Kohde -välilehteen ja määritä kopiointiaktiviteetin kohde. Katso yksityiskohtaiset määritykset seuraavasta sisällöstä.
- Tietosäilön tyyppi: Valitse Ulkoinen.
- Connection: Valitse SFTP-yhteys yhteysluettelosta. Jos yhteyttä ei ole, luo uusi SFTP-yhteys valitsemalla Uusi.
- tiedostopolku: Määritä tiedostopolku, jolle tiedot kirjoitettavat. Voit valita lähdetiedostot valitsemalla Selaa tai antaa tiedostopolun manuaalisesti.
- Tiedostomuoto: Valitse käytettävä tiedostomuoto avattavasta luettelosta. Määritä tiedostomuoto valitsemalla Asetukset. Jos haluat lisätietoja eri tiedostomuodoista, lue artikkelit kohdasta Tuettu muoto.
Lisäasetukset-voit määrittää seuraavat kentät:
Kopiointitoiminto -: Määritä kopiointitoiminto, kun lähde on tiedostopohjaisen tietosäilön tiedostot. Valitse seuraavista ominaisuuksista.
- Tasoitta hierarkia -: Kaikki lähdekansion tiedostot ovat kohdekansion ensimmäisellä tasolla. Kohdetiedostoilla on automaattisesti luodut nimet.
- Yhdistä tiedostot: Yhdistää kaikki lähdekansion tiedostot yhteen tiedostoon. Jos tiedostonimi on määritetty, yhdistetty tiedostonimi on määritetty nimi. Muussa tapauksessa kyseessä on automaattisesti muodostettu tiedostonimi.
- Säilytä hierarkia (oletus) -: Säilyttää tiedostohierarkian kohdekansiossa. Lähdetiedoston suhteellinen polku lähdekansioon on sama kuin kohdetiedoston suhteellinen polku kohdekansioon.
- Lisää dynaamista sisältöä: Valitse tämä määrittääksesi kopioinnin toiminnan dynaamisen sisällön avulla.
Samanaikaisten yhteyksien enimmäismäärä: Tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien yläraja. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.
Toiminnon aikakatkaisu (minuutteina) -: Määritä aikakatkaisu jokaisen lohkon kirjoittamiseksi SFTP-palvelimeen. Oletusarvo on 60 minuuttia.
Lataa väliaikaisella tiedostolla: Määritä, ladataanko väliaikaiset tiedostot väliaikaiseen tiedostoon ja nimetäänkö ne uudelleen vai kirjoitaanko ne suoraan kohdekansioon tai tiedostosijaintiin. Oletusarvoisesti se on valittuna, ja palvelu kirjoittaa ensin väliaikaisiin tiedostoihin ja nimeää ne sitten uudelleen, kun lataus on valmis.
Tämä vaihe auttaa (1) välttämään ristiriidat, jotka saattavat johtaa vioittuneeseen tiedostoon, jos sinulla on muita prosesseja, jotka kirjoittavat samaan tiedostoon, ja (2) varmistamaan, että tiedoston alkuperäinen versio on olemassa siirron aikana. Jos SFTP-palvelin ei tue uudelleennimeämistä, poista tämä asetus käytöstä ja varmista, että sinulla ei ole samanaikaista kirjoitusta kohdetiedostoon.
Juomaraha
Jos saat virheilmoituksen "UserErrorSftpPathNotFound", "UserErrorSftpPermissionDenied" tai "SftpOperationFail", kun kirjoitat tietoja SFTP:hen, ja käyttämälläsi SFTP-käyttäjällä on oikeat käyttöoikeudet, tarkista, toimiiko SFTP-palvelimen tukitiedoston uudelleennimeämistoiminto. Jos se ei ole, poista käytöstä Lataa tilapäistiedostolla -vaihtoehto ja yritä uudelleen.
Kuvaus
Katso -yhdistämismääritykset -välilehden määritykset artikkelista Yhdistämismääritysten määrittäminen -välilehti. Jos valitset tiedostomuodoksi Binary, yhdistämistä ei tueta.
Asetukset
asetusten välilehden määrityksessä siirry kohtaan Muiden asetusten määrittäminen Asetukset-välilehdessä.
Taulukon yhteenveto
Seuraavassa taulukossa on lisätietoja SFTP:n kopiointitoiminnosta.
Lähde
Nimi | Kuvaus | Arvo | Pakollinen | JSON-komentosarjaominaisuus |
---|---|---|---|---|
Tietosäilön tyyppi | Tietosäilön tyyppi. | External | Kyllä | / |
Connection | SFTP-yhteytesi lähdetietosäilöön. | SFTP-yhteytesi >< | Kyllä | yhteys |
Tiedostopolkutyyppi | Lähdetietojen noutamiseen käytettävä tiedostopolkutyyppi. | • Tiedostopolku • Yleismerkki-tiedostopolku • luettelo tiedostoista |
Kyllä | / |
Tiedostopolku - | Lähdetiedoston polku. | < tiedostopolun> | Kyllä | tiedostonimi folderPath |
Yleismerkki-polut | Lähdetiedoston yleismerkkipolku. | yleismerkkitiedostopolun <> | Kyllä yleismerkkitiedostonimen | yleismerkkiFolderPath yleismerkkiTiedostonimi |
Kansiopolku - | Lähdekansion polku. | < kansiopolkusi> | Kyllä | folderPath |
Polku tiedostoluetteloon - | Ilmaisee, kopioidaanko tietty tiedostojoukko. Osoita tekstitiedostoa, joka sisältää kopioitavien tiedostojen luettelon sekä yhden tiedoston per rivi. | < tiedostoluettelopolun > | Ei | fileListPath |
tiedostomuodon | Lähdetietojen tiedostomuoto. Jos haluat lisätietoja eri tiedostomuodoista, lue lisätietoja artikkelista Tuettu muoto. | / | Kyllä | / |
Suodata viimeisimmän muokatun mukaan | Tiedostot, joiden ajankohtaa on viimeksi muokattu [Alkamisaika, Päättymisaika) suodatetaan jatkokäsittelyä varten. Aika käytetään UTC-aikavyöhykkeeseen yyyy-mm-ddThh:mm:ss.fffZ muodossa . Nämä ominaisuudet voidaan ohittaa, mikä tarkoittaa, että tiedostomääritesuodatinta ei käytetä. Tämä ominaisuus ei päde, kun määrität tiedostopolun tyypiksi Tiedostoluettelo. |
päivämäärä ja aika | Ei | modifiedDatetimeStart modifiedDatetimeEnd |
Poista lohkotus käytöstä | Lohkotus on suunniteltu suorituskyvyn optimoinniksi, ja se tapahtuu alla. Tämän asetuksen avulla voit poistaa paloittelun käytöstä kussakin tiedostossa. Kun kopioit tietoja SFTP:stä, palvelu yrittää ensin hakea tiedoston pituuden, jakaa sitten tiedoston useisiin osiin ja lukea ne rinnakkain. Määritä, tukeeko SFTP-palvelimesi tiedoston pituuden hakemista vai lukimista tietystä siirtymästä. | valittuna tai valitsemattomana (oletus) | Ei | disableChunking: tosi tai epätosi (oletus) |
Osion löytämisen | Ilmaisee, jäsennäänkö osiot tiedostopolusta ja lisätäänkö ne ylimääräisinä lähdesarakkeina. | valittuna tai valitsemattomana (oletus) | Ei | enablePartitionDiscovery: tosi tai epätosi (oletus) |
osion pääpolku | Absoluuttinen osion pääpolku, jotta osioituja kansioita voidaan lukea tietosarakkeina. Määritä se, kun osion etsintä on käytössä. | < osion pääpolkua > | Ei | partitionRootPath |
samanaikaisten yhteyksien enimmäismäärä | Tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien yläraja. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä. |
< samanaikaisten yhteyksien > yläraja (kokonaisluku) |
Ei | maxConcurrentConnections |
Lisää sarakkeita - | Lisää ylimääräisiä tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä. Jos haluat lisätietoja, siirry kohtaan Lisää ylimääräisiä sarakkeita kopioinnin | •Nimi •Arvo |
Ei | additionalColumns: •Nimi •arvo |
Kohde
Nimi | Kuvaus | Arvo | Pakollinen | JSON-komentosarjaominaisuus |
---|---|---|---|---|
Tietosäilön tyyppi | Tietosäilön tyyppi. | Ulkoinen | Kyllä | / |
Connection | Yhteys lähteeseen SFTP. | < yhteytesi > | Kyllä | yhteys |
Tiedostopolku - | Kohdetietojen tiedostopolku. | Kohdesijainnin tiedostopolku | Kyllä | folderPath tiedostonimi |
tiedostomuodon | Lähdetietojen tiedostomuoto. Jos haluat lisätietoja eri tiedostomuodoista, lue lisätietoja artikkelista Tuettu muoto. | / | Kyllä | / |
Kopiointitoiminta - | Määrittää kopioinnin toiminnan, kun lähde on tiedostopohjaisen tietosäilön tiedostot. | • Tasoittaa hierarkia • Tiedostojen yhdistäminen • Hierarkian säilyttäminen |
Ei | copyBehavior: - FlattenHierarchy - MergeFiles - PreserveHierarchy |
samanaikaisten yhteyksien enimmäismäärä | Tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien yläraja. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä. | samanaikaisten yhteyksien <> | Ei | maxConcurrentConnections |
Toiminnon aikakatkaisu (minuuttia) - | Aikakatkaisu jokaisen lohkon kirjoittamiselle SFTP-palvelimeen. |
< toiminnon aikakatkaisun > Oletusarvo on 60 |
Ei | operationTimeout |
Lataa tilapäistiedoston avulla | Ilmaisee, ladataanko väliaikaiset tiedostot palveluun ja nimetäänkö ne uudelleen. Poista tämä asetus käytöstä, jos SFTP-palvelin ei tue uudelleennimeämistä. | valittuna (oletus) tai valitsemattomana | Ei | useTempFileRename: true (oletus) tai false |