FTP:n määrittäminen kopiointitoiminnossa
Tässä artikkelissa kerrotaan, miten voit kopioida tietoja FTP:stä tietoputken kopiointitoiminnon avulla.
Tuettu muoto
FTP tukee seuraavia tiedostomuotoja. Lue kukin artikkeli, jos haluat muotopohjaiset asetukset.
- Avro-muoto
- Binaarimuoto
- Erotellun tekstin muoto
- Excel-muoto
- JSON-muoto
- ORC-muoto
- Parquet-muoto
- XML-muoto
Tuettu määritys
Jos haluat määrittää kunkin välilehden kopiointitoiminnon kohdassa, siirry seuraaviin osioihin.
Yleiset
Yleiset asetukset -välilehden määrittäminen on yleisissä asetuksissa.
Lähde
Siirry Lähde-välilehteen , jos haluat määrittää kopiointitoiminnon lähteen. Katso yksityiskohtaiset määritykset seuraavasta sisällöstä.
Seuraavat kolme ominaisuutta ovat pakollisia:
Tietosäilön tyyppi: Valitse Ulkoinen.
Näyttöyhteys ion: Valitse yhteysluettelosta FTP-yhteys. Jos yhteyttä ei ole, luo uusi FTP-yhteys valitsemalla Uusi.
Tiedostopolun tyyppi: Valitse tiedostopolusta, yleismerkkitiedostopolusta ja tiedostoluettelosta sen perusteella, miten haluat lukea tiedostoja.
Tiedostopolku: Jos valitset tämän tyypin, määritä lähdetiedoston polku. Voit valita lähdetiedostot valitsemalla Selaa tai antaa tiedostopolun manuaalisesti.
Yleistiedostopolku: Jos valitset tämän tyypin, määritä Yleismerkit-polut lähdekansioiden tai tiedostojen suodattamiseksi.
Sallitut yleismerkit ovat
*
(vastaa nollaa tai useampaa merkkiä) ja?
(vastaa nollaa tai yhtä merkkiä). Käytä^
tätä tilana, jos kansion nimessä on yleismerkki tai tämä escape-merkki. Saat lisää esimerkkejä kansio- ja tiedostosuodatinesimerkeistä.Yleismerkkikansion polku: Määritä kansiopolku yleismerkeillä lähdekansioiden suodattamiseksi.
Yleismerkkitiedoston nimi: Määritä tiedostonimi yleismerkeillä, jotka annetaan kansiopolku/ yleismerkkikansion polussa lähdetiedostojen suodattamiseksi.
Tiedostoluettelo: Jos valitset tämän tyypin, määritä Kansiopolku ja Polku tiedostoon -luettelo , joka ilmaisee, että kopioit määritetyn tiedostojoukon. Osoita tekstitiedostoa, joka sisältää kopioitavien tiedostojen luettelon sekä yhden tiedoston per rivi. Lisää esimerkkejä on Tiedosto-luettelon esimerkeissä.
Kansiopolku: Määritä lähdekansion polku. Se on pakollinen.
Polku tiedostoluetteloon: Määritä sen tekstitiedoston polku, joka sisältää kopioitavien tiedostojen luettelon.
Tiedostomuoto: Valitse avattavasta luettelosta käytetty tiedostomuoto. Määritä tiedostomuoto valitsemalla Asetukset. Jos haluat lisätietoja eri tiedostomuodoista, lue artikkelit, jotka ovat tuetussa muodossa .
Lisäasetukset-kohdassa voit määrittää seuraavat kentät:
Suodata viimeisimmän muokkaajan mukaan: Tiedostot suodatetaan viimeisimmän muokatun päivämäärän perusteella. Tämä ominaisuus ei päde, kun määrität tiedostopolun tyypiksi Tiedostoluettelo.
- Alkamisaika (UTC): Tiedostot valitaan, jos niiden viimeisimmän muokkauksen aika on suurempi tai yhtä suuri kuin määritetty aika.
- Päättymisaika (UTC): Tiedostot valitaan, jos niiden viimeisimmän muokkauksen aika on pienempi kuin määritetty aika.
Kun aloitusajalla (UTC) on päivämäärä/aika-arvo, mutta päättymisaika (UTC) on NULL, se tarkoittaa, että tiedostot, joiden viimeisin määrite on suurempi tai yhtä suuri kuin datetime-arvo, valitaan. Kun päättymisajalla (UTC) on päivämäärä/aika-arvo, mutta alkamisaika (UTC) on NULL, se tarkoittaa, että tiedostot, joiden viimeisin määrite on pienempi kuin datetime-arvo, valitaan. Ominaisuudet voivat olla NULL-arvoja, mikä tarkoittaa, että tietoihin ei käytetä tiedostomääritesuodatinta.
Poista lohkotus käytöstä: Lohkotus on suunniteltu optimoimaan suorituskyky ja tapahtuu alla. Tämän asetuksen avulla voit poistaa paloittelun käytöstä kussakin tiedostossa. Kun kopioit tietoja FTP:stä, palvelu yrittää ensin saada tiedoston pituuden, jakaa sitten tiedoston useisiin osiin ja lukea ne rinnakkain. Määritä, tukeeko FTP-palvelimesi tiedoston pituuden hakemista vai lukeeko se tietystä siirtymästä. Oletusarvoisesti se ei ole valittuna.
Ota osion etsiminen käyttöön: Määritä, jäsennetäänkö osiot tiedostopolusta ja lisätäänkö ne ylimääräisinä lähdesarakkeina. Oletusarvoisesti se ei ole valittuna, eikä sitä tueta, kun käytät binaaritiedostomuotoa.
Osion pääpolku: Kun osion etsintä on käytössä, määritä absoluuttinen pääpolku, jotta voit lukea osioidut kansiot tietosarakkeina.
Jos sitä ei ole määritetty, oletusarvoisesti- Kun käytät lähteessä olevaa tiedostopolkua tai tiedostoluetteloa, osion pääpolku on määrittämäsi polku.
- Kun käytät yleismerkkikansiosuodatinta, osion pääpolku on alipolku ennen ensimmäistä yleismerkkiä.
Oletetaan esimerkiksi, että määrität polun seuraavasti
root/folder/year=2020/month=08/day=27
:- Jos määrität osion pääpolun arvoksi
root/folder/year=2020
, kopiointitoiminto luo tiedostojen sisältämien sarakkeiden lisäksi kaksi saraketta kuukauden ja päivän, joiden arvot ovat "08" ja "27". - Jos osion pääpolkua ei ole määritetty, lisäsaraketta ei luoda.
Käytä binaarisiirtoa: Määritä, käytetäänkö binaarisiirtotilaa. Valitse se käyttääksesi binaaritilaa (oletus) tai poistaa sen valinnan käyttääksesi ASCII-lauseketta.
Samanaikaisten yhteyksien enimmäismäärä: Tämä ominaisuus ilmaisee tietosäilöön vahvistettujen samanaikaisten yhteyksien ylärajan aktiviteetin suorittamisen aikana. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä.
Lisäsarakkeet: Lisää tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä. Lisätietoja on kohdassa Lisää sarakkeita kopioinnin aikana.
Yhdistämismääritys
Katso Yhdistämismääritykset-välilehden määritys kohdassa Yhdistämismääritysten määrittäminen -välilehti. Jos valitset tiedostomuodoksi Binary, yhdistämistä ei tueta.
Asetukset
Jos haluat Asetukset välilehden määrityksen, siirry asetukset-välilehden kohtaan Määritä muut asetukset.
Taulukon yhteenveto
Seuraava taulukko sisältää lisätietoja kopiointitoiminnosta FTP:ssä.
Lähde
Name | Kuvaus | Arvo | Pakollinen | JSON-komentosarjaominaisuus |
---|---|---|---|---|
Tietosäilön tyyppi | Tietosäilön tyyppi. | Ulkoinen | Kyllä | / |
Näyttöyhteys ion | FTP-yhteytesi lähdetietosäilöön. | < FTP-yhteytesi > | Kyllä | Yhteys |
Tiedostopolun tyyppi | Lähdetietojen noutamiseen käytettävä tiedostopolkutyyppi. | • Tiedostopolku • Yleismerkkitiedostopolku • Tiedostoluettelo |
Kyllä | / |
Tiedostopolku | Lähdetiedoston polku. | < tiedostopolku> | Kyllä | Tiedostonimi kansiopolku |
Yleismerkit-polut | Lähdetiedoston yleismerkkipolku. | < yleismerkkitiedoston polku > | Kyllä yleismerkkitiedoston nimelle | yleismerkkiFolderPath yleismerkkiTiedostonimi |
Kansiopolku | Lähdekansion polku. | < yleinen kotikansion polku> | Kyllä | folderPath |
Tiedostoluettelon polku | Ilmaisee, kopioidaanko tietty tiedostojoukko. Osoita tekstitiedostoa, joka sisältää kopioitavien tiedostojen luettelon sekä yhden tiedoston per rivi. | < tiedostoluettelon polku > | En | fileListPath |
Tiedostomuoto | Lähdetietojen tiedostomuoto. Jos haluat lisätietoja eri tiedostomuodoista, katso tarkempia tietoja artikkelista Tuettu muoto . | / | Kyllä | / |
Suodata viimeisimmän muokkatun mukaan | Tiedostot, joiden viimeksi muokattu aika on alueella [Alkamisaika, Päättymisaika), suodatetaan jatkokäsittelyä varten. Aikaa käytetään UTC-aikavyöhykkeeseen muodossa yyyy-mm-ddThh:mm:ss.fffZ . Nämä ominaisuudet voidaan ohittaa, mikä tarkoittaa, että tiedostomääritesuodatinta ei käytetä. Tämä ominaisuus ei päde, kun määrität tiedostopolun tyypiksi Tiedostoluettelo. |
datetime | En | modifiedDatetimeStart modifiedDatetimeEnd |
Poista lohkotus käytöstä | Lohkotus on suunniteltu suorituskyvyn optimoinniksi, ja se tapahtuu alla. Tämän asetuksen avulla voit poistaa paloittelun käytöstä kussakin tiedostossa. Kun kopioit tietoja FTP:stä, palvelu yrittää ensin saada tiedoston pituuden, jakaa sitten tiedoston useisiin osiin ja lukea ne rinnakkain. Määritä, tukeeko FTP-palvelimesi tiedoston pituuden hakemista vai lukeeko se tietystä siirtymästä. | valittuna tai valitsemattomana (oletus) | En | disableChunking: tosi tai epätosi (oletus) |
Osion etsimisen ottaminen käyttöön | Ilmaisee, haluatko jäsentää osiot tiedostopolusta ja lisätä ne ylimääräisinä lähdesarakkeina. | valittuna tai valitsemattomana (oletus) | En | enablePartitionDiscovery: tosi tai epätosi (oletus) |
Osion pääpolku | Absoluuttinen osion pääpolku, jotta osioituja kansioita voidaan lukea tietosarakkeina. Määritä se, kun osion etsintä on käytössä. | < osion pääpolku > | En | partitionRootPath |
Binaarisen siirron käyttäminen | Ilmaisee, käytetäänkö binaarisiirtotilaa. Binaaritilan arvot ovat true (oletus) ja EPÄTOSI ASCII-funktiolle. | valittuna (oletus) tai valitsemattomana | En | useBinaryTransfer: true (oletus) tai false |
Samanaikaisten yhteyksien enimmäismäärä | Tietosäilöön aktiviteetin suorittamisen aikana määritettyjen samanaikaisten yhteyksien yläraja. Määritä arvo vain, jos haluat rajoittaa samanaikaisia yhteyksiä. | < samanaikaisten yhteyksien yläraja > (kokonaisluku) |
En | maxConcurrent Näyttöyhteys ions |
Lisäsarakkeet | Lisää tietosarakkeita lähdetiedostojen suhteellisen polun tai staattisen arvon tallentamiseksi. Lauseketta tuetaan jälkimmäisessä. Jos haluat lisätietoja, siirry kohtaan Lisää sarakkeita kopioinnin aikana | • Nimi •Arvo |
En | additionalColumns: •Nimi •Arvo |