Konfigurace protokolu SFTP v aktivitě kopírování

Tento článek popisuje, jak pomocí aktivity kopírování v datovém kanálu kopírovat data z protokolu SFTP.

Podporovaný formát

SFTP podporuje následující formáty souborů. Informace o nastaveních založených na formátu najdete v jednotlivých článcích.

• Formát Avro
• Binární formát
• Formát textu s oddělovači
• Formát aplikace Excel
• Formát JSON
• Formát ORC
• Formát Parquet
• Formát XML

Podporovaná konfigurace

Konfigurace každé karty v aktivitě kopírování najdete v následujících částech.

• Obecné
• Source
• Cíl
• Mapování
• Settings

OBECNÉ

Informace o konfiguraci karty Obecné nastavení najdete v doprovodných materiálech k obecným nastavením.

Source

Přejděte na kartu Zdroj a nakonfigurujte zdroj aktivity kopírování. Podrobnou konfiguraci najdete v následujícím obsahu.

Jsou vyžadovány následující tři vlastnosti:

• Typ úložiště dat: Vyberte externí.

• Připojení ion: Ze seznamu připojení vyberte připojení SFTP. Pokud žádné připojení neexistuje, vytvořte nové připojení SFTP výběrem možnosti Nový.

• Typ cesty k souboru: Vyberte z cesty k souboru, cestu k souboru se zástupnými znaky a seznam souborů na základě způsobu, jakým chcete číst soubory.

  • Cesta k souboru: Pokud zvolíte tento typ, zadejte cestu ke zdrojovému souboru. Můžete vybrat možnost Procházet a vybrat zdrojové soubory nebo zadat cestu k souboru ručně.

  • Cesta k zástupné cestě k souboru: Pokud zvolíte tento typ, zadejte zástupné ikony pro filtrování zdrojových složek nebo souborů.

    Povolené zástupné znaky jsou * (odpovídají nule nebo více znakům) a ? (odpovídá nule nebo jednomu znaku). Slouží ^ k řídicímu znaku, pokud má název složky zástupný znak nebo tento řídicí znak uvnitř. Další příklady najdete v příkladech filtru složek a souborů.

    

    Cesta ke složce se zástupnými znaky: Zadejte cestu ke složce se zástupnými znaky pro filtrování zdrojových složek.

    Název souboru se zástupnými znaky: Zadejte název souboru se zástupnými znaky pod danou cestou ke složce nebo cestou ke složce se zástupnými znaky pro filtrování zdrojových souborů.

  • Seznam souborů: Pokud vyberete tento typ, zadejte cestu ke složce a cestu k seznamu souborů, které označují kopírování dané sady souborů. Přejděte na textový soubor, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek. Další příklady najdete v příkladech se seznamem souborů.

    • Cesta ke složce: Zadejte cestu ke zdrojové složce. Je to povinné.
      

    • Cesta k seznamu souborů: Zadejte cestu k textovému souboru, který obsahuje seznam souborů, které chcete kopírovat.

      

• Formát souboru: V rozevíracím seznamu vyberte formát souboru použitý. Vyberte Nastavení a nakonfigurujte formát souboru. Podrobné informace najdete v článku o nastavení různých formátů souborů v podporovaném formátu .

V části Upřesnit můžete zadat následující pole:

• Filtrovat podle poslední změny: Soubory se filtrují na základě data poslední změny, která jste zadali. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů.

  • Čas zahájení (UTC): Soubory se vyberou, pokud je jejich čas poslední změny větší nebo roven nakonfigurovanému času.
  • Čas ukončení (UTC): Soubory se vyberou, pokud je jejich čas poslední změny kratší než nakonfigurovaný čas.

  Pokud počáteční čas (UTC) má hodnotu datetime, ale koncový čas (UTC) má hodnotu NULL, znamená to, že budou vybrány soubory, jejichž atribut poslední změny je větší nebo roven hodnotě datetime. Pokud má koncový čas (UTC) hodnotu datetime, ale počáteční čas (UTC) má hodnotu NULL, znamená to, že soubory, jejichž atribut poslední změny je menší než hodnota datetime, budou vybrány. Vlastnosti mohou mít hodnotu NULL, což znamená, že na data se nepoužije žádný filtr atributů souboru.

• Zakázání bloků dat: Blok dat je navržený tak, aby optimalizoval výkon a provádí se pod ním. Tato možnost umožňuje zakázat bloky dat v rámci každého souboru. Při kopírování dat z SFTP se služba nejprve pokusí získat délku souboru, pak soubor rozdělí do více částí a přečte je paralelně. Určete, zda server SFTP podporuje získání délky souboru nebo hledání čtení z určitého posunu. Ve výchozím nastavení není vybraná.

• Povolit zjišťování oddílů: Určete, jestli chcete analyzovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce. Ve výchozím nastavení se nevybíná a nepodporuje se při použití binárního formátu souboru.

  • Kořenová cesta oddílu: Pokud je povolené zjišťování oddílů, zadejte absolutní kořenovou cestu, abyste mohli číst dělené složky jako datové sloupce.
    Pokud není ve výchozím nastavení zadán,

    • Při použití cesty k souboru nebo seznamu souborů ve zdroji je kořenová cesta oddílu cesta, kterou jste nakonfigurovali.
    • Pokud používáte filtr složek se zástupnými otazemi, je kořenová cesta oddílu pod cestou před prvním zástupným znakem.

    Předpokládejme například, že cestu nakonfigurujete takto root/folder/year=2020/month=08/day=27:

    • Pokud zadáte kořenovou cestu oddílu jako root/folder/year=2020, aktivita kopírování vygeneruje dva další sloupce měsíc a den s hodnotou "08" a "27" kromě sloupců uvnitř souborů.
    • Pokud není zadaná kořenová cesta oddílu, nevygeneruje se žádný sloupec navíc.

    

• Maximální počet souběžných připojení: Tato vlastnost označuje horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.

• Další sloupce: Přidejte další datové sloupce pro ukládání relativní cesty nebo statické hodnoty zdrojových souborů. U druhého výrazu se podporuje. Další informace najdete v tématu Přidání dalších sloupců během kopírování.

Cíl

Přejděte na kartu Cíl a nakonfigurujte cíl aktivity kopírování. Podrobnou konfiguraci najdete v následujícím obsahu.

• Typ úložiště dat: Vyberte externí.
• Připojení ion: Ze seznamu připojení vyberte připojení SFTP. Pokud žádné připojení neexistuje, vytvořte nové připojení SFTP výběrem možnosti Nový.
• Cesta k souboru: Zadejte cestu k souboru pro zápis dat do. Můžete vybrat možnost Procházet a vybrat zdrojové soubory nebo zadat cestu k souboru ručně.
• Formát souboru: V rozevíracím seznamu vyberte formát souboru použitý. Vyberte Nastavení a nakonfigurujte formát souboru. Podrobné informace najdete v článku o nastavení různých formátů souborů v podporovaném formátu .

V části Upřesnit můžete zadat následující pole:

• Chování kopírování: Určete chování kopírování, pokud je zdrojem soubory ze souborového úložiště dat. Vyberte z následujících vlastností.

  • Zploštěná hierarchie: Všechny soubory ze zdrojové složky jsou na první úrovni cílové složky. Cílové soubory mají automaticky vygenerované názvy.
  • Sloučit soubory: Sloučí všechny soubory ze zdrojové složky do jednoho souboru. Pokud je zadaný název souboru, je zadaným názvem sloučený soubor. V opačném případě se jedná o automaticky vygenerovaný název souboru.
  • Zachovat hierarchii (výchozí):: Zachová hierarchii souborů v cílové složce. Relativní cesta zdrojového souboru ke zdrojové složce je shodná s relativní cestou cílového souboru s cílovou složkou.
  • Přidat dynamický obsah: Tuto možnost vyberte, pokud chcete určit chování kopírování pomocí dynamického obsahu.

• Maximální počet souběžných připojení: Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.

• Časový limit operace (minuty):Zadejte časový limit pro zápis jednotlivých bloků dat na server SFTP. Výchozí hodnota je 60 minut.

• Nahrání s dočasným souborem: Určete, jestli se mají nahrát do dočasných souborů a přejmenovat je, nebo přímo zapisovat do cílové složky nebo umístění souboru. Ve výchozím nastavení se vybere a služba nejprve zapíše do dočasných souborů a po dokončení nahrávání je přejmenuje.

  Tato sekvence pomáhá (1) vyhnout se konfliktům, které můžou vést k poškození souboru, pokud máte jiné procesy zápisu do stejného souboru, a (2) zajistěte, aby během přenosu existovala původní verze souboru. Pokud server SFTP nepodporuje operaci přejmenování, zakažte tuto možnost a ujistěte se, že nemáte souběžný zápis do cílového souboru.

  Tip

  Pokud se při zápisu dat do SFTP zobrazí chyba UserErrorSftpPathNotFound, UserErrorSftpPermissionDenied nebo SftpOperationFail při zápisu dat do SFTP a uživatel SFTP, který používáte, má správná oprávnění, zkontrolujte, jestli operace přejmenování souboru serveru SFTP funguje. Pokud tomu tak není, zakažte možnost Nahrát s dočasným souborem a zkuste to znovu.

mapování.

Konfigurace karty Mapování naleznete v části Konfigurace mapování na kartě mapování. Pokud jako formát souboru zvolíte Binary, mapování se nepodporuje.

Nastavení

V případě konfigurace karty Nastavení přejděte na Konfigurovat další nastavení na kartě Nastavení.

Souhrn tabulky

Následující tabulka obsahuje další informace o aktivitě kopírování v protokolu SFTP.

Source

Název	Popis	Hodnota	Požaduje se	Vlastnost skriptu JSON
Typ úložiště dat	Váš typ úložiště dat.	Externí	Ano	/
Připojení	Připojení SFTP ke zdrojovému úložišti dat.	< připojení SFTP >	Ano	připojení
Typ cesty k souboru	Typ cesty k souboru sloužící k získání zdrojových dat.	• Cesta k souboru • Cesta k souboru se zástupným znakem • Seznam souborů	Ano	/
Cesta k souboru	Cesta ke zdrojovému souboru.	< cesta k souboru>	Ano	fileName folderPath
Zástupné cesty	Cesta se zástupným znakem ke zdrojovému souboru.	< cesta k souboru se zástupným znakem >	Ano pro název souboru se zástupným znakem	Zástupný znakFolderPath wildcardFileName
Cesta ke složce	Cesta ke zdrojové složce.	< cesta ke složce>	Ano	folderPath
Cesta k seznamu souborů	Označuje, že chcete zkopírovat danou sadu souborů. Přejděte na textový soubor, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek.	< Cesta k seznamu souborů >	No	fileListPath
Formát souboru	Formát souboru pro zdrojová data. Podrobné informace najdete v článcích v podporovaném formátu , kde najdete informace o různých formátech souborů.	/	Ano	/
Filtrovat podle poslední změny	Soubory s časem poslední změny v rozsahu [Počáteční čas, Koncový čas) se vyfiltrují pro další zpracování. Čas se použije u časového pásma UTC ve formátu yyyy-mm-ddThh:mm:ss.fffZ. Tyto vlastnosti lze přeskočit, což znamená, že se nepoužije žádný filtr atributů souboru. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů.	datetime	No	modifiedDatetimeStart modifiedDatetimeEnd
Zakázání bloků dat	Blok dat je navržený tak, aby optimalizoval výkon a provádí se pod ním. Tato možnost umožňuje zakázat bloky dat v rámci každého souboru. Při kopírování dat z SFTP se služba nejprve pokusí získat délku souboru, pak soubor rozdělí do více částí a přečte je paralelně. Určete, zda server SFTP podporuje získání délky souboru nebo hledání čtení z určitého posunu.	vybraná nebo nevybraná (výchozí)	No	disableChunking: true nebo false (výchozí)
Povolení zjišťování oddílů	Určuje, zda chcete analyzovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce.	vybraná nebo nevybraná (výchozí)	No	enablePartitionDiscovery: true nebo false (výchozí)
Kořenová cesta oddílu	Absolutní kořenová cesta oddílu pro čtení dělených složek jako datových sloupců. Určete ho, když je povolené zjišťování oddílů.	< Kořenová cesta oddílu >	No	partitionRootPath
Maximální počet souběžných připojení	Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.	< horní limit souběžných připojení > (celé číslo)	No	maxConcurrent Připojení ions
Další sloupce	Přidejte další datové sloupce pro ukládání relativní cesty ke zdrojovým souborům nebo statické hodnotě. U druhého výrazu se podporuje. Další informace najdete v tématu Přidání dalších sloupců během kopírování.	• Jméno •Hodnotu	No	additionalColumns: •Jméno •Hodnotu

Cíl

Název	Popis	Hodnota	Požaduje se	Vlastnost skriptu JSON
Typ úložiště dat	Váš typ úložiště dat.	Externí	Ano	/
Připojení	Vaše připojení ke zdrojovému protokolu SFTP.	< vaše připojení >	Ano	připojení
Cesta k souboru	Cesta k souboru cílových dat.	Cesta k souboru cíle	Ano	folderPath fileName
Formát souboru	Formát souboru pro zdrojová data. Podrobné informace najdete v článcích v podporovaném formátu , kde najdete informace o různých formátech souborů.	/	Ano	/
Chování kopírování	Definuje chování kopírování, pokud je zdrojem soubory ze souborového úložiště dat.	• Zploštěná hierarchie • Sloučit soubory • Zachovat hierarchii	No	copyBehavior: - FlattenHierarchy - MergeFiles - ZachovatHierarchy
Maximální počet souběžných připojení	Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.	< maximální počet souběžných připojení >	No	maxConcurrent Připojení ions
Časový limit operace (minuty)	Časový limit pro zápis jednotlivých bloků dat na server SFTP.	< vypršení časového limitu operace > Výchozí hodnota je 60.	No	operationTimeout
Nahrání pomocí dočasného souboru	Určuje, jestli se mají nahrát dočasné soubory a přejmenovat. Tuto možnost zakažte, pokud server SFTP nepodporuje operaci přejmenování.	vybraná (výchozí) nebo nevybraná	No	useTempFileRename: true (výchozí) nebo false

Související obsah

• Přehled konektoru SFTP