Konfigurace služby Azure Files v aktivitě kopírování
Tento článek popisuje, jak pomocí aktivity kopírování v datovém kanálu kopírovat data z a do služby Azure Files.
Podporovaný formát
Azure Files podporuje následující formáty souborů. Informace o nastaveních založených na formátu najdete v jednotlivých článcích.
- Formát Avro
- Binární formát
- Formát textu s oddělovači
- Formát aplikace Excel
- Formát JSON
- Formát ORC
- Formát Parquet
- Formát XML
Podporovaná konfigurace
Konfigurace každé karty v aktivitě kopírování najdete v následujících částech.
OBECNÉ
Informace o konfiguraci karty Obecné nastavení najdete v doprovodných materiálech k obecným nastavením.
Zdroj
Následující vlastnosti jsou podporovány pro Soubory Azure na kartě Zdroj aktivity kopírování.
Jsou vyžadovány následující vlastnosti:
Typ úložiště dat: Vyberte externí.
Připojení: Ze seznamu připojení vyberte připojení služby Azure Files. Pokud žádné připojení neexistuje, vytvořte nové připojení služby Azure Files výběrem možnosti Nový.
Typ cesty k souboru: Jako typ cesty k souboru můžete zvolit cestu k souboru, předponu, cestu k souboru se zástupnými čísly, seznam souborů . Konfigurace každého nastavení je:
Cesta k souboru: Pokud zvolíte tento typ, dají se data zkopírovat ze zadané cesty ke složce nebo souboru.
Předpona: Předpona názvu souboru pod zadanou sdílenou složkou pro filtrování zdrojových souborů. Jsou vybrány soubory s názvem začínajícím na
fileshare_in_connection/this_prefix
. Využívá filtr na straně služby pro službu Azure Files, který poskytuje lepší výkon než filtr se zástupnými cardy.Cesta k souboru se zástupnými znaky: Zadejte složku nebo cestu k souboru se zástupnými znaky pro filtrování zdrojových složek nebo souborů.
Povolené zástupné znaky jsou
*
(odpovídají nule nebo více znakům) a?
(odpovídá nule nebo jednomu znaku). Slouží^
k řídicímu znaku, pokud má název složky zástupný znak nebo tento řídicí znak uvnitř. Další příklady najdete v příkladech filtru složek a souborů.Cesta ke složce se zástupnými znaky: Zadejte cestu ke složce se zástupnými znaky pro filtrování zdrojových složek.
Název souboru se zástupnými znaky: Zadejte název souboru se zástupnými znaky pod nakonfigurovanou cestou ke složce nebo zástupné znaky pro filtrování zdrojových souborů.
Seznam souborů: Označuje daný soubor nastavený na kopírování. V části Cesta k seznamu souborů zadejte nebo přejděte k textovému souboru, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek, což je relativní cesta k jednotlivým souborům.
Pokud používáte tuto možnost, nezadávejte název souboru. Další příklady najdete v příkladech se seznamem souborů.
Cesta ke složce: Zadejte cestu ke složce. Je to povinné.
Cesta k seznamu souborů: Zadejte cestu k textovému souboru, který obsahuje seznam souborů, které chcete kopírovat.
Rekurzivně: Určete, zda se data čtou rekurzivně z podsložek nebo pouze ze zadané složky. Všimněte si, že když je vybrána rekurzivní hodnota a cílem je úložiště založené na souborech, není v cíli zkopírována nebo vytvořena prázdná složka nebo podsložka. Tato vlastnost je ve výchozím nastavení vybraná a nevztahuje se při konfiguraci cesty k seznamu souborů.
Formát souboru: V rozevíracím seznamu vyberte formát souboru použitý. Vyberte Nastavení a nakonfigurujte formát souboru. Podrobné informace najdete v článku o nastavení různých formátů souborů v podporovaném formátu .
V části Upřesnit můžete zadat následující pole:
Filtrovat podle poslední změny: Soubory se filtrují na základě data poslední změny. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů.
Čas zahájení (UTC): Soubory se vyberou, pokud je jejich čas poslední změny větší nebo roven nakonfigurovanému času.
Čas ukončení (UTC): Soubory se vyberou, pokud je jejich čas poslední změny kratší než nakonfigurovaný čas.
Pokud počáteční čas (UTC) má hodnotu datetime, ale koncový čas (UTC) má hodnotu NULL, znamená to, že budou vybrány soubory, jejichž atribut poslední změny je větší nebo roven hodnotě datetime. Pokud má koncový čas (UTC) hodnotu datetime, ale počáteční čas (UTC) má hodnotu NULL, znamená to, že soubory, jejichž atribut poslední změny je menší než hodnota datetime, budou vybrány. Vlastnosti mohou mít hodnotu NULL, což znamená, že na data se nepoužije žádný filtr atributů souboru.
Povolit zjišťování oddílů: Určete, jestli chcete analyzovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce. Ve výchozím nastavení se nevybíná a nepodporuje se při použití binárního formátu souboru.
Kořenová cesta oddílu: Pokud je povolené zjišťování oddílů, zadejte absolutní kořenovou cestu, abyste mohli číst dělené složky jako datové sloupce.
Pokud není ve výchozím nastavení zadán,
- Při použití cesty k souboru nebo seznamu souborů ve zdroji je kořenová cesta oddílu cesta, kterou jste nakonfigurovali.
- Pokud používáte filtr složek se zástupnými otazemi, je kořenová cesta oddílu pod cestou před prvním zástupným znakem.
Předpokládejme například, že cestu nakonfigurujete takto
root/folder/year=2020/month=08/day=27
:- Pokud zadáte kořenovou cestu oddílu jako
root/folder/year=2020
, aktivita kopírování vygeneruje dva další sloupce měsíc a den s hodnotou "08" a "27" kromě sloupců uvnitř souborů. - Pokud není zadaná kořenová cesta oddílu, nevygeneruje se žádný sloupec navíc.
Maximální počet souběžných připojení: Tato vlastnost označuje horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.
Další sloupce: Přidejte další datové sloupce pro ukládání relativní cesty nebo statické hodnoty zdrojových souborů. U druhého výrazu se podporuje.
Cíl
Následující vlastnosti jsou podporovány pro Soubory Azure na kartě Cíl aktivity kopírování.
Jsou vyžadovány následující vlastnosti:
- Typ úložiště dat: Vyberte externí.
- Připojení ion: V seznamu připojení vyberte připojení Azure Files. Pokud připojení neexistuje, vytvořte nové připojení Azure Files výběrem možnosti Nový.
- Cesta k souboru: Vyberte Procházet a zvolte soubor, který chcete zkopírovat nebo vyplnit ručně.
- Formát souboru: V rozevíracím seznamu vyberte formát souboru použitý. Vyberte Nastavení a nakonfigurujte formát souboru. Podrobné informace najdete v článku o nastavení různých formátů souborů v podporovaném formátu .
V části Upřesnit můžete zadat následující pole:
Chování kopírování: Definuje chování kopírování, pokud zdroj je soubory ze souborového úložiště dat. V rozevíracím seznamu můžete zvolit chování.
- Zploštěná hierarchie: Všechny soubory ze zdrojové složky jsou na první úrovni cílové složky. Cílové soubory mají automaticky vygenerované názvy.
- Sloučit soubory: Sloučí všechny soubory ze zdrojové složky do jednoho souboru. Pokud je zadaný název souboru, je zadaným názvem sloučený soubor. V opačném případě se jedná o automaticky vygenerovaný název souboru.
- Zachovat hierarchii: Zachová hierarchii souborů v cílové složce. Relativní cesta zdrojového souboru ke zdrojové složce je shodná s relativní cestou cílového souboru k cílové složce.
Maximální počet souběžných připojení: Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení.
Maximální počet řádků na soubor: Při zápisu dat do složky se můžete rozhodnout zapisovat do více souborů a zadat maximální počet řádků na soubor. Zadejte maximální počet řádků, které chcete zapisovat na soubor.
mapování.
V části Konfigurace karty Mapování přejděte na Konfigurace mapování na kartě Mapování. Pokud jako formát souboru zvolíte Binary, mapování se nepodporuje.
Nastavení
Konfigurace karty Nastavení naleznete v části Konfigurace dalších nastavení na kartě Nastavení.
Souhrn tabulky
Následující tabulky obsahují další informace o aktivitě kopírování ve službě Soubory Azure.
Informace o zdroji
Název | Popis | Hodnota | Požaduje se | Vlastnost skriptu JSON |
---|---|---|---|---|
Typ úložiště dat | Váš typ úložiště dat. | Externí | Ano | / |
Připojení | Vaše připojení ke zdrojovému úložišti dat. | <připojení ke službě Azure Files> | Ano | připojení |
Typ cesty k souboru | Typ cesty k souboru sloužící k získání zdrojových dat. | • Cesta k souboru •Předponu • Cesta k souboru se zástupným znakem • Seznam souborů |
Ano | / |
Cesta k souboru | ||||
Adresář | Cesta ke složce. | <název složky> | No | folderPath |
Název souboru | Název souboru pod zadanou cestou ke složce. | <název souboru> | No | fileName |
Pro předponu | ||||
Předponu | Předpona názvu souboru pod zadanou sdílenou složkou pro filtrování zdrojových souborů. | <vaše předpona> | No | Předponu |
Cesta k souboru se zástupným znakem | ||||
Cesta ke složce se zástupným znakem | Cesta ke složce se zástupnými znaky pro filtrování zdrojových složek. | <cesta ke složce se zástupnými znaky> | No | Zástupný znakFolderPath |
Název souboru se zástupným znakem | Název souboru se zástupnými znaky pod zadanou cestou ke složce nebo zástupným znakem pro filtrování zdrojových souborů. | <název souboru se zástupnými znaky> | Ano | wildcardFileName |
Seznam souborů | ||||
Cesta ke složce | Cesta ke složce. | <název složky> | No | folderpath |
Cesta k seznamu souborů | Označuje, že chcete zkopírovat danou sadu souborů. Přejděte na textový soubor, který obsahuje seznam souborů, které chcete kopírovat, jeden soubor na řádek. | < Cesta k seznamu souborů > | No | fileListPath |
Rekurzivně | Zpracovat všechny soubory ve vstupní složce a jejích podsložkách rekurzivně nebo jenom ty ve vybrané složce. Toto nastavení je zakázané, když je vybrán jeden soubor. | Výběr nebo zrušení výběru | No | Rekurzivní |
Formát souboru | Formát souboru pro zdrojová data. Podrobné informace najdete v článcích v podporovaném formátu , kde najdete informace o různých formátech souborů. | / | Ano | / |
Filtrovat podle poslední změny | Soubory s časem poslední změny v rozsahu [Počáteční čas, Koncový čas) se vyfiltrují pro další zpracování. Čas se použije u časového pásma UTC ve formátu yyyy-mm-ddThh:mm:ss.fffZ . Tyto vlastnosti lze přeskočit, což znamená, že se nepoužije žádný filtr atributů souboru. Tato vlastnost se nepoužije při konfiguraci typu cesty k souboru jako seznam souborů. |
datetime | No | modifiedDatetimeStart modifiedDatetimeEnd |
Povolení zjišťování oddílů | Určuje, zda chcete analyzovat oddíly z cesty k souboru a přidat je jako další zdrojové sloupce. | vybraná nebo nevybraná (výchozí) | No | enablePartitionDiscovery: true nebo false (výchozí) |
Maximální počet souběžných připojení | Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení. | <maximální počet souběžných připojení> | No | maxConcurrent Připojení ions |
Další sloupce | Přidejte další datové sloupce pro ukládání relativní cesty ke zdrojovým souborům nebo statické hodnotě. U druhého výrazu se podporuje. | • Jméno •Hodnotu |
No | additionalColumns: •Jméno •Hodnotu |
Informace o cíli
Název | Popis | Hodnota | Požaduje se | Vlastnost skriptu JSON |
---|---|---|---|---|
Typ úložiště dat | Váš typ úložiště dat. | Externí | Ano | / |
Připojení | Vaše připojení k cílovému úložišti dat. | <vaše připojení> | Ano | připojení |
Cesta k souboru | Cesta ke složce nebo souboru k cílovému souboru. | < cesta ke složce nebo souboru > | Ano | / |
Adresář | Cesta ke složce v zadaném kontejneru. | <název složky> | No | folderpath |
Název souboru | Název souboru v zadaném kontejneru a cestě ke složce. | <název souboru> | No | fileName |
Chování kopírování | Definuje chování kopírování, pokud je zdrojem soubory ze souborového úložiště dat. | • Zploštěná hierarchie • Sloučit soubory • Zachovat hierarchii |
No | copyBehavior: • FlattenHierarchy • MergeFiles • ZachovatHierarchy |
Maximální počet souběžných připojení | Horní limit souběžných připojení vytvořených k úložišti dat během spuštění aktivity. Zadejte hodnotu pouze v případech, kdy chcete omezit souběžná připojení. | <maximální počet souběžných připojení> | No | maxConcurrent Připojení ions |
Maximální počet řádků na soubor | Při zápisu dat do složky se můžete rozhodnout zapisovat do více souborů a zadat maximální počet řádků na soubor. Zadejte maximální počet řádků, které chcete zapisovat na soubor. | < maximální počet řádků na soubor > | No | maxRowsPerFile |