Konfigurera Azure Files i en kopieringsaktivitet
Den här artikeln beskriver hur du använder kopieringsaktiviteten i datapipelinen för att kopiera data från och till Azure Files.
Format som stöds
Azure Files stöder följande filformat. Se varje artikel för formatbaserade inställningar.
- Avro-format
- Binärt format
- Avgränsat textformat
- Excel-format
- JSON-format
- ORC-format
- Parquet-format
- XML-format
Konfiguration som stöds
För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.
Allmänt
Se vägledningen allmänna inställningar för att konfigurera fliken Allmänna inställningar.
Källa
Följande egenskaper stöds för Azure Files under fliken Källa i en kopieringsaktivitet.
Följande egenskaper krävs:
Datalagertyp: Välj Extern.
Anslut ion: Välj en Azure Files-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Azure Files-anslutning genom att välja Ny.
Filsökvägstyp: Du kan välja Filsökväg, Prefix, Sökväg till jokertecken, Lista över filer som filsökvägstyp. Konfigurationen av varje inställning är:
Filsökväg: Om du väljer den här typen kan data kopieras från den angivna mapp-/filsökvägen.
Prefix: Prefix för filnamnet under den angivna filresursen för att filtrera källfiler. Filer med namn som börjar med
fileshare_in_connection/this_prefix
är markerade. Den använder filtret på tjänstsidan för Azure Files, vilket ger bättre prestanda än ett jokerteckenfilter.Sökväg till jokertecken: Ange mappen eller filsökvägen med jokertecken för att filtrera källmappar eller filer.
Tillåtna jokertecken är
*
(matchar noll eller fler tecken) och?
(matchar noll eller enskilt tecken). Använd^
för att fly om mappnamnet har ett jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken för att filtrera källmappar.
Namn på jokerteckenfil: Ange filnamnet med jokertecken under den konfigurerade mapp-/jokerteckenmappsökvägen för att filtrera källfiler.
Lista över filer: Anger en angiven filuppsättning som ska kopieras till. I Sökväg till fillista anger eller bläddrar du till en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till varje fil.
När du använder det här alternativet ska du inte ange något filnamn. Om du vill ha fler exempel går du till Exempel på fillista.
Mappsökväg: Ange sökvägen till en mapp. Det krävs.
Sökväg till fillista: Ange sökvägen till textfilen som innehåller en lista över filer som du vill kopiera.
Rekursivt: Ange om data ska läsas rekursivt från undermapparna eller endast från den angivna mappen. Observera att när Rekursivt har valts och målet är ett filbaserat arkiv kopieras inte en tom mapp eller undermapp på målet. Den här egenskapen är markerad som standard och gäller inte när du konfigurerar Sökväg till fillista.
Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.
Under Avancerat kan du ange följande fält:
Filtrera efter senast ändrad: Filer filtreras baserat på de senast ändrade datumen. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer.
Starttid (UTC): Filerna väljs om deras senaste ändringstid är större än eller lika med den konfigurerade tiden.
Sluttid (UTC): Filerna väljs om deras senaste ändringstid är mindre än den konfigurerade tiden.
När Starttid (UTC) har datetime-värde men Sluttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är större än eller lika med datetime-värdet väljs. När Sluttid (UTC) har datetime-värde men Starttid (UTC) är NULL innebär det att de filer vars senast ändrade attribut är mindre än datetime-värdet väljs. Egenskaperna kan vara NULL, vilket innebär att inget filattributfilter tillämpas på data.
Aktivera partitionsidentifiering: Ange om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner. Den är avmarkerad som standard och stöds inte när du använder binärt filformat.
Partitionsrotsökväg: När partitionsidentifiering är aktiverat anger du den absoluta rotsökvägen för att läsa partitionerade mappar som datakolumner.
Om det inte anges, som standard,
- När du använder filsökvägen eller listan över filer på källan är partitionsrotsökvägen den sökväg som du har konfigurerat.
- När du använder mappfilter för jokertecken är partitionsrotsökvägen undersökvägen före det första jokertecknet.
Anta till exempel att du konfigurerar sökvägen som
root/folder/year=2020/month=08/day=27
:- Om du anger partitionsrotsökväg som
root/folder/year=2020
genererar kopieringsaktiviteten ytterligare två kolumner månad och dag med värdet "08" respektive "27", förutom kolumnerna i filerna. - Om partitionsrotsökvägen inte har angetts genereras ingen extra kolumn.
Maximalt antal samtidiga anslutningar: Den här egenskapen anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.
Ytterligare kolumner: Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare.
Mål
Följande egenskaper stöds för Azure Files under fliken Mål för en kopieringsaktivitet.
Följande egenskaper krävs:
- Datalagertyp: Välj Extern.
- Anslut ion: Välj en Azure Files-anslutning i anslutningslistan. Om anslutningen inte finns skapar du en ny Azure Files-anslutning genom att välja Ny.
- Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fylla i sökvägen manuellt.
- Filformat: Välj det filformat som används i listrutan. Välj Inställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.
Under Avancerat kan du ange följande fält:
Kopieringsbeteende: Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. Du kan välja ett beteende i listrutan.
- Platta ut hierarki: Alla filer från källmappen är på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.
- Sammanfoga filer: Sammanfogar alla filer från källmappen till en fil. Om filnamnet anges är det kopplade filnamnet det angivna namnet. Annars är det ett automatiskt genererat filnamn.
- Bevara hierarkin: Bevarar filhierarkin i målmappen. Den relativa sökvägen för källfilen till källmappen är identisk med den relativa sökvägen för målfilen till målmappen.
Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.
Maximalt antal rader per fil: När du skriver data till en mapp kan du välja att skriva till flera filer och ange maximalt antal rader per fil. Ange maximalt antal rader som du vill skriva per fil.
Mappning
För Konfiguration av fliken Mappning går du till Konfigurera dina mappningar under mappningsfliken. Om du väljer Binärt som filformat stöds inte mappning.
Inställningar
Information om Inställningar flikkonfiguration finns i Konfigurera dina andra inställningar under fliken Inställningar.
Tabellsammanfattning
Följande tabeller innehåller mer information om kopieringsaktiviteten i Azure Files.
Källinformation
Name | Beskrivning | Värde | Obligatoriskt | JSON-skriptegenskap |
---|---|---|---|---|
Typ av datalager | Din datalagertyp. | Externt | Ja | / |
Anslutning | Din anslutning till källdatalagret. | <din Azure Files-anslutning> | Ja | anslutning |
Filsökvägstyp | Filsökvägstypen som används för att hämta källdata. | • Filsökväg •Prefix • Sökväg till jokerteckenfil • Lista över filer |
Ja | / |
För filsökväg | ||||
Katalog | Sökvägen till mappen. | <ditt mappnamn> | Nej | folderPath |
Filnamn | Filnamnet under den angivna mappsökvägen. | <ditt filnamn> | Nej | fileName |
För prefix | ||||
Prefix | Prefixet för filnamnet under den angivna filresursen för att filtrera källfiler. | <ditt prefix> | Nej | Prefix |
För sökväg till jokerteckenfil | ||||
Sökväg till jokerteckenmapp | Mappsökvägen med jokertecken för att filtrera källmappar. | <mappsökväg med jokertecken> | Nej | jokerteckenFolderPath |
Namn på jokerteckenfil | Filnamnet med jokertecken under den angivna mapp-/jokerteckenmappsökvägen för att filtrera källfiler. | <ditt filnamn med jokertecken> | Ja | jokerteckenFilnamn |
För lista över filer | ||||
Mappsökväg | Sökvägen till mappen. | <ditt mappnamn> | Nej | mappsökväg |
Sökväg till fillista | Anger att en angiven filuppsättning ska kopieras. Peka på en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad. | < sökväg till fillista > | Nej | fileListPath |
Rekursivt | Bearbeta alla filer i indatamappen och dess undermappar rekursivt eller bara de i den valda mappen. Den här inställningen inaktiveras när en enskild fil har valts. | Markera eller avmarkera | Nej | Rekursiv |
Filformat | Filformatet för dina källdata. Information om olika filformat finns i artiklar i format som stöds för detaljerad information. | / | Ja | / |
Filtrera efter senast ändrad | Filerna med senast ändrad tid i intervallet [Starttid, Sluttid) filtreras för vidare bearbetning. Tiden tillämpas på UTC-tidszonen i formatet yyyy-mm-ddThh:mm:ss.fffZ . Dessa egenskaper kan hoppas över, vilket innebär att inget filattributfilter kommer att tillämpas. Den här egenskapen gäller inte när du konfigurerar filsökvägstypen som Lista över filer. |
datetime | Nej | modifiedDatetimeStart modifiedDatetimeEnd |
Aktivera partitionsidentifiering | Anger om partitionerna ska parsas från filsökvägen och lägga till dem som ytterligare källkolumner. | markerad eller omarkerad (standard) | Nej | enablePartitionDiscovery: sant eller falskt (standard) |
Maximalt antal samtidiga anslutningar | Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. | <maximalt antal samtidiga anslutningar> | Nej | maxConcurrent Anslut ions |
Ytterligare kolumner | Lägg till ytterligare datakolumner för att lagra källfilernas relativa sökväg eller statiska värde. Uttrycket stöds för det senare. | • Namn •Värde |
Nej | additionalColumns: •Namn •Värde |
Målinformation
Name | Beskrivning | Värde | Obligatoriskt | JSON-skriptegenskap |
---|---|---|---|---|
Typ av datalager | Din datalagertyp. | Externt | Ja | / |
Anslutning | Din anslutning till måldatalagret. | <din anslutning> | Ja | anslutning |
Filsökväg | Mapp-/filsökvägen till målfilen. | < mapp/filsökväg > | Ja | / |
Katalog | Sökvägen till mappen under den angivna bucketen. | <ditt mappnamn> | Nej | mappsökväg |
Filnamn | Filnamnet under den angivna bucket- och mappsökvägen. | <ditt filnamn> | Nej | fileName |
Kopieringsbeteende | Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. | • Platta ut hierarki • Sammanfoga filer • Bevara hierarkin |
Nej | copyBehavior: • FlatHierarchy • MergeFiles • PreserveHierarchy |
Maximalt antal samtidiga anslutningar | Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. | <maximalt antal samtidiga anslutningar> | Nej | maxConcurrent Anslut ions |
Maximalt antal rader per fil | När du skriver data till en mapp kan du välja att skriva till flera filer och ange maximalt antal rader per fil. Ange maximalt antal rader som du vill skriva per fil. | < maximalt antal rader per fil > | Nej | maxRowsPerFile |