Konfigurera Azure Blob Storage i en kopieringsaktivitet
Den här artikeln beskriver hur du använder kopieringsaktiviteten i en datapipeline för att kopiera data från och till Azure Blob Storage.
Format som stöds
Azure Blob Storage stöder följande filformat. Se varje artikel för formatbaserade inställningar.
- Avro-format
- Binärt format
- Avgränsat textformat
- Excel-format
- JSON-format
- ORC-format
- Parquet-format
- XML-format
Konfiguration som stöds
För konfigurationen av varje flik under kopieringsaktivitet går du till följande avsnitt.
Allmänt
Se vägledningen allmänna inställningar för att konfigurera fliken Allmänna inställningar.
Källa
Följande egenskaper stöds för Azure Blob Storage under fliken Källa för en kopieringsaktivitet.
Följande egenskaper krävs:
- Datalagertyp: Välj Extern.
- Anslut ion: Välj en Azure Blob Storage-anslutning i anslutningslistan. Om det inte finns någon anslutning skapar du en ny Azure Blob Storage-anslutning genom att välja Ny.
- Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fyll i sökvägen manuellt.
- Filinställningar: Välj Filinställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.
Under Avancerat kan du ange följande fält:
Filsökvägstyp: Du kan välja Filsökväg, Prefix, Sökväg till jokertecken, Lista över filer som filsökvägstyp. Konfigurationen av varje inställning är:
Filsökväg: Om du väljer den här typen kan data kopieras från den angivna containern eller mapp-/filsökvägen som angavs tidigare.
Prefix: Prefix för blobnamnet under den angivna containern som konfigurerats för att filtrera källblobar. Blobbar vars namn börjar med
container/this_prefix
är markerade. Den använder filtret på tjänstsidan för bloblagring.När du använder Prefix och väljer att kopiera till ett filbaserat mål med bevarad hierarki bevaras undersökvägen efter den sista "/" i prefixet. Du har till exempel en källa
container/folder/subfolder/file.txt
och konfigurerar prefixet somfolder/sub
, och sedan ärsubfolder/file.txt
den bevarade filsökvägen .Sökväg till jokerteckenfil: Ange mappen eller filsökvägen med jokertecken under din angivna blobcontainer för att filtrera dina källmappar eller filer.
Tillåtna jokertecken är
*
(matchar noll eller fler tecken) och?
(matchar noll eller enskilt tecken). Använd^
för att fly om mappnamnet har ett jokertecken eller det här escape-tecknet inuti. Fler exempel finns i Exempel på mapp- och filfilter.Sökväg till jokerteckenmapp: Ange mappsökvägen med jokertecken under den aktuella containern för att filtrera källmappar.
Namn på jokerteckenfil: Ange filnamnet med jokertecken under den aktuella container- och mappsökvägen (eller sökvägen till jokerteckenmappen) för att filtrera källfiler.
Lista över filer: Anger en angiven filuppsättning som ska kopieras till. I Sökväg till fillista anger eller bläddrar du till en textfil som innehåller en lista över filer som du vill kopiera, en fil per rad, vilket är den relativa sökvägen till varje fil.
När du använder det här alternativet ska du inte ange något filnamn. Om du vill ha fler exempel går du till Exempel på fillista.
Rekursivt: Om den här kryssrutan är markerad bearbetas alla filer i indatamappen och dess undermappar rekursivt. Om du avmarkerar kryssrutan bearbetas bara de i den valda mappen. Den här inställningen inaktiveras när en enskild fil har valts.
Ta bort filer efter slutförande: Om den här kryssrutan är markerad tas de binära filerna bort från källarkivet när de har flyttats till målarkivet. Filborttagningen sker per fil, så när kopieringsaktiviteten misslyckas ser du att vissa filer redan har kopierats till målet och tagits bort från källan, medan andra fortfarande finns kvar i källarkivet.
Kommentar
Den här egenskapen är endast giltig i ett scenario med kopiering av binära filer.
Maximalt antal samtidiga anslutningar: Den här egenskapen anger den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.
Mål
Följande egenskaper stöds för Azure Blob Storage under fliken Mål för en kopieringsaktivitet.
Följande egenskaper krävs:
- Datalagertyp: Välj Extern.
- Anslut ion: Välj en Azure Blob Storage-anslutning i anslutningslistan. Om anslutningen inte finns skapar du en ny Azure Blob Storage-anslutning genom att välja Ny.
- Filsökväg: Välj Bläddra för att välja den fil som du vill kopiera eller fylla i sökvägen manuellt.
- Filinställningar: Välj Filinställningar för att konfigurera filformatet. För inställningar för olika filformat, se artiklar i format som stöds för detaljerad information.
Under Avancerat kan du ange följande fält:
Kopieringsbeteende: Definierar kopieringsbeteendet när källan är filer från ett filbaserat datalager. Du kan välja Lägg till dynamiskt innehåll, Ingen, FlatHierarchy eller Bevara hierarki i listrutan.
Lägg till dynamiskt innehåll: Om du vill ange ett uttryck för ett egenskapsvärde väljer du Lägg till dynamiskt innehåll. Den här markeringen öppnar uttrycksverktyget där du kan skapa uttryck från systemvariabler som stöds, aktivitetsutdata, funktioner och användardefinierade variabler eller parametrar. Information om uttrycksspråket finns i Uttryck och funktioner.
Ingen: Välj den här markeringen om du inte vill använda något kopieringsbeteende.
Platta ut hierarki: Alla filer från källmappen är på den första nivån i målmappen. Målfilerna har automatiskt genererade namn.
Bevara hierarkin: Bevarar filhierarkin i målmappen. Den relativa sökvägen för källfilen till källmappen är identisk med den relativa sökvägen för målfilen till målmappen.
Maximalt antal samtidiga anslutningar: Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar.
Blockstorlek (MB): Ange blockstorleken i megabyte som används för att skriva data för att blockera blobar. Mer information finns i Om blockblobar.
Metadata: Ange anpassade metadata när du kopierar till ett mål. Varje objekt under matrisen
metadata
representerar en extra kolumn.name
Definierar namnet på metadatanyckelnvalue
och anger nyckelns datavärde. Om funktionen bevara attribut används kommer angivna metadata att kopplas/skrivas över med källfilens metadata.Tillåtna datavärden är:
$$LASTMODIFIED
: en reserverad variabel anger att källfilerna senast ändrades. Gäller endast för filbaserad källa med binärt format.Expression
Statiskt värde
Mappning
För Konfiguration av fliken Mappning går du till Konfigurera dina mappningar under mappningsfliken. Om du väljer Binärt som filformat stöds inte mappning.
Inställningar
Information om Inställningar flikkonfiguration finns i Konfigurera dina andra inställningar under fliken Inställningar.
Tabellsammanfattning
Följande tabeller innehåller mer information om kopieringsaktiviteten i Azure Blob Storage.
Källinformation
Name | Beskrivning | Värde | Obligatoriskt | JSON-skriptegenskap |
---|---|---|---|---|
Typ av datalager | Din datalagertyp. | Externt | Ja | / |
Anslutning | Din anslutning till källdatalagret. | <din anslutning> | Ja | anslutning |
Filsökväg | Filsökvägen för dina källdata. | <filsökväg för källan> | Ja | Behållare fileName |
Filsökvägstyp | Den filsökvägstyp som du vill använda. | • Filsökväg •Prefix • Sökväg till jokerteckenmapp, namn på jokerteckenfil • Lista över filer |
Nej | •Prefix • jokerteckenFolderPath, jokerteckenFileName • fileListPath |
Rekursivt | Bearbeta alla filer i indatamappen och dess undermappar rekursivt eller bara de i den valda mappen. Den här inställningen inaktiveras när en enskild fil har valts. | Markera eller avmarkera | Nej | Rekursiv |
Ta bort filer efter slutförande | Filerna i källdatalagret tas bort direkt efter att de har flyttats till mållagret. Filborttagningen sker per fil, så när en kopieringsaktivitet misslyckas kan du se att vissa filer redan har kopierats till målet och tagits bort från källan, medan andra fortfarande finns i källarkivet. | Markera eller avmarkera | Nej | deleteFilesAfterCompletion |
Maximalt antal samtidiga anslutningar | Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. | <maximalt antal samtidiga anslutningar> | Nej | maxConcurrent Anslut ions |
Målinformation
Name | Beskrivning | Värde | Obligatoriskt | JSON-skriptegenskap |
---|---|---|---|---|
Typ av datalager | Din datalagertyp. | Externt | Ja | / |
Anslutning | Din anslutning till måldatalagret. | <din anslutning> | Ja | anslutning |
Filsökväg | Filsökvägen för dina måldata. | Källans filsökväg | Ja | Behållare fileName |
Kopieringsbeteende | Definierar beteendet när du kopierar filer från ett filsystem, till exempel lagring, till det andra (till exempel från en bloblagring till en annan). | •Ingen • Lägg till dynamiskt innehåll • Platta ut hierarki • Bevara hierarkin |
Nej | copyBehavior |
Maximalt antal samtidiga anslutningar | Den övre gränsen för samtidiga anslutningar som upprättats till datalagret under aktivitetskörningen. Ange endast ett värde när du vill begränsa samtidiga anslutningar. | <maximalt antal samtidiga anslutningar> | Nej | maxConcurrent Anslut ions |
Blockstorlek (MB) | Ange blockstorleken i MB när du skriver data till Azure Blob Storage. Det tillåtna värdet är mellan 4 MB och 100 MB. | <blockstorlek> | Nej | blockSizeInMB |
Metadata | Ange anpassade metadata när du kopierar till mål. | • $$LASTMODIFIED •Uttryck • Statiskt värde |
Nej | metadata |