กําหนดค่าที่เก็บข้อมูล Azure Blob ในกิจกรรมการคัดลอก
บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์ข้อมูลเพื่อคัดลอกข้อมูลจากและไปยัง Azure Blob Storage
รูปแบบที่ได้รับการสนับสนุน
ที่เก็บข้อมูล Azure Blob สนับสนุนรูปแบบไฟล์ต่อไปนี้ ดูแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ
- รูปแบบ Avro
- รูปแบบไบนารี
- รูปแบบข้อความที่คั่นด้วยตัวคั่น
- รูปแบบ Excel
- รูปแบบ JSON
- รูปแบบ ORC
- รูปแบบ Parquet
- รูปแบบ XML
การกําหนดค่าที่ได้รับการสนับสนุน
สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ
ทั่วไป
โปรดดูคําแนะนําการตั้งค่าทั่วไปเพื่อกําหนดค่าแท็บ การตั้งค่าทั่วไป
ทรัพยากร
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับที่เก็บข้อมูล Azure Blob ภายใต้ แท็บแหล่งข้อมูล ของกิจกรรมการคัดลอก
จําเป็นต้องมีคุณสมบัติต่อไปนี้:
- ชนิดของที่เก็บข้อมูล: เลือก ภายนอก
- เชื่อมต่อ: เลือกการเชื่อมต่อ Azure Blob Storage จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่ออยู่ สร้างการเชื่อมต่อที่เก็บข้อมูล Azure Blob ใหม่ โดยการเลือกใหม่
- พาธของไฟล์: เลือก เรียกดู เพื่อเลือกไฟล์ที่คุณต้องการคัดลอก หรือกรอกเส้นทางด้วยตนเอง
- การตั้งค่าไฟล์: เลือก การตั้งค่า ไฟล์เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับสําหรับข้อมูลโดยละเอียด
ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:
ประเภทพาธของไฟล์: คุณสามารถเลือกเส้นทางของไฟล์ คํานําหน้า เส้นทางไฟล์อักขระตัวแทน รายการของไฟล์เป็นประเภทพาธของไฟล์ของคุณได้ การกําหนดค่าของการตั้งค่าแต่ละรายการคือ:
พาธของไฟล์: หากคุณเลือกประเภทนี้ ข้อมูลสามารถคัดลอกจากคอนเทนเนอร์หรือเส้นทางโฟลเดอร์/ไฟล์ที่ระบุก่อนหน้านี้ได้
คํานําหน้า: คํานําหน้าสําหรับชื่อ blob ภายใต้คอนเทนเนอร์ที่กําหนดซึ่งกําหนดค่าให้กรอง blobs ของแหล่งข้อมูล Blobs ที่มีการเลือกชื่อที่ขึ้นต้นด้วย
container/this_prefixใช้ตัวกรองฝั่งบริการสําหรับที่เก็บข้อมูล blobเมื่อคุณใช้ คํานํา หน้าและเลือกเพื่อคัดลอกไปยังปลายทางตามไฟล์ด้วยการรักษาลําดับชั้น พาธย่อยหลังจาก "/" สุดท้ายในคํานําหน้าถูกรักษาไว้ ตัวอย่างเช่น คุณมี แหล่งข้อมูล
container/folder/subfolder/file.txtและกําหนดค่าคํานําหน้าเป็นfolder/subจากนั้นเส้นทางไฟล์ที่สงวนไว้คือsubfolder/file.txt
เส้นทางของไฟล์อักขระตัวแทน: ระบุโฟลเดอร์หรือเส้นทางของแฟ้มด้วยอักขระตัวแทนภายใต้คอนเทนเนอร์ blob ที่กําหนดของคุณเพื่อกรองโฟลเดอร์หรือไฟล์ต้นทางของคุณ
สัญลักษณ์ตัวแทนที่อนุญาตคือ
*(ตรงกับอักขระศูนย์หรือมากกว่านั้น) และ?(ตรงกับศูนย์หรืออักขระเดี่ยว) ใช้^เพื่อหลีกเลี่ยงถ้าชื่อโฟลเดอร์ของคุณมีอักขระตัวแทนหรืออักขระหลีกเลี่ยงนี้อยู่ภายใน สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างตัวกรองโฟลเดอร์และไฟล์
เส้นทางโฟลเดอร์อักขระตัวแทน: ระบุเส้นทางโฟลเดอร์ด้วยอักขระตัวแทนภายใต้คอนเทนเนอร์ที่กําหนดในการกรองโฟลเดอร์ต้นทาง
ชื่อแฟ้มอักขระตัวแทน: ระบุชื่อแฟ้มด้วยอักขระตัวแทนภายใต้เส้นทางคอนเทนเนอร์และโฟลเดอร์ที่กําหนด (หรือเส้นทางโฟลเดอร์สัญลักษณ์ตัวแทน) เพื่อกรองแฟ้มต้นฉบับ
รายการไฟล์: ระบุชุดไฟล์ที่กําหนดเพื่อคัดลอกไป ใน เส้นทางไปยังรายการไฟล์ ให้ป้อนหรือเรียกดูไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอก หนึ่งไฟล์ต่อบรรทัด ซึ่งเป็นเส้นทางสัมพัทธ์ไปยังแต่ละไฟล์
เมื่อคุณใช้ตัวเลือกนี้ ไม่ต้องระบุชื่อไฟล์ สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างรายการไฟล์
เรียกซ้ํา: ถ้าเลือกกล่องกาเครื่องหมายนี้ ไฟล์ทั้งหมดในโฟลเดอร์อินพุตและโฟลเดอร์ย่อยจะถูกประมวลผลซ้ํา ถ้าคุณยกเลิกการเลือกกล่องกาเครื่องหมาย จะมีการประมวลผลเฉพาะรายการในโฟลเดอร์ที่เลือกเท่านั้น การตั้งค่านี้จะถูกปิดใช้งานเมื่อเลือกไฟล์เดียว
ลบไฟล์หลังจากดําเนินการเสร็จสิ้น: ถ้าเลือกกล่องกาเครื่องหมายนี้ ไฟล์ไบนารีจะถูกลบจากร้านค้าต้นทางหลังจากย้ายไปยังที่เก็บปลายทางเรียบร้อยแล้ว การลบไฟล์เป็นการลบต่อไฟล์ ดังนั้นเมื่อกิจกรรมการคัดลอกล้มเหลว คุณจะสังเกตเห็นว่าไฟล์บางไฟล์ถูกคัดลอกไปยังปลายทางและถูกลบออกจากแหล่งที่มาแล้ว ในขณะที่ไฟล์อื่นๆ ยังคงอยู่ในร้านค้าต้นทาง
หมายเหตุ
คุณสมบัตินี้ใช้ได้เฉพาะในสถานการณ์การคัดลอกไฟล์ไบนารีเท่านั้น
การเชื่อมต่อพร้อมกันสูงสุด: คุณสมบัตินี้ระบุขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น
ปลายทาง
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับที่เก็บข้อมูล Azure Blob ภายใต้ แท็บปลายทาง ของกิจกรรมการคัดลอก
จําเป็นต้องมีคุณสมบัติต่อไปนี้:
- ชนิดของที่เก็บข้อมูล: เลือก ภายนอก
- เชื่อมต่อ ion: เลือกการเชื่อมต่อ Azure Blob Storage จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่อ สร้างการเชื่อมต่อใหม่ Azure Blob Storage โดยการเลือกใหม่
- พาธของไฟล์: เลือก เรียกดู เพื่อเลือกไฟล์ที่คุณต้องการคัดลอกหรือกรอกข้อมูลในเส้นทางด้วยตนเอง
- การตั้งค่าไฟล์: เลือก การตั้งค่า ไฟล์เพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับสําหรับข้อมูลโดยละเอียด
ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:
คัดลอกลักษณะการทํางาน: กําหนดลักษณะการทํางานของการคัดลอกเมื่อแหล่งข้อมูลคือไฟล์จากที่เก็บข้อมูลตามไฟล์ คุณสามารถเลือกเพิ่มเนื้อหาแบบไดนามิกไม่มี FlattenHierarchy หรือรักษาลําดับชั้นจากรายการดรอปดาวน์
เพิ่มเนื้อหาแบบไดนามิก: เมื่อต้องการระบุนิพจน์สําหรับค่าคุณสมบัติ ให้เลือก เพิ่มเนื้อหาแบบไดนามิก การเลือกนี้จะเปิดตัวสร้างนิพจน์ซึ่งคุณสามารถสร้างนิพจน์จากตัวแปรระบบที่ได้รับการสนับสนุน ผลลัพธ์กิจกรรม ฟังก์ชัน และตัวแปรหรือพารามิเตอร์ที่ผู้ใช้ระบุ สําหรับข้อมูลเกี่ยวกับภาษาของนิพจน์ ให้ไปที่ นิพจน์และฟังก์ชัน
ไม่มี: เลือกการเลือกนี้เพื่อไม่ใช้ลักษณะการคัดลอกใดๆ
ลําดับชั้นลดรูปแบบโครงสร้าง: ไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางอยู่ในระดับแรกของโฟลเดอร์ปลายทาง ไฟล์ปลายทางมีชื่อที่สร้างขึ้นโดยอัตโนมัติ
รักษาลําดับชั้น: รักษาลําดับชั้นไฟล์ในโฟลเดอร์เป้าหมาย เส้นทางสัมพัทธ์ของไฟล์ต้นทางไปยังโฟลเดอร์ต้นทางจะเหมือนกับเส้นทางสัมพัทธ์ของไฟล์เป้าหมายไปยังโฟลเดอร์เป้าหมาย
การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างไปยังที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น
ขนาดบล็อก (เมกะไบต์): ระบุขนาดบล็อก เป็นเมกะไบต์ ที่ใช้เพื่อเขียนข้อมูลเพื่อบล็อก blobs สําหรับข้อมูลเพิ่มเติม ไปที่เกี่ยวกับบล็อก blobs
เมตาดาต้า: ตั้งค่าเมตาดาต้าแบบกําหนดเองเมื่อคัดลอกไปยังปลายทาง แต่ละออบเจ็กต์ภายใต้
metadataอาร์เรย์ แสดงถึงคอลัมน์เพิ่มเติม กําหนดnameชื่อคีย์เมตาดาต้า และvalueระบุค่าข้อมูลของคีย์นั้น หากใช้คุณลักษณะแอตทริบิวต์การสงวนไว้ เมตาดาต้าที่ระบุจะรวม/เขียนทับด้วยเมตาดาต้าของไฟล์ต้นฉบับค่าข้อมูลที่อนุญาตคือ:
$$LASTMODIFIED: ตัวแปรที่สงวนไว้จะระบุเพื่อจัดเก็บเวลาที่ปรับเปลี่ยนล่าสุดของไฟล์ต้นฉบับ นําไปใช้กับแหล่งข้อมูลตามไฟล์ที่มีรูปแบบไบนารีเท่านั้นExpression
ค่าคงที่
การแม็ป
สําหรับ การกําหนดค่าแท็บการแมป ไปที่ กําหนดค่าการแมปของคุณภายใต้แท็บการแมป ถ้าคุณเลือกไบนารีเป็นรูปแบบไฟล์ของคุณ การแมปจะไม่ได้รับการสนับสนุน
การตั้งค่า
สําหรับการตั้งค่าการกําหนดค่าแท็บ ให้ดู กําหนดการตั้งค่าอื่นๆ ของคุณภายใต้แท็บ การตั้งค่า
ข้อมูลสรุปของตาราง
ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกใน Azure Blob Storage
ข้อมูลต้นทาง
| ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ JSON |
|---|---|---|---|---|
| ชนิดของที่เก็บข้อมูล | ประเภทที่เก็บข้อมูลของคุณ | ภายนอก | ใช่ | / |
| เชื่อมต่อชั่น | การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลต้นทาง | <การเชื่อมต่อของคุณ> | ใช่ | เชื่อม ต่อ |
| พาธของไฟล์ | เส้นทางไฟล์ของข้อมูลต้นทางของคุณ | <พาธของไฟล์ต้นทางของคุณ> | ใช่ | คอนเทนเนอร์ fileName |
| ชนิดพาธของไฟล์ | ชนิดพาธของไฟล์ที่คุณต้องการใช้ | • พาธของไฟล์ • คํานําหน้า • เส้นทางโฟลเดอร์อักขระตัวแทน ชื่อแฟ้มอักขระตัวแทน • รายการไฟล์ |
ไม่ | • คํานําหน้า • wildcardFolderPath, wildcardFileName • fileListPath |
| เรียกใช้ซ้ํา | ประมวลผลไฟล์ทั้งหมดในโฟลเดอร์อินพุตและโฟลเดอร์ย่อยซ้ํา หรือเรียกซ้ําในโฟลเดอร์ที่เลือกเท่านั้น การตั้งค่านี้จะถูกปิดใช้งานเมื่อเลือกไฟล์เดียว | เลือกหรือไม่เลือก | ไม่ | เกิด ซ้ำ |
| ลบไฟล์หลังจากดําเนินการเสร็จสิ้น | แฟ้มในแหล่งข้อมูลจะถูกลบทันทีหลังจากถูกย้ายไปยังที่เก็บปลายทาง การลบไฟล์เป็นการลบต่อไฟล์ ดังนั้นเมื่อกิจกรรมการคัดลอกล้มเหลว คุณสามารถบอกได้ว่าบางไฟล์ถูกคัดลอกไปยังปลายทางและถูกลบออกจากต้นทางแล้ว ในขณะที่ไฟล์อื่นยังคงอยู่ในที่เก็บต้นทาง | เลือกหรือไม่เลือก | ไม่ | deleteFilesAfterCompletion |
| การเชื่อมต่อพร้อมกันสูงสุด | ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น | <การเชื่อมต่อพร้อมกันสูงสุด> | ไม่ | maxConcurrent เชื่อมต่อ ions |
ข้อมูลปลายทาง
| ชื่อ | รายละเอียด | ค่า | ต้องมี | คุณสมบัติสคริปต์ JSON |
|---|---|---|---|---|
| ชนิดของที่เก็บข้อมูล | ประเภทที่เก็บข้อมูลของคุณ | ภายนอก | ใช่ | / |
| เชื่อมต่อชั่น | การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลปลายทาง | <การเชื่อมต่อของคุณ> | ใช่ | เชื่อม ต่อ |
| พาธของไฟล์ | เส้นทางไฟล์ของข้อมูลปลายทางของคุณ | พาธไฟล์ของแหล่งที่มา | ใช่ | คอนเทนเนอร์ fileName |
| คัดลอกลักษณะการทํางาน | กําหนดลักษณะการทํางานเมื่อคัดลอกไฟล์จากระบบไฟล์หนึ่ง เช่น ที่เก็บข้อมูล ไปยังอีกระบบหนึ่ง (ตัวอย่างเช่น จากที่เก็บข้อมูล blob หนึ่งไปยังอีกที่หนึ่ง) | •ไม่ • เพิ่มเนื้อหาแบบไดนามิก •ลําดับชั้นลดรูปแบบโครงสร้าง •รักษาลําดับชั้น |
ไม่ | copyBehavior |
| การเชื่อมต่อพร้อมกันสูงสุด | ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น | <การเชื่อมต่อพร้อมกันสูงสุด> | ไม่ | maxConcurrent เชื่อมต่อ ions |
| ขนาดบล็อก (เมกะไบต์) | ระบุขนาดบล็อกในเมกะไบต์เมื่อเขียนข้อมูลลงใน Azure Blob Storage ค่าที่อนุญาตอยู่ระหว่าง 4 เมกะไบต์ ถึง 100 เมกะไบต์ | <ขนาดบล็อก> | ไม่ | blockSizeIn เมกะไบต์ |
| เมตาดาต้า | ตั้งค่าเมตาดาต้าแบบกําหนดเองเมื่อคัดลอกไปยังปลายทาง | • $$LASTMODIFIED•นิพจน์ • ค่าคงที่ |
ไม่ | ข้อมูล เม ตา |