แชร์ผ่าน

กําหนดค่าไฟล์ Azure ในกิจกรรมการคัดลอก

  • บทความ

บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์ข้อมูลเพื่อคัดลอกข้อมูลจากและไปยังไฟล์ Azure

รูปแบบที่ได้รับการสนับสนุน

ไฟล์ Azure สนับสนุนรูปแบบไฟล์ต่อไปนี้ ดูแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ

การกําหนดค่าที่ได้รับการสนับสนุน

สําหรับการกําหนดค่าของแต่ละแท็บภายใต้กิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้ตามลําดับ

ทั่วไป

โปรดดูคําแนะนําการตั้งค่าทั่วไปเพื่อกําหนดค่าแท็บ การตั้งค่าทั่วไป

แหล่งที่มา

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับไฟล์ Azure ภายใต้แท็บ แหล่งข้อมูล ของกิจกรรมการคัดลอก

สกรีนช็อตที่แสดงแท็บต้นทางและรายการคุณสมบัติ

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

  • ชนิดของที่เก็บข้อมูล: เลือก ภายนอก

  • เชื่อมต่อ: เลือกการเชื่อมต่อไฟล์ Azure จากรายการการเชื่อมต่อ หากไม่มีการเชื่อมต่อให้สร้างการเชื่อมต่อไฟล์ Azure ใหม่โดยการเลือกใหม่

  • ประเภทพาธของไฟล์: คุณสามารถเลือกเส้นทางของไฟล์ คํานําหน้า เส้นทางไฟล์อักขระตัวแทน รายการของไฟล์เป็นประเภทพาธของไฟล์ของคุณได้ การกําหนดค่าของการตั้งค่าแต่ละรายการคือ:

    • พาธของไฟล์: หากคุณเลือกประเภทนี้ ข้อมูลสามารถคัดลอกได้จากเส้นทางโฟลเดอร์/ไฟล์ที่ระบุ

    • คํานําหน้า: คํานําหน้าสําหรับชื่อไฟล์ภายใต้การแชร์ไฟล์ที่ระบุเพื่อกรองไฟล์ต้นฉบับ ไฟล์ที่มีชื่อที่ขึ้นต้นด้วย fileshare_in_connection/this_prefix ถูกเลือก ใช้ตัวกรองฝั่งบริการสําหรับ Azure Files ซึ่งให้ประสิทธิภาพที่ดีกว่าตัวกรองอักขระตัวแทน

      สกรีนช็อตที่แสดงชนิดเส้นทางของไฟล์คํานําหน้า

    • เส้นทางของไฟล์อักขระตัวแทน: ระบุโฟลเดอร์หรือเส้นทางของไฟล์ที่มีอักขระตัวแทนเพื่อกรองโฟลเดอร์หรือไฟล์ต้นทาง

      สัญลักษณ์ตัวแทนที่อนุญาตคือ * (ตรงกับอักขระศูนย์หรือมากกว่านั้น) และ ? (ตรงกับศูนย์หรืออักขระเดี่ยว) ใช้ ^ เพื่อหลีกเลี่ยงถ้าชื่อโฟลเดอร์ของคุณมีอักขระตัวแทนหรืออักขระหลีกเลี่ยงนี้อยู่ภายใน สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างตัวกรองโฟลเดอร์และไฟล์

      สกรีนช็อตที่แสดงเส้นทางของไฟล์สัญลักษณ์ตัวแทน

      เส้นทางโฟลเดอร์อักขระตัวแทน: ระบุเส้นทางโฟลเดอร์ที่มีอักขระตัวแทนเพื่อกรองโฟลเดอร์ต้นทาง

      ชื่อไฟล์อักขระตัวแทน: ระบุชื่อไฟล์ด้วยอักขระตัวแทนภายใต้เส้นทางโฟลเดอร์ที่กําหนดค่า/อักขระตัวแทนในการกรองไฟล์ต้นทาง

    • รายการไฟล์: ระบุชุดไฟล์ที่กําหนดเพื่อคัดลอกไป ใน เส้นทางไปยังรายการไฟล์ ให้ป้อนหรือเรียกดูไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอก หนึ่งไฟล์ต่อบรรทัด ซึ่งเป็นเส้นทางสัมพัทธ์ไปยังแต่ละไฟล์

      เมื่อคุณใช้ตัวเลือกนี้ ไม่ต้องระบุชื่อไฟล์ สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างรายการไฟล์

      สกรีนช็อตที่แสดงเส้นทางไปยังรายการไฟล์

      • เส้นทางโฟลเดอร์: ระบุเส้นทางไปยังโฟลเดอร์ ซึ่งจําเป็น

      • เส้นทางไปยังรายการไฟล์: ระบุเส้นทางของไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอก

  • แบบเรียกใช้ซ้ํา: ระบุว่ามีการอ่านข้อมูลซ้ําจากโฟลเดอร์ย่อยหรือเฉพาะจากโฟลเดอร์ที่ระบุ โปรดทราบว่า เมื่อ เลือกเรียกใช้ซ้ํา และปลายทางคือที่เก็บตามไฟล์ โฟลเดอร์หรือโฟลเดอร์ย่อยที่ว่างเปล่าจะไม่ถูกคัดลอกหรือสร้างขึ้นที่ปลายทาง คุณสมบัตินี้ถูกเลือกตามค่าเริ่มต้นและจะไม่นําไปใช้เมื่อคุณกําหนดค่า เส้นทางไปยังรายการไฟล์

  • รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือกการตั้งค่าเพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับสําหรับข้อมูลโดยละเอียด

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

  • กรองตามการปรับเปลี่ยนล่าสุด: ไฟล์จะถูกกรองตามวันที่ปรับเปลี่ยนล่าสุด คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็นรายการของไฟล์

    • เวลาเริ่มต้น (UTC): ไฟล์จะถูกเลือกถ้าเวลาที่ปรับเปลี่ยนล่าสุดมากกว่าหรือเท่ากับเวลาที่กําหนดไว้

    • เวลาสิ้นสุด (UTC): ไฟล์จะถูกเลือกถ้าเวลาที่ปรับเปลี่ยนล่าสุดน้อยกว่าเวลาที่กําหนดไว้

      เมื่อ เวลาเริ่มต้น (UTC) มีค่าวันที่เวลา แต่ เวลาสิ้นสุด (UTC) เป็น NULL นั่นหมายความว่าไฟล์ที่มีแอตทริบิวต์ที่ปรับเปลี่ยนล่าสุดมากกว่าหรือเท่ากับค่า datetime จะถูกเลือก เมื่อ เวลาสิ้นสุด (UTC) มีค่าวันที่เวลา แต่ เวลาเริ่มต้น (UTC) เป็น NULL ซึ่งหมายความว่าไฟล์ที่มีแอตทริบิวต์ที่ปรับเปลี่ยนล่าสุดน้อยกว่าค่าวันที่เวลาจะถูกเลือก คุณสมบัติอาจเป็น NULL ซึ่งหมายความว่าไม่มีตัวกรองแอตทริบิวต์ของไฟล์ที่จะนําไปใช้กับข้อมูล

  • เปิดใช้งานการค้นพบพาร์ติชัน: ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มพาร์ติชันเป็นคอลัมน์ต้นทางเพิ่มเติมหรือไม่ ซึ่งไม่ได้ถูกเลือกตามค่าเริ่มต้นและไม่ได้รับการสนับสนุนเมื่อคุณใช้รูปแบบไฟล์ไบนารี

    • เส้นทางรากของพาร์ติชัน: เมื่อเปิดใช้งานการค้นพบพาร์ติชัน ให้ระบุเส้นทางรากสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่มีพาร์ติชันเป็นคอลัมน์ข้อมูล

      ถ้าไม่ได้ระบุไว้ ตามค่าเริ่มต้น

      • เมื่อคุณใช้พาธไฟล์หรือรายการของไฟล์ในแหล่งที่มา พาธรูทของพาร์ติชันคือเส้นทางที่คุณกําหนดค่า
      • เมื่อคุณใช้ตัวกรองโฟลเดอร์อักขระตัวแทน เส้นทางรากของพาร์ติชันคือเส้นทางย่อยก่อนอักขระตัวแทนแรก

      ตัวอย่างเช่น สมมติว่าคุณกําหนดค่าเส้นทางเป็น root/folder/year=2020/month=08/day=27:

      • ถ้าคุณระบุเส้นทางรากของพาร์ติชันเป็น root/folder/year=2020กิจกรรมการคัดลอกจะสร้างสองคอลัมน์เพิ่มเติมเดือนและวันด้วยค่า "08" และ "27" ตามลําดับ นอกเหนือจากคอลัมน์ภายในไฟล์
      • ถ้าไม่ได้ระบุเส้นทางรากของพาร์ติชัน จะไม่มีการสร้างคอลัมน์พิเศษ

    สกรีนช็อตที่แสดงการค้นพบพาร์ติชัน

  • การเชื่อมต่อพร้อมกันสูงสุด: คุณสมบัตินี้ระบุขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น

  • คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง

ปลายทาง

คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับไฟล์ Azure ภายใต้ แท็บปลายทาง ของกิจกรรมการคัดลอก

สกรีนช็อตที่แสดงแท็บปลายทาง

จําเป็นต้องมีคุณสมบัติต่อไปนี้:

  • ชนิดของที่เก็บข้อมูล: เลือก ภายนอก
  • เชื่อมต่อ ion: เลือกการเชื่อมต่อไฟล์ Azure จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่อ สร้างการเชื่อมต่อไฟล์ Azure ใหม่ โดยการเลือกใหม่
  • พาธของไฟล์: เลือก เรียกดู เพื่อเลือกไฟล์ที่คุณต้องการคัดลอกหรือกรอกข้อมูลในเส้นทางด้วยตนเอง
  • รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือกการตั้งค่าเพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับสําหรับข้อมูลโดยละเอียด

ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:

  • คัดลอกลักษณะการทํางาน: กําหนดลักษณะการทํางานของการคัดลอกเมื่อแหล่งข้อมูลคือไฟล์จากที่เก็บข้อมูลตามไฟล์ คุณสามารถเลือกลักษณะการทํางานจากรายการดรอปดาวน์

    สกรีนช็อตที่แสดงลักษณะการทํางานของการคัดลอก

    • ลําดับชั้นลดรูปแบบโครงสร้าง: ไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางอยู่ในระดับแรกของโฟลเดอร์ปลายทาง ไฟล์ปลายทางมีชื่อที่สร้างขึ้นโดยอัตโนมัติ
    • ผสานไฟล์: ผสานไฟล์ทั้งหมดจากโฟลเดอร์ต้นทางไปยังไฟล์เดียว ถ้ามีการระบุชื่อไฟล์ ชื่อไฟล์ที่ผสานคือชื่อที่ระบุ มิฉะนั้น จะเป็นชื่อไฟล์ที่สร้างโดยอัตโนมัติ
    • รักษาลําดับชั้น: รักษาลําดับชั้นไฟล์ในโฟลเดอร์เป้าหมาย เส้นทางสัมพัทธ์ของไฟล์ต้นทางไปยังโฟลเดอร์ต้นทางจะเหมือนกับเส้นทางสัมพัทธ์ของไฟล์เป้าหมายไปยังโฟลเดอร์เป้าหมาย

  • การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างไปยังที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น

  • แถวสูงสุดต่อไฟล์: เมื่อเขียนข้อมูลลงในโฟลเดอร์ คุณสามารถเลือกที่จะเขียนไปยังหลายไฟล์และระบุแถวสูงสุดต่อไฟล์ได้ ระบุแถวสูงสุดที่คุณต้องการเขียนต่อไฟล์

การแม็ป

สําหรับ การกําหนดค่าแท็บการแมป ไปที่ กําหนดค่าการแมปของคุณภายใต้แท็บการแมป ถ้าคุณเลือกไบนารีเป็นรูปแบบไฟล์ของคุณ การแมปจะไม่ได้รับการสนับสนุน

การตั้งค่า

สําหรับการตั้งค่าการกําหนดค่าแท็บ ให้ดู กําหนดการตั้งค่าอื่นๆ ของคุณภายใต้แท็บ การตั้งค่า

ข้อมูลสรุปของตาราง

ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกในไฟล์ Azure

ข้อมูลต้นทาง

ชื่อ รายละเอียด ค่า ต้องมี คุณสมบัติสคริปต์ JSON
ชนิดของที่เก็บข้อมูล ประเภทที่เก็บข้อมูลของคุณ ภายนอก ใช่ /
เชื่อมต่อชั่น การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลต้นทาง <การเชื่อมต่อไฟล์ Azure ของคุณ> ใช่ เชื่อม ต่อ
ชนิดพาธของไฟล์ ชนิดพาธของไฟล์ที่ใช้ในการรับข้อมูลต้นทาง • พาธของไฟล์
• คํานําหน้า
• เส้นทางไฟล์อักขระตัวแทน
• รายการไฟล์		 ใช่ /
สําหรับ เส้นทางไฟล์
ได เรก ทอรี เส้นทางไปยังโฟลเดอร์ <ชื่อโฟลเดอร์ของคุณ> ไม่ folderPath
ชื่อไฟล์ ชื่อไฟล์ภายใต้เส้นทางโฟลเดอร์ที่ระบุ <ชื่อไฟล์ของคุณ> ไม่ fileName
สําหรับ คํานําหน้า
คํานําหน้า คํานําหน้าสําหรับชื่อไฟล์ภายใต้การแชร์ไฟล์ที่ระบุเพื่อกรองไฟล์ต้นฉบับ <คํานําหน้าของคุณ> ไม่ คํานําหน้า
สําหรับ เส้นทางไฟล์อักขระตัวแทน
เส้นทางโฟลเดอร์อักขระตัวแทน เส้นทางโฟลเดอร์ที่มีอักขระตัวแทนเพื่อกรองโฟลเดอร์ต้นทาง <เส้นทางโฟลเดอร์ของคุณที่มีอักขระตัวแทน> ไม่ wildcardFolderPath
ชื่อไฟล์อักขระตัวแทน ชื่อแฟ้มที่มีอักขระตัวแทนภายใต้เส้นทางโฟลเดอร์/อักขระตัวแทนที่ระบุเพื่อกรองแฟ้มต้นฉบับ <ชื่อไฟล์ของคุณที่มีอักขระตัวแทน> ใช่ wildcardFileName
สําหรับ รายการแฟ้ม
เส้นทางโฟลเดอร์ เส้นทางไปยังโฟลเดอร์ <ชื่อโฟลเดอร์ของคุณ> ไม่ โฟลเดอร์พาธ
เส้นทางไปยังรายการไฟล์ บ่งชี้ว่าจะคัดลอกชุดไฟล์ที่กําหนด ชี้ไปที่ไฟล์ข้อความที่มีรายการไฟล์ที่คุณต้องการคัดลอกหนึ่งไฟล์ต่อหนึ่งบรรทัด < เส้นทางรายการไฟล์ > ไม่ fileListPath
เรียกใช้ซ้ํา ประมวลผลไฟล์ทั้งหมดในโฟลเดอร์อินพุตและโฟลเดอร์ย่อยซ้ํา หรือเรียกซ้ําในโฟลเดอร์ที่เลือกเท่านั้น การตั้งค่านี้จะถูกปิดใช้งานเมื่อเลือกไฟล์เดียว เลือกหรือไม่เลือก ไม่ เกิด ซ้ำ
รูปแบบไฟล์ รูปแบบไฟล์สําหรับข้อมูลต้นฉบับของคุณ สําหรับข้อมูลของรูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับสําหรับข้อมูลโดยละเอียด / ใช่ /
กรองตามการปรับเปลี่ยนล่าสุด ไฟล์ที่มีเวลาที่ปรับเปลี่ยนครั้งล่าสุดในช่วง [เวลาเริ่มต้น เวลาสิ้นสุด) จะถูกกรองสําหรับการประมวลผลเพิ่มเติม เวลาจะถูกนําไปใช้กับโซนเวลา UTC ในรูปแบบของyyyy-mm-ddThh:mm:ss.fffZ สามารถข้ามคุณสมบัติเหล่านี้ได้ ซึ่งหมายความว่าจะไม่มีการใช้ตัวกรองแอตทริบิวต์ของไฟล์ คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็นรายการของไฟล์ datetime ไม่ modifiedDatetimeStart
modifiedDatetimeEnd
เปิดใช้งานการค้นพบพาร์ติชัน ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มพาร์ติชันเหล่านั้นเป็นคอลัมน์ต้นทางเพิ่มเติมหรือไม่ เลือกหรือไม่เลือก (ค่าเริ่มต้น) ไม่ enablePartitionDiscovery:
จริง หรือ เท็จ (ค่าเริ่มต้น)
การเชื่อมต่อพร้อมกันสูงสุด ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น <การเชื่อมต่อพร้อมกันสูงสุด> ไม่ maxConcurrent เชื่อมต่อ ions
คอลัมน์เพิ่มเติม เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นฉบับ นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง • ชื่อ
•ค่า		 ไม่ additionalColumns:
•ชื่อ
•ค่า

ข้อมูลปลายทาง

ชื่อ รายละเอียด ค่า ต้องมี คุณสมบัติสคริปต์ JSON
ชนิดของที่เก็บข้อมูล ประเภทที่เก็บข้อมูลของคุณ ภายนอก ใช่ /
เชื่อมต่อชั่น การเชื่อมต่อของคุณไปยังที่เก็บข้อมูลปลายทาง <การเชื่อมต่อของคุณ> ใช่ เชื่อม ต่อ
พาธของไฟล์ พาธโฟลเดอร์/ไฟล์ไปยังไฟล์ปลายทาง < เส้นทางโฟลเดอร์/ไฟล์ > ใช่ /
ได เรก ทอรี เส้นทางไปยังโฟลเดอร์ภายใต้บักเก็ตที่ระบุ <ชื่อโฟลเดอร์ของคุณ> ไม่ โฟลเดอร์พาธ
ชื่อไฟล์ ชื่อไฟล์ภายใต้บักเก็ตและเส้นทางโฟลเดอร์ที่ระบุ <ชื่อไฟล์ของคุณ> ไม่ fileName
คัดลอกลักษณะการทํางาน กําหนดลักษณะการทํางานของสําเนาเมื่อแหล่งข้อมูลคือไฟล์จากที่เก็บข้อมูลตามไฟล์ •ลําดับชั้นลดรูปแบบโครงสร้าง
• ผสานไฟล์
•รักษาลําดับชั้น		 ไม่ copyBehavior:
•FlattenHierarchy
• MergeFiles
•สงวนลําดับชั้น
การเชื่อมต่อพร้อมกันสูงสุด ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างขึ้นกับที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น <การเชื่อมต่อพร้อมกันสูงสุด> ไม่ maxConcurrent เชื่อมต่อ ions
แถวสูงสุดต่อไฟล์ เมื่อเขียนข้อมูลลงในโฟลเดอร์ คุณสามารถเลือกที่จะเขียนไปยังหลายไฟล์และระบุแถวสูงสุดต่อไฟล์ได้ ระบุแถวสูงสุดที่คุณต้องการเขียนต่อไฟล์ < แถวสูงสุดของคุณต่อไฟล์ > ไม่ maxRowsPerFile

เนื้อหาที่เกี่ยวข้อง