กําหนดค่า Oracle Cloud Storage ในกิจกรรมการคัดลอก
บทความนี้สรุปวิธีการใช้กิจกรรมการคัดลอกในไปป์ไลน์ข้อมูลเพื่อคัดลอกข้อมูลจาก Oracle Cloud Storage
ข้อกำหนดเบื้องต้น
หากต้องการคัดลอกข้อมูลจาก Oracle Cloud Storage โปรดดู API ความเข้ากันได้ของ Object Storage Amazon S3 สําหรับข้อกําหนดเบื้องต้นและสิทธิ์ที่จําเป็น
รูปแบบที่ได้รับการสนับสนุน
ที่เก็บข้อมูลระบบคลาวด์ของ Oracle รองรับรูปแบบไฟล์ต่อไปนี้ ดูแต่ละบทความสําหรับการตั้งค่าตามรูปแบบ
- รูปแบบ Avro
- รูปแบบไบนารี
- รูปแบบข้อความที่คั่นด้วยตัวคั่น
- รูปแบบ Excel
- รูปแบบ JSON
- รูปแบบ ORC
- รูปแบบ Parquet
- รูปแบบ XML
การกําหนดค่าที่ได้รับการสนับสนุน
สําหรับการกําหนดค่าของแต่ละแท็บบนกิจกรรมการคัดลอก ให้ไปที่ส่วนต่อไปนี้:
ทั่วไป
สําหรับการกําหนดค่าแท็บทั่วไป ไปที่ทั่วไป
แหล่งที่มา
คุณสมบัติต่อไปนี้ได้รับการสนับสนุนสําหรับ Oracle Cloud Storage บนแท็บ แหล่งข้อมูล ของกิจกรรมการคัดลอก
จําเป็นต้องมีคุณสมบัติต่อไปนี้:
ชนิดของที่เก็บข้อมูล: เลือก ภายนอก
เชื่อมต่อ: เลือกการเชื่อมต่อ Oracle Cloud Storage จากรายการการเชื่อมต่อ ถ้าไม่มีการเชื่อมต่อสร้างการเชื่อมต่อใหม่ Oracle Cloud Storage โดยการเลือกใหม่
ประเภทพาธของไฟล์: คุณสามารถเลือกเส้นทางของไฟล์ คํานําหน้า เส้นทางไฟล์อักขระตัวแทน หรือรายการของไฟล์เป็นประเภทเส้นทางของไฟล์ของคุณได้ การกําหนดค่าของแต่ละการตั้งค่าเหล่านี้คือ:
พาธของไฟล์: ข้อมูลสามารถคัดลอกจากบักเก็ตหรือเส้นทางโฟลเดอร์/ไฟล์ที่ระบุใน เส้นทางไฟล์
คํานําหน้า: ระบุ บักเก็ต และ คํานําหน้า
บักเก็ต: ระบุชื่อบักเก็ตพื้นที่เก็บข้อมูล Oracle Cloud ซึ่งจําเป็น
คํานําหน้า: คํานําหน้าสําหรับชื่อคีย์ Oracle Cloud Storage ภายใต้บักเก็ตที่ระบุเพื่อกรองไฟล์ Oracle Cloud Storage ของแหล่งข้อมูล คีย์ Oracle Cloud Storage ที่มีชื่อเริ่มต้นด้วย
given_bucket/this_prefixถูกเลือกไว้ ใช้ตัวกรองด้านบริการของ Oracle Cloud Storage ซึ่งให้ประสิทธิภาพที่ดีกว่าตัวกรองอักขระตัวแทน
เส้นทางไฟล์อักขระตัวแทน: ระบุเส้นทางบักเก็ตและอักขระตัวแทน
บักเก็ต: ระบุชื่อบักเก็ตพื้นที่เก็บข้อมูล Oracle Cloud ซึ่งจําเป็น
เส้นทางอักขระตัวแทน: ระบุโฟลเดอร์หรือเส้นทางของแฟ้มด้วยอักขระตัวแทนภายใต้บักเก็ตที่ระบุของคุณเพื่อกรองโฟลเดอร์หรือไฟล์ต้นทางของคุณ
สัญลักษณ์ตัวแทนที่อนุญาตคือ:
*(ตรงกับอักขระศูนย์หรือมากกว่า) และ?(ตรงกับศูนย์หรืออักขระเดียว) ใช้^เพื่อหลีกเลี่ยงถ้าชื่อโฟลเดอร์ของคุณมีอักขระตัวแทนหรืออักขระหลีกเลี่ยงนี้อยู่ภายใน สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างตัวกรองโฟลเดอร์และไฟล์
- เส้นทางโฟลเดอร์อักขระตัวแทน: ระบุเส้นทางโฟลเดอร์ด้วยอักขระตัวแทนภายใต้บักเก็ตที่ระบุเพื่อกรองโฟลเดอร์ต้นทาง
- ชื่อไฟล์อักขระตัวแทน: ระบุชื่อไฟล์ด้วยอักขระตัวแทนภายใต้บักเก็ตที่ระบุและเส้นทางโฟลเดอร์ (หรือเส้นทางโฟลเดอร์อักขระตัวแทน) เพื่อกรองไฟล์ต้นทาง
รายการไฟล์: ระบุ พาธ โฟลเดอร์และ พาธไปยังรายการ ไฟล์เพื่อระบุเพื่อคัดลอกชุดไฟล์ที่ระบุ ชี้ไปที่ไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอกหนึ่งไฟล์ต่อบรรทัดซึ่งเป็นเส้นทางสัมพัทธ์ไปยังเส้นทางที่กําหนดค่าไว้ สําหรับตัวอย่างเพิ่มเติม ไปที่ ตัวอย่างรายการไฟล์
- เส้นทางโฟลเดอร์: ระบุเส้นทางไปยังโฟลเดอร์ภายใต้บักเก็ตที่ระบุ ซึ่งจําเป็น
- เส้นทางไปยังรายการไฟล์: ระบุเส้นทางของไฟล์ข้อความที่มีรายการของไฟล์ที่คุณต้องการคัดลอก
แบบเรียกใช้ซ้ํา: ระบุว่าข้อมูลถูกอ่านซ้ําจากโฟลเดอร์ย่อยหรือเฉพาะจากโฟลเดอร์ที่ระบุ เมื่อเลือกกล่องกาเครื่องหมายนี้ และปลายทางคือที่เก็บที่ยึดตามไฟล์ โฟลเดอร์หรือโฟลเดอร์ย่อยที่ว่างเปล่าจะไม่ถูกคัดลอกหรือสร้างขึ้นที่ปลายทาง
รูปแบบไฟล์: เลือกรูปแบบไฟล์ที่ใช้จากรายการดรอปดาวน์ เลือกการตั้งค่าเพื่อกําหนดค่ารูปแบบไฟล์ สําหรับการตั้งค่ารูปแบบไฟล์ที่แตกต่างกัน ดูที่บทความในรูปแบบที่รองรับ
ภายใต้ ขั้นสูง คุณสามารถระบุเขตข้อมูลต่อไปนี้:
กรองตามการปรับเปลี่ยนล่าสุด: ไฟล์จะถูกกรองตามวันที่ปรับเปลี่ยนล่าสุดที่คุณระบุ คุณสมบัตินี้ใช้ไม่ได้เมื่อคุณกําหนดค่าชนิดเส้นทางไฟล์ของคุณเป็นรายการของไฟล์
- เวลาเริ่มต้น (UTC): ไฟล์จะถูกเลือกถ้าเวลาที่ปรับเปลี่ยนล่าสุดมากกว่าหรือเท่ากับเวลาที่กําหนดไว้
- เวลาสิ้นสุด (UTC): ไฟล์จะถูกเลือกถ้าเวลาที่ปรับเปลี่ยนล่าสุดน้อยกว่าเวลาที่กําหนดไว้
เมื่อ เวลาเริ่มต้น (UTC) มีค่าวันที่เวลา แต่ เวลาสิ้นสุด (UTC) เป็น NULL นั่นหมายความว่าไฟล์ที่มีแอตทริบิวต์ที่ปรับเปลี่ยนล่าสุดมากกว่าหรือเท่ากับค่าวันที่เวลาที่ถูกเลือก เมื่อ เวลาสิ้นสุด (UTC) มีค่าวันที่เวลา แต่ เวลาเริ่มต้น (UTC) เป็น NULL นั่นหมายความว่าไฟล์ที่มีแอตทริบิวต์ที่ปรับเปลี่ยนล่าสุดน้อยกว่าค่าวันที่เวลาถูกเลือก คุณสมบัติอาจเป็น NULL ซึ่งหมายความว่าไม่มีการใช้ตัวกรองแอตทริบิวต์ของไฟล์กับข้อมูล
เปิดใช้งานการค้นพบพาร์ติชัน: ระบุว่าจะแยกวิเคราะห์พาร์ติชันจากเส้นทางไฟล์และเพิ่มพาร์ติชันเหล่านั้นเป็นคอลัมน์ต้นทางอื่น หรือไม่ ซึ่งไม่ได้ถูกเลือกตามค่าเริ่มต้นและไม่ได้รับการสนับสนุนเมื่อคุณใช้รูปแบบไฟล์ไบนารี
เส้นทางรากของพาร์ติชัน: เมื่อเปิดใช้งานการค้นพบพาร์ติชัน ให้ระบุเส้นทางรากสัมบูรณ์เพื่ออ่านโฟลเดอร์ที่มีพาร์ติชันเป็นคอลัมน์ข้อมูล
หากไม่ได้ระบุไว้ ตามค่าเริ่มต้น:
- เมื่อคุณใช้พาธของไฟล์หรือรายการของไฟล์ในแหล่งที่มา พาธรูทของพาร์ติชันคือเส้นทางที่คุณกําหนดค่า
- เมื่อคุณใช้ตัวกรองโฟลเดอร์อักขระตัวแทน เส้นทางรากของพาร์ติชันคือพาธย่อยก่อนสัญลักษณ์ตัวแทนแรก
- เมื่อคุณใช้คํานําหน้า เส้นทางรากของพาร์ติชันคือพาธย่อยก่อน "/" สุดท้าย
ตัวอย่างเช่น สมมติว่าคุณกําหนดค่าเส้นทางเป็น
root/folder/year=2020/month=08/day=27:- ถ้าคุณระบุเส้นทางรากของพาร์ติชันเป็น
root/folder/year=2020กิจกรรมการคัดลอกจะสร้างสองคอลัมน์ เดือนและวันเพิ่มเติม คอลัมน์เหล่านี้มีค่า "08" และ "27" ตามลําดับนอกเหนือจากคอลัมน์ภายในไฟล์ - ถ้าไม่ได้ระบุเส้นทางรากของพาร์ติชัน จะไม่มีการสร้างคอลัมน์พิเศษ
การเชื่อมต่อพร้อมกันสูงสุด: ขีดจํากัดสูงสุดของการเชื่อมต่อพร้อมกันที่สร้างไปยังที่เก็บข้อมูลในระหว่างการเรียกใช้กิจกรรม ระบุค่าเมื่อคุณต้องการจํากัดการเชื่อมต่อที่เกิดขึ้นพร้อมกันเท่านั้น
คอลัมน์เพิ่มเติม: เพิ่มคอลัมน์ข้อมูลเพิ่มเติมเพื่อจัดเก็บเส้นทางสัมพัทธ์หรือค่าคงที่ของไฟล์ต้นทาง นิพจน์ได้รับการสนับสนุนสําหรับอย่างหลัง
การแม็ป
สําหรับ การกําหนดค่าแท็บการแมป ดู กําหนดค่าการแมปของคุณภายใต้แท็บ การแมป ถ้าคุณเลือก ไบนารี เป็นรูปแบบไฟล์ของคุณ การแมปจะไม่ได้รับการสนับสนุน
การตั้งค่า
สําหรับการกําหนดค่าแท็บการตั้งค่า ให้ดู กําหนดค่าการตั้งค่าอื่นๆ ของคุณภายใต้แท็บ การตั้งค่า
ข้อมูลสรุปของตาราง
ตารางต่อไปนี้ประกอบด้วยข้อมูลเพิ่มเติมเกี่ยวกับกิจกรรมการคัดลอกใน Oracle Cloud Storage