อัปเดตแหล่งข้อมูล Common Data Model เพื่อใช้ตาราง Delta
อัปเดตการเชื่อมต่อข้อมูลที่มีอยู่ด้วยตาราง Common Data Model และย้ายไปยังตารางที่จัดรูปแบบ Delta โดยไม่ต้องลบและสร้างการกำหนดค่าที่มีอยู่ใหม่ซึ่งขึ้นอยู่กับการเชื่อมต่อข้อมูล
เหตุผลสำคัญในการเชื่อมต่อข้อมูลที่จัดเก็บในรูปแบบเดลต้า:
- นำเข้าข้อมูลที่จัดรูปแบบเดลต้าโดยตรง เพื่อประหยัดเวลาและความพยายาม
- ขจัดต้นทุนการประมวลผลและพื้นที่จัดเก็บข้อมูลที่เกี่ยวข้องกับการแปลง และจัดเก็บสำเนาข้อมูล Lakehouse ของคุณ
- ปรับปรุงความน่าเชื่อถือของการนำเข้าข้อมูลไปยัง Customer Insights - Data ที่จัดทำโดยการกำหนดเวอร์ชันเดลต้าโดยอัตโนมัติ
Delta เป็นคำที่ใช้กับ Delta Lake ซึ่งเป็นรากฐานสำหรับการจัดเก็บข้อมูลและตารางใน Databricks Lakehouse Platform Delta Lake เป็นเลเยอร์การจัดเก็บข้อมูลแบบโอเพ่นซอร์สที่นำธุรกรรม ACID (อะตอมมิกซิตี ความสม่ำเสมอ การแยกตัว และความทนทาน) มาสู่ปริมาณงานข้อมูลขนาดใหญ่ สำหรับข้อมูลเพิ่มเติม โปรดดู หน้าเอกสาร Delta Lake
ข้อกำหนดเบื้องต้น
Azure Data Lake Storage ต้องอยู่ในผู้เช่าและภูมิภาค Azure เดียวกันกับ Customer Insights - Data
หากต้องการเชื่อมต่อกับที่เก็บข้อมูลที่ป้องกันโดยไฟร์วอลล์ ให้ตั้งค่า Azure Private Link
หลักการบริการ Customer Insights - Data ต้องมีสิทธิ์ผู้สนับสนุนข้อมูล Blob ของการจัดเก็บเพื่อเข้าถึงบัญชีที่เก็บข้อมูล สำหรับข้อมูลเพิ่มเติม โปรดดู ให้สิทธิ์แก่บริการหลักในการเข้าถึงบัญชีที่เก็บข้อมูล
ผู้ใช้ที่ตั้งค่าหรืออัปเดตแหล่งข้อมูลต้องมีสิทธิ์ของตัวอ่าน Storage Blob Data เป็นอย่างน้อยในบัญชี Azure Data Lake Storage
ข้อมูลที่จัดเก็บในบริการออนไลน์อาจถูกจัดเก็บในตำแหน่งอื่นนอกเหนือจากที่ข้อมูลถูกประมวลผลหรือจัดเก็บ การนำเข้าหรือการเชื่อมต่อไปยังข้อมูลที่จัดเก็บในบริการออนไลน์ หมายถึงคุณยอมรับว่าสามารถถ่ายโอนข้อมูล เรียนรู้เพิ่มเติมที่ Microsoft Trust Center
Customer Insights - Data รองรับตัวอ่าน Databricks เวอร์ชัน 2 ไม่รองรับตารางเดลต้าที่ใช้คุณลักษณะที่ต้องใช้ตัวอ่าน Databricks เวอร์ชัน 3 ขึ้นไป เรียนรู้เพิ่มเติม: คุณสมบัติ Databricks ที่รองรับ
ตารางเดลต้าต้องอยู่ในโฟลเดอร์ในคอนเทนเนอร์ที่เก็บข้อมูล และไม่สามารถอยู่ในไดเร็กทอรีรากของคอนเทนเนอร์ได้ ตัวอย่าง
storageaccountcontainer/ DeltaDataRoot/ ADeltaTable/ _delta_log/ 0000.json 0001.json part-0001-snappy.parquet part-0002-snappy.parquet
ตารางเดลต้าและสคีมาจะต้องตรงกับตารางในแหล่งข้อมูล Common Data Model ที่มีอยู่ และอยู่ในคอนเทนเนอร์ที่เก็บข้อมูลเดียวกัน ตารางในโฟลเดอร์ข้อมูลใหม่จะต้องตรงกับตารางที่เลือกในแหล่งข้อมูล Common Data Model ทุกประการ ชื่อตารางและสคีมาต้องตรงกันทุกประการ ใน Delta ชื่อตารางจะเหมือนกับชื่อโฟลเดอร์ที่เก็บข้อมูล ดังนั้น ชื่อโฟลเดอร์ต้องตรงกับตารางที่เลือกในแหล่งข้อมูล Common Data Model ทุกประการ มิฉะนั้น การอัปเดตอาจล้มเหลว
ตัวอย่างเช่น หากตารางแหล่งข้อมูล Common Data Model ที่เลือกคือ Table1 และ Table2 โฟลเดอร์ที่คุณเลือกสำหรับการอัปเดตจะต้องแสดง Table1 และ Table2 ในลำดับชั้น
storageaccountroot/ DeltaDataRoot/ Table1/ Table2/
อัปเดตตารางข้อมูล Common Data Model เป็นตาราง Delta
ไปที่ ข้อมูล>แหล่งข้อมูล
เลือกแหล่งข้อมูล Common Data Model ของ Azure Data Lake แล้วเลือก อัปเดตเป็นตาราง Delta หรือเลือก เริ่มการอัปเดต จากหน้า เพิ่มตาราง หากคุณกำลังแก้ไขแหล่งข้อมูล Common Data Model
เลือก เรียกดู และไปยังโฟลเดอร์ที่มีข้อมูลในรูปแบบเดลต้าและ ตรงทุกประการ กับตารางแหล่งข้อมูล Azure Data Lake ที่เลือก เลือกโฟลเดอร์ แล้วเลือก อัปเดตแหล่งข้อมูล
หน้า แหล่งข้อมูล จะเปิดขึ้นเพื่อแสดงแหล่งข้อมูลใหม่ในสถานะ กำลังรีเฟรช
สำคัญ
อย่าหยุดกระบวนการรีเฟรช เนื่องจากอาจส่งผลเสียต่อการอัปเดตแหล่งข้อมูล
เคล็ดลับ
มี สถานะ สำหรับงานและกระบวนการ กระบวนการส่วนใหญ่ขึ้นอยู่กับกระบวนการต้นทางอื่นๆ เช่น แหล่งข้อมูลและ การรีเฟรช การทำโปรไฟล์ข้อมูล
เลือกสถานะเพื่อเปิดบานหน้าต่าง รายละเอียดความคืบหน้า และดูความคืบหน้าของงาน หากต้องการยกเลิกงาน ให้เลือก ยกเลิกงาน ที่ด้านล่างของบานหน้าต่าง
ในแต่ละงาน คุณสามารถเลือก ดูรายละเอียด เพื่อดูข้อมูลความคืบหน้าเพิ่มเติม เช่น เวลาประมวลผล วันที่ประมวลผลล่าสุด และข้อผิดพลาดและคำเตือนที่เกี่ยวข้องใดๆ ที่เกี่ยวข้องกับงานหรือกระบวนการ เลือก ดูสถานะของระบบ ที่ด้านล่างของแผงเพื่อดูกระบวนการอื่นๆ ในระบบ
เราขอแนะนำให้คุณสตรีมข้อมูลของคุณไปยังตำแหน่ง Data Lake Storage ต่อไปผ่านไปป์ไลน์ที่มีอยู่ของคุณ และรักษารายการและสคีมาไว้จนกว่าคุณจะตัดสินว่าการอัปเดตสำเร็จและทุกอย่างทำงานได้ตามที่คาดไว้
แปลงกลับการแปลงจากตาราง Common Data Model เป็นตาราง Delta
หากคุณพยายามอัปเดตแหล่งข้อมูล Common Data Model ของ Azure Data Lake เป็นตาราง Delta และกระบวนการล้มเหลว ให้ทำตามขั้นตอนต่อไปนี้
ข้อกำหนดเบื้องต้น
- องค์กรของคุณยังคงสตรีมข้อมูล Data Lake Storage ผ่านไปป์ไลน์ของคุณ
- องค์กรของคุณดูแลรักษารายการและสคีมาของ Data Lake Storage ไว้
แปลงกลับเป็นแหล่งข้อมูล Common Data Model ของ Azure Data Lake
ไปที่ ข้อมูล>แหล่งข้อมูล
เลือกแหล่งข้อมูล Common Data Model ของ Azure Data Lake แล้วเลือก แปลงกลับเป็นตาราง Common Data Model
ยืนยันว่าคุณต้องการแปลงกลับ หน้า แหล่งข้อมูล จะเปิดขึ้นเพื่อแสดงแหล่งข้อมูลใหม่ในสถานะ กำลังรีเฟรช
สำคัญ
อย่าหยุดกระบวนการรีเฟรช เนื่องจากอาจส่งผลเสียต่อการแปลงกลับแหล่งข้อมูล