คัดลอกข้อมูล Dataverse ไปยัง Azure SQL

ใช้ Azure Synapse Link เพื่อเชื่อมต่อข้อมูล Microsoft Dataverse ของคุณไปยัง Azure Synapse Analytics Analytics เพื่อสำรวจข้อมูลของคุณและเร่งเวลาในการทำความเข้าใจ บทความนี้แสดงวิธีการเรียกใช้ไปป์ไลน์ Azure Synapse หรือ Azure Data Factory เพื่อคัดลอกข้อมูลจาก Azure Data Lake Storage Gen2 ไปยังฐานข้อมูล Azure SQL พร้อมเปิดใช้งานคุณลักษณะการอัปเดตที่เพิ่มขึ้นใน Azure Synapse Link

หมายเหตุ

Azure Synapse Link for Microsoft Dataverse เดิมชื่อ ส่งออกไปยังที่จัดเก็บข้อมูลดิบ บริการถูกเปลี่ยนชื่อโดยมีผลเดือนพฤษภาคม 2021 และจะยังคงส่งออกข้อมูลไปยัง Azure Data Lake เช่นเดียวกับ Azure Synapse Analytics แม่แบบนี้เป็นตัวอย่างโค้ด เราขอแนะนำให้คุณใช้แม่แบบนี้เป็นแนวทางในการทดสอบฟังก์ชันการดึงข้อมูลจาก Azure Data Lake Storage Gen2 ไปยัง Azure SQL Database โดยใช้ไปป์ไลน์ที่มีให้

ข้อกำหนดเบื้องต้น

1. Azure Synapse Link for Dataverse คู่มือนี้อนุมานว่าคุณได้ปฏิบัติตามข้อกำหนดเบื้องต้นในการสร้าง Azure Synapse Link ที่มี Azure Data Lake แล้ว ข้อมูลเพิ่มเติม: ข้อกำหนดเบื้องต้นสำหรับ Azure Synapse Link for Dataverse ที่มี Azure Data Lake ของคุณ
2. สร้าง Azure Synapse Workspace หรือ Azure Data Factory ภายใต้ผู้เช่า Microsoft Entra เดียวกันกับผู้เช่า Power Apps ของคุณ
3. สร้าง Azure Synapse Link for Dataverse ด้วย การเปิดใช้งานการอัปเดตโฟลเดอร์ที่เพิ่มขึ้น เพื่อตั้งค่าช่วงเวลา สำหรับข้อมูลเพิ่มเติม: Query and analyze the incremental updates
4. ผู้ให้บริการ Microsoft.EventGrid จะต้องลงทะเบียนสำหรับทริกเกอร์ ข้อมูลเพิ่มเติม: พอร์ทัล Azure หมายเหตุ: หากคุณกำลังใช้คุณลักษณะนี้ใน Azure Synapse Analytics ตรวจสอบให้แน่ใจว่าการสมัครรับข้อมูลของคุณลงทะเบียนกับผู้ให้บริการทรัพยากร Data Factory มิฉะนั้น คุณจะได้รับข้อผิดพลาดที่ระบุว่าการสร้าง "การสมัครรับข้อมูลกิจกรรม" ล้มเหลว
5. สร้างฐานข้อมูล Azure SQL ด้วยAzure อนุญาตให้บริการและทรัพยากรของ Azure เข้าถึงเซิร์ฟเวอร์นี้ ข้อมูลเพิ่มเติม: ฉันควรรู้อะไรบ้างเมื่อตั้งค่า Azure SQL Database (PaaS) ของฉัน
6. สร้างและกำหนดค่ารันไทม์การรวม Azure ข้อมูลเพิ่มเติม: สร้างรันไทม์การรวม Azure - Azure Data Factory & Azure Synapse

ข้อสำคัญ

การใช้แม่แบบนี้อาจมีค่าใช้จ่ายเพิ่มเติม ค่าใช้จ่ายเหล่านี้เกี่ยวข้องกับการใช้งาน Azure Data Factory หรือไปป์ไลน์พื้นที่ทำงาน Synapse และจะเรียกเก็บเงินเป็นรายเดือน ค่าใช้จ่ายในการใช้ไปป์ไลน์ส่วนใหญ่ขึ้นอยู่กับช่วงเวลาสำหรับการอัปเดตส่วนเพิ่มและปริมาณข้อมูล หากต้องการวางแผนและจัดการต้นทุนของการใช้คุณลักษณะนี้ ให้ไปที่: ตรวจสอบต้นทุนที่ระดับไปป์ไลน์ด้วยการวิเคราะห์ต้นทุน

สิ่งสำคัญคือต้องคำนึงถึงค่าใช้จ่ายเพิ่มเติมเหล่านี้เมื่อตัดสินใจใช้แม่แบบนี้ เนื่องจากไม่บังคับและต้องจ่ายเพื่อใช้คุณลักษณะนี้ต่อไป

ใช้เทมเพลตของโซลูชัน

Synapse Analytics

1. ไปที่ พอร์ทัล Azure และเปิด Azure Synapse workspace
2. เลือก รวม > เรียกดูแกลเลอรี
3. เลือก คัดลอกข้อมูล Dataverse ไปยัง Azure SQL โดยใช้ Synapse Link จากแกลเลอรีการรวม

Azure Data Factory

1. ไปที่พอร์ทัล Azure และเปิด Azure Data Factory Studio
2. เลือก เพิ่มทรัพยากรใหม่ > ไปป์ไลน์ > แกลเลอรี่เทมเพลต
3. เลือก คัดลอกข้อมูล Dataverse ไปยัง Azure SQL โดยใช้ Synapse Link จากแกลเลอรีเทมเพลต

ตั้งค่าคอนฟิกเทมเพลตแกลเลอรี

1. สร้างบริการที่เชื่อมโยงกับ Azure Data Lake Storage Gen2 ซึ่งเชื่อมต่อกับ Dataverse โดยใช้ชนิดการรับรองความถูกต้องที่เหมาะสม ในการดำเนินการนี้ ให้เลือก ทดสอบการเชื่อมต่อเพื่อตรวจสอบการเชื่อมต่อ แล้วเลือก สร้าง

2. คล้ายกับขั้นตอนก่อนหน้า สร้างบริการที่เชื่อมโยงกับฐานข้อมูล Azure SQL โดยที่ข้อมูล Dataverse จะถูกซิงค์

3. เมื่อ อินพุต ได้รับการกำหนดค่าแล้ว ให้เลือก ใช้เทมเพลตนี้

4. ตอนนี้คุณสามารถเพิ่มทริกเกอร์เพื่อทำให้ไปป์ไลน์นี้เป็นอัตโนมัติ เพื่อให้ไปป์ไลน์สามารถประมวลผลไฟล์ได้เสมอเมื่อการอัปเดตส่วนเพิ่มเสร็จสิ้นเป็นระยะๆ ไปที่ จัดการ > ทริกเกอร์ และสร้างทริกเกอร์โดยใช้คุณสมบัติต่อไปนี้:

   • ชื่อ: ใส่ชื่อสำหรับทริกเกอร์ เช่น triggerModelJson
   • ชนิด: เหตุการณ์ที่เก็บข้อมูล
   • การสมัครสมาชิก Azure: เลือกการสมัครสมาชิกที่มี Azure Data Lake Storage รุ่น 2
   • Storage account name: เลือกที่เก็บข้อมูลที่มีข้อมูล Dataverse
   • ชื่อคอนเทนเนอร์: เลือกคอนเทนเนอร์ที่สร้างโดย Azure Synapse Link
   • พาธของ Blob ลงท้ายด้วย: /model.json
   • เหตุการณ์: Blob ที่สร้าง
   • ละเว้น Blob ว่างเปล่า: ใช่
   • เริ่มทริกเกอร์: เปิดใช้งาน เริ่มทริกเกอร์ในการสร้าง

   

5. เลือก ดำเนินการต่อ ในการดำเนินการหน้าจอถัดไปต่อ

6. ในหน้าจอถัดไป ทริกเกอร์จะตรวจสอบไฟล์ที่ตรงกัน เลือก ตกลง เพื่อสร้างทริกเกอร์

7. เชื่อมโยงทริกเกอร์กับไปป์ไลน์ ไปที่ไปป์ไลน์ที่นำเข้าก่อนหน้านี้ แล้วเลือก เพิ่มทริกเกอร์ > ใหม่/แก้ไข

8. เลือกทริกเกอร์ในขั้นตอนก่อนหน้า แล้วเลือก ดำเนินการต่อ เพื่อไปยังหน้าจอถัดไปที่ทริกเกอร์ตรวจสอบไฟล์ที่ตรงกัน

9. เลือก ดำเนินการต่อ ในการดำเนินการหน้าจอถัดไปต่อ

10. ในส่วน พารามิเตอร์การเรียกใช้ทริกเกอร์ ป้อนพารามิเตอร์ด้านล่า งแล้วเลือก ตกลง

    • คอนเทนเนอร์: @split(triggerBody().folderPath,'/')[0]
    • โฟลเดอร์: @split(triggerBody().folderPath,'/')[1]

11. หลังจากเชื่อมโยงทริกเกอร์กับไปป์ไลน์แล้ว ให้เลือก ตรวจสอบทั้งหมด

12. เมื่อการตรวจสอบสำเร็จ ให้เลือก เผยแพร่ทั้งหมด

13. เลือก เผยแพร่ เพื่อเผยแพร่การเปลี่ยนแปลงทั้งหมด

เพิ่มตัวกรองการสมัครสมาชิกเหตุการณ์

เพื่อให้แน่ใจว่าทริกเกอร์เริ่มทำงานเมื่อการสร้าง model.json เสร็จสมบูรณ์เท่านั้น จำเป็นต้องอัปเดตตัวกรองขั้นสูง สำหรับการสมัครสมาชิกเหตุการณ์ของทริกเกอร์ มีการลงทะเบียนเหตุการณ์กับบัญชีที่เก็บข้อมูลในครั้งแรกที่ทริกเกอร์ทำงาน

1. เมื่อเรียกใช้ทริกเกอร์เสร็จสิ้น ให้ไปที่บัญชีที่เก็บข้อมูล > เหตุการณ์ > สมัครสมาชิกเหตุการณ์

2. เลือกเหตุการณ์ที่ลงทะเบียนไว้สำหรับทริกเกอร์ model.json

3. เลือกแท็บ ตัวกรอง จากนั้นเลือก เพิ่มตัวกรองใหม่

4. สร้างตัวกรอง:

   • คีย์: เรื่อง
   • ตัวดำเนินการ: สตริงไม่ได้ลงท้ายด้วย
   • ค่า: /blobs/model.json

5. ลบพารามิเตอร์ CopyBlob จากอาร์เรย์ data.api ค่า

6. เลือก บันทึก เพื่อปรับใช้ตัวกรองเพิ่มเติม

ดูเพิ่มเติม

บล็อก: การประกาศ Azure Synapse Link for Dataverse

หมายเหตุ

บอกให้เราทราบเกี่ยวกับภาษาที่คุณต้องการในคู่มือ ทำแบบสำรวจสั้นๆ (โปรดทราบว่าแบบสำรวจนี้เป็นภาษาอังกฤษ)

แบบสำรวจนี้ใช้เวลาทำประมาณเจ็ดนาที ไม่มีการเก็บข้อมูลส่วนบุคคล (คำชี้แจงสิทธิ์ส่วนบุคคล)