สอบถามและวิเคราะห์การอัปเดตที่เพิ่มขึ้น
ข้อมูล Microsoft Dataverse (รวมถึงข้อมูลจากแอป Dynamics 365 และการเงินและการดำเนินงาน) สามารถเปลี่ยนแปลงได้ตลอดเวลาผ่านการสร้าง อัปเดต และลบธุรกรรม ด้วยตัวเลือกการอัปเดตแบบเพิ่มหน่วย คุณสามารถสร้างไปป์ไลน์ข้อมูลส่วนเพิ่มที่ใช้การเปลี่ยนแปลงเหล่านี้กับระบบดาวน์สตรีมและฐานข้อมูล Synapse Link สำหรับ Dataverse ส่งออกข้อมูลส่วนที่เพิ่มในโฟลเดอร์ประทับเวลาที่มีการเปลี่ยนแปลงข้อมูลภายในช่วงเวลาที่ผู้ใช้ระบุ
คุณสามารถใช้ประโยชน์จากคุณลักษณะการอัปเดตแบบเพิ่มหน่วยสำหรับหลายสถานการณ์:
อัปเดตที่เก็บข้อมูลดาวน์สตรีมหรือคลังข้อมูล คุณอาจต้องนำการเปลี่ยนแปลงจาก Power Apps และข้อมูล Dynamics 365 ของคุณไปใช้กับที่เก็บข้อมูลดาวน์สตรีม การอัปเดตแบบเพิ่มหน่วยเป็นความสามารถมาตรฐานในเครื่องมือการแปลงข้อมูลส่วนใหญ่ เช่น Azure Data Factory อย่างไรก็ตาม เพื่อให้คุณลักษณะการอัปเดตแบบเพิ่มหน่วยทำงานได้ คุณต้องระบุเรกคอร์ดที่เปลี่ยนแปลงในตารางต้นทาง คุณลักษณะการอัปเดตแบบเพิ่มหน่วยจะให้ข้อมูลที่เปลี่ยนแปลงเป็นชุดของไฟล์ ซึ่งคุณไม่จำเป็นต้องตรวจหาการเปลี่ยนแปลงโดยการเปรียบเทียบภาพก่อนและหลังของตาราง
วิเคราะห์การเปลี่ยนแปลงในชุดข้อมูลขนาดใหญ่ หากคุณต้องการวิเคราะห์การเปลี่ยนแปลงในชุดข้อมูลขนาดใหญ่ คุณลักษณะการอัปเดตแบบเพิ่มหน่วยจะให้สตรีมข้อมูลที่ต่อเนื่องเป็นชุดงานขนาดเล็ก ซึ่งคุณไม่จำเป็นต้องจัดเก็บข้อมูลทั้งหมด ด้วยตัวเลือกนี้ คุณสามารถทิ้งข้อมูลเก่าและไม่มีการเคลื่อนไหวเพื่อประหยัดค่าใช้จ่ายในการจัดเก็บข้อมูล รวมทั้งติดตามการเปลี่ยนแปลงข้อมูลที่เกี่ยวข้องในช่วงเวลาที่ผู้ใช้กำหนด
นอกจากนี้ Azure Synapse Link for Dataverse ยังมีตัวเลือกในการส่งออกและบำรุงรักษาแบบจำลองของตารางในที่เก็บข้อมูล Azure Data Lake (รุ่น 2) ของคุณ คุณสามารถกำหนดค่า Azure Synapse Link ให้ส่งออกข้อมูลส่วนเพิ่มนอกเหนือจากการส่งออกแบบจำลองของตารางได้ การกำหนดค่าแต่ละรายการ (เรียกว่า "โปรไฟล์ Synapse Link") สามารถส่งออกตารางหรือข้อมูลส่วนเพิ่มได้ แม้ว่าคุณจะสามารถสร้างหลายโปรไฟล์ได้ แต่คุณไม่สามารถกำหนดค่าทั้งตารางและการอัปเดตส่วนเพิ่มภายในโปรไฟล์เดียวกันได้
สำคัญ
โฟลเดอร์ประทับเวลาเริ่มต้นจะถูกสร้างขึ้นเมื่อคุณเปิดใช้งานคุณลักษณะนี้ด้วยสำเนาข้อมูลของคุณ โฟลเดอร์ประทับเวลาและตารางที่ตามมาจะสร้างเฉพาะเมื่อมีการอัปเดตข้อมูลในช่วงเวลาที่ผู้ใช้ระบุเท่านั้น
เมื่อคุณสร้างโปรไฟล์ Synapse Link ด้วยคุณลักษณะการอัปเดตแบบเพิ่มหน่วย การกำหนดค่าจะมีผลกับตารางที่เลือกทั้งหมดภายในโปรไฟล์ Synapse Link
คุณลักษณะนี้ไม่สามารถเปิดใช้งานได้ด้วยตัวเลือก: เชื่อมต่อกับ Azure Synapse workspace ของคุณ สำหรับลูกค้าที่ต้องการการเข้าถึง Azure Synapse Analytics ให้ทำตามคำแนะนำนี้เพื่อตั้งค่าลิงก์: สร้างลิงก์ Azure Synapse Link for Dataverse ด้วย Azure Synapse Workspace ของคุณ
คุณลักษณะนี้เทียบเท่ากับคุณลักษณะ ตัวดึงข้อมูลการเปลี่ยนแปลง ในการส่งออกไปยังที่จัดเก็บข้อมูลดิบ ที่สร้างขึ้นในแอปการเงินและการดำเนินงานของ Dynamics 365 ลูกค้าที่ใช้คุณลักษณะ ตัวดึงข้อมูลการเปลี่ยนแปลง มีตัวเลือกในการเปิดใช้งานโปรไฟล์ Synapse Link ที่มีข้อมูลการเปลี่ยนแปลงโดยไม่ต้องส่งออกข้อมูลตาราง
ข้อกำหนดเบื้องต้น
คู่มือนี้อนุมานว่าคุณได้ปฏิบัติตามข้อกำหนดเบื้องต้นในการสร้าง Azure Synapse Link แล้ว ข้อมูลเพิ่มเติม: สร้าง Azure Synapse Link for Dataverse ด้วย Azure Data Lake
สร้างโปรไฟล์ Synapse Link เพื่อส่งออกข้อมูลส่วนที่เพิ่ม
ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมของคุณ
บนบานหน้าต่างการนำทางด้านซ้าย เลือก Azure Synapse Link หากรายการไม่อยู่ในบานหน้าต่างแผงด้านข้าง ให้เลือก …เพิ่มเติม แล้วเลือกรายการที่คุณต้องการ
บนแถบคำสั่ง เลือก + ลิงก์ใหม่
เลือก การสมัครใช้งาน กลุ่มทรัพยากร และ บัญชีที่เก็บข้อมูล เลือก ถัดไป
อย่าเลือกตัวเลือก เชื่อมต่อกับ Azure Synapse workspace หากคุณเลือกตัวเลือกนี้ คุณลักษณะการอัปเดตแบบเพิ่มหน่วยจะถูกปิดใช้งาน
เพิ่มตารางที่คุณต้องการส่งออก หากสภาพแวดล้อม Dataverse ของคุณเชื่อมต่อกับแอปการเงินและการดำเนินงาน คุณยังสามารถเลือกตารางจากแอปการเงินและการดำเนินงานได้ด้วย
เลือก ขั้นสูง
เปิด แสดงการตั้งค่าการกำหนดค่าขั้นสูง และ เปิดใช้งานโครงสร้างโฟลเดอร์การปรับปรุงแบบเพิ่มหน่วย
ป้อนช่วงเวลา (เป็นนาที) สำหรับความถี่ที่ควรบันทึกการปรับปรุงแบบเพิ่มหน่วย จากนั้นเลือก บันทึก
หมายเหตุ
ช่วงเวลาต่ำสุดคือ 5 นาที ซึ่งหมายถึงโฟลเดอร์การอัปเดตแบบเพิ่มหน่วยจะถูกสร้างขึ้นทุกๆ 5 นาทีและมีการเปลี่ยนแปลงที่เกิดขึ้นภายในช่วงเวลา การตั้งค่านี้สามารถกำหนดค่าได้หลังจากสร้างลิงก์ผ่าน จัดการตาราง ช่วงเวลาสูงสุดคือ 1,140 นาที (หรือ 24 ชั่วโมง)
ตรวจสอบให้แน่ใจว่าไม่ได้เลือก เชื่อมต่อกับ Azure Synapse workspace และ Azure Synapse workspace ของคุณ ในหน้าแรกของการตั้งค่า
ข้อมูลส่วนเพิ่มในโฟลเดอร์ที่ประทับเวลาจะถูกจัดเก็บเป็นไฟล์ข้อความค่าที่คั่นด้วยเครื่องหมายจุลภาค (ไฟล์ CSV) คุณไม่สามารถใช้คุณลักษณะการแปลงข้อมูลเดลต้าสำหรับข้อมูลส่วนที่เพิ่มและรับไฟล์ส่วนที่เพิ่มในรูปแบบ Delta parquet
ดูโฟลเดอร์แบบเพิ่มหน่วยในที่เก็บข้อมูล Microsoft Azure
เมื่อคุณสร้างโปรไฟล์ Synapse Link ที่มีข้อมูลส่วนเพิ่ม ระบบจะทำสำเนาเริ่มต้นของตารางทั้งหมด และจัดเก็บไว้ในโฟลเดอร์การอัปเดตแบบเพิ่มหน่วยครั้งแรก เมื่อสร้างสำเนาครั้งแรก ระบบจะสร้างโฟลเดอร์การอัปเดตที่ตามมาด้วยข้อมูลที่เปลี่ยนแปลง หากไม่มีการเปลี่ยนแปลงในตารางใดๆ ที่เลือก คุณจะไม่เห็นโฟลเดอร์ข้อมูลส่วนที่เพิ่ม
หากต้องการดูโฟลเดอร์ข้อมูลส่วนที่เพิ่มในบัญชีที่เก็บข้อมูล:
เลือก Azure Synapse Link ที่ต้องการ แล้วเลือก ไปยังที่จัดเก็บข้อมูลดิบ Azure บนแถบคำสั่ง
เลือก คอนเทนเนอร์ ภายใต้ ที่เก็บข้อมูล
เลือก dataverse-environmentName-organizationUniqueName โฟลเดอร์แบบเพิ่มหน่วยมีการตั้งชื่อตามการประทับเวลาการสร้าง ("yyyy-MM-dd'T'HH:mm:ss.SSSz") ใน UTC สังเกตว่าความแตกต่างของเวลาระหว่างโฟลเดอร์ที่ประทับเวลาคือช่วงเวลาที่คุณระบุในการตั้งค่าขั้นสูง
ภายในโฟลเดอร์ที่ประทับเวลาแต่ละโฟลเดอร์จะมีโฟลเดอร์สำหรับแต่ละตาราง ตารางที่เลือกอาจไม่มีการเปลี่ยนแปลงในระหว่างช่วงเวลา และคุณจะเห็นเฉพาะโฟลเดอร์ที่สอดคล้องกับตารางที่มีการเปลี่ยนแปลงข้อมูลเท่านั้น
หมายเหตุ
เนื่องจากคุณสมบัติกลไกการลองใหม่ อาจมีการสร้างโฟลเดอร์ประทับเวลาที่ว่างเปล่าเพิ่มเติมภายในช่วงเวลาที่ผู้ใช้ระบุ
ใช้ข้อมูลส่วนที่เพิ่ม
คุณสามารถคัดลอกข้อมูลส่วนที่เพิ่มลงในฐานข้อมูล Azure SQL หรือคลังข้อมูลได้โดยใช้เครื่องมือการรวมข้อมูล เช่น Azure Data Factory หรือไปป์ไลน์ Azure Synapse Analytics เรามีไปป์ไลน์ข้อมูลตัวอย่างที่สามารถใช้เพื่อวัตถุประสงค์นี้ สำหรับข้อมูลเพิ่มเติม:คัดลอกข้อมูล Dataverse ลงใน Azure SQL
หากคุณเป็นลูกค้าแอปการเงินและการดำเนินงานของ Dynamics 365 ที่เปลี่ยนจากคุณลักษณะตัวดึงข้อมูลการเปลี่ยนแปลง คุณสามารถใช้ เครื่องมือตัวอย่างการรวมข้อมูลที่มีให้ใน GitHub เพื่ออัปเดตไปป์ไลน์ข้อมูลที่มีอยู่ซึ่งใช้กับคุณลักษณะตัวดึงข้อมูลการเปลี่ยนแปลงได้
คุณยังสามารถสร้างไปป์ไลน์ข้อมูลของคุณเองเพื่อใช้ข้อมูลส่วนที่เพิ่มได้ด้วย อย่างไรก็ตาม คุณต้องพิจารณาแนวทางปฏิบัติที่ดีที่สุดต่อไปนี้เมื่อออกแบบไปป์ไลน์ของคุณเอง:
- ใช้ข้อมูลจากโฟลเดอร์ประทับเวลาก่อนหน้าเท่านั้น: ด้วยวิธีนี้ คุณสามารถหลีกเลี่ยงความขัดแย้งในการอ่าน-เขียนกับบริการ Synapse Link ซึ่งอาจอัปเดตข้อมูลในโฟลเดอร์ปัจจุบันอย่างต่อเนื่อง คุณสามารถค้นหาโฟลเดอร์ปัจจุบันได้โดยดูไฟล์ Changelog/changelog.info ไฟล์นี้เป็นไฟล์แบบอ่านอย่างเดียวซึ่งมีแถวเดียวที่มีชื่อโฟลเดอร์ที่มีการอัปเดตในปัจจุบัน คุณไม่ควรอัปเดตไฟล์นี้เนื่องจากอาจทำให้ระบบไม่เสถียร
- คุณสามารถดูไฟล์ model.json ที่อยู่ในโฟลเดอร์ประทับเวลาแต่ละโฟลเดอร์เพื่ออ่านเมตาดาต้า เช่น ชื่อคอลัมน์สำหรับข้อมูลที่อยู่ในโฟลเดอร์ตาราง สังเกตว่าไฟล์ model.json แต่ละไฟล์ในโฟลเดอร์ที่อยู่ในโฟลเดอร์ที่ประทับเวลามีเมตาดาต้าสำหรับตารางทั้งหมด ไม่ใช่แค่ตารางที่อยู่ในโฟลเดอร์ที่ประทับเวลาเท่านั้น
- หลีกเลี่ยงการใช้ไฟล์บันทึกอื่นๆ เช่น ไฟล์บันทึก Synapse.log ไฟล์นี้ใช้เพื่อวัตถุประสงค์ภายในและอาจไม่สะท้อนข้อมูลที่ถูกต้อง
- พิจารณาลบโฟลเดอร์ส่วนเพิ่มที่ล้าสมัยออกจาก Azure Data lake ของคุณหลังจากที่คุณประมวลผลเสร็จแล้ว ปัจจุบัน Synapse Link รักษาการเช่าไฟล์เหล่านี้ใน Azure Storage เพื่อกู้คืนจากความล้มเหลวใดๆ ระบบอาจปล่อยการเช่าหลังจากผ่านไประยะหนึ่ง
