สร้าง Azure Synapse Link สำหรับ Dataverse ด้วย Azure Data Lake

คุณสามารถใช้ Azure Synapse Link เพื่อเชื่อมต่อข้อมูล Microsoft Dataverse ของคุณไปยัง Azure Data Lake Storage Gen2 เพื่อเปิดใช้งานสถานการณ์การวิเคราะห์ต่างๆ บทความนี้แสดงวิธีที่คุณสามารถดำเนินงานต่อไปนี้:

1. เชื่อมต่อข้อมูล Dataverse ของคุณไปยังบัญชี Azure Data Lake Storage Gen2 ของคุณกับบริการ Azure Synapse Link
2. จัดการตาราง Dataverse ที่รวมอยู่ใน Azure Synapse Link
3. ตรวจสอบ Azure Synapse Link ของคุณ
4. ยกเลิกการเชื่อมโยง Azure Synapse Link ของคุณ
5. เชื่อมโยง Azure Synapse Link ของคุณอีกครั้ง
6. ดูข้อมูลของคุณใน Azure Data Lake และทำความเข้าใจโครงสร้างไฟล์

หมายเหตุ

Azure Synapse Link สำหรับ Dataverse เดิมชื่อว่า ส่งออกไปยังที่จัดเก็บข้อมูลดิบ บริการถูกเปลี่ยนชื่อโดยมีผลเดือนพฤษภาคม 2021 และจะยังคงส่งออกข้อมูลไปยัง Azure Data Lake เช่นเดียวกับ Azure Synapse Analytics

ข้อกำหนดเบื้องต้น

• Azure Data Lake Storage Gen2: คุณต้องมีบัญชี Azure Data Lake Storage Gen2 และการเข้าถึงบทบาท เจ้าของ และ ผู้สนับสนุน Storage Blob Data บัญชีที่เก็บข้อมูลของคุณต้องเปิดใช้งาน เนมสเปซแบบลำดับชั้น สำหรับทั้งการตั้งค่าเริ่มต้นและการซิงค์เดลต้า ต้องการ อนุญาตการเข้าถึงคีย์บัญชีที่เก็บข้อมูล สำหรับการตั้งค่าเริ่มต้นเท่านั้น

หมายเหตุ

• บัญชีที่จัดเก็บข้อมูลจะต้องถูกสร้างขึ้นในผู้เช่า Microsoft Entra เดียวกันกับผู้เช่า Power Apps ของคุณ
• หากต้องการตั้งค่า เปิดใช้งานจากเครือข่ายเสมือนและที่อยู่ IP ที่เลือก สำหรับบัญชีที่เก็บข้อมูลที่เชื่อมโยงเพื่อให้สิทธิ์การเข้าถึงจากที่อยู่ IP ที่เลือก คุณต้องสร้าง Azure Synapse Link ที่มีข้อมูลประจำตัวที่มีการจัดการใช้ข้อมูลประจำตัวที่มีการจัดการสำหรับ Azure กับ Azure Data Lake Storage ของคุณ (หากไม่มีการตั้งค่าข้อมูลประจำตัวที่มีการจัดการ คุณต้องเปิดใช้งานการเข้าถึงเครือข่ายสาธารณะสำหรับทรัพยากร Azure สำหรับทั้งการตั้งค่าเริ่มต้นและการทำข้อมูลให้ตรงกันแบบ Delta)
• เราขอแนะนำให้คุณเปิดใช้งานคุณสมบัติการลบชั่วคราว ในบัญชีที่เก็บข้อมูลที่เลือกไว้เพื่อวัตถุประสงค์นี้ การเปิดใช้งานการลบชั่วคราวช่วยให้คุณสามารถกู้คืนข้อมูลที่ถูกลบโดยไม่ตั้งใจได้เร็วขึ้น
• คุณต้องมีการเข้าถึงบทบาท ผู้อ่าน ไปยังกลุ่มทรัพยากรด้วยบัญชีที่เก็บข้อมูล
• หากต้องการเชื่อมโยงสภาพแวดล้อมกับ Azure Data Lake Storage รุ่น2 คุณต้องมีบทบาทความปลอดภัยผู้ดูแลระบบ Dataverse
• เฉพาะตารางที่มีการเปิดใช้งานการติดตามการเปลี่ยนแปลงเท่านั้นที่สามารถส่งออกได้
• การสร้างโปรไฟล์ Azure Synapse Link ภายใต้สภาพแวดล้อม Dataverse เดียวถูกจำกัดไว้ที่ 10 โปรไฟล์

เชื่อมต่อ Dataverse กับ Azure Data Lake Storage Gen2

1. ลงชื่อเข้าใช้ Power Apps และเลือกสภาพแวดล้อมที่คุณต้องการ

2. บนบานหน้าต่างการนำทางด้านซ้าย เลือก Azure Synapse Link หาก Azure Synapse Link ไม่แสดงขึ้นในบานหน้าต่างแผงด้านข้าง ให้เลือก ... เพิ่มเติม แล้วเลือก ค้นพบทั้งหมด Azure Synapse Link อยู่ในส่วน การจัดการข้อมูล

3. บนแถบคำสั่ง เลือก + ลิงก์ใหม่ไปยังที่จัดเก็บข้อมูลดิบ

4. เลือก การสมัครใช้งานกลุ่มทรัพยากร และ บัญชีที่เก็บข้อมูล ตรวจสอบให้แน่ใจว่าบัญชีที่เก็บข้อมูลตรงตามข้อกำหนดที่ระบุไว้ในส่วน ข้อกำหนดเบื้องต้น เลือก ถัดไป

   หมายเหตุ

   ในฐานะที่เป็นส่วนหนึ่งของการเชื่อมโยงสภาพแวดล้อมกับที่จัดเก็บข้อมูลดิบ คุณให้สิทธิ์การเข้าถึงบริการ Azure Synapse Link ไปยังบัญชีที่เก็บข้อมูลของคุณ ตรวจสอบให้แน่ใจว่าคุณได้ติดตาม ข้อกำหนดเบื้องต้น ของการสร้างและการกำหนดค่าบัญชี Azure Data Lake Storage และให้สิทธิ์บทบาทเจ้าของแก่ตัวคุณเองในบัญชีพื้นที่เก็บข้อมูล นอกจากนี้ คุณให้สิทธิ์การเข้าถึงบริการของโฟลว์ข้อมูลของ Power Platform ไปยังบัญชีพื้นที่เก็บข้อมูลของคุณ ข้อมูลเพิ่มเติม: การเตรียมข้อมูลแบบบริการตนเองด้วยโฟลว์ข้อมูล

5. เพิ่มตารางที่คุณต้องการส่งออก และจากนั้น เลือก บันทึก เฉพาะตารางที่มีการเปิดใช้งานการติดตามการเปลี่ยนแปลงเท่านั้นที่สามารถส่งออกได้ ข้อมูลเพิ่มเติม: เปิดใช้งานการติดตามการเปลี่ยนแปลง

   

คุณสามารถทำตามขั้นตอนในบทความนี้เพื่อสร้างลิงก์จากสภาพแวดล้อมหนึ่งรายการไปยังที่จัดเก็บข้อมูลดิบ Azure หลายรายการในการสมัครใช้งาน Azure ของคุณ ในทำนองเดียวกัน คุณสามารถสร้างการเชื่อมโยงจากสภาพแวดล้อมหลายรายการไปยัง Azure Data Lake เดียวกัน โดยทั้งหมดอยู่ในผู้เช่ารายเดียวกัน

หมายเหตุ

Azure Synapse Link สำหรับบริการ Dataverse ถูกรวมเข้ากับคุณลักษณะที่พร้อมใช้งานทันทีของ Power Platform อย่างราบรื่น เป็นไปตามมาตรฐานความปลอดภัยและการกำกับดูแลที่กำหนดไว้สำหรับการจัดเก็บข้อมูลและการกำกับดูแลข้อมูลของ Power Platform ข้อมูลเพิ่มเติม: การจัดเก็บข้อมูลและการกำกับดูแลข้อมูล

ข้อมูลที่ส่งออกโดยบริการ Azure Synapse Link จะถูกเข้ารหัสระหว่างการส่งโดยใช้ Transport Layer Security (TLS) 1.2 หรือสูงกว่า และเข้ารหัสเมื่อไม่ได้ใช้งานใน Azure Data Lake Storage Gen2 นอกจากนี้ ข้อมูลชั่วคราวในที่เก็บข้อมูล Blob นั้นจะถูกเข้ารหัสเมื่อจัดเก็บเช่นกัน การเข้ารหัสใน Azure Data Lake Storage Gen2 ช่วยคุณปกป้องข้อมูลของคุณ ใช้นโยบายด้านความปลอดภัยขององค์กร และปฏิบัติตามระเบียบข้อบังคับ ข้อมูลเพิ่มเติม: Azure Data Encryption-at-Rest

จัดการข้อมูลตารางไปยังที่จัดเก็บข้อมูลดิบ

หลังจากที่คุณได้ตั้งค่า Azure Synapse Link คุณสามารถจัดการตารางที่ถูกส่งออกได้ด้วยหนึ่งในสองวิธีนี้:

• บนพื้นที่ Power Apps Maker Portal Azure Synapse Link ให้เลือก จัดการตาราง บนแถบคำสั่งเพื่อเพิ่มหรือเอาตารางที่เชื่อมโยงตั้งแต่หนึ่งตารางขึ้นไปออก

• บน Power Apps Maker Portal บนพื้นที่ ตาราง ให้เลือก … ถัดจากตาราง จากนั้นเลือกที่จัดเก็บข้อมูลดิบที่เชื่อมโยงที่คุณต้องการส่งออกข้อมูลตาราง

  

ตรวจสอบ Azure Synapse Link ของคุณ

หลังจากที่คุณได้ตั้งค่า Azure Synapse Link คุณสามารถตรวจสอบ Azure Synapse Link ภายใต้แท็บ ตาราง

• จะมีรายการตารางที่เป็นส่วนหนึ่งของรายการ Azure Synapse Link ที่เลือก
• มีขั้นตอนต่างๆ ที่สถานะการซิงค์จะหมุนเวียน NotStarted แสดงว่าตารางกำลังรอการซิงค์ เมื่อการซิงค์เริ่มต้นของตาราง เสร็จสมบูรณ์ แล้ว จะมีลำดับขั้นหลังการประมวลผลซึ่งจะไม่ทำการอัปเดตเพิ่มเติม อาจใช้เวลาหลายชั่วโมงขึ้นอยู่กับขนาดของข้อมูลของคุณ เมื่อเริ่มการอัปเดตที่เพิ่มขึ้น วันที่สำหรับการซิงค์ครั้งล่าสุดจะได้รับการอัปเดตเป็นประจำ
• คอลัมน์ นับ แสดงจำนวนแถวที่เขียน เมื่อ การผนวกเท่านั้น ถูกตั้งค่าเป็น ไม่ นี่คือจำนวนเรกคอร์ดทั้งหมด เมื่อ การผนวกเท่านั้น ถูกตั้งค่าเป็น ใช่ นี่คือจำนวนการเปลี่ยนแปลงทั้งหมด
• คอลัมน์ ต่อท้ายเท่านั้น และ กลยุทธ์พาร์ติชัน แสดงการใช้การกำหนดค่าขั้นสูงที่แตกต่างกัน

ยกเลิกการเชื่อมโยง Azure Synapse Link

1. เลือก Azure Synapse Link ที่ต้องการเพื่อยกเลิกการเชื่อมโยง

2. เลือก ยกเลิกการเชื่อมโยงที่จัดเก็บข้อมูลดิบ จากแถบคำสั่ง

3. หากต้องการลบทั้งระบบไฟล์ที่จัดเก็บข้อมูลดิบ ให้เลือก ลบระบบไฟล์ที่จัดเก็บข้อมูลดิบ

4. เลือก ใช่ และรอสักครู่ เพื่อยกเลิกการลิงก์และลบทุกอย่าง

การเชื่อมโยง Azure Synapse Link อีกครั้ง

หากคุณลบระบบไฟล์เมื่อยกเลิกการเชื่อมโยง ให้ทำตามขั้นตอนด้านบนเพื่อลิงก์ที่จัดเก็บข้อมูลดิบเดิมอีกครั้ง หากคุณไม่ลบระบบไฟล์เมื่อไม่ได้เชื่อมโยง คุณต้องล้างข้อมูลเพื่อเชื่อมโยงใหม่

1. ไปที่ Azure Data Lake

2. ลบคอนเทนเนอร์ Dataverse

3. ไปที่ Power Apps และเชื่อมโยงที่จัดเก็บข้อมูลดิบอีกครั้ง

ดูข้อมูลของคุณใน Azure Data Lake Storage Gen2

1. เลือก Azure Synapse Link ที่ต้องการ แล้วจากนั้นเลือก ไปที่ ที่จัดเก็บข้อมูลดิบ Azure จากแผงด้านบน

2. ขยาย ระบบไฟล์ แล้วจากนั้น เลือก dataverse-environmentName-organizationUniqueName

ไฟล์ model.json พร้อมด้วยชื่อและรุ่น แสดงรายการตารางที่ส่งออกไปยังที่จัดเก็บข้อมูลดิบ นอกจากนี้ ไฟล์ model.json ยังมีสถานะการซิงค์เริ่มต้นและเวลาที่เสร็จสมบูรณ์ของการซิงค์

โฟลเดอร์ที่มีไฟล์ snapshot คั่นด้วยจุลภาค (รูปแบบ CSV) จะปรากฏขึ้นสำหรับแต่ละตารางที่ส่งออกไปยังที่จัดเก็บข้อมูลดิบ

เชื่อมโยงพื้นที่ทำงาน Synapse กับโปรไฟล์ Azure Synapse Link ที่มีอยู่เฉพาะกับ Data Lake

1. ในแถบที่อยู่ของเว็บเบราว์เซอร์ ให้ผนวก ?athena.updateLake=true กับที่อยู่เว็บที่ลงท้ายด้วย exporttodatalake

2. เลือกโปรไฟล์ที่มีอยู่จากพื้นที่ Azure Synapse Link จากนั้นเลือกตัวเลือกเพิ่มเติม

3. เลือก เชื่อมโยงกับ Azure Synapse Analytics Workspace และรอสักครู่เพื่อให้ทุกอย่างเชื่อมโยงกัน

ปรับปรุงสแนปช็อตอย่างต่อเนื่อง

ข้อมูล Microsoft Dataverse สามารถเปลี่ยนแปลงได้อย่างต่อเนื่องผ่านการสร้าง ปรับปรุง และลบธุรกรรม สแนปช็อตระบุสำเนาของข้อมูลแบบอ่านอย่างเดียวที่มีการปรับปรุงในช่วงเวลาปกติ ในกรณีนี้คือทุกชั่วโมง สิ่งนี้ทำให้มั่นใจได้ว่า ณ จุดใดก็ตาม ผู้ใช้ที่ทำการวิเคราะห์ข้อมูลสามารถใช้ข้อมูลใน Lake ได้อย่างน่าเชื่อถือ

เมื่อเพิ่มตารางเป็นส่วนหนึ่งของการส่งออกเริ่มต้น ข้อมูลตารางจะถูกเขียนลงในไฟล์ table.csv ภายใต้โฟลเดอร์ที่เกี่ยวข้องในที่จัดเก็บข้อมูลดิบ นี่คือช่วง T1 ที่ไฟล์สแน็ปช็อตอ่านอย่างเดียวชื่อ table-T1.csv ตัวอย่างเช่น Account-T1.csv หรือ Contacts-T1.csv จะถูกสร้างขึ้น นอกจากนี้ไฟล์ model.json ได้รับการปรับปรุงเพื่อให้ชี้ไปที่ไฟล์สแนปชอตเหล่านี้ การเปิด model.json คุณสามารถดูรายละเอียดสแนปช็อตได้

นี่คือตัวอย่างของไฟล์ที่แบ่งพาร์ติชันของ Account.csv และโฟลเดอร์สแนปช็อตใน Data Lake

การเปลี่ยนแปลงใน Dataverse ถูกส่งไปยังไฟล์ CSV ที่สอดคล้องกันอย่างต่อเนื่องโดยใช้กลไกทริกเกิลฟีด นี่คือช่วงเวลา T2 ที่สแนปช็อตอื่นถูกสร้าง table-T2.csv เป็นต้น Accounts-T2.csv หรือ Contacts-T2.csv (สมมติว่ามีการเปลี่ยนแปลงสำหรับตาราง) และ model.json จะถูกอัปเดตเป็นไฟล์สแนปช็อตใหม่ บุคคลใหม่ที่ดูข้อมูลสแนปช็อตจาก T2 เป็นต้นไป จะถูกนำไปยังไฟล์สแนปชอตที่ใหม่กว่า ด้วยวิธีนี้ โปรแกรมดูสแนปช็อตดั้งเดิมสามารถทำงานกับไฟล์สแนปช็อต T1 รุ่นที่เก่ากว่าได้ ในขณะที่โปรแกรมดูที่ใหม่กว่าสามารถอ่านการปรับปรุงล่าสุดได้ นี่มีประโยชน์ในสถานการณ์ที่มีกระบวนการดาวน์สตรีมที่รันยาวขึ้น

หมายเหตุ

ไฟล์สแนปช็อตใหม่จะถูกสร้างขึ้นเมื่อมีการอัปเดตข้อมูลเท่านั้น เฉพาะไฟล์สแนปช็อตห้าไฟล์ล่าสุดเท่านั้นที่จะถูกเก็บไว้ ข้อมูลที่ล้าสมัยจะถูกลบออกจากบัญชี Azure Data Lake Storage Gen 2 ของคุณโดยอัตโนมัติ

นี่คือตัวอย่างของไฟล์ model.json ซึ่งจะชี้ไปที่ไฟล์สแนปช็อตของบัญชีที่มีการประทับเวลาล่าสุดเสมอ

อะไรต่อไป

หลังจากการใช้บริการ Azure Synapse Link สำหรับ Dataverse สำเร็จแล้ว ให้ค้นหาวิธีที่คุณสามารถวิเคราะห์และใช้ข้อมูลของคุณด้วย Discover Hub ในการเข้าถึง Discover Hub ไปที่ Power Apps>Azure Synapse Link เลือกบริการที่เชื่อมโยงของคุณ จากนั้นเลือกแท็บ Discover Hub คุณจะพบเครื่องมือที่แนะนำและเอกสารสนับสนุนเพื่อช่วยให้คุณได้รับประโยชน์สูงสุดจากข้อมูลของคุณ

ดูเพิ่มเติม

วิเคราะห์ข้อมูล Dataverse ใน data lake ด้วย Power BI

นำเข้าข้อมูล Dataverse ใน data lake ด้วย Azure Data Factory

การกำหนดค่าขั้นสูงของ Azure Synapse สำหรับ Dataverse

Azure SynapseFAQ ลิงก์