ตัวเลือกการกำหนดค่าขั้นสูงใน Azure Synapse Link
Azure Synapse Link มีหลายวิธีในการเขียนและอ่านข้อมูลของคุณเพื่อให้เหมาะสมกับสถานการณ์การวิเคราะห์ต่างๆ คุณสามารถเลือกการกำหนดค่าเฉพาะจากตัวเลือกด้านล่าง ทั้งนี้ขึ้นอยู่กับสถานการณ์การวิเคราะห์ของคุณ
| สถานการณ์ | นำไปใช้กับ | ตัวเลือกการกำหนดค่าที่ใช้ได้ |
|---|---|---|
| การรายงานการดำเนินงาน | ตาราง Dataverse, ตารางการเงินและการดำเนินงาน และเอนทิตี | Synapse Analytics ที่มีตัวเลือก Delta Lake ให้เวลาตอบสนองการสอบถามที่ดีขึ้น โดยเฉพาะอย่างยิ่งสำหรับการสอบถามข้อมูลจำนวนมาก ข้อมูลเพิ่มเติม: Synapse Link ที่มีตัวเลือก Delta Lake |
| การรายงานการดำเนินงาน | ตาราง Dataverse เท่านั้น | Synapse Link ที่มีตัวเลือกการกำหนดค่า "การอัปเดตในตำแหน่ง" จะแสดงไฟล์ CSV ในที่จัดเก็บข้อมูลดิบของคุณที่ได้รับการอัปเดตแบบเกือบเรียลไทม์ นี่คือตัวเลือกเดิมที่สามารถใช้งานสำหรับตาราง Dataverse ตัวเลือกนี้ไม่ได้รับการสนับสนุนสำหรับตารางจากแอปการเงินและการดำเนินงาน |
| การรวมข้อมูล | ตาราง Dataverse และตารางการเงินและการดำเนินงาน และเอนทิตี | ตัวเลือก ผนวกเท่านั้น ให้ไฟล์ CSV ที่มีข้อมูลที่เพิ่มขึ้น คุณสามารถสร้างไปป์ไลน์ที่ใช้ข้อมูลส่วนเพิ่มและเติมข้อมูลลงในระบบดาวน์สตรีมได้ คุณลักษณะ พาร์ติชันข้อมูลที่ผู้ใช้ระบุ ช่วยให้สามารถเลือกกลยุทธ์การแบ่งพาร์ติชันข้อมูลแบบกำหนดเองสำหรับตาราง Dataverse โดยเฉพาะ ข้อมูลตารางการเงินและการดำเนินงานถูกแบ่งพาร์ติชันโดยระบบตามกลยุทธ์การแบ่งพาร์ติชันที่เหมาะสม ตัวเลือกนี้ไม่สามารถใช้สำหรับตารางจากแอปการเงินและการดำเนินงาน |
หมายเหตุ
Azure Synapse Link for Dataverse เดิมชื่อ ส่งออกไปยังที่จัดเก็บข้อมูลดิบ บริการถูกเปลี่ยนชื่อโดยมีผลเดือนพฤษภาคม 2021 และจะยังคงส่งออกข้อมูลไปยัง Azure Data Lake Storage เช่นเดียวกับ Azure Synapse Analytics ตั้งแต่เดือนกันยายน 2023 Azure Synapse Link ยังให้คุณเลือกข้อมูลจากแอปพลิเคชันการเงินและการดำเนินงานของ Dynamics 365 ได้ด้วย รูปแบบการรวมบางอย่างไม่ได้รับการสนับสนุนในแอปการเงินและการดำเนินงาน สำหรับคำแนะนำเกี่ยวกับการเปลี่ยนจากคุณลักษณะส่งออกไปยังที่จัดเก็บข้อมูลดิบในแอปการเงินและการดำเนินงานไปยัง Synapse Link ให้ไปที่ คู่มือการเปลี่ยนแปลง
บทความนี้ครอบคลุมการตั้งค่าการกำหนดค่าขั้นสูงที่สามารถใช้งานสำหรับตาราง Dataverse ตัวเลือกเหล่านี้ไม่สามารถใช้สำหรับตารางจากแอปการเงินและการดำเนินงาน
- การอัปเดตในตำแหน่งเทียบกับการเขียนแบบผนวกเท่านั้น
- การแบ่งพาร์ติชันข้อมูลที่ผู้ใช้ระบุ
การอัปเดตในตำแหน่งเทียบกับการเขียนแบบผนวกเท่านั้น
ในขณะที่เขียนข้อมูลตาราง Dataverse ไปยังที่จัดเก็บข้อมูลดิบ Azure ตามค่า createdOn ซึ่งเป็นวันที่และเวลาที่สร้างเรกคอร์ด มีการตั้งค่าที่แตกต่างกันสองแบบให้เลือก พวกเขาคือ การปรับปรุงในสถานที่ และ ผนวกเท่านั้น
การตั้งค่าเริ่มต้น (สำหรับตารางที่ createdOn พร้อมใช้งาน) คือการทำการอัปเดตในตำแหน่งหรือ upsert (อัปเดตหรือแทรก) ของข้อมูลส่วนเพิ่มในปลายทาง หากการเปลี่ยนแปลงเป็นแถวใหม่และแถวที่เกี่ยวข้องไม่มีอยู่ในที่จัดเก็บข้อมูลดิบ ในกรณีของการสร้าง ไฟล์ปลายทางจะถูกสแกน และการเปลี่ยนแปลงจะถูกแทรกลงในพาร์ติชันไฟล์ที่เกี่ยวข้องในที่จัดเก็บข้อมูลดิบ หากการเปลี่ยนแปลงเป็นการอัปเดตและมีแถวอยู่ในที่จัดเก็บข้อมูลดิบ ไฟล์ที่เกี่ยวข้องในที่จัดเก็บข้อมูลดิบจะได้รับการอัปเดต แทนที่จะแทรกด้วยข้อมูลที่เพิ่มขึ้น กล่าวอีกนัยหนึ่ง การตั้งค่าเริ่มต้นสำหรับ CUD (สร้าง อัปเดต ลบ) ทั้งหมดจะเปลี่ยนไปในตาราง Dataverse ที่ createdOn พร้อมใช้งาน คือทำการอัปเดตในสถานที่ในปลายทางในที่จัดเก็บข้อมูลดิบ Azure
คุณสามารถเปลี่ยนลักษณะการทำงานเริ่มต้นของการอัปเดตในสถานที่โดยใช้การตั้งค่าเสริมที่เรียก ผนวกเท่านั้น แทน การปรับปรุงในสถานที่ ในโหมดผนอกเท่านั้น ข้อมูลส่วนเพิ่มจากตาราง Dataverse จะต่อท้ายพาร์ติชันไฟล์ที่เกี่ยวข้องในที่จัดเก็บข้อมูลดิบ นี่คือการตั้งค่าต่อตารางและพร้อมใช้งานเป็นกล่องกาเครื่องหมายด้านล่าง ขั้นสูง>แสดงการตั้งค่าของการกำหนดค่าขั้นสูง สำหรับตาราง Dataverse ที่มี ผนวกเท่านั้น เปิดอยู่ การเปลี่ยนแปลง CUD ทั้งหมดจะเพิ่มขึ้นต่อท้ายไฟล์ปลายทางที่เกี่ยวข้องในที่จัดเก็บข้อมูลดิบ เมื่อคุณเลือกตัวเลือกนี้ กลยุทธ์พาร์ติชันจะมีค่าเริ่มต้นเป็น ปี และเมื่อเขียนข้อมูลลงในที่จัดเก็บข้อมูลดิบ ข้อมูลจะถูกแบ่งพาร์ติชันเป็นรายปี ผนวกเท่านั้น ยังเป็นการตั้งค่าเริ่มต้นสำหรับตาราง Dataverse ที่ไม่มีค่า createdOn อีกด้วย
ตารางนี้อธิบายวิธีจัดการแถวในที่จัดเก็บข้อมูลดิบเทียบกับเหตุการณ์ CUD สำหรับแต่ละตัวเลือกการเขียนข้อมูล
| กิจกรรมพิเศษ | การปรับปรุงในสถานที่ | ผนวกเท่านั้น |
|---|---|---|
| สร้าง | แถวจะถูกแทรกในไฟล์พาร์ติชันและขึ้นอยู่กับค่า createdOn ในแถว |
แถวจะถูกเพิ่มที่ส่วนท้ายของไฟล์พาร์ติชันและขึ้นอยู่กับค่า createdOn ของเรกคอร์ด |
| ปรับปรุง | หากมีแถวอยู่ในไฟล์พาร์ติชัน แถวจะถูกแทนที่หรือปรับปรุงด้วยข้อมูลที่มีการปรับปรุง หากไม่มีอยู่ แสดงว่าถูกแทรกในไฟล์ | แถวพร้อมกับรุ่นที่อัปเดต จะถูกเพิ่มที่ส่วนท้ายของไฟล์พาร์ติชัน |
| Delete | หากมีแถวอยู่ในไฟล์พาร์ติชัน ระบบจะลบออกจากไฟล์ | แถวจะถูกเพิ่มที่ส่วนท้ายของไฟล์พาร์ติชันกับ IsDelete column = True |
หมายเหตุ
สำหรับตาราง Dataverse ที่ ผนวกเท่านั้น เปิดใช้งาน การลบแถวในแหล่งที่มาจะไม่ลบหรือลบแถวในที่จัดเก็บข้อมูลดิบ แต่แถวที่ถูกลบจะถูกต่อท้ายเป็นแถวใหม่ในที่จัดเก็บข้อมูลดิบและคอลัมน์ isDeleted ถูกตั้งค่าเป็น True
การอ่านค่าที่ยังไม่ยืนยัน (ALLOW_INCONSISTENT_READS) สำหรับแบบไม่ใช้เซิร์ฟเวอร์เปิดใช้งานสำหรับโหมดผนวกเท่านั้น ALLOW_INCONSISTENT_READS หมายความว่าผู้ใช้สามารถอ่านไฟล์ที่สามารถแก้ไขได้ตลอดเวลาในขณะที่คิวรี SELECT กำลังทำงาน ผลลัพธ์จะสอดคล้องและเทียบเท่ากับการอ่านสแนปช็อตของไฟล์ (ไม่เทียบเท่ากับการแยกสแนปช็อตของฐานข้อมูลเนื่องจากเวลาในการสร้างสแนปช็อตต่างกัน)
การเปลี่ยนแปลง CUD บางส่วนเท่านั้นที่จะถูกบันทึกใน ต่อท้ายเท่านั้น: Synapse Link ประมวลผลการเปลี่ยนแปลงข้อมูลในกลุ่มหรือ "ชุดงาน" ก่อนเผยแพร่ไปยังที่จัดเก็บข้อมูลดิบ ดังนั้น หากผู้ใช้ทำการเปลี่ยนแปลงภายในช่วงเวลาสั้นๆ การเปลี่ยนแปลง CUD บางส่วนจะไม่ถูกบันทึกในที่จัดเก็บข้อมูลดิบ
ต่อไปนี้คือรายละเอียดเพิ่มเติมว่าควรใช้ตัวเลือกใดตัวเลือกหนึ่งเมื่อใด
- การอัปเดตในตำแหน่ง: ตัวเลือกนี้เป็นการตั้งค่าเริ่มต้นและแนะนำเฉพาะในกรณีที่คุณต้องการเชื่อมต่อโดยตรงกับข้อมูลในที่จัดเก็บข้อมูลดิบและต้องการสถานะปัจจุบัน (ไม่ใช่ประวัติหรือการเปลี่ยนแปลงที่เพิ่มขึ้น) ไฟล์นี้มีชุดข้อมูลทั้งหมดและสามารถใช้งานได้ผ่าน Power BI หรือโดยการคัดลอก ชุดข้อมูลทั้งหมดสำหรับไปป์ไลน์ ETL (แตก โอน โหลด)
- ผนวกเท่านั้น: เลือกตัวเลือกนี้หากคุณไม่ได้เชื่อมต่อโดยตรงกับข้อมูลในที่จัดเก็บข้อมูลดิบ และต้องการคัดลอกข้อมูลไปยังเป้าหมายอื่นโดยใช้ไปป์ไลน์ ETL ตัวเลือกนี้จัดเตรียมประวัติของการเปลี่ยนแปลงเพื่อเปิดใช้งานสถานการณ์ AI และ ML
คุณสามารถสลับ แสดงการตั้งค่าการกำหนดค่าขั้นสูง ภายใต้ ขั้นสูง ใน Azure Synapse Link for Dataverse เพื่อปรับแต่งกลยุทธ์พาร์ติชั่นข้อมูลของคุณ และเลือกตัวเลือกเพื่อเขียนไปยัง Azure Data Lake
การแบ่งพาร์ติชันข้อมูล
เมื่อคุณเขียนข้อมูลตาราง Dataverse ไปยัง Azure Data Lake Storage โดยใช้ Azure Synapse Link ตารางจะถูกแบ่งพาร์ติชัน (แทนที่จะเป็นไฟล์เดียว) ในที่จัดเก็บข้อมูลดิบโดยยึดตามค่า createdOn ในแต่ละแถวของต้นทาง กลยุทธ์พาร์ติชั่นเริ่มต้นคือตามเดือน และข้อมูลจะถูกแบ่งพาร์ติชั่นใน Azure data lake เป็นรายเดือน
ขึ้นอยู่กับ Dataverse ปริมาณตารางและการกระจายข้อมูล คุณสามารถเลือกแบ่งพาร์ติชั่นข้อมูลของคุณตามปี ด้วยตัวเลือกนี้ เมื่อข้อมูลตาราง Dataverse ถูกเขียนไปยัง Azure data lake ซึ่งจะถูกแบ่งพาร์ติชั่นเป็นรายปีตามค่า createdOn ในแต่ละแถวในแหล่งที่มา สำหรับตารางที่ไม่มีคอลัมน์ createdOn แถวของข้อมูลจะถูกแบ่งพาร์ติชันเป็นไฟล์ใหม่ทุกๆ 5,000,000 เรกคอร์ด นี่คือการตั้งค่าต่อตารางและพร้อมใช้งานเป็นกล่องกาเครื่องหมายด้านล่าง ขั้นสูง>แสดงการตั้งค่าของการกำหนดค่าขั้นสูง
รายละเอียดเพิ่มเติมพร้อมตัวอย่างวิธีการจัดการข้อมูลในที่จัดเก็บข้อมูลดิบด้วยกลยุทธ์การแบ่งพาร์ติชันแบบรายปีหรือรายเดือน:
