แชร์ผ่าน

การทํางานร่วมกันในรูปแบบตาราง Delta Lake

  • บทความ

ใน Microsoft Fabric รูปแบบตาราง Delta Lake เป็นมาตรฐานสําหรับการวิเคราะห์ Delta Lake เป็นเลเยอร์ที่เก็บข้อมูลแบบโอเพนซอร์สที่นํา ACID (อะตอม ความสม่ําเสมอ การแยก การแยก ความทนทาน) กับปริมาณงานข้อมูลขนาดใหญ่และการวิเคราะห์

ประสบการณ์การใช้งาน Fabric ทั้งหมดสร้างและใช้ตาราง Delta Lake ขับเคลื่อนการทํางานร่วมกันและประสบการณ์ผลิตภัณฑ์แบบรวม ตาราง Delta Lake ที่ผลิตโดยกลไกการคํานวณหนึ่งโปรแกรม เช่น Fabric Data Warehouse หรือ Synapse Spark สามารถใช้ได้โดยเครื่องมืออื่น เช่น Power BI เมื่อคุณนําเข้าข้อมูลลงใน Fabric Fabric จะจัดเก็บเป็นตาราง Delta ตามค่าเริ่มต้น คุณสามารถรวมข้อมูลภายนอกที่มีตาราง Delta Lake ได้อย่างง่ายดายโดยใช้ทางลัด OneLake

คุณลักษณะเดลต้าเลคและประสบการณ์การใช้งาน Fabric

เพื่อให้สามารถทํางานร่วมกันได้ ประสบการณ์ Fabric ทั้งหมดจึงสอดคล้องกับคุณลักษณะ Delta Lake และความสามารถของ Fabric ประสบการณ์บางอย่างสามารถเขียนไปยังตาราง Delta Lake เท่านั้นในขณะที่ประสบการณ์อื่น สามารถอ่านจากตารางดังกล่าวได้

  • ผู้เขียน: คลังข้อมูล กระแสข้อมูล และส่งออกแบบจําลองความหมาย Power BI ไปยัง OneLake
  • ผู้อ่าน: จุดสิ้นสุดการวิเคราะห์ SQL และแบบจําลองความหมายของทะเลสาบโดยตรงของ Power BI
  • ผู้เขียนและผู้อ่าน: รันไทม์ Fabric Spark กระแสข้อมูล ไปป์ไลน์ข้อมูล และฐานข้อมูล Kusto Query Language (KQL)

เมทริกซ์ต่อไปนี้แสดงคุณลักษณะ Delta Lake ที่สําคัญและการสนับสนุนของพวกเขาในแต่ละความสามารถของ Fabric

ความสามารถของผ้า การแมปคอลัมน์ตามชื่อ เวกเตอร์การลบ การเขียนตามลําดับ V การปรับตารางให้เหมาะสมและการบํารุงรักษา เขียนพาร์ติชัน อ่านพาร์ติชัน การคลัสเตอร์ของเหลว TIMESTAMP_NTZ เวอร์ชัน Delta reader/writer และคุณลักษณะตารางเริ่มต้น
คลังข้อมูลส่งออก Delta Lake ไม่ใช่ ใช่ ใช่ ใช่ ไม่ ใช่ ไม่ ไม่ ผู้อ่าน: 3
ผู้เขียน: 7
เวกเตอร์การลบ
จุดสิ้นสุดการวิเคราะห์ SQL ใช่ ใช่ N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) ใช่ ใช่ ไม่ใช่ N/A (ไม่สามารถใช้ได้)
Fabric Spark Runtime 1.3 ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
Fabric Spark Runtime 1.2 ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ ใช่ อ่านอย่างเดียว ใช่ ผู้อ่าน: 1
ผู้เขียน: 2
Fabric Spark Runtime 1.1 ตกลง ไม่ ใช่ ใช่ ใช่ ใช่ ใช่ อ่านอย่างเดียว ไม่ ผู้อ่าน: 1
ผู้เขียน: 2
กระแสข้อมูล ใช่ ใช่ ใช่ ไม่ ใช่ ใช่ ใช่ อ่านอย่างเดียว ไม่ ผู้อ่าน: 1
ผู้เขียน: 2
ไปป์ไลน์ข้อมูล ไม่ใช่ ไม่ ใช่ ไม่ใช่ ใช่ เขียนทับเท่านั้น ใช่ ใช่ อ่านอย่างเดียว ไม่ ผู้อ่าน: 1
ผู้เขียน: 2
แบบจําลองความหมายทะเลสาบโดยตรงของ Power BI ใช่ ใช่ N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) N/A (ไม่สามารถใช้ได้) ใช่ ใช่ ไม่ใช่ N/A (ไม่สามารถใช้ได้)
ส่งออกแบบจําลองความหมาย Power BI ไปยัง OneLake ใช่ N/A (ไม่สามารถใช้ได้) ตกลง ไม่ ใช่ N/A (ไม่สามารถใช้ได้) ไม่ใช่ ไม่ ผู้อ่าน: 2
ผู้เขียน: 5
ฐานข้อมูล KQL ใช่ ใช่ ไม่ ไม่ใช่* ใช่ ใช่ ไม่ ไม่ ผู้อ่าน: 1
ผู้เขียน: 1
เหตุการณ์สตรีม ไม่ใช่ ไม่ ไม่ ไม่ ใช่ N/A (ไม่สามารถใช้ได้) ไม่ใช่ ไม่ ผู้อ่าน: 1
ผู้เขียน: 2

*ฐานข้อมูล KQL มีความสามารถบํารุงรักษาตารางบางอย่างเช่นการเก็บรักษา ข้อมูลจะถูกลบออกเมื่อสิ้นสุดระยะเวลาการเก็บรักษาจาก OneLake สําหรับข้อมูลเพิ่มเติม ให้ดู หนึ่งสําเนาแบบลอจิคัล

หมายเหตุ

  • Fabric ไม่เขียนการแมปคอลัมน์ตามชื่อตามค่าเริ่มต้น ประสบการณ์ Fabric เริ่มต้นจะสร้างตารางที่เข้ากันได้ทั่วทั้งบริการ Delta lake ซึ่งผลิตโดยบริการจากบุคคลที่สามอาจมีคุณลักษณะตารางที่เข้ากันไม่ได้
  • ประสบการณ์การใช้งานผ้าบางอย่างไม่ได้รับการปรับให้เหมาะสมและความสามารถด้านการบํารุงรักษาของตารางที่สืบทอดกันมา เช่น bin-compaction, V-order และล้างไฟล์เก่าที่ไม่ถูกเฟรนด์ เพื่อให้ตาราง Delta Lake เหมาะสมที่สุดสําหรับการวิเคราะห์ ให้ทําตามเทคนิคในการใช้ คุณลักษณะการบํารุงรักษาตารางเพื่อจัดการตาราง delta ใน Fabric สําหรับตารางที่ส่งการนําเข้าโดยใช้ประสบการณ์เหล่านั้น

ข้อจำกัดปัจจุบัน

ในขณะนี้ Fabric ไม่รองรับคุณลักษณะ Delta Lake เหล่านี้:

  • เดลต้า เลค 3.x Uniform
  • การเขียนคอลัมน์ข้อมูลประจําตัว (คุณลักษณะ Databricks ที่เป็นกรรมสิทธิ์)
  • ตารางเดลต้าไลฟ์ (คุณลักษณะ Databricks ที่เป็นกรรมสิทธิ์)
  • RLE (เปิดใช้งานการเข้ารหัสความยาว) บนไฟล์จุดตรวจสอบ

เนื้อหาที่เกี่ยวข้อง