ความพร้อมใช้งานของ Eventhouse OneLake

คุณสามารถสร้างสําเนาเชิงตรรกะของข้อมูลฐานข้อมูล KQL ในอีเวนต์เฮาส์ได้โดยเปิด ความพร้อมใช้งานของ OneLake การเปิดใช้งาน ความพร้อมใช้งาน OneLake หมายความว่าคุณสามารถคิวรีข้อมูลในฐานข้อมูล KQL ของคุณในรูปแบบ Delta Lake ผ่านเครื่องมือ Fabric อื่น ๆ เช่น โหมด Direct Lake ใน Power BI, Warehouse, Lakehouse, Notebooks และอื่น ๆ

Delta Lake เป็นรูปแบบตารางที่จัดเก็บข้อมูลทะเลสาบแบบรวมศูนย์ที่สามารถเข้าถึงข้อมูลได้อย่างราบรื่นทั่วทั้งกลไกการคํานวณทั้งหมดใน Microsoft Fabric สําหรับข้อมูลเพิ่มเติมเกี่ยวกับ Delta Lake สามารถดู ได้ที่ Delta Lake คืออะไร

ในบทความนี้ คุณจะได้เรียนรู้วิธีการเปิดการใช้งานความพร้อมใช้งานของข้อมูลฐานข้อมูล KQL ใน OneLake

วิธีการทำงาน

คุณสามารถเปิด ความพร้อมใช้งาน OneLake ที่ระดับฐานข้อมูลหรือตาราง เมื่อเปิดใช้งานในระดับฐานข้อมูล ตารางใหม่และข้อมูลใหม่ทั้งหมดจะพร้อมใช้งานใน OneLake เมื่อเปิดใช้งานคุณลักษณะ คุณยังสามารถเลือกที่จะใช้ตัวเลือกนี้กับตารางที่มีอยู่โดยการเลือกตัวเลือกนําไปใช้กับตารางที่มีอยู่ การเปิดที่ระดับตารางจะทําได้เฉพาะตารางและข้อมูลที่มีอยู่ใน OneLake เท่านั้น นโยบายการเก็บข้อมูล ของฐานข้อมูล KQL ของคุณจะถูกนําไปใช้กับข้อมูลใน OneLake ด้วย ข้อมูลที่ถูกลบออกจากฐานข้อมูล KQL ของคุณเมื่อสิ้นสุดระยะเวลาการเก็บข้อมูลจะถูกลบออกจาก OneLake ด้วย หากคุณปิด ความพร้อมใช้งานของ OneLakeข้อมูลจะถูกลบออกจาก OneLake แบบนุ่มนวล

ในขณะที่ ความพร้อมใช้งาน OneLake เปิดอยู่ คุณไม่สามารถทํางานต่อไปนี้:

• เปลี่ยนชื่อตาราง
• เปลี่ยนสคีมาของตาราง
• ใช้การรักษาความปลอดภัยระดับแถวกับตาราง
• ไม่สามารถลบ ตัดทอน หรือลบข้อมูลได้

หากคุณต้องการทํางานเหล่านี้ ให้ใช้ขั้นตอนต่อไปนี้:

สำคัญ

การปิด ความพร้อมใช้งานของ OneLake ลบข้อมูลของคุณออกจาก OneLake แบบนุ่มนวล เมื่อคุณเปิดใช้งานความพร้อมใช้งาน เฉพาะข้อมูลใหม่เท่านั้นที่จะพร้อมใช้งานใน OneLake โดยไม่มีการเติมข้อมูลที่ถูกลบ

1. ปิด ความพร้อมใช้งานของ OneLake

2. ทํางานที่ต้องการ

3. เปิด ความพร้อมใช้งานของ OneLake

สำคัญ

สําหรับข้อมูลเพิ่มเติมเกี่ยวกับเวลาที่ใช้สําหรับข้อมูลเพื่อให้ปรากฏใน OneLake ดู ลักษณะการทํางานที่ปรับได้

ไม่มีค่าใช้จ่ายในการจัดเก็บเพิ่มเติมในการเปิดใช้ ความพร้อมใช้งานของ OneLake สําหรับข้อมูลเพิ่มเติม ให้ดู การใช้ทรัพยากร

ข้อกำหนดเบื้องต้น

• พื้นที่ทํางานที่มีความจุที่เปิดใช้งาน Microsoft Fabric
• ฐานข้อมูล KQL ที่มีสิทธิ์ในการแก้ไขและข้อมูล

เปิดความพร้อมใช้งาน OneLake

คุณสามารถเปิด ความพร้อมใช้งาน OneLake บนฐานข้อมูล KQL หรือระดับตาราง

1. เมื่อต้องการเปิดใช้งาน ความพร้อมใช้งาน OneLake ให้เรียกดู ส่วน OneLake ในบานหน้าต่างรายละเอียดของฐานข้อมูล KQL หรือตารางของคุณ

2. ตั้งค่าความพร้อมใช้งานเป็นเปิด

   

3. ฐานข้อมูลจะรีเฟรชโดยอัตโนมัติ

   

คุณได้เปิดใช้งาน ความพร้อมใช้งาน OneLake ในฐานข้อมูล KQL ของคุณ ตอนนี้คุณสามารถเข้าถึงข้อมูลใหม่ทั้งหมดที่เพิ่มลงในฐานข้อมูลของคุณในเส้นทาง OneLake ที่กําหนดในรูปแบบ Delta Lake ได้ คุณยังสามารถเลือกที่จะสร้างทางลัด OneLake จากเลคเฮ้าส์, คลังข้อมูล หรือคิวรีข้อมูลโดยตรงผ่านทางโหมด Power BI Direct Lake

ลักษณะการทํางานที่ปรับตัวได้

Eventhouse มีกลไกที่แข็งแกร่งซึ่งรวมสตรีมข้อมูลขาเข้าเป็นไฟล์ Parquet หนึ่งไฟล์หรือมากกว่าที่มีโครงสร้างสําหรับการวิเคราะห์ การสตรีมข้อมูลเป็นชุดเป็นสิ่งสําคัญเมื่อจัดการกับการหลอกข้อมูล การเขียนไฟล์ Parquet ขนาดเล็กจํานวนมากลงในทะเลสาบอาจไม่มีประสิทธิภาพในค่าใช้จ่ายที่สูงขึ้นและประสิทธิภาพการทํางานที่ไม่ดี

กลไกอะแดปทีฟของ Eventhouse สามารถหน่วงเวลาการดําเนินการเขียนได้หากไม่มีข้อมูลเพียงพอที่จะสร้างไฟล์ Parquet ที่เหมาะสม ซึ่งทําให้แน่ใจว่าไฟล์ Parquet มีขนาดที่เหมาะสมและปฏิบัติตามแนวทางปฏิบัติที่ดีที่สุดสําหรับ Delta Lake กลไกอะแดปทีฟของ Eventhouse ช่วยให้แน่ใจว่าไฟล์ Parquet มีความสําคัญต่อการวิเคราะห์และสร้างสมดุลระหว่างความพร้อมใช้งานข้อมูลพร้อมๆ กับข้อควรพิจารณาด้านต้นทุนและประสิทธิภาพ

หมายเหตุ

• ตามค่าเริ่มต้น การดําเนินการเขียนอาจใช้เวลาถึง 3 ชั่วโมงหรือจนกว่าไฟล์ที่มีขนาดเพียงพอ (โดยทั่วไปแล้วคือ 200-256 MB) จะถูกสร้างขึ้น
• คุณสามารถปรับการหน่วงเวลาเป็นค่าระหว่าง 5 นาทีถึง 3 ชั่วโมง

ตัวอย่างเช่น ใช้คําสั่งต่อไปนี้เพื่อตั้งค่าการหน่วงเวลาเป็น 5 นาที:

.alter-merge table <TableName> policy mirroring dataformat=parquet with (IsEnabled=true, TargetLatencyInMinutes=5);

ข้อควรระวัง

การปรับความล่าช้าเป็นระยะเวลาที่สั้นลงอาจส่งผลให้ตารางผลลัพท์ใกล้เคียงกับไฟล์ขนาดเล็กจํานวนมากซึ่งอาจนําไปสู่ประสิทธิภาพการคิวรีที่ไม่มีประสิทธิภาพ ตารางผลลัพธ์ใน OneLake เป็นแบบอ่านอย่างเดียวและไม่สามารถปรับให้เหมาะสมได้หลังจากการสร้าง

คุณสามารถตรวจสอบระยะเวลาที่แล้วมีการเพิ่มข้อมูลใหม่ใน lake ได้โดยการตรวจสอบเวลาแฝงของข้อมูลของคุณโดยใช้คําสั่ง .show table mirroring operations คําสั่ง

ผลลัพธ์จะถูกวัดจากข้อมูลล่าสุดที่ถูกเพิ่ม เมื่อ เวลาแฝง ส่งผลให้เกิดเวลา 00:00:00 ข้อมูลทั้งหมดในฐานข้อมูล KQL จะพร้อมใช้งานใน OneLake

ดูไฟล์

เมื่อคุณ เปิดใช้งานความพร้อมใช้งาน OneLake บนตาราง โฟลเดอร์บันทึก delta จะถูกสร้างขึ้นพร้อมกับไฟล์ JSON และ Parquet ใด ๆ ที่สอดคล้องกัน คุณสามารถดูไฟล์ที่สร้างขึ้นใน OneLake และคุณสมบัติในขณะที่ยังคงอยู่ภายในตัวแสดงเวลาจริง

• หากต้องการดูไฟล์ ให้วางเมาส์เหนือตารางในบานหน้าต่าง Explorer จากนั้นเลือกเมนูเพิ่มเติม [...]>ดูไฟล์

  

• ในการดูคุณสมบัติของโฟลเดอร์บันทึก delta หรือไฟล์แต่ละไฟล์ให้โฮเวอร์เหนือโฟลเดอร์หรือไฟล์จากนั้นเลือกเมนูเพิ่มเติม [...]>คุณสมบัติ

• การดูไฟล์ในโฟลเดอร์บันทึกเดลต้า:

  1. เลือกโฟลเดอร์ _delta_log
  2. เลือกไฟล์เพื่อดูเมตาดาต้าและ Schema ของตาราง ตัวแก้ไขที่เปิดอยู่ในรูปแบบอ่านอย่างเดียว

นโยบายการมิเรอร์การเข้าถึง

ตามค่าเริ่มต้น เมื่อเปิดใช้งานความพร้อมใช้งาน OneLake นโยบายการมิเรอร์จะเปิดใช้งาน คุณสามารถใช้นโยบายเพื่อตรวจสอบ เวลาแฝง ของข้อมูลหรือเปลี่ยนเป็น ตารางส่วนที่แตกต่างของพาร์ติชันได้

หมายเหตุ

หากคุณปิด ความพร้อมใช้งาน OneLake คุณสมบัตินโยบาย IsEnabled การมิเรอร์เลอร์จะถูกตั้งค่า เป็น เท็จ (IsEnabled=false)

พาร์ติชันตารางส่วนที่แตกต่าง

คุณสามารถแบ่งพาร์ติชันตาราง Delta ของคุณเพื่อปรับปรุงความเร็วคิวรีได้ สําหรับข้อมูลเกี่ยวกับเวลาในการแบ่งพาร์ติชันไฟล์ OneLake ของคุณ ดูที่ เวลาในการแบ่งพาร์ติชันตาราง แต่ละพาร์ติชันจะแสดงเป็นคอลัมน์แยกต่างหากโดยใช้ PartitionName ที่แสดงอยู่ในรายการพาร์ติชัน ซึ่งหมายความว่าสําเนา OneLake ของคุณมีคอลัมน์มากกว่าตารางต้นทางของคุณ

หากต้องการแบ่งพาร์ติชันตาราง delta ของคุณ ให้ใช้ คําสั่งการ มิเรอร์นโยบายตาราง .alter-merge

เนื้อหาที่เกี่ยวข้อง

• เมื่อต้องการเปิดเผยข้อมูลใน OneLake ดู สร้างทางลัดใน OneLake
• หากต้องการสร้างทางลัด OneLake ใน Lakehouse โปรดดู ทางลัดในเลคเฮ้าส์คืออะไร
• เมื่อต้องการคิวรีข้อมูลที่อ้างอิงจาก OneLake ในฐานข้อมูล KQL หรือตารางของคุณ โปรดดู สร้างทางลัด OneLake ในฐานข้อมูล KQL