แชร์ผ่าน

เพิ่มปลายทางของเลคเฮ้าส์ลงในกระแสเหตุการณ์

  • บทความ

บทความนี้แสดงวิธีการเพิ่ม lakehouse เป็นปลายทางไปยังเหตุการณ์ในสตรีมเหตุการณ์ของ Microsoft Fabric เพื่อประสิทธิภาพการสตรีมที่ดีที่สุดและการคิวรีแบบเรียลไทม์ พิจารณาการสตรีมข้อมูลไปยัง Eventhouse ด้วยเพิ่มปลายทาง Eventhouse ไปยังเหตุการณ์สตรีม และจากนั้นเปิดใช้งาน Eventhouse OneLake Availability

หมายเหตุ

ความสามารถที่ปรับปรุงประสิทธิภาพแล้วจะเปิดใช้งานตามค่าเริ่มต้นเมื่อคุณสร้างเหตุการณ์สตรีมในขณะนี้ ถ้าคุณมีเหตุการณ์สตรีมที่สร้างขึ้นโดยใช้ความสามารถมาตรฐาน เหตุการณ์สตรีมเหล่านั้นจะยังคงทํางานต่อไป คุณยังคงสามารถแก้ไข และใช้ได้ตามปกติ เราขอแนะนําให้คุณสร้างเหตุการณ์สตรีมใหม่เพื่อแทนที่เหตุการณ์สตรีมมาตรฐานเพื่อให้คุณสามารถใช้ประโยชน์จากความสามารถและประโยชน์เพิ่มเติมของสตรีมเหตุการณ์ที่ปรับปรุงประสิทธิภาพแล้ว

สำคัญ

มีการ บังคับใช้ Schema สําหรับการเขียนข้อมูลลงในตารางปลายทางของเลคเฮ้าส์ การเขียนใหม่ทั้งหมดไปยังตารางจะต้องเข้ากันได้กับ Schema ของตารางเป้าหมายในขณะเขียน เพื่อสร้างความมั่นใจในคุณภาพของข้อมูล

เมื่อเอาต์พุตถูกเขียนลงในตารางผลลัพท์ใหม่ สคีมาของตารางจะถูกสร้างขึ้นตามระเบียนแรก ระเบียนทั้งหมดของข้อมูลผลลัพธ์จะถูกคาดการณ์ไปยัง schema ของตารางที่มีอยู่

ถ้าข้อมูลขาเข้ามีคอลัมน์ที่ไม่ได้อยู่ใน schema ของตารางที่มีอยู่ คอลัมน์เพิ่มเติมจะไม่รวมอยู่ในข้อมูลที่เขียนลงในตาราง ในทํานองเดียวกัน หากคอลัมน์ที่เข้ามาหายไปที่อยู่ในสคีมาของตารางที่มีอยู่ คอลัมน์ที่ขาดหายไปจะเขียนไปยังตารางที่มีค่าที่ตั้งค่าเป็น null

ข้อกำหนดเบื้องต้น

  • เข้าถึงพื้นที่ทํางานในโหมดสิทธิ์การใช้งาน Fabric capacity (หรือ) โหมดสิทธิ์การใช้งานรุ่นทดลองใช้ที่มีสิทธิ์ผู้สนับสนุนหรือสูงกว่า
  • การเข้าถึงพื้นที่ทํางานที่เลคเฮ้าส์ของคุณอยู่พร้อมสิทธิ์ผู้สนับสนุนหรือสูงกว่า

หมายเหตุ

จํานวนสูงสุดของแหล่งข้อมูลและปลายทางสําหรับหนึ่งเหตุการณ์สตรีมคือ 11

เพิ่มเลคเฮ้าส์เป็นปลายทาง

หากต้องการเพิ่มปลายทางของ lakehouse เป็นค่าเริ่มต้นหรือมาจากเหตุการณ์สตรีม ให้ทําตามขั้นตอนเหล่านี้

  1. ในโหมด แก้ไข สําหรับเหตุการณ์ของคุณ เลือก เพิ่มปลายทาง บนริบบิ้น และเลือก เลคเฮ้าส์ จากรายการดรอปดาวน์

    สกรีนช็อตของรายการดรอปดาวน์เพิ่มปลายทางพร้อม Lakehouse ที่ถูกไฮไลต์ไว้

  2. เชื่อมต่อโหนด lakehouse กับโหนดสตรีมหรือตัวดําเนินการของคุณ

  3. บนหน้าจอ การกําหนดค่าของ Lakehouse ให้ทําข้อมูลต่อไปนี้ให้เสร็จสมบูรณ์:

    1. ใส่ ชื่อปลายทาง
    2. เลือก พื้นที่ทํางาน ที่มีเลคเฮ้าส์ของคุณ
    3. เลือกเลคเฮ้าส์ที่มีอยู่จากพื้นที่ทํางานที่คุณระบุ
    4. เลือกตาราง Delta ที่มีอยู่ หรือสร้างตารางใหม่เพื่อรับข้อมูล
    5. เลือก รูปแบบ ข้อมูลอินพุตที่ส่งไปยังเลคเฮ้าส์ของคุณ รูปแบบข้อมูลที่สนับสนุนคือ JSON, Avro และ CSV (พร้อมส่วนหัว)

    สกรีนช็อตของส่วนบนสุดของหน้าจอการกําหนดค่าของ Lakehouse

  4. เลือก ขั้นสูง

  5. โหมดการนําเข้าสองโหมดมีให้สําหรับปลายทางของเลคเฮ้าส์ ตามสถานการณ์สมมติของคุณ กําหนดค่าโหมดเหล่านี้เพื่อปรับวิธีการที่ Fabric event streams เขียนไปยัง lakehouse

    • แถว ขั้นต่ําคือจํานวนแถวขั้นต่ําที่ lakehouse การนําเข้าข้อมูลในไฟล์เดียว ค่าต่ําสุดคือ 1 แถวและสูงสุดคือ 2 ล้านแถวต่อไฟล์ ยิ่งจํานวนแถวขั้นต่ําน้อยลง ก็ยิ่งมีไฟล์ของเลคเฮ้าส์มากเท่าใดในระหว่างการการนําเข้าข้อมูล

    • ระยะเวลา สูงสุดคือระยะเวลาสูงสุดที่ lakehouse ใช้ในการนําเข้าไฟล์เดียว ค่าต่ําสุดคือ 1 นาทีและสูงสุดคือ 2 ชั่วโมง ยิ่งระยะเวลานานเท่าไหร่ แถวจะถูกส่งเข้าในไฟล์มากขึ้น

    สกรีนช็อตของส่วนขั้นสูงของหน้าจอการกําหนดค่าของ Lakehouse

  6. เลือก บันทึก

  7. หากต้องการใช้ปลายทางของ lakehouse ที่เพิ่งเพิ่มมาใหม่ ให้เลือก เผยแพร่

    สกรีนช็อตของปลายทางสตรีมและ lakehouse ในโหมดแก้ไข พร้อมปุ่มเผยแพร่ที่เน้น

เมื่อคุณทําตามขั้นตอนเหล่านี้เสร็จแล้ว ปลายทางของเลคเฮ้าส์จะพร้อมใช้งานสําหรับการแสดงภาพใน Live view ในบานหน้าต่างรายละเอียด คุณสามารถเลือกทางลัด ปรับตารางในสมุดบันทึกให้เหมาะสม เพื่อเปิดใช้งาน Apache Spark ภายในสมุดบันทึก ซึ่งรวมไฟล์การสตรีมขนาดเล็กภายในตารางเลคเฮ้าส์เป้าหมาย

สกรีนช็อตของปลายทางของเลคเฮ้าส์และปุ่มปรับตารางให้เหมาะสมในมุมมองสด

เนื้อหาที่เกี่ยวข้อง

หากต้องการเรียนรู้วิธีการเพิ่มปลายทางอื่น ๆ ในอีเวนต์สตรีม ให้ดูบทความต่อไปนี้:

ข้อกำหนดเบื้องต้น

ก่อนที่คุณจะเริ่มต้น คุณต้องดําเนินการข้อกําหนดเบื้องต้นต่อไปนี้ให้เสร็จสมบูรณ์:

  • เข้าถึงพื้นที่ทํางานในโหมดสิทธิ์การใช้งาน Fabric capacity (หรือ) โหมดสิทธิ์การใช้งานรุ่นทดลองใช้ที่มีสิทธิ์ผู้สนับสนุนหรือสูงกว่า
  • เข้าถึงพื้นที่ทํางานด้วยสิทธิ์ผู้สนับสนุน หรือสิทธิ์ด้านบนที่เป็นที่ตั้งของเลคเฮ้าส์ของคุณ

หมายเหตุ

จํานวนสูงสุดของแหล่งข้อมูลและปลายทางสําหรับหนึ่งเหตุการณ์สตรีมคือ 11

เพิ่มเลคเฮ้าส์เป็นปลายทาง

ถ้าคุณมีเลคเฮ้าส์ที่สร้างขึ้นในพื้นที่ทํางานของคุณ ให้ทําตามขั้นตอนเหล่านี้เพื่อเพิ่มเลคเฮาส์ ลงในกระแสเหตุการณ์ของคุณเป็นปลายทาง:

  1. เลือก ปลายทางใหม่ บนริบบอน หรือ "+" ในพื้นที่ทํางานตัวแก้ไขหลัก จากนั้นเลือก เลคเฮ้าส์ หน้าจอการกําหนดค่าปลายทางของ Lakehouse จะปรากฏขึ้น

  2. ใส่ชื่อสําหรับปลายทางเหตุการณ์และกรอกข้อมูลเกี่ยวกับเลคเฮ้าส์ของคุณให้เสร็จสิ้น

    สกรีนช็อตของหน้าจอการกําหนดค่าปลายทางของ Lakehouse

    1. เลคเฮ้าส์: เลือกเลคเฮ้าส์ที่มีอยู่จากพื้นที่ทํางานที่คุณระบุ

    2. ตาราง Delta: เลือกตารางส่วนที่แตกต่างที่มีอยู่ หรือสร้างตารางใหม่เพื่อรับข้อมูล

      หมายเหตุ

      เมื่อเขียนข้อมูลลงในตารางของเลคเฮ้าส์ มีการ บังคับใช้ Schema ซึ่งหมายความว่าการเขียนใหม่ทั้งหมดไปยังตารางจะต้องเข้ากันได้กับ Schema ของตารางเป้าหมายในขณะเขียน เพื่อให้แน่ใจในคุณภาพของข้อมูล

      ระเบียนทั้งหมดของข้อมูลผลลัพธ์จะถูกคาดการณ์ไปยัง schema ของตารางที่มีอยู่ เมื่อเขียนเอาต์พุตไปยังตาราง Delta ใหม่ Schema ของตารางจะถูกสร้างขึ้นโดยยึดตามระเบียนแรก ถ้าข้อมูลขาเข้ามีคอลัมน์เพิ่มเติมเมื่อเทียบกับสคีมาของตารางที่มีอยู่ คอลัมน์จะเขียนลงในตารางโดยไม่ต้องมีคอลัมน์เพิ่มเติม ในทางกลับกัน หากข้อมูลขาเข้าไม่มีคอลัมน์เมื่อเทียบกับ Schema ของตารางที่มีอยู่ คอลัมน์จะเขียนไปยังตารางโดยกําหนดค่าของคอลัมน์เป็น null

    3. รูปแบบข้อมูลป้อนเข้า: เลือกรูปแบบสําหรับข้อมูล (ข้อมูลป้อนเข้า) ที่ถูกส่งไปยังเลคเฮ้าส์ของคุณ

      หมายเหตุ

      รูปแบบข้อมูลเหตุการณ์การป้อนข้อมูลที่ได้รับการสนับสนุนคือ JSON, Avro และ CSV (พร้อมส่วนหัว)

    4. การประมวลผลเหตุการณ์: คุณสามารถใช้ตัวแก้ไขการประมวลผลเหตุการณ์เพื่อระบุวิธีการประมวลผลข้อมูลก่อนที่จะส่งไปยัง lakehouse ของคุณ เลือก เปิดตัวประมวลผล เหตุการณ์ เพื่อเปิดตัวแก้ไขการประมวลผลเหตุการณ์ เมื่อต้องการเรียนรู้เพิ่มเติมเกี่ยวกับการประมวลผลแบบเรียลไทม์โดยใช้ตัวประมวลผลเหตุการณ์ ดู ประมวลผลข้อมูลเหตุการณ์ด้วยตัวแก้ไขตัวประมวลผลเหตุการณ์ เมื่อคุณเสร็จสิ้นตัวแก้ไข แล้ว ให้เลือก เสร็จสิ้น เพื่อกลับไปยังหน้าจอการกําหนดค่าปลายทางของ Lakehouse

      สกรีนช็อตที่แสดงตัวแก้ไขตัวประมวลผลเหตุการณ์

  3. โหมดการนําเข้าสองโหมดมีให้สําหรับปลายทางของเลคเฮ้าส์ เลือกหนึ่งในโหมดเหล่านี้เพื่อปรับให้เหมาะสมว่าคุณลักษณะสตรีมเหตุการณ์ Fabric เขียนไปยังเลคเฮ้าส์ตามสถานการณ์ของคุณอย่างไร

    1. แถวต่อไฟล์ – จํานวนแถวต่ําสุดที่ Lakehouse ingests ในไฟล์เดียว ยิ่งจํานวนแถวขั้นต่ําน้อยลง ก็ยิ่งมีไฟล์ของเลคเฮ้าส์มากเท่าใดในระหว่างการการนําเข้าข้อมูล ต่ําสุดคือ 1 แถว สูงสุดคือ 2M แถวต่อไฟล์

    2. Duration – ระยะเวลาสูงสุดที่เลคเฮาส์จะใช้ในการนําเข้าไฟล์เดียว ยิ่งระยะเวลานานเท่าไหร่ ระบบจะส่งแถวมากขึ้นในไฟล์ ต่ําสุดคือ 1 นาทีและสูงสุดคือ 2 ชั่วโมง

      สกรีนช็อตที่แสดงโหมดการนําเข้า

  4. เลือก เพิ่ม เพื่อเพิ่มปลายทางของเลคเฮ้าส์

  5. ทางลัดการปรับตารางให้เหมาะสมพร้อมใช้งานภายในปลายทางของเลคเฮ้าส์ โซลูชันนี้อํานวยความสะดวกคุณโดยการเปิดงาน Spark ภายในสมุดบันทึก ซึ่งรวมไฟล์การสตรีมขนาดเล็กเหล่านี้ไว้ในตาราง Lakehouse เป้าหมาย

    สกรีนช็อตที่แสดงการตั้งค่าการปรับตารางให้เหมาะสม

  6. ปลายทางของเลคเฮ้าส์จะปรากฏบนพื้นที่ทํางานพร้อมตัวบ่งชี้สถานะการปั่น ระบบใช้เวลาสักครู่เพื่อเปลี่ยนสถานะเป็นใช้งานอยู่

    สกรีนช็อตแสดงปลายทางของเลคเฮ้าส์

จัดการปลายทาง

แก้ไข/ลบ: คุณสามารถแก้ไขหรือลบปลายทางเหตุการณ์สตรีมผ่านหน้าต่างนําทางหรือพื้นที่ทํางาน

เมื่อคุณเลือก แก้ไข บานหน้าต่างแก้ไขจะเปิดขึ้นทางด้านขวาของตัวแก้ไขหลัก คุณสามารถปรับเปลี่ยนการกําหนดค่าตามที่คุณต้องการ รวมถึงตรรกะการแปลงเหตุการณ์ผ่านตัวแก้ไขตัวประมวลผลเหตุการณ์

สกรีนช็อตแสดงตําแหน่งที่จะเลือกตัวเลือกปรับเปลี่ยนและลบสําหรับปลายทางบนพื้นที่ทํางาน

เนื้อหาที่เกี่ยวข้อง

หากต้องการเรียนรู้วิธีการเพิ่มปลายทางอื่น ๆ ในอีเวนต์สตรีม ให้ดูบทความต่อไปนี้: