ประมวลผลข้อมูลเหตุการณ์ด้วยตัวแก้ไขตัวประมวลผลเหตุการณ์
ตัวแก้ไขตัวประมวลผลเหตุการณ์เป็นประสบการณ์ไม่มีโค้ดที่ช่วยให้คุณสามารถลากและวางเพื่อออกแบบตรรกะการประมวลผลข้อมูลเหตุการณ์ บทความนี้อธิบายวิธีการใช้ตัวแก้ไขเพื่อออกแบบตรรกะการประมวลผลของคุณ
หมายเหตุ
ความสามารถที่ปรับปรุงประสิทธิภาพแล้วจะเปิดใช้งานตามค่าเริ่มต้นเมื่อคุณสร้างเหตุการณ์สตรีมในขณะนี้ ถ้าคุณมีเหตุการณ์สตรีมที่สร้างขึ้นโดยใช้ความสามารถมาตรฐาน เหตุการณ์สตรีมเหล่านั้นจะยังคงทํางานต่อไป คุณยังคงสามารถแก้ไข และใช้ได้ตามปกติ เราขอแนะนําให้คุณสร้างเหตุการณ์สตรีมใหม่เพื่อแทนที่เหตุการณ์สตรีมมาตรฐานเพื่อให้คุณสามารถใช้ประโยชน์จากความสามารถและประโยชน์เพิ่มเติมของสตรีมเหตุการณ์ที่ปรับปรุงประสิทธิภาพแล้ว
ข้อกำหนดเบื้องต้น
ก่อนที่คุณจะเริ่มต้น คุณต้องดําเนินการข้อกําหนดเบื้องต้นต่อไปนี้ให้เสร็จสมบูรณ์:
- เข้าถึงพื้นที่ทํางานในโหมดสิทธิ์การใช้งาน Fabric capacity (หรือ) โหมดสิทธิ์การใช้งานรุ่นทดลองใช้ที่มีสิทธิ์ผู้สนับสนุนหรือสูงกว่า
ออกแบบการประมวลผลเหตุการณ์ด้วยตัวแก้ไข
หากต้องการดําเนินการประมวลผลสตรีมบนสตรีมข้อมูลของคุณโดยใช้ตัวแก้ไขที่ไม่มีรหัส ให้ทําตามขั้นตอนเหล่านี้:
เลือก แก้ไข บนริบบอน ถ้าคุณยังไม่ได้อยู่ในโหมดแก้ไข ตรวจสอบให้แน่ใจว่าโหนดอัพสตรีมสําหรับการดําเนินการที่เชื่อมต่อมีเค้าร่าง
หากต้องการแทรกตัวดําเนินการประมวลผลเหตุการณ์ระหว่างโหนดสตรีมและปลายทางในโหมดแก้ไข คุณสามารถใช้หนึ่งในสองวิธีต่อไปนี้:
แทรกตัวดําเนินการโดยตรงจากบรรทัดการเชื่อมต่อ วางเมาส์บนเส้นเชื่อมต่อ จากนั้นเลือก + ปุ่ม เมนูดรอปดาวน์จะปรากฏขึ้นบนบรรทัดการเชื่อมต่อ และคุณสามารถเลือกตัวดําเนินการจากเมนูนี้
แทรกตัวดําเนินการจากเมนูริบบอนหรือพื้นที่ทํางาน
คุณสามารถเลือกตัวดําเนินการจาก เมนูแปลงเหตุการณ์ ในริบบอนได้
อีกวิธีหนึ่งคือ คุณสามารถวางเมาส์บนโหนดใดโหนดหนึ่ง จากนั้นเลือก + ปุ่มถ้าคุณลบเส้นการเชื่อมต่อ เมนูดรอปดาวน์จะปรากฏขึ้นถัดจากโหนดนั้น และคุณสามารถเลือกตัวดําเนินการจากเมนูนี้ได้
หลังจากแทรกตัวดําเนินการแล้ว คุณจําเป็นต้องเชื่อมต่อโหนดเหล่านี้อีกครั้ง วางเมาส์บนขอบด้านซ้ายของโหนดสตรีม จากนั้นเลือกและลากวงกลมสีเขียวเพื่อเชื่อมต่อไปยังโหนดตัวดําเนินการจัดการเขตข้อมูล ทําตามขั้นตอนเดียวกันเพื่อเชื่อมต่อ โหนดตัวดําเนินการ จัดการเขตข้อมูล ไปยังปลายทางของคุณ
เลือกโหนดตัวดําเนินการ จัดการเขตข้อมูล ใน แผงการกําหนดค่าการจัดการเขตข้อมูล เลือกเขตข้อมูลที่คุณต้องการส่งออก ถ้าคุณต้องการเพิ่มเขตข้อมูลทั้งหมด เลือก เพิ่มเขตข้อมูลทั้งหมด คุณยังสามารถเพิ่มเขตข้อมูลใหม่ด้วยฟังก์ชันที่มีอยู่แล้วภายในเพื่อรวมข้อมูลจากอัพสตรีม (ในปัจจุบัน ฟังก์ชันที่มีอยู่ภายในเรารองรับคือฟังก์ชันบางอย่างในฟังก์ชันสตริง ฟังก์ชันวันที่และเวลา ฟังก์ชันทางคณิตศาสตร์ หากต้องการค้นหาให้ค้นหาบน
built-in)
หลังจากที่คุณกําหนดค่าตัว ดําเนินการจัดการเขตข้อมูล แล้ว ให้เลือก รีเฟรช เพื่อตรวจสอบความถูกต้องของผลลัพธ์การทดสอบที่สร้างขึ้นโดยตัวดําเนินการนี้
ถ้าคุณมีข้อผิดพลาดในการกําหนดค่า ข้อผิดพลาดเหล่านั้นจะปรากฏใน แท็บ ข้อผิดพลาด ในการเขียน ในบานหน้าต่างด้านล่าง
ถ้าผลลัพธ์การทดสอบของคุณถูกต้อง ให้เลือก เผยแพร่ เพื่อบันทึกตรรกะการประมวลผลเหตุการณ์และกลับไปยังมุมมองสด
หลังจากคุณทําขั้นตอนเหล่านี้เสร็จแล้ว คุณสามารถแสดงภาพว่าเหตุการณ์ของคุณเริ่มต้นการสตรีมและการประมวลผลข้อมูลใน Live view อย่างไร
ตัวแก้ไขการประมวลผลเหตุการณ์
ตัวแก้ไขตัวประมวลผลเหตุการณ์ (พื้นที่ทํางานในโหมดแก้ไข) ช่วยให้คุณสามารถแปลงข้อมูลเป็นปลายทางต่างๆ ได้ ป้อนโหมดแก้ไขเพื่อออกแบบการดําเนินการประมวลผลสตรีมสําหรับสตรีมข้อมูลของคุณ
โหมดแก้ไขประกอบด้วยพื้นที่ทํางานและบานหน้าต่างด้านล่างที่คุณสามารถ:
- สร้างตรรกะการแปลงข้อมูลเหตุการณ์ด้วยการลากแล้วปล่อย
- แสดงตัวอย่างผลลัพธ์การทดสอบในโหนดการประมวลผลแต่ละโหนดตั้งแต่ต้นจนจบ
- ค้นหาข้อผิดพลาดในการเขียนใด ๆ ภายในโหนดการประมวลผล
เค้าโครงตัวแก้ไข
- เมนู Ribbon และพื้นที่ทํางาน (ลําดับเลขที่หนึ่งในรูปภาพ): ในบานหน้าต่างนี้ คุณสามารถออกแบบตรรกะการแปลงข้อมูลของคุณโดยการเลือกตัวดําเนินการ (จากเมนู แปลงเหตุการณ์) และเชื่อมต่อโหนดสตรีมและโหนดปลายทางผ่านโหนดตัวดําเนินการที่สร้างขึ้นใหม่ คุณสามารถลากแล้วปล่อยเส้นเชื่อมต่อ หรือเลือกและลบการเชื่อมต่อได้
- บานหน้าต่างการแก้ไข ด้านขวา (สองในภาพ): บานหน้าต่างนี้ช่วยให้คุณสามารถกําหนดค่าโหนดที่เลือกหรือดูชื่อสตรีม
- บานหน้าต่างด้านล่างพร้อมการแสดงตัวอย่างข้อมูลและเขียนแท็บ ข้อผิดพลาด (สามในรูปภาพ): ในบานหน้าต่างนี้ ให้แสดงตัวอย่างผลลัพธ์การทดสอบในโหนดที่เลือกด้วยแท็บผลลัพธ์การทดสอบ แท็บข้อผิดพลาดการเขียนจะแสดงรายการการกําหนดค่าที่ไม่สมบูรณ์หรือไม่ถูกต้องในโหนดการดําเนินการ
ชนิดโหนดและตัวอย่างที่รองรับ
นี่คือชนิดปลายทางที่สนับสนุนการเพิ่มตัวดําเนินการก่อนการนําเข้า:
- เลคเฮ้าส์
- อีเวนต์เฮ้าส์ (การประมวลผลเหตุการณ์ก่อนการนําเข้า)
- สตรีมที่ได้รับมา
- กระตุ้น
หมายเหตุ
สําหรับปลายทางที่ไม่สนับสนุนการเพิ่มตัวดําเนินการก่อนการนําเข้าคุณสามารถเพิ่มสตรีมที่ได้รับมาเป็นผลลัพธ์ของตัวดําเนินการของคุณก่อนได้ จากนั้น ผนวกปลายทางที่คุณต้องการเข้ากับสตรีมที่ได้รับมานี้
ตัวประมวลผลเหตุการณ์ในฐานข้อมูล Lakehouse และ KQL (การประมวลผลเหตุการณ์ก่อนการนําเข้า) ช่วยให้คุณสามารถประมวลผลข้อมูลของคุณก่อนที่จะนําเข้าลงในปลายทางของคุณได้
ข้อกำหนดเบื้องต้น
ก่อนที่คุณจะเริ่มต้น คุณต้องดําเนินการข้อกําหนดเบื้องต้นต่อไปนี้ให้เสร็จสมบูรณ์:
- เข้าถึงพื้นที่ทํางานในโหมดสิทธิ์การใช้งาน Fabric capacity (หรือ) โหมดสิทธิ์การใช้งานรุ่นทดลองใช้ที่มีสิทธิ์ผู้สนับสนุนหรือสูงกว่า
- เข้าถึงพื้นที่ทํางานด้วย ผู้สนับสนุน หรือสิทธิ์ด้านบนที่มีฐานข้อมูล lakehouse หรือ KQL ของคุณอยู่
ออกแบบการประมวลผลเหตุการณ์ด้วยตัวแก้ไข
วิธีการออกแบบการประมวลผลเหตุการณ์ของคุณด้วยตัวแก้ไขตัวประมวลผลเหตุการณ์:
เพิ่มปลายทางของ เลคเฮ้าส์ และใส่พารามิเตอร์ที่จําเป็นในบานหน้าต่างด้านขวา (ดู เพิ่มและจัดการปลายทางในกระแสข้อมูล สําหรับคําแนะนําโดยละเอียด )
เลือก เปิดตัวประมวลผลเหตุการณ์ หน้าจอตัวแก้ไขการประมวลผลเหตุการณ์จะปรากฏขึ้น
ในพื้นที่ตัวแก้ไขการประมวลผลเหตุการณ์ เลือกโหนด eventstream คุณสามารถดูตัวอย่างสคีมาข้อมูล หรือเปลี่ยนชนิดข้อมูลในบานหน้าต่าง Eventstream ด้านขวาได้
เมื่อต้องการแทรกตัวดําเนินการประมวลผลเหตุการณ์ระหว่างเหตุการณ์และปลายทางนี้ในตัวแก้ไขตัวประมวลผลเหตุการณ์ คุณสามารถใช้หนึ่งในสองวิธีต่อไปนี้:
แทรกตัวดําเนินการโดยตรงจากบรรทัดการเชื่อมต่อ วางเมาส์บนเส้นเชื่อมต่อ จากนั้นเลือกปุ่ม "+" เมนูดรอปดาวน์จะปรากฏขึ้นบนบรรทัดการเชื่อมต่อ และคุณสามารถเลือกตัวดําเนินการจากเมนูนี้
แทรกตัวดําเนินการจากเมนูริบบอนหรือพื้นที่ทํางาน
คุณสามารถเลือกตัวดําเนินการจาก เมนู การดําเนินการ ในริบบอนได้ อีกวิธีหนึ่งคือ คุณสามารถวางเมาส์บนโหนดใดโหนดหนึ่ง จากนั้นเลือกปุ่ม "+" หากคุณลบเส้นเชื่อมต่อ เมนูดรอปดาวน์จะปรากฏขึ้นถัดจากโหนดนั้น และคุณสามารถเลือกตัวดําเนินการจากเมนูนี้ได้
สุดท้าย คุณจําเป็นต้องเชื่อมต่อโหนดเหล่านี้อีกครั้ง วางเมาส์บนขอบด้านซ้ายของโหนด eventstream จากนั้นเลือกและลากวงกลมสีเขียวเพื่อเชื่อมต่อไปยังโหนดตัวดําเนินการจัดการเขตข้อมูล ทําตามขั้นตอนเดียวกันเพื่อเชื่อมต่อ โหนดตัวดําเนินการจัดการเขตข้อมูล ไปยังโหนด lakehouse
เลือกโหนดตัวดําเนินการ จัดการเขตข้อมูล ใน แผงการกําหนดค่าการจัดการเขตข้อมูล เลือกเขตข้อมูลที่คุณต้องการส่งออก ถ้าคุณต้องการเพิ่มเขตข้อมูลทั้งหมด เลือก เพิ่มเขตข้อมูลทั้งหมด คุณยังสามารถเพิ่มเขตข้อมูลใหม่ด้วยฟังก์ชันที่มีอยู่แล้วภายในเพื่อรวมข้อมูลจากอัพสตรีม (ปัจจุบัน ฟังก์ชันที่มีอยู่ภายในเราสนับสนุนคือ บางฟังก์ชันใน ฟังก์ชันสตริง, ฟังก์ชันวันที่และเวลา, ฟังก์ชันทางคณิตศาสตร์ เมื่อต้องการค้นหาแอปเหล่านั้น ให้ค้นหาบน "ที่มีอยู่แล้วภายใน")
หลังจากที่คุณกําหนดค่าตัว ดําเนินการจัดการเขตข้อมูล แล้ว ให้เลือก รีเฟรชการแสดงตัวอย่าง แบบคงที่ เพื่อแสดงตัวอย่างข้อมูลที่ตัวดําเนินการนี้สร้าง
ถ้าคุณมีข้อผิดพลาดในการกําหนดค่า ข้อผิดพลาดเหล่านั้นจะปรากฏใน แท็บ ข้อผิดพลาด การเขียน ในบานหน้าต่างด้านล่าง
ถ้าข้อมูลแสดงตัวอย่างของคุณดูถูกต้อง เลือก เสร็จสิ้น เพื่อบันทึกตรรกะการประมวลผลเหตุการณ์และกลับไปยังหน้าจอการกําหนดค่าปลายทางของ Lakehouse
เลือก เพิ่ม เพื่อเสร็จสิ้นการสร้างปลายทางของเลคเฮ้าส์ของคุณ
ตัวแก้ไขตัวประมวลผลเหตุการณ์
ตัวประมวลผลเหตุการณ์ช่วยให้คุณสามารถแปลงข้อมูลที่คุณกําลังนําเข้าไปยังปลายทางของเลคเฮ้าส์ได้ เมื่อคุณกําหนดค่าปลายทางของเลคเฮ้าส์ของคุณ คุณจะพบตัวเลือกเปิดตัวประมวลผลเหตุการณ์ตรงกลางของหน้าจอการกําหนดค่าปลายทางของ Lakehouse
การเลือก เปิดตัวประมวลผล เหตุการณ์จะ เปิดใช้หน้าจอตัวแก้ไข การประมวลผลเหตุการณ์ ซึ่งคุณสามารถกําหนดตรรกะการแปลงข้อมูลของคุณ
ตัวแก้ไขตัวประมวลผลเหตุการณ์ประกอบด้วยพื้นที่ทํางานและบานหน้าต่างด้านล่างที่คุณสามารถ:
- สร้างตรรกะการแปลงข้อมูลเหตุการณ์ด้วยการลากแล้วปล่อย
- แสดงตัวอย่างข้อมูลในแต่ละโหนดการประมวลผลตั้งแต่ต้นจนจบ
- ค้นหาข้อผิดพลาดในการเขียนใด ๆ ภายในโหนดการประมวลผล
เค้าโครงหน้าจอจะเหมือนกับตัวแก้ไขหลัก ซึ่งประกอบด้วยสามส่วนที่แสดงในรูปต่อไปนี้:
พื้นที่ทํางานที่มีมุมมองแผนภาพ: ในบานหน้าต่างนี้ คุณสามารถออกแบบตรรกะการแปลงข้อมูลของคุณโดยการเลือกตัวดําเนินการ (จาก เมนู การดําเนินการ ) และเชื่อมต่อโหนดเหตุการณ์และโหนดปลายทางผ่านโหนดตัวดําเนินการที่สร้างขึ้นใหม่ คุณสามารถลากแล้วปล่อยเส้นเชื่อมต่อ หรือเลือกและลบการเชื่อมต่อได้
บานหน้าต่างการแก้ไขด้านขวา: บานหน้าต่างนี้ช่วยให้คุณสามารถกําหนดค่าโหนดการดําเนินการที่เลือกหรือดู Schema ของเหตุการณ์และปลายทาง
บานหน้าต่างด้านล่างพร้อมแท็บตัวอย่างข้อมูลและข้อผิดพลาดการเขียน: ในบานหน้าต่างนี้ ให้แสดงตัวอย่างข้อมูลในโหนดที่เลือกด้วย แท็บแสดงตัวอย่าง ข้อมูล แท็บ ข้อผิดพลาด การเขียนจะแสดงรายการการกําหนดค่าที่ไม่สมบูรณ์หรือไม่ถูกต้องในโหนดการดําเนินการ
ข้อผิดพลาดในการเขียน
ข้อผิดพลาด ในการเขียนอ้างอิงถึงข้อผิดพลาดที่เกิดขึ้นในตัว แก้ไข ตัวประมวลผลเหตุการณ์เนื่องจากการกําหนดค่าโหนดการดําเนินการไม่สมบูรณ์ หรือไม่ถูกต้อง ช่วยให้คุณค้นหา และแก้ไขปัญหาที่อาจเกิดขึ้นในตัวประมวลผลเหตุการณ์ของคุณ
คุณสามารถดู ข้อผิดพลาด การเขียนในบานหน้าต่างด้านล่างของตัว แก้ไขตัวประมวลผลเหตุการณ์ แผงด้านล่างแสดงรายการข้อผิดพลาดในการเขียนทั้งหมด ข้อผิดพลาดในการเขียนแต่ละรายการมีสี่คอลัมน์:
- รหัสโหนด: ระบุ ID ของโหนดการดําเนินการที่มีข้อผิดพลาดการเขียนเกิดขึ้น
- ชนิดโหนด: ระบุชนิดของโหนดการดําเนินการที่มีข้อผิดพลาดการเขียนเกิดขึ้น
- ระดับ: ระบุความรุนแรงของข้อผิดพลาดการเขียน มีสองระดับ ความร้ายแรง และข้อมูล ข้อผิดพลาดในการเขียนระดับร้ายแรงหมายความว่าตัวประมวลผลเหตุการณ์ของคุณมีปัญหาร้ายแรง และไม่สามารถบันทึกหรือเรียกใช้ได้ ข้อผิดพลาดในการเขียนระดับข้อมูลหมายความว่า ตัวประมวลผลเหตุการณ์ของคุณมีเคล็ดลับหรือคําแนะนําบางอย่างที่สามารถช่วยให้คุณปรับหรือปรับปรุงตัวประมวลผลเหตุการณ์ของคุณได้
- ข้อผิดพลาด: ระบุข้อมูลเฉพาะของข้อผิดพลาดในการเขียน ซึ่งอธิบายสาเหตุและผลกระทบของข้อผิดพลาดการเขียนโดยย่อ คุณสามารถเลือกแท็บ แสดงรายละเอียด เพื่อดูรายละเอียดได้
เนื่องจากเหตุการณ์และ Eventhouse สนับสนุนชนิดข้อมูลที่แตกต่างกัน กระบวนการแปลงชนิดข้อมูลอาจสร้างข้อผิดพลาดในการเขียนได้
ตารางต่อไปนี้แสดงผลลัพธ์ของการแปลงชนิดข้อมูลจาก เหตุการณ์สตรีม ไปยัง อีเวนต์เฮ้าส์ คอลัมน์แสดงชนิดข้อมูลที่ได้รับการสนับสนุนโดย Eventstream และแถวแสดงชนิดข้อมูลที่ได้รับการสนับสนุนโดย Eventhouse เซลล์แสดงผลลัพธ์การแปลง ซึ่งอาจเป็นหนึ่งในสามรายการต่อไปนี้:
✔️ ระบุว่าการแปลงสําเร็จ ไม่มีข้อผิดพลาด หรือคําเตือนที่สร้างขึ้น
❌ แสดงการแปลงที่เป็นไปไม่ได้ ข้อผิดพลาดในการเขียนที่ร้ายแรงถูกสร้างขึ้น ข้อความแสดงข้อผิดพลาดจะคล้ายกับ: ชนิดข้อมูล "{1}" สําหรับคอลัมน์ "{0}" ไม่ตรงกับชนิดที่คาดไว้ "{2}" ในตาราง KQL ที่เลือก และไม่สามารถแปลงกลับอัตโนมัติได้
⚠️ ระบุความเป็นไปได้ แต่การแปลงที่ไม่ถูกต้อง ข้อผิดพลาดในการเขียนข้อมูลจะถูกสร้างขึ้น ข้อความแสดงข้อผิดพลาดจะคล้ายกับ: ชนิดข้อมูล "{1}" สําหรับคอลัมน์ "{0}" ไม่ตรงกับชนิดที่คาดไว้ "{2}" ในตาราง KQL ที่เลือก ซึ่งมีการแปลงอัตโนมัติเป็น "{2}"
| string | bool | datetime | พลวัต | guid | int | ยาว | จริง | timespan | เลขทศนิยม | |
|---|---|---|---|---|---|---|---|---|---|---|
| Int64 | ❌ | ❌ | ❌ | ✔️ | ❌ | ⚠️ | ✔️ | ⚠️ | ❌ | ✔️ |
| สองเท่า | ❌ | ❌ | ❌ | ✔️ | ❌ | ❌ | ❌ | ⚠️ | ❌ | ⚠️ |
| เชือก | ✔️ | ❌ | ❌ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| วันที่เวลา | ⚠️ | ❌ | ✔️ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| เรกคอร์ด | ⚠️ | ❌ | ❌ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
| อาร์เรย์ | ⚠️ | ❌ | ❌ | ✔️ | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
ตามที่คุณเห็นจากตาราง การแปลงชนิดข้อมูลบางอย่างสําเร็จ เช่น สตริงเป็นสตริง การแปลงเหล่านี้ไม่สร้างข้อผิดพลาดในการเขียนและไม่มีผลต่อการทํางานของตัวประมวลผลเหตุการณ์ของคุณ
การแปลงชนิดข้อมูลบางอย่างเป็นไปไม่ได้ เช่น int to string การแปลงเหล่านี้สร้างข้อผิดพลาดในการเขียนระดับร้ายแรง ซึ่งทําให้ตัวประมวลผลเหตุการณ์ของคุณไม่สามารถบันทึกได้ คุณจําเป็นต้องเปลี่ยนชนิดข้อมูลของคุณในตาราง Eventstream หรือในตาราง KQL เพื่อหลีกเลี่ยงข้อผิดพลาดเหล่านี้
การแปลงชนิดข้อมูลบางอย่างเป็นไปได้ แต่ไม่แม่นยํา เช่น int to real การแปลงเหล่านี้สร้างข้อผิดพลาดในการเขียนระดับข้อมูล ที่ระบุถึงความไม่ตรงกันระหว่างชนิดข้อมูลและผลลัพธ์การแปลงอัตโนมัติ การแปลงเหล่านี้อาจทําให้ข้อมูลของคุณสูญเสียความแม่นยําหรือโครงสร้าง คุณสามารถเลือกว่าจะละเว้นข้อผิดพลาดเหล่านี้ หรือปรับเปลี่ยนชนิดข้อมูลของคุณในตาราง Eventstream หรือในตาราง KQL เพื่อปรับตัวประมวลผลเหตุการณ์ของคุณให้เหมาะสม
ตัวดําเนินการแปลง
ตัวประมวลผลเหตุการณ์มีตัวดําเนินการหกตัว ซึ่งคุณสามารถใช้เพื่อแปลงข้อมูลเหตุการณ์ของคุณได้ตามความต้องการทางธุรกิจของคุณ
การรวม
ใช้การแปลงข้อมูลรวมเพื่อคํานวณการรวม (ผลรวม ต่ําสุด สูงสุด หรือค่าเฉลี่ย) ทุกครั้งที่เหตุการณ์ใหม่เกิดขึ้นในช่วงเวลาหนึ่ง การดําเนินการนี้ยังอนุญาตให้มีการเปลี่ยนชื่อของคอลัมน์จากการคํานวณเหล่านี้ และการกรองหรือการแบ่งส่วนการรวมที่ยึดตามมิติอื่น ๆ ในข้อมูลของคุณ คุณสามารถมีการรวมอย่างน้อยหนึ่งรายการในการแปลงเดียวกัน
- ชื่อตัวดําเนินการ: ระบุชื่อของการดําเนินการรวม
- เพิ่มฟังก์ชันการรวม: เพิ่มการรวมอย่างน้อยหนึ่งรายการในการดําเนินการรวม
- ชนิด: เลือกชนิดการรวม: ผลรวม ค่าต่ําสุด ค่าสูงสุด หรือค่าเฉลี่ย
- เขตข้อมูล: เลือกคอลัมน์ที่จะประมวลผล
- ชื่อ: กําหนดชื่อสําหรับฟังก์ชันการรวมนี้
- แบ่งพาร์ติชันตาม: เลือกคอลัมน์เพื่อจัดกลุ่มการรวม
- รวมค่าภายในล่าสุด: ระบุหน้าต่างเวลาสําหรับการรวม (ค่าเริ่มต้นคือ 5 วินาที)
ขยาย
ใช้การขยายการแปลงอาร์เรย์ เพื่อสร้างแถวใหม่สําหรับแต่ละค่าภายในอาร์เรย์ คุณสามารถเลือก สร้างแถวสําหรับอาร์เรย์ ที่หายไป/ว่างเปล่า หรือ ไม่สามารถสร้างแถวสําหรับอาร์เรย์ที่ขาดหายไป/ว่างเปล่าได้
ตัวกรอง
ใช้การแปลงตัวกรองเพื่อกรองเหตุการณ์ที่ยึดตามค่าของเขตข้อมูลในข้อมูลป้อนเข้า การแปลงจะเก็บค่าที่ตรงกับเงื่อนไขที่เลือก เช่น null หรือเป็น null ทั้งนี้ขึ้นอยู่กับชนิดข้อมูล (ตัวเลขหรือข้อความ)
จัดกลุ่มตาม
ใช้การแปลงข้อมูล จัดกลุ่มตาม เพื่อคํานวณการรวมทั่วทั้งเหตุการณ์ทั้งหมดภายในช่วงเวลาหนึ่ง คุณสามารถจัดกลุ่มตามค่าในเขตข้อมูลอย่างน้อยหนึ่งหรือมากกว่า ซึ่งเหมือนกับ การแปลงค่ารวม ที่ช่วยในการเปลี่ยนชื่อคอลัมน์ แต่มีตัวเลือกเพิ่มเติมสําหรับการรวมและมีตัวเลือกที่ซับซ้อนมากขึ้นสําหรับหน้าต่างเวลา เช่นเดียวกับการรวม คุณสามารถเพิ่มการรวมได้มากกว่าหนึ่งรายการต่อการแปลง
การรวมที่พร้อมใช้งานในการแปลงคือ:
- Average
- Count
- ค่าสูงสุด
- ต่ำสุด
- เปอร์เซ็นไทล์ (ต่อเนื่องและไม่ต่อเนื่อง)
- ส่วนเบี่ยงเบนมาตรฐาน
- ผลรวม
- ผลต่าง
ในสถานการณ์การสตรีมเวลา การดําเนินการกับข้อมูลที่มีอยู่ในหน้าต่างชั่วขณะเป็นรูปแบบทั่วไป ตัวประมวลผลเหตุการณ์สนับสนุนฟังก์ชัน windowing ซึ่งรวมกับตัวดําเนินการ Group by คุณสามารถกําหนดได้ในการตั้งค่าของตัวดําเนินการนี้
จัดการเขตข้อมูล
การแปลงเขตข้อมูล Manage ช่วยให้คุณสามารถเพิ่ม ลบ เปลี่ยนชนิดข้อมูล หรือเปลี่ยนชื่อเขตข้อมูลที่มาจากอินพุตหรือการแปลงอื่น การตั้งค่าบานหน้าต่างด้านข้างช่วยให้คุณมีตัวเลือกในการเพิ่มเขตข้อมูลใหม่ โดยการเลือก เพิ่มเขตข้อมูล เพิ่มหลายเขตข้อมูล หรือเพิ่มเขตข้อมูลทั้งหมดในครั้งเดียว
นอกจากนี้ คุณสามารถเพิ่มเขตข้อมูลใหม่ด้วยฟังก์ชันที่มีอยู่แล้วภายในเพื่อรวมข้อมูลจากอัพสตรีม (ปัจจุบัน ฟังก์ชันที่มีอยู่ภายในเราสนับสนุนคือ บางฟังก์ชันใน ฟังก์ชันสตริง, ฟังก์ชันวันที่และเวลา และ ฟังก์ชันทางคณิตศาสตร์ เมื่อต้องการค้นหาแอปเหล่านั้น ให้ค้นหาบน "ที่มีอยู่แล้วภายใน")
ตารางต่อไปนี้แสดงผลลัพธ์ของการเปลี่ยนแปลงชนิดข้อมูลโดยใช้จัดการเขตข้อมูล คอลัมน์แสดงชนิดข้อมูลเดิมและแถวแสดงประเภทข้อมูลเป้าหมาย
- ✔️ ถ้ามีในเซลล์ นั่นหมายความว่าสามารถแปลงได้โดยตรงและตัวเลือกชนิดข้อมูลเป้าหมายจะแสดงในรายการดรอปดาวน์
- ❌ถ้ามีในเซลล์ นั่นหมายความว่า ไม่สามารถแปลงได้และตัวเลือกชนิดข้อมูลเป้าหมายจะไม่แสดงในรายการดรอปดาวน์
-
⚠ถ้ามี ️ ในเซลล์ นั่นหมายความว่าสามารถแปลงได้ แต่จําเป็นต้องตรงตามเงื่อนไขบางอย่าง เช่น รูปแบบสตริงต้องสอดคล้องกับความต้องการของชนิดข้อมูลเป้าหมาย ตัวอย่างเช่น เมื่อแปลงจากสตริงเป็น int สตริงต้องเป็นฟอร์มจํานวนเต็มที่ถูกต้อง เช่น
123ไม่ใช่abc
| Int64 | คู่ | สตริง | Datetime | บันทึก | อาร์เรย์ | |
|---|---|---|---|---|---|---|
| Int64 | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ |
| สองเท่า | ✔️ | ✔️ | ✔️ | ❌ | ❌ | ❌ |
| เชือก | ⚠️ | ⚠️ | ✔️ | ⚠️ | ❌ | ❌ |
| วันที่เวลา | ❌ | ❌ | ✔️ | ✔️ | ❌ | ❌ |
| เรกคอร์ด | ❌ | ❌ | ✔️ | ❌ | ✔️ | ❌ |
| อาร์เรย์ | ❌ | ❌ | ✔️ | ❌ | ❌ | ✔️ |
สหภาพ
ใช้การแปลงแบบรวมเพื่อเชื่อมต่ออย่างน้อยสองโหนด และเพิ่มเหตุการณ์ที่แชร์เขตข้อมูล (ที่มีชื่อและชนิดข้อมูลเดียวกัน) ลงในตารางเดียว เขตข้อมูลที่ไม่ตรงกันจะถูกทิ้งและไม่รวมอยู่ในเอาต์พุต
เข้าร่วม
ใช้การแปลงรวมเพื่อรวมเหตุการณ์จากข้อมูลป้อนเข้าสองรายการโดยยึดตามคู่เขตข้อมูลที่คุณเลือก ถ้าคุณไม่เลือกคู่เขตข้อมูล การรวมจะขึ้นอยู่กับเวลาตามค่าเริ่มต้น ค่าเริ่มต้นคือสิ่งที่ทําให้การแปลงนี้แตกต่างจากชุดงานหนึ่ง
เช่นเดียวกับการรวมแบบปกติ คุณมีตัวเลือกสําหรับตรรกะการเข้าร่วมของคุณ:
- การรวมภายใน: รวมเฉพาะระเบียนจากทั้งสองตารางที่จับคู่กัน
- การรวมภายนอกด้านซ้าย: รวมระเบียนทั้งหมดจากตารางด้านซ้าย (แรก) และเฉพาะระเบียนจากระเบียนที่สองที่ตรงกับคู่ของเขตข้อมูล ถ้าไม่ตรงกัน เขตข้อมูลจากอินพุตที่สองจะเป็นค่าว่าง