การตรวจหาสิ่งผิดปกติแบบหลากหลายใน Microsoft Fabric - ภาพรวม

การตรวจหาสิ่งผิดปกติแบบหลากหลายประเภทสําหรับอนุกรมเวลาคืออะไร การตรวจหาสิ่งผิดปกติ Univariate ซึ่งใช้งานโดยฟังก์ชัน KQL series_decompose_anomalies() ช่วยให้คุณสามารถตรวจสอบและตรวจหาสิ่งผิดปกติในการแจกจ่ายตัวแปรเดี่ยวเมื่อเวลาผ่านไป ในทางตรงกันข้าม การตรวจหาสิ่งผิดปกติที่หลากหลายเป็นวิธีการตรวจหาสิ่งผิดปกติในการแจกแจงแบบรวมของตัวแปรหลายรายการเมื่อเวลาผ่านไป วิธีนี้มีประโยชน์เมื่อตัวแปรมีความสัมพันธ์กัน ดังนั้นการรวมกันของค่าณ ณ เวลาที่กําหนดอาจผิดปกติ ในขณะที่ค่าของแต่ละตัวแปรเป็นปกติ สามารถใช้การตรวจหาสิ่งผิดปกติแบบหลากหลายในแอปพลิเคชันต่างๆ เช่น การตรวจสอบสถานภาพของระบบ IoT ที่ซับซ้อน การตรวจจับการฉ้อโกงในธุรกรรมทางการเงินและการระบุรูปแบบที่ผิดปกติในการรับส่งข้อมูลเครือข่าย

ตัวอย่างเช่น พิจารณาระบบที่ตรวจสอบประสิทธิภาพของยานพาหนะ ระบบรวบรวมข้อมูลเกี่ยวกับเมตริกต่าง ๆ เช่น ความเร็ว การสิ้นเปลืองเชื้อเพลิง และอุณหภูมิเครื่องยนต์ ด้วยการวิเคราะห์เมตริกเหล่านี้เข้าด้วยกัน ระบบสามารถตรวจหาสิ่งผิดปกติที่จะไม่ชัดเจนโดยการวิเคราะห์แต่ละเมตริกแยกกัน ด้วยตัวเองการบริโภคน้ํามันเชื้อเพลิงอาจเกิดจากเหตุผลต่าง ๆ ที่ยอมรับได้ อย่างไรก็ตาม การเพิ่มขึ้นอย่างฉับพลันของปริมาณการใช้น้ํามันเชื้อเพลิงที่รวมกับอุณหภูมิของเครื่องยนต์ที่ลดลงอาจเป็นปัญหากับเครื่องยนต์แม้ว่าแต่ละเมตริกจะอยู่ในช่วงปกติก็ตาม

คุณจะตรวจหาสิ่งผิดปกติที่หลากหลายใน Microsoft Fabric ได้อย่างไร

การตรวจหาสิ่งผิดปกติแบบหลากหลายทางใน Fabric ใช้ประโยชน์จากเครื่องมือ Spark และ Eventhouse ที่มีประสิทธิภาพที่ด้านบนของชั้นที่เก็บข้อมูลแบบถาวรที่ใช้ร่วมกัน ข้อมูลเริ่มต้นสามารถนําเข้าลงใน Eventhouse และแสดงใน OneLake จากนั้น แบบจําลองการตรวจหาสิ่งผิดปกติสามารถรับการฝึกได้โดยใช้กลไก Spark และการคาดการณ์ความผิดปกติของข้อมูลการสตรีมใหม่สามารถทําได้ในแบบเรียลไทม์โดยใช้กลไก Eventhouse การเชื่อมต่อระหว่างกลไกจัดการเหล่านี้ที่สามารถประมวลผลข้อมูลเดียวกันในที่เก็บข้อมูลที่ใช้ร่วมกันช่วยให้สามารถโฟลว์ของข้อมูลจากการนําเข้าอย่างราบรื่นผ่านการฝึกอบรมแบบจําลองไปจนถึงการคาดการณ์ความผิดปกติ เวิร์กโฟลว์นี้เรียบง่ายและมีประสิทธิภาพสําหรับการตรวจสอบและการตรวจหาสิ่งผิดปกติในระบบที่ซับซ้อนแบบเรียลไทม์

ส่วนประกอบของโซลูชัน

โซลูชันนี้ขึ้นอยู่กับคอมโพเนนต์ต่อไปนี้:

• Eventhouse: ในขั้นต้น ข้อมูลจะถูกนําเข้าลงใน Eventhouse ซึ่งเป็นเครื่องมือการประมวลผลข้อมูลแบบเรียลไทม์ที่สามารถจัดการสตรีมข้อมูลอัตราความเร็วสูงได้
• OneLake: ข้อมูลจาก Eventhouse จะแสดงใน OneLake ซึ่งเป็นเลเยอร์ที่เก็บข้อมูลแบบถาวรที่ใช้ร่วมกันที่ให้มุมมองข้อมูลแบบรวมศูนย์
• แพคเกจการตรวจหาสิ่งผิดปกติแบบหลากหลาย: โซลูชันใช้ แพคเกจ python ตัวตรวจจับความผิดปกติของ time-series-detector ซึ่งเป็นการใช้อัลกอริทึมขั้นสูงตามเครือข่ายความสนใจของกราฟ (GAT) ที่จับความสัมพันธ์ระหว่างชุดข้อมูลเวลาที่แตกต่างกันและตรวจหาความผิดปกติในเวลาจริง แบบจําลอง GAT ได้รับการฝึกฝนเกี่ยวกับข้อมูลในอดีตเพื่อเรียนรู้ความสัมพันธ์ระหว่างชุดข้อมูลเวลาที่แตกต่างกัน แบบจําลองที่ได้รับการฝึกสามารถนําไปใช้เพื่อทํานายความผิดปกติไปยังข้อมูลการสตรีมใหม่ โปรดทราบว่าอัลกอริทึมนี้เป็นอัลกอริทึมที่ใช้ใน บริการ ตัวตรวจหาสิ่งผิดปกติของ AI ที่จะถูกยกเลิก สําหรับข้อมูลเพิ่มเติมเกี่ยวกับอัลกอริทึม ดูบล็อกและกระดาษ
• Spark Notebook: ใช้สําหรับการฝึกแบบจําลองการตรวจหาสิ่งผิดปกติแบบออฟไลน์ในข้อมูลในอดีตและจัดเก็บแบบจําลองที่ได้รับการฝึกแล้วในรีจิสทรีแบบจําลอง MLflow ของ Fabric
• ชุดคิวรี KQL: ใช้สําหรับการคาดการณ์ความผิดปกติในข้อมูลขาเข้าแบบเรียลไทม์

ขั้นตอนถัดไป

การตรวจหาความผิดปกติแบบหลากหลายรูปแบบ