Microsoft Fabric 中的多重變數異常偵測 - 概觀
什麼是時間序列的多變量異常偵測？ 單變量異常偵測 (由 KQL 函式 series_decompose_anomalies() 實作) 使您能夠監控和偵測單一變數隨時間分佈的異常情況。 相反地，多重變數異常偵測是一種偵測多個變數聯合分佈中異常的方法。 當變數相互關聯時，這個方法很有用，因此其值在特定時間的組合可能是異常的，而每個變數本身的值都是正常的。 多重變數異常偵測可用於各種應用程式中，例如監視複雜IoT系統的健康情況、偵測金融交易中的詐騙，以及識別網路流量中的異常模式。
例如，請考慮監視車隊效能的系統。 系統會收集各種計量的資料，例如速度、油耗和引擎溫度。 藉由一起分析這些計量，系統可以透過個別分析每個計量來偵測不會明顯的異常狀況。 本身，燃料消耗的增加可能是由於各種可接受的原因。 不過，油耗突然增加加上發動機溫度下降，可能表示發動機有問題，即使每個計量本身在正常範圍內也一樣。
如何在 Microsoft Fabric 中偵測多重變數異常？
Fabric 中的多重變數異常偵測會利用共用永續性儲存層之上的強大 Spark 和 Eventhouse 引擎。 初始資料可以擷取至 Eventhouse，並在 OneLake 中公開。 然後可以使用 Spark 引擎來定型異常偵測模型，並使用 Eventhouse 引擎即時完成新串流資料異常的預測。 這些引擎的相互連線，可以處理共用儲存體中的相同資料，允許透過模型定型，順暢地從擷取資料到預測異常。 此工作流程既簡單又強大，可用於即時監視和偵測複雜系統中的異常狀況。
解決方案元件
此解決方案依存於下列元件：
- Eventhouse：資料一開始會內嵌至 Eventhouse，這是可處理高輸送量資料流的即時資料處理引擎。
- OneLake：來自 Eventhouse 的資料會公開在 OneLake 中，這是一個共用永續性儲存層，可提供資料的統一檢視。
- 多重異常偵測套件：解決方案會使用 時間序列異常偵測器 Python 套件，根據圖表關注網路 (GAT) 實作進階演算法，以擷取不同時間序列之間的相互關聯，並即時偵測異常。 GAT 模型會根據歷程記錄資料定型，以瞭解不同時間序列之間的關聯性。 定型的模型可以套用至預測新串流資料的異常狀況。 請注意，此演算法是即將淘汰的 AI 異常偵測程式 服務中使用的演算法。 如需演算法的詳細資訊，請參閱部落 格 和 檔。
- Spark Notebook：用於離線定型歷程記錄資料的異常偵測模型，並將定型的模型儲存在 Fabric 的 MLflow 模型登錄中
- KQL 查詢集：用於即時預測傳入資料的異常狀況。