Erkennung von multivariaten Anomalien in Microsoft Fabric – Übersicht
Worum handelt es sich bei der Erkennung von multivariaten Anomalien? Die Erkennung von multivariaten Anomalien, die durch die KQL-Funktion series_decompose_anomalies() implementiert wird, ermöglicht es Ihnen, Anomalien in der Verteilung einer einzelnen Variable im Zeitverlauf zu überwachen und zu erkennen. Im Gegensatz dazu ist die Erkennung von multivariaten Anomalien eine Methode zur Erkennung von Anomalien in der gemeinsamen Verteilung mehrerer Variablen im Zeitverlauf. Diese Methode ist nützlich, wenn die Variablen miteinander korreliert sind, so dass die Kombination ihrer Werte zu einem bestimmten Zeitpunkt anomal sein kann, während der Wert jeder einzelnen Variablen für sich genommen normal ist. Die Erkennung von multivariaten Anomalien kann in verschiedenen Anwendungen eingesetzt werden, z. B. zur Überwachung des Zustands komplexer IoT-Systeme, zur Erkennung von Betrug bei Finanztransaktionen und zur Identifizierung ungewöhnlicher Muster im Netzwerkverkehr.
Nehmen wir zum Beispiel ein System, das die Leistung einer Fahrzeugflotte überwacht. Das System sammelt Daten zu verschiedenen Metriken, wie Geschwindigkeit, Kraftstoffverbrauch und Motortemperatur. Durch die gemeinsame Analyse dieser Metriken kann das System Anomalien erkennen, die bei der Analyse jeder einzelnen Metrik nicht auffallen würden. Ein höherer Kraftstoffverbrauch kann verschiedene akzeptable Gründe haben. Ein plötzlicher Anstieg des Kraftstoffverbrauchs in Verbindung mit einem Rückgang der Motortemperatur könnte jedoch auf ein Problem mit dem Motor hinweisen, auch wenn jede einzelne Kennzahl für sich genommen im normalen Bereich liegt.
Wie können Sie multivariate Anomalien in Microsoft Fabric erkennen?
Die Erkennung von multivariaten Anomalien in Fabric nutzt die Vorteile der leistungsstarken Spark- und Eventhouse-Engines auf einer gemeinsamen persistenten Speicherebene. Die ursprünglichen Daten können in ein Eventhouse aufgenommen und in OneLake angezeigt werden. Das Modell zur Erkennung von Anomalien kann dann mit der Spark-Engine trainiert werden, und die Vorhersage von Anomalien auf neuen Streaming-Daten kann mit der Eventhouse-Engine in Echtzeit erfolgen. Die Verbindung dieser Engines, die dieselben Daten im gemeinsamen Speicher verarbeiten können, ermöglicht einen nahtlosen Datenfluss von der Aufnahme über das Modelltraining bis hin zur Vorhersage von Anomalien. Dieser Arbeitsablauf ist einfach und leistungsstark für die Echtzeit-Überwachung und Erkennung von Anomalien in komplexen Systemen.
Lösungskomponenten
Diese Lösung stützt sich auf die folgenden Komponenten:
- Eventhouse: Die Daten werden zunächst in ein Eventhouse eingespeist, eine Echtzeit-Datenverarbeitungsmaschine, die Datenströme mit hohem Durchsatz verarbeiten kann.
- OneLake: Die Daten aus dem Eventhouse werden im OneLake, einer gemeinsam genutzten persistenten Speicherschicht, die eine einheitliche Sicht auf die Daten bietet, dargestellt.
- Paket zur Erkennung von multivariaten Anomalien: Die Lösung verwendet das Python-Paket time-series-anomaly-detector, das einen fortschrittlichen Algorithmus auf der Grundlage eines Graph Attention Network (GAT) implementiert, der die Korrelationen zwischen verschiedenen Zeitreihen erfasst und Anomalien in Echtzeit erkennt. Das GAT-Modell wird auf historischen Daten trainiert, um die Beziehungen zwischen verschiedenen Zeitreihen zu lernen. Das trainierte Modell kann zur Vorhersage von Anomalien auf neue Streaming-Daten angewendet werden. Beachten Sie, dass dieser Algorithmus derjenige ist, der in dem KI-Anomalien-Detektor-Dienst verwendet wird, der in den Ruhestand versetzt wird. Weitere Informationen zum Algorithmus finden Sie im Blog und in der Publikation.
- Spark Notebook: wird für das Offline-Training des Anomalieerkennungsmodells auf historischen Daten verwendet und speichert das trainierte Modell in der MLflow-Modellregistrierung von Fabric
- KQL-Abfrageset: wird für die Echtzeit-Vorhersage von Anomalien bei eingehenden Daten verwendet.