Registrering af uregelmæssigheder med flere variabler i Microsoft Fabric – oversigt
Hvad er registrering af flerdimensionel uregelmæssigheder for tidsserier? Registrering af uregelmæssigheder, der implementeres af KQL-funktionen series_decompose_anomalies(), giver dig mulighed for at overvåge og registrere uregelmæssigheder i fordelingen af en enkelt variabel over tid. I modsætning hertil er multivariabel registrering af uregelmæssigheder en metode til at registrere uregelmæssigheder i den fælles distribution af flere variabler over tid. Denne metode er nyttig, når variablerne er korreleret, og derfor kan kombinationen af deres værdier på et bestemt tidspunkt være uregelmæssig, mens værdien af hver variabel i sig selv er normal. Registrering af flerdimensionel uregelmæssigheder kan bruges i forskellige applikationer, f.eks. overvågning af tilstanden af komplekse IoT-systemer, registrering af svig i finansielle transaktioner og identificering af usædvanlige mønstre i netværkstrafik.
Overvej f.eks. et system, der overvåger ydeevnen for en flåde af køretøjer. Systemet indsamler data om forskellige målepunkter, f.eks. hastighed, brændstofforbrug og motortemperatur. Ved at analysere disse målepunkter sammen kan systemet registrere uregelmæssigheder, der ikke ville være synlige, ved at analysere hver metrikværdi individuelt. En stigning i brændstofforbruget kan i sig selv skyldes forskellige acceptable årsager. Men en pludselig stigning i brændstofforbruget kombineret med et fald i motortemperaturen kan indikere et problem med motoren, selvom hver metrikværdi alene ligger inden for normalområdet.
Hvordan kan du registrere flerdimensionale uregelmæssigheder i Microsoft Fabric?
Registrering af flerdimensionel uregelmæssigheder i Fabric udnytter de effektive Spark- og Eventhouse-motorer oven på et delt vedvarende lagerlag. De indledende data kan indtages i et Eventhouse og eksponeres i OneLake. Modellen til registrering af uregelmæssigheder kan derefter oplæres ved hjælp af Spark-programmet, og forudsigelserne af uregelmæssigheder i nye streamingdata kan udføres i realtid ved hjælp af Eventhouse-programmet. Sammenkoblingen af disse motorer, der kan behandle de samme data i det delte lager, giver mulighed for et problemfrit flow af data fra indtagelse via modeltræning til forudsigelse af uregelmæssigheder. Denne arbejdsproces er enkel og effektiv til overvågning og registrering af uregelmæssigheder i komplekse systemer i realtid.
Løsningskomponenter
Denne løsning er afhængig af følgende komponenter:
- Eventhouse: Dataene indtages indledningsvist i et Eventhouse, som er et databehandlingsprogram i realtid, der kan håndtere datastrømme med høj gennemløb.
- OneLake: Data fra Eventhouse vises i OneLake, som er et delt vedvarende lagerlag, der giver en samlet visning af dataene.
- Pakke til registrering af flerdimensionelle uregelmæssigheder: Løsningen bruger python-pakken time-series-anomaly-detector , der implementerer en avanceret algoritme, der er baseret på et GAT (Graph Attention Network), der registrerer korrelationerne mellem forskellige tidsserier og registrerer uregelmæssigheder i realtid. GAT-modellen oplæres i historiske data for at lære relationerne mellem forskellige tidsserier at kende. Den oplærte model kan anvendes til at forudsige uregelmæssigheder i nye streamingdata. Bemærk, at denne algoritme er den, der bruges i ai-Afvigelsesregistrering-tjenesten, som udgår. Du kan få flere oplysninger om algoritmen i bloggen og papiret.
- Spark Notebook: Bruges til offlinetræning af modellen til registrering af uregelmæssigheder i historiske data og til lagring af den oplærte model i Fabric's MLflow-modeller i registreringsdatabasen
- KQL-forespørgselssæt: bruges til forudsigelse i realtid af uregelmæssigheder i indgående data.