Potentiële problemen detecteren en beperken met BEHULP van AIOps en machine learning in Azure Monitor
Kunstmatige intelligentie voor IT-bewerkingen (AIOps) biedt krachtige manieren om de kwaliteit en betrouwbaarheid van de service te verbeteren door machine learning te gebruiken om gegevens die u verzamelt van toepassingen, services en IT-resources in Azure Monitor te verwerken en er automatisch op te reageren.
De ingebouwde AIOps-mogelijkheden van Azure Monitor bieden inzicht en helpen u bij het oplossen van problemen en het automatiseren van gegevensgestuurde taken, zoals het voorspellen van capaciteitsgebruik en automatisch schalen, het identificeren en analyseren van prestatieproblemen van toepassingen en het detecteren van afwijkend gedrag in virtuele machines, containers en andere resources. Deze functies stimuleren uw IT-bewaking en -activiteiten, zonder dat hiervoor machine learning-kennis en verdere investeringen nodig zijn.
Azure Monitor biedt ook hulpprogramma's waarmee u uw eigen machine learning-pijplijn kunt maken om nieuwe analyse- en reactiemogelijkheden te introduceren en om te reageren op gegevens in Azure Monitor-logboeken.
In dit artikel worden de ingebouwde AIOps-mogelijkheden van Azure Monitor beschreven en wordt uitgelegd hoe u aangepaste machine learning-modellen kunt maken en uitvoeren en een geautomatiseerde machine learning-pijplijn kunt bouwen op gegevens in Azure Monitor-logboeken.
Ingebouwde mogelijkheden van Azure Monitor AIOps en machine learning
| Bewakingsscenario | Mogelijkheid | Beschrijving |
|---|---|---|
| Logboekbewaking | Azure Log Analytics-werkruimte-inzichten | Biedt een uniforme weergave van uw Log Analytics-werkruimten en maakt gebruik van machine learning om opnameafwijkingen te detecteren. |
| Kusto-querytaal (KQL) tijdreeksanalyse en machine learning-functies | Gebruiksvriendelijke hulpprogramma's voor het genereren van tijdreeksgegevens, het detecteren van afwijkingen, het voorspellen en uitvoeren van hoofdoorzaakanalyses rechtstreeks in Azure Monitor-logboeken zonder diepgaande kennis van gegevenswetenschap en programmeertalen. | |
| Microsoft Copilot in Azure | Hiermee kunt u Log Analytics gebruiken om gegevens te analyseren en problemen op te lossen. Hiermee worden voorbeeld-KQL-query's gegenereerd op basis van prompts, zoals 'Zijn er fouten in containerlogboeken?'. | |
| Bewaking van toepassingsprestaties | Intelligente weergave toepassingsoverzicht | Wijst afhankelijkheden tussen services toe en helpt u bij het herkennen van knelpunten in prestaties of hotspots voor storingen in alle onderdelen van uw gedistribueerde toepassing. |
| Slimme detectie | Analyseert de telemetrie die uw toepassing verzendt naar Application Insights, waarschuwingen over prestatieproblemen en foutafwijkingen en identificeert mogelijke hoofdoorzaken van prestatieproblemen van toepassingen. | |
| Waarschuwingen voor metrische gegevens | Dynamische drempelwaarden voor waarschuwingen voor metrische gegevens | Leer metrische patronen, stelt automatisch waarschuwingsdrempels in op basis van historische gegevens en identificeert afwijkingen die kunnen duiden op serviceproblemen. |
| Virtuele-machineschaalsets | Voorspellende automatische schaalaanpassing | Voorspelt de algemene CPU-vereisten van een virtuele-machineschaalset, op basis van historische CPU-gebruikspatronen en schaalt automatisch uit om aan deze behoeften te voldoen. |
Machine learning in Azure Monitor-logboeken
Gebruik de ingebouwde tijdreeksanalyses en machine learning-functies, operators en invoegtoepassingen van de Kusto-querytaal om inzicht te krijgen in de servicestatus, het gebruik, de capaciteit en andere trends, en om prognoses te genereren en afwijkingen in Azure Monitor-logboeken te detecteren.
Om meer flexibiliteit te krijgen en uw mogelijkheid om gegevens te analyseren en erop te reageren, kunt u ook uw eigen machine learning-pijplijn implementeren op gegevens in Azure Monitor-logboeken.
Deze tabel vergelijkt de voordelen en beperkingen van het gebruik van de ingebouwde machine learning-mogelijkheden van KQL en het maken van uw eigen machine learning-pijplijn en koppelingen naar zelfstudies die laten zien hoe u elk kunt implementeren:
| Ingebouwde KQL-mogelijkheden voor machine learning | Uw eigen machine learning-pijplijn maken | |
|---|---|---|
| Scenario | ✅ Anomaliedetectie, hoofdoorzaak en tijdreeksanalyse |
✅ Anomaliedetectie, hoofdoorzaak en tijdreeksanalyse ✅Geavanceerde analyse- en AIOPs-scenario's |
| Voordelen | 🔹Hiermee gaat u heel snel aan de slag. 🔹Er zijn geen kennis- en programmeervaardigheden voor data science vereist. 🔹 Optimale prestaties en kostenbesparingen. |
🔹Ondersteunt grotere schaalaanpassingen. 🔹Maakt geavanceerde, complexere scenario's mogelijk. 🔹Flexibiliteit bij het kiezen van bibliotheken, modellen, parameters. |
| Servicelimieten en gegevensvolumes | Querylimieten voor Azure Portal - of Query-API-logboeken , afhankelijk van of u in de portal werkt of de API gebruikt, bijvoorbeeld vanuit een notebook. | 🔹Query's uitvoeren op query's voor API-logboekquery's als u gegevens in Azure Monitor-logboeken opvraagt als onderdeel van uw machine learning-pijplijn. Anders zijn er geen Azure-servicelimieten. 🔹Kan grotere gegevensvolumes ondersteunen. |
| Integratie | Geen vereist. Voer uit met Log Analytics in Azure Portal of vanuit een geïntegreerd Jupyter Notebook. | Vereist integratie met een hulpprogramma, zoals Jupyter Notebook. Normaal gesproken zou u ook integreren met andere Azure-services, zoals Azure Synapse Analytics. |
| Prestaties | Optimale prestaties, met behulp van het Azure Data Explorer-platform, die op grote schaal worden uitgevoerd op een gedistribueerde manier. | Introduceert een kleine hoeveelheid latentie bij het opvragen of exporteren van gegevens, afhankelijk van hoe u uw machine learning-pijplijn implementeert. |
| Modeltype | Lineair regressiemodel en andere modellen die worden ondersteund door KQL-tijdreeksfuncties met een set configureerbare parameters. | Volledig aanpasbare machine learning-model of anomaliedetectiemethode. |
| Kosten | Geen extra kosten. | Afhankelijk van hoe u uw machine learning-pijplijn implementeert, worden er mogelijk kosten in rekening gebracht voor het exporteren van gegevens, het opnemen van gescoorde gegevens in Azure Monitor-logboeken en het gebruik van andere Azure-services. |
| Zelfstudie | Afwijkingen detecteren en analyseren met behulp van KQL Machine Learning-mogelijkheden in Azure Monitor | Gegevens analyseren in Azure Monitor-logboeken met behulp van een notebook |
Uw eigen machine learning-pijplijn maken op gegevens in Azure Monitor-logboeken
Bouw uw eigen machine learning-pijplijn op gegevens in Azure Monitor-logboeken om nieuwe AIOps-mogelijkheden te introduceren en geavanceerde scenario's te ondersteunen, zoals:
- Zoeken naar beveiligingsaanvallen met geavanceerdere modellen dan die van KQL.
- Prestatieproblemen detecteren en fouten in een webtoepassing oplossen.
- Stromen met meerdere stappen maken en code uitvoeren in elke stap op basis van de resultaten van de vorige stap.
- De analyse van Azure Monitor-logboekgegevens automatiseren en inzicht geven in meerdere gebieden, waaronder de status van de infrastructuur en het gedrag van de klant.
- Correleren van gegevens in Azure Monitor-logboeken met gegevens uit andere bronnen.
Er zijn twee manieren om gegevens in Azure Monitor-logboeken beschikbaar te maken voor uw machine learning-pijplijn:
Query's uitvoeren op gegevens in Azure Monitor-logboeken Integreren een notebook met Azure Monitor-logboeken of voer een script of toepassing uit op logboekgegevens met behulp van bibliotheken zoals azure Monitor Query-clientbibliotheek of MSTICPY om gegevens op te halen uit Azure Monitor-logboeken in tabelvorm, bijvoorbeeld in een Pandas DataFrame. - De gegevens die u opvraagt, worden opgehaald naar een in-memory object op uw server, zonder de gegevens uit uw Log Analytics-werkruimte te exporteren.
Notitie
Mogelijk moet u gegevensindelingen converteren als onderdeel van uw pijplijn. Als u bijvoorbeeld bibliotheken wilt gebruiken die zijn gebouwd op Apache Spark, zoals SynapseML, moet u Pandas mogelijk converteren naar PySpark DataFrame.
Exporteer gegevens uit Azure Monitor-logboeken exporteer gegevens uit uw Log Analytics-werkruimte, meestal naar een blobopslagaccount en implementeer uw machine learning-pijplijn met behulp van een machine learning-bibliotheek. -
In deze tabel worden de voordelen en beperkingen van de benaderingen voor het ophalen van gegevens voor uw machine learning-pijplijn vergeleken:
| Query's uitvoeren op gegevens in Azure Monitor-logboeken | Gegevens exporteren | |
|---|---|---|
| Voordelen | 🔹Hiermee gaat u snel aan de slag. 🔹Vereist alleen basiskennis en programmeervaardigheden. 🔹Minimale latentie en kostenbesparingen. |
🔹Ondersteunt grotere schaalaanpassingen. 🔹Geen querybeperkingen. |
| Gegevens geëxporteerd? | Nr. | Ja |
| Servicelimieten | Querylimieten voor API-logboekquery's en beperking van gebruikersquery's. U kunt query-API-limieten tot een bepaalde mate overwinnen door grotere query's op te splitsen in segmenten. | Geen van Azure Monitor. |
| Gegevensvolumes | Analyseer verschillende GB's met gegevens of een paar miljoen records per uur. | Ondersteunt grote hoeveelheden gegevens. |
| Machine learning-bibliotheek | Voor kleine tot middelgrote gegevenssets gebruikt u doorgaans machine learning-bibliotheken met één knooppunt, zoals Scikit Learn. | Voor grote gegevenssets gebruikt u doorgaans machine learning-bibliotheken voor big data, zoals SynapseML. |
| Latentie | Minimaal. | Introduceert een kleine hoeveelheid latentie bij het exporteren van gegevens. |
| Kosten | Geen extra kosten in Azure Monitor. Kosten van Azure Synapse Analytics, Azure Machine Learning of andere services, indien gebruikt. |
Kosten voor gegevensexport en externe opslag. Kosten van Azure Synapse Analytics, Azure Machine Learning of andere services, indien gebruikt. |
Tip
Maak een hybride pijplijn om te profiteren van het beste van beide implementatiemethoden. Een algemene hybride benadering is het exporteren van gegevens voor modeltraining, waarbij grote hoeveelheden gegevens zijn betrokken en om de querygegevens in Azure Monitor-logboeken te gebruiken om gegevens te verkennen en nieuwe gegevens te beoordelen om latentie en kosten te verminderen.
De stappen van de machine learning-levenscyclus implementeren in Azure Monitor-logboeken
Het instellen van een machine learning-pijplijn omvat doorgaans alle of enkele van de onderstaande stappen.
Er zijn verschillende Azure- en opensource-machine learning-bibliotheken die u kunt gebruiken om uw machine learning-pijplijn te implementeren, waaronder Scikit Learn, PyTorch, Tensorflow, Spark MLlib en SynapseML.
Deze tabel beschrijft elke stap en biedt richtlijnen op hoog niveau en enkele voorbeelden van het implementeren van deze stappen op basis van de implementatiemethoden die worden beschreven in Uw eigen machine learning-pijplijn maken op gegevens in Azure Monitor-logboeken:
| Stap | Beschrijving | Query's uitvoeren op gegevens in Azure Monitor-logboeken | Gegevens exporteren |
|---|---|---|---|
| Gegevens verkennen | Bekijk en begrijp de gegevens die u hebt verzameld. | De eenvoudigste manier om uw gegevens te verkennen, is het gebruik van Log Analytics, dat een uitgebreide set hulpprogramma's biedt voor het verkennen en visualiseren van gegevens in Azure Portal. U kunt ook gegevens in Azure Monitor-logboeken analyseren met behulp van een notebook. | Als u logboeken buiten Azure Monitor wilt analyseren, exporteert u gegevens uit uw Log Analytics-werkruimte en stelt u de omgeving in de service die u kiest in. Zie Gegevens analyseren die zijn geëxporteerd uit Log Analytics met behulp van Synapse voor een voorbeeld van het verkennen van logboeken buiten Azure Monitor. |
| Een machine learning-model bouwen en trainen | Modeltraining is een iteratief proces. Onderzoekers of gegevenswetenschappers ontwikkelen een model door de trainingsgegevens, technische functies op te halen en op te schonen, verschillende modellen en afstemmingsparameters uit te proberen en deze cyclus te herhalen totdat het model nauwkeurig en robuust is. | Voor kleine tot middelgrote gegevenssets gebruikt u doorgaans machine learning-bibliotheken met één knooppunt, zoals Scikit Learn. Voor een voorbeeld van het trainen van een machine learning-model op gegevens in Azure Monitor-logboeken met behulp van de Scikit Learn-bibliotheek, raadpleegt u dit voorbeeldnotebook: Afwijkingen detecteren in Azure Monitor-logboeken met behulp van machine learning-technieken. |
Voor grote gegevenssets gebruikt u doorgaans machine learning-bibliotheken voor big data, zoals SynapseML. |
| Een model implementeren en beoordelen | Scoren is het proces van het toepassen van een machine learning-model op nieuwe gegevens om voorspellingen op te halen. Scoren moet meestal op schaal worden uitgevoerd met minimale latentie. | Als u een query wilt uitvoeren op nieuwe gegevens in Azure Monitor-logboeken, gebruikt u de Azure Monitor Query-clientbibliotheek. Zie dit voorbeeldnotebook voor het beoordelen van gegevens met behulp van opensource-hulpprogramma's: Anomalieën in Azure Monitor-logboeken detecteren met behulp van machine learning-technieken. |
|
| Uw pijplijn volgens planning uitvoeren | Automatiseer uw pijplijn om uw model regelmatig opnieuw te trainen op huidige gegevens. | Plan uw machine learning-pijplijn met Azure Synapse Analytics of Azure Machine Learning. | Zie de voorbeelden in de kolom Querygegevens in de kolom Logboeken van Azure Monitor. |
Door gescoorde resultaten op te nemen in een Log Analytics-werkruimte, kunt u de gegevens gebruiken om geavanceerde inzichten te krijgen en waarschuwingen en dashboards te maken. Zie Afwijkingen opnemen in een aangepaste tabel in uw Log Analytics-werkruimte voor een voorbeeld van het opnemen van gescoorde resultaten met behulp van de Clientbibliotheek van Azure Monitor Ingestion.
Volgende stappen
Meer informatie over: