Detekce a zmírnění potenciálních problémů s využitím AIOps a strojového učení ve službě Azure Monitor
Umělá inteligence pro provoz IT (AIOps) nabízí výkonné způsoby, jak zlepšit kvalitu a spolehlivost služeb pomocí strojového učení ke zpracování a automatickému zpracování dat, která shromažďujete z aplikací, služeb a IT prostředků do služby Azure Monitor.
Integrované funkce AIOps služby Azure Monitor poskytují přehledy a pomáhají řešit problémy a automatizovat úlohy řízené daty, jako je předpověď využití kapacity a automatické škálování, identifikace a analýza problémů s výkonem aplikací a zjišťování neobvyklého chování virtuálních počítačů, kontejnerů a dalších prostředků. Tyto funkce zvyšují monitorování a provoz IT, aniž by vyžadovaly znalosti strojového učení a další investice.
Azure Monitor také poskytuje nástroje, které umožňují vytvořit vlastní kanál strojového učení, který vám umožní zavést nové možnosti analýzy a reakce a pracovat s daty v protokolech služby Azure Monitor.
Tento článek popisuje integrované funkce AIOps služby Azure Monitor a vysvětluje, jak můžete vytvářet a spouštět přizpůsobené modely strojového učení a vytvářet automatizovaný kanál strojového učení na datech v protokolech služby Azure Monitor.
Integrované funkce AIOps a strojového učení ve službě Azure Monitor
| Scénář monitorování | Schopnost | Popis |
|---|---|---|
| Monitorování protokolů | Přehledy pracovních prostorů služby Log Analytics | Poskytuje jednotné zobrazení pracovních prostorů služby Log Analytics a využívá strojové učení k detekci anomálií příjmu dat. |
| dotazovací jazyk Kusto (KQL) – funkce analýzy časových řad a strojového učení | Snadno použitelné nástroje pro generování dat časových řad, detekci anomálií, prognózování a provádění analýzy původních příčin přímo v protokolech služby Azure Monitor, aniž by bylo nutné provádět podrobné znalosti datových věd a programovacích jazyků. | |
| Microsoft Copilot v Azure | Pomáhá používat Log Analytics k analýze dat a řešení potíží. Vygeneruje ukázkové dotazy KQL na základě výzev, například "Dochází k chybám v protokolech kontejnerů?". | |
| Monitorování výkonu aplikací | Inteligentní zobrazení mapy aplikace | Mapuje závislosti mezi službami a pomáhá odhalit kritické body výkonu nebo hotspoty selhání ve všech komponentách distribuované aplikace. |
| Inteligentní detekce | Analyzuje telemetrii, která vaše aplikace odesílá do Application Insights, výstrahy na problémy s výkonem a anomálie selhání a identifikuje potenciální původní příčiny problémů s výkonem aplikace. | |
| Upozornění na metriky | Dynamické prahové hodnoty pro upozorňování na metriky | Naučte se vzory metrik, automaticky nastaví prahové hodnoty upozornění na základě historických dat a identifikuje anomálie, které můžou znamenat problémy se službami. |
| Škálovací sady virtuálních počítačů | Prediktivní automatické škálování | Prognózuje celkové požadavky na procesor škálovací sady virtuálních počítačů na základě historických vzorů využití procesoru a automaticky škáluje kapacitu podle těchto potřeb. |
Strojové učení v protokolech služby Azure Monitor
Pomocí integrovaných funkcí analýzy časových řad a strojového učení, operátorů a modulů plug-in dotazovací jazyk Kusto můžete získat přehled o stavu služeb, využití, kapacitě a dalších trendech a generovat prognózy a zjišťovat anomálie v protokolech služby Azure Monitor.
Pokud chcete získat větší flexibilitu a rozšířit schopnost analyzovat a pracovat s daty, můžete také implementovat vlastní kanál strojového učení na data v protokolech služby Azure Monitor.
Tato tabulka porovnává výhody a omezení používání integrovaných funkcí strojového učení KQL a vytvoření vlastního kanálu strojového učení a odkazů na kurzy, které ukazují, jak můžete jednotlivé možnosti implementovat:
| Integrované funkce strojového učení KQL | Vytvoření vlastního kanálu strojového učení | |
|---|---|---|
| Scénář | ✅ Detekce anomálií, původní příčina a analýza časových řad |
✅ Detekce anomálií, původní příčina a analýza časových řad ✅Pokročilé analýzy a scénáře AIOPs |
| Výhody | 🔹Začnete velmi rychle. 🔹Nevyžadují se žádné znalosti datových věd a programovací dovednosti. 🔹 Optimální výkon a úspory nákladů. |
🔹Podporuje větší měřítka. 🔹Umožňuje pokročilé a složitější scénáře. 🔹Flexibilita při výběru knihoven, modelů a parametrů |
| Limity služeb a datové svazky | Limity dotazů protokolu rozhraní API na webu Azure Portal nebo dotazování v závislosti na tom, jestli pracujete na portálu nebo používáte rozhraní API, například z poznámkového bloku. | 🔹Omezení dotazů na dotazy na protokoly rozhraní API, pokud dotazujete data v protokolech služby Azure Monitor jako součást kanálu strojového učení. V opačném případě žádné limity služeb Azure. 🔹Může podporovat větší objemy dat. |
| Integrace | Žádné se nevyžadují. Spusťte službu Log Analytics na webu Azure Portal nebo z integrovaného poznámkového bloku Jupyter. | Vyžaduje integraci s nástrojem, jako je například Jupyter Notebook. Obvykle byste se také integrovali s dalšími službami Azure, jako je Azure Synapse Analytics. |
| Výkon | Optimální výkon s využitím platformy Azure Data Explorer, která běží ve velkém měřítku distribuovaným způsobem. | Představuje malou latenci při dotazování nebo exportu dat v závislosti na způsobu implementace kanálu strojového učení. |
| Typ modelu | Lineární regresní model a další modely podporované funkcemi časových řad KQL se sadou konfigurovatelných parametrů | Zcela přizpůsobitelný model strojového učení nebo metodu detekce anomálií |
| Náklady | Žádné další náklady. | V závislosti na způsobu implementace kanálu strojového učení se můžou účtovat poplatky za export dat, příjem vyhodnocených dat do protokolů služby Azure Monitor a používání dalších služeb Azure. |
| Kurz | Detekce a analýza anomálií pomocí funkcí strojového učení KQL ve službě Azure Monitor | Analýza dat v protokolech služby Azure Monitor pomocí poznámkového bloku |
Vytvoření vlastního kanálu strojového učení pro data v protokolech služby Azure Monitor
Vytvořte si vlastní kanál strojového učení na základě dat v protokolech služby Azure Monitor, abyste představili nové funkce AIOps a podporovali pokročilé scénáře, například:
- Proaktivní vyhledávání útoků na zabezpečení s propracovanějšími modely, než jsou útoky KQL.
- Zjišťování problémů s výkonem a řešení chyb ve webové aplikaci
- Vytváření toků s více kroky, spuštění kódu v každém kroku na základě výsledků předchozího kroku
- Automatizace analýzy dat protokolu služby Azure Monitor a poskytování přehledů o několika oblastech, včetně stavu infrastruktury a chování zákazníků.
- Korelace dat v protokolech služby Azure Monitor s daty z jiných zdrojů
Existují dva přístupy k zpřístupnění dat v protokolech služby Azure Monitor pro váš kanál strojového učení:
Dotazování dat v protokolech - Azure Monitoru Integrujte poznámkový blok s protokoly služby Azure Monitor nebo spusťte skript nebo aplikaci na data protokolů pomocí knihoven, jako je klientská knihovna Azure Monitoru nebo MSTICPY, abyste mohli načítat data z protokolů služby Azure Monitor v tabulkové podobě, například do datového rámce Pandas. Data, která dotazujete, se načtou do objektu v paměti na vašem serveru bez exportu dat z pracovního prostoru služby Log Analytics.
Poznámka:
V rámci kanálu možná budete muset převést datové formáty. Pokud například chcete používat knihovny založené na Apache Sparku, jako je SynapseML, budete možná muset převést Pandas na datový rámec PySpark.
Export dat z protokolů - služby Azure Monitor Exportuje data z pracovního prostoru služby Log Analytics, obvykle do účtu úložiště objektů blob a implementuje kanál strojového učení pomocí knihovny strojového učení.
Tato tabulka porovnává výhody a omezení přístupů k načítání dat pro váš kanál strojového učení:
| Dotazování dat v protokolech služby Azure Monitor | Export dat | |
|---|---|---|
| Výhody | 🔹Začnete rychle. 🔹Vyžaduje pouze základní dovednosti v oblasti datových věd a programování. 🔹Minimální latence a úspora nákladů |
🔹Podporuje větší měřítka. 🔹Žádná omezení dotazů. |
| Exportovaná data? | No | Ano |
| Omezení služby | Omezení dotazů na dotazy rozhraní API protokolu a omezování uživatelských dotazů Limity rozhraní API pro dotazy můžete překonat určitým stupněm rozdělením větších dotazů na bloky dat. | Žádná ze služby Azure Monitor. |
| Datové svazky | Analyzujte několik gb dat nebo několik milionů záznamů za hodinu. | Podporuje velké objemy dat. |
| Knihovna strojového učení | U malých až středně velkých datových sad byste obvykle používali knihovny strojového učení s jedním uzlem, jako je Scikit Learn. | U velkých datových sad byste obvykle používali knihovny strojového učení pro velké objemy dat, jako je SynapseML. |
| Latence | Minimální. | Představuje malou latenci při exportu dat. |
| Náklady | Ve službě Azure Monitor se neúčtují žádné další poplatky. Náklady na Azure Synapse Analytics, Azure Machine Learning nebo jinou službu, pokud se používají. |
Náklady na export dat a externí úložiště Náklady na Azure Synapse Analytics, Azure Machine Learning nebo jinou službu, pokud se používají. |
Tip
Pokud chcete využít výhod nejlepších z obou přístupů implementace, vytvořte hybridní kanál. Běžným hybridním přístupem je export dat pro trénování modelu, který zahrnuje velké objemy dat, a použití dotazů dat v protokolech služby Azure Monitor k prozkoumání dat a určení skóre nových dat za účelem snížení latence a nákladů.
Implementace kroků životního cyklu strojového učení v protokolech služby Azure Monitor
Nastavení kanálu strojového učení obvykle zahrnuje všechny nebo některé kroky popsané níže.
K implementaci kanálu strojového učení můžete použít různé knihovny Strojového učení Azure a Open Source, včetně Scikit Learn, PyTorch, Tensorflow, Spark MLlib a SynapseML.
Tato tabulka popisuje jednotlivé kroky a poskytuje základní pokyny a některé příklady implementace těchto kroků na základě přístupů implementace popsaných v tématu Vytvoření vlastního kanálu strojového učení na datech v protokolech služby Azure Monitor:
| Krok | Popis | Dotazování dat v protokolech služby Azure Monitor | Export dat |
|---|---|---|---|
| Zkoumání dat | Prozkoumejte data, která jste shromáždili, a seznamte se s daty, která jste shromáždili. | Nejjednodušší způsob, jak prozkoumat data, je použití Log Analytics, které poskytuje bohatou sadu nástrojů pro zkoumání a vizualizaci dat na webu Azure Portal. Data v protokolech služby Azure Monitor můžete analyzovat také pomocí poznámkového bloku. | Pokud chcete analyzovat protokoly mimo Azure Monitor, exportujte data z pracovního prostoru služby Log Analytics a nastavte prostředí ve zvolené službě. Příklad, jak prozkoumat protokoly mimo Azure Monitor, najdete v tématu Analýza dat exportovaných z Log Analytics pomocí Synapse. |
| Sestavení a trénování modelu strojového učení | Trénování modelu je iterativní proces. Výzkumní pracovníci nebo datoví vědci vyvíjejí model načtením a čištěním trénovacích dat, funkcí inženýrů, zkoušením různých modelů a laděním parametrů a opakováním tohoto cyklu, dokud model nebude přesný a robustní. | U malých až středně velkých datových sad obvykle používáte knihovny strojového učení s jedním uzlem, jako je Scikit Learn. Příklad trénování modelu strojového učení na data v protokolech služby Azure Monitor pomocí knihovny Scikit Learn najdete v tomto ukázkovém poznámkovém bloku: Detekce anomálií v protokolech služby Azure Monitor pomocí technik strojového učení. |
U velkých datových sad obvykle používáte knihovny strojového učení pro velké objemy dat, jako je SynapseML. |
| Nasazení a určení skóre modelu | Bodování je proces použití modelu strojového učení na nová data k získání předpovědí. Vyhodnocování je obvykle potřeba provést ve velkém měřítku s minimální latencí. | Pokud chcete dotazovat nová data v protokolech služby Azure Monitor, použijte klientskou knihovnu Azure Monitor Query. Příklad skóre dat pomocí opensourcových nástrojů najdete v tomto ukázkovém poznámkovém bloku: Detekce anomálií v protokolech služby Azure Monitor pomocí technik strojového učení. |
|
| Spuštění kanálu podle plánu | Automatizujte kanál pro pravidelné trénování modelu na aktuální data. | Naplánujte kanál strojového učení pomocí Azure Synapse Analytics nebo Azure Machine Learningu. | Podívejte se na příklady ve sloupci Dotazování dat ve sloupci Protokoly služby Azure Monitor. |
Ingestování výsledků skóre do pracovního prostoru služby Log Analytics umožňuje používat data k získání pokročilých přehledů a k vytváření upozornění a řídicích panelů. Příklad, jak ingestovat výsledky s skóre pomocí klientské knihovny pro příjem dat ve službě Azure Monitor, najdete v tématu Ingestování anomálií do vlastní tabulky v pracovním prostoru služby Log Analytics.
Další kroky
Přečtěte si další informace: