Průběžné monitorování aplikací generující umělé inteligence
Důležité
Položky označené (Preview) v tomto článku jsou aktuálně ve verzi Public Preview. Tato verze Preview je poskytována bez smlouvy o úrovni služeb a nedoporučujeme ji pro produkční úlohy. Některé funkce se nemusí podporovat nebo mohou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.
Průběžný pokrok ve generativní umělé inteligenci vedl organizace k vytváření stále složitějších aplikací pro řešení různých problémů (chatboty, systémy RAG, agentské systémy atd.). Tyto aplikace se používají k řízení inovací, zlepšování zákaznických prostředí a k vylepšení rozhodování. I když jsou modely (například GPT-4o) výkonu těchto aplikací generativní umělé inteligence extrémně schopné, nepřetržité monitorování nikdy nebylo důležitější, aby se zajistilo vysoce kvalitní, bezpečné a spolehlivé výsledky. Průběžné monitorování je efektivní, když se při pozorování aplikace považuje více perspektiv. Mezi tyto perspektivy patří využití a náklady na tokeny, provozní metriky – latence, počet požadavků atd. – a důležité je průběžné vyhodnocování. Další informace o vyhodnocení najdete v tématu Vyhodnocení generování aplikací umělé inteligence.
Azure AI a Azure Monitor poskytují nástroje pro průběžné monitorování výkonu aplikací Generative AI z různých perspektiv. S online vyhodnocením Azure AI můžete průběžně vyhodnocovat nezávislou aplikaci na tom, kde je nasazená nebo jakou architekturu orchestrace používá (například LangChain). Můžete použít různé předdefinované vyhodnocovače , které udržují paritu se sadou Azure AI Evaluation SDK , nebo definovat vlastní vyhodnocovače. Nepřetržitým spouštěním správných vyhodnocovačů nad shromážděnými daty trasování může váš tým efektivněji identifikovat a zmírnit obavy z zabezpečení, kvality a bezpečnosti při jejich vzniku v předprodukčním nebo po produkčním prostředí. Azure AI Online Evaluation poskytuje úplnou integraci s komplexní sadou nástrojů pozorovatelnosti dostupných ve službě Azure Monitor Application Insights, která umožňuje vytvářet vlastní řídicí panely, vizualizovat výsledky vyhodnocení v průběhu času a konfigurovat upozorňování pro pokročilé monitorování aplikací.
Monitorování aplikací generující umělé inteligence v souhrnu nikdy nebylo důležitější, a to kvůli složitosti a rychlému vývoji odvětví AI. Online vyhodnocení Azure AI integrované se službou Azure Monitor Application Insights umožňuje průběžně vyhodnocovat nasazené aplikace, aby se zajistilo, že jsou výkonné, bezpečné a vytvářejí vysoce kvalitní výsledky v produkčním prostředí.
Monitorování aplikací generující umělé inteligence
V této části se dozvíte, jak monitorovat generující aplikace AI pomocí trasování Azure AI Foundry, online vyhodnocení a funkce vizualizace trasování. Pak se dozvíte, jak Azure AI Foundry integruje službu Azure Monitor Application Insights pro komplexní pozorovatelnost a vizualizaci.
Trasování aplikace generující umělé inteligence
Prvním krokem při nepřetržitém monitorování aplikace je zajistit, aby se její telemetrická data zaznamenávala a ukládaly k analýze. Abyste toho dosáhli, budete muset instrumentovat kód generující aplikace AI tak, aby pomocí balíčku Trasování AI Azure protokolovaly data trasování do libovolného prostředku Application Insights služby Azure Monitor. Tento balíček plně odpovídá standardu OpenTelemetry pro pozorovatelnost. Po instrumentaci kódu aplikace se data trasování zaprotokolují do vašeho prostředku Application Insights.
Po zahrnutí trasování do kódu aplikace můžete zobrazit data trasování v Azure AI Foundry nebo v prostředku Azure Monitor Application Insights. Další informace o tom, jak to udělat, najdete v tématu Monitorování aplikace generující umělé inteligence.
Nastavení online vyhodnocení
Po nastavení trasování pro generující aplikaci AI nastavte online vyhodnocení pomocí sady Azure AI Foundry SDK , abyste průběžně vyhodnocovali data trasování při jejich shromažďování. Díky tomu budete moct monitorovat výkon aplikace v produkčním prostředí v průběhu času.
Poznámka:
Pokud máte více aplikací AI, které protokolují data trasování do stejného prostředku Azure Monitor Application Insights, doporučujeme použít název služby k rozlišení dat aplikací v Application Insights. Informace o tom, jak nastavit název služby, najdete v tématu Azure AI Tracing. Informace o dotazování názvu služby v rámci konfigurace online vyhodnocení najdete v tématu Použití názvu služby v datech trasování.
Monitorování generující aplikace AI pomocí Azure Monitor Application Insights
V této části se dozvíte, jak se Azure AI integruje se službou Azure Monitor Application Insights, abyste získali předem připravené zobrazení řídicího panelu, které je přizpůsobené přehledům týkajícím se vaší aplikace generující umělé inteligence, abyste měli přehled o nejnovějším stavu aplikace.
Přehledy pro generující aplikaci AI
Pokud jste to nenastavili, tady je několik rychlých kroků:
- Přejděte ke svému projektu v Azure AI Foundry.
- Na levé straně vyberte stránku Trasování.
- Připojte prostředek Application Insights k projektu.
Pokud jste už na portálu Azure AI Foundry nastavili trasování, stačí vybrat odkaz na řídicí panel aplikace Insights for Generative AI.
Jakmile budete mít streamovaná data do prostředku Application Insights, automaticky se zobrazí na tomto přizpůsobeném řídicím panelu.
Toto zobrazení je skvělým místem, kde můžete začít s vašimi potřebami monitorování.
- Můžete zobrazit spotřebu tokenů v průběhu času, abyste pochopili, jestli potřebujete zvýšit limity využití nebo provést další analýzu nákladů.
- Metriky vyhodnocení můžete zobrazit jako trendové čáry, abyste porozuměli kvalitě aplikace každý den.
- Můžete ladit, když dojde k výjimkám, a přejít k podrobnostem trasování pomocí zobrazení podrobností o komplexní transakci služby Azure Monitor a zjistit, co se nepovedlo.
Jedná se o sešit Azure, který dotazuje data uložená v prostředku Application Insights. Tento sešit si můžete přizpůsobit a přizpůsobit ho tak, aby vyhovoval potřebám vaší firmy. Další informace najdete v tématu Úpravy azure Workbooks.
To vám umožní přidat další vlastní vyhodnocovače, které jste mohli protokolovat nebo jiný text markdownu ke sdílení souhrnů a použití pro účely vytváření sestav.
Tento sešit můžete také sdílet se svým týmem, aby měli přehled o nejnovějších informacích.
Poznámka:
Když tento sešit sdílíte se členy týmu, musí mít k připojenému prostředku Application Insights alespoň roli Čtenář, aby mohli zobrazit zobrazené informace.