Pozorovatelnost v sémantickém jádru
Stručný úvod do pozorovatelnosti
Při vytváření řešení AI chcete být schopni sledovat chování vašich služeb. Pozorovatelnost je schopnost monitorovat a analyzovat vnitřní stav komponent v distribuovaném systému. Jedná se o klíčový požadavek na vytváření řešení AI připravených pro podniky.
Pozorovatelnost se obvykle dosahuje protokolováním, metrikami a trasováním. Často se označují jako tři pilíře pozorovatelnosti. Uslyšíte také termín "telemetrie", který se používá k popisu dat shromážděných těmito třemi pilíři. Na rozdíl od ladění poskytuje pozorovatelnost průběžný přehled o stavu a výkonu systému.
Užitečné materiály pro další čtení:
- Pozorovatelnost definovaná službou Cloud Native Computing Foundation
- Distribuované trasování
- Pozorovatelnost v .Net
- OpenTelemetry
Pozorovatelnost v sémantickém jádru
Sémantické jádro je navržené tak, aby bylo pozorovatelné. Generuje protokoly, metriky a trasování, které jsou kompatibilní se standardem OpenTelemetry. Pomocí oblíbených nástrojů pozorovatelnosti můžete monitorovat a analyzovat chování služeb založených na sémantickém jádru.
Konkrétně sémantické jádro poskytuje následující funkce pozorovatelnosti:
- Protokolování: Sémantické jádro protokoluje smysluplné události a chyby z jádra, modulů plug-in a funkcí jádra a konektorů AI.
Důležité
Trasování v Application Insights představují tradiční položky protokolu a události rozsahu OpenTelemetry. Nejsou stejné jako distribuované trasování.
- Metriky: Sémantické jádro generuje metriky z funkcí jádra a konektorů AI. Budete moct monitorovat metriky, jako je doba provádění funkce jádra, spotřeba tokenů konektorů AI atd.
- Trasování: Sémantické jádro podporuje distribuované trasování. Aktivity v různých službách a v rámci sémantického jádra můžete sledovat.
| Telemetrie | Popis |
|---|---|
| Protokol | Protokoly se zaznamenávají v celém jádru. Další informace o protokolování v .NET najdete v tomto dokumentu. Citlivá data, jako jsou argumenty funkce jádra a výsledky, se protokolují na úrovni trasování. Další informace o úrovních protokolů najdete v této tabulce . |
| Aktivita | Každé spuštění funkce jádra a každé volání modelu AI se zaznamená jako aktivita. Všechny aktivity jsou generovány zdrojem aktivity s názvem "Microsoft.SemanticKernel". |
| Metrika | Sémantické jádro zachycuje následující metriky z funkcí jádra:
|
| Telemetrie | Popis |
|---|---|
| Protokol | Protokoly se zaznamenávají v celém jádru. Další informace o protokolování v Pythonu najdete v tomto dokumentu. Citlivá data, jako jsou argumenty funkce jádra a výsledky, se protokolují na úrovni ladění. |
| Rozpětí | Každá smyčka vyvolání automatické funkce, každé spuštění funkce jádra a každé volání modelu AI se zaznamená jako rozsah. |
| Metrika | Sémantické jádro zachycuje následující metriky z funkcí jádra:
|
Poznámka:
Sémantická pozorovatelnost jádra zatím není pro Javu k dispozici.
Sémantická konvence OpenTelemetry
Sémantické jádro se řídí sémantickou konvencí OpenTelemetry pro pozorovatelnost. To znamená, že protokoly, metriky a trasování generované sémantickým jádrem jsou strukturované a dodržují společné schéma. Tím zajistíte efektivnější analýzu telemetrických dat vygenerovaných sémantickým jádrem.
Poznámka:
V současné době jsou sémantické konvence pro generování umělé inteligence v experimentálním stavu. Sémantické jádro se snaží co nejblíže dodržovat sémantické konvence OpenTelemetry a poskytuje konzistentní a smysluplné prostředí pozorovatelnosti pro řešení AI.
Další kroky
Teď, když máte základní znalosti pozorovatelnosti v sémantickém jádru, můžete se dozvědět více o tom, jak exportovat telemetrická data do konzoly nebo pomocí nástrojů APM vizualizovat a analyzovat telemetrická data.