Możliwość obserwowania w jądrze semantycznym
Krótkie wprowadzenie do obserwacji
Podczas tworzenia rozwiązań sztucznej inteligencji chcesz obserwować zachowanie usług. Możliwość obserwowania to możliwość monitorowania i analizowania wewnętrznego stanu składników w systemie rozproszonym. Jest to kluczowe wymaganie dotyczące tworzenia rozwiązań sztucznej inteligencji gotowych do użycia w przedsiębiorstwie.
Obserwacja jest zwykle osiągana za pomocą rejestrowania, metryk i śledzenia. Są one często określane jako trzy filary obserwacji. Poznasz również termin "telemetria" używany do opisywania danych zebranych przez te trzy filary. W przeciwieństwie do debugowania, możliwość obserwacji zapewnia ciągły przegląd kondycji i wydajności systemu.
Przydatne materiały do dalszego czytania:
- Możliwość obserwowania zdefiniowana przez platformę Cloud Native Computing Foundation
- Śledzenie rozproszone
- Możliwość obserwowania na platformie .Net
- OpenTelemetry
Możliwość obserwowania w jądrze semantycznym
Semantyczne jądro zostało zaprojektowane tak, aby można je było zaobserwować. Emituje dzienniki, metryki i ślady zgodne ze standardem OpenTelemetry. Możesz użyć ulubionych narzędzi do obserwacji, aby monitorować i analizować zachowanie usług opartych na jądrze semantycznym.
W szczególności semantyczne jądro zapewnia następujące funkcje obserwacji:
- Rejestrowanie: Semantyczne jądro rejestruje istotne zdarzenia i błędy z jądra, wtyczek jądra i funkcji, a także łączników sztucznej inteligencji.
Ważne
Ślady w usłudze Application Insights reprezentują tradycyjne wpisy dziennika i zdarzenia typu OpenTelemetry obejmują zdarzenia. Nie są one takie same jak rozproszone ślady.
- Metryki: Semantyczne jądro emituje metryki z funkcji jądra i łączników sztucznej inteligencji. Będzie można monitorować metryki, takie jak czas wykonywania funkcji jądra, użycie tokenu łączników sztucznej inteligencji itp.
- Śledzenie: Jądro semantyczne obsługuje śledzenie rozproszone. Możesz śledzić działania w różnych usługach i w semantycznym jądrze.
| Telemetria | opis |
|---|---|
| Dziennik | Dzienniki są rejestrowane w całym jądrze. Aby uzyskać więcej informacji na temat rejestrowania na platformie .Net, zapoznaj się z tym dokumentem. Poufne dane, takie jak argumenty funkcji jądra i wyniki, są rejestrowane na poziomie śledzenia. Aby uzyskać więcej informacji na temat poziomów dzienników, zapoznaj się z tą tabelą . |
| Działanie | Każde wykonanie funkcji jądra i każde wywołanie modelu AI są rejestrowane jako działanie. Wszystkie działania są generowane przez źródło działań o nazwie "Microsoft.SemanticKernel". |
| Metric | Jądro semantyczne przechwytuje następujące metryki z funkcji jądra:
|
| Telemetria | opis |
|---|---|
| Dziennik | Dzienniki są rejestrowane w całym jądrze. Aby uzyskać więcej informacji na temat rejestrowania w języku Python, zapoznaj się z tym dokumentem. Poufne dane, takie jak argumenty funkcji jądra i wyniki, są rejestrowane na poziomie debugowania. |
| Piędź | Każda pętla wywołania funkcji automatycznej, każde wykonanie funkcji jądra i każde wywołanie modelu sztucznej inteligencji są rejestrowane jako zakres. |
| Metric | Jądro semantyczne przechwytuje następujące metryki z funkcji jądra:
|
Uwaga
Możliwość obserwowania jądra semantycznego nie jest jeszcze dostępna dla języka Java.
Konwencja semantyczna OpenTelemetry
Jądro semantyczne jest zgodne z konwencją semantyczną OpenTelemetry na potrzeby obserwacji. Oznacza to, że dzienniki, metryki i ślady emitowane przez jądro semantyczne mają strukturę i są zgodne ze wspólnym schematem. Dzięki temu można efektywniej analizować dane telemetryczne emitowane przez jądro semantyczne.
Uwaga
Obecnie konwencje semantyczne dla generowania sztucznej inteligencji są w stanie eksperymentalnym. Semantyczne jądro dąży do przestrzegania konwencji semantycznej OpenTelemetry tak ściśle, jak to możliwe, i zapewnia spójne i znaczące środowisko obserwacji dla rozwiązań sztucznej inteligencji.
Następne kroki
Teraz, gdy masz podstawową wiedzę na temat obserwacji w jądrze semantycznym, możesz dowiedzieć się więcej na temat sposobu wyprowadzania danych telemetrycznych do konsoli lub używania narzędzi APM do wizualizacji i analizowania danych telemetrycznych.