Monitorowanie jakości modelu i kondycji punktu końcowego
Obsługa modeli mozaiki sztucznej inteligencji zapewnia zaawansowane narzędzia do monitorowania jakości i kondycji modeli oraz ich wdrożeń. Poniższa tabela zawiera omówienie każdego dostępnego narzędzia do monitorowania.
| Tool (Narzędzie dostępu do centrum danych) | Opis | Przeznaczenie | Uzyskaj dostęp |
|---|---|---|---|
| Dzienniki usługi | Przechwytuje i stdout strumienie stderr z punktu końcowego obsługującego model. |
Przydatne do debugowania podczas wdrażania modelu. Służy print(..., flush=true) do natychmiastowego wyświetlania w dziennikach. |
Dostępne przy użyciu karty Dzienniki w interfejsie użytkownika obsługującego. Dzienniki są przesyłane strumieniowo w czasie rzeczywistym i można je eksportować za pośrednictwem interfejsu API. |
| Dzienniki kompilacji | Wyświetla dane wyjściowe z procesu, który automatycznie tworzy środowisko języka Python gotowe do produkcji dla punktu końcowego obsługującego model. | Przydatne do diagnozowania problemów z wdrażaniem modelu i zależnościami. | Dostępne po ukończeniu modelu obsługującego kompilację w obszarze Dzienniki kompilacji na karcie Dzienniki. Dzienniki można eksportować za pośrednictwem interfejsu API. |
| Metryki kondycji punktu końcowego | Zapewnia wgląd w metryki infrastruktury, takie jak opóźnienie, szybkość żądań, szybkość błędów, użycie procesora CPU i użycie pamięci. | Ważne, aby zrozumieć wydajność i kondycję infrastruktury obsługującej. | Dostępne domyślnie w interfejsie użytkownika obsługującego przez ostatnie 14 dni. Dane można również przesyłać strumieniowo do narzędzi do obserwacji w czasie rzeczywistym. |
| Tablice wnioskowania | Automatycznie rejestruje żądania przewidywania w trybie online i odpowiedzi w tabelach Delta zarządzanych przez Unity Catalog dla modeli niestandardowych . | To narzędzie służy do monitorowania i debugowania jakości lub odpowiedzi modelu, generowania zestawów danych szkoleniowych lub przeprowadzania inspekcji zgodności. | Można włączyć obsługę istniejących i nowych punktów końcowych obsługujących model przy użyciu jednego kliknięcia w interfejsie użytkownika obsługującego lub programowo przy użyciu interfejsów API obsługujących. |
| tabele inferencyjne z obsługą AI Gateway | Automatycznie rejestruje żądania i odpowiedzi dotyczące prognoz online w tabelach Delta zarządzanych przez Unity Catalog dla punktów końcowych obsługujących zewnętrzne modele lub aprowizowane obciążenia przepustowości. | To narzędzie służy do monitorowania i debugowania jakości lub odpowiedzi modelu, generowania zestawów danych szkoleniowych lub przeprowadzania inspekcji zgodności. | Można włączyć obsługę istniejących i nowych punktów końcowych obsługujących model podczas włączania funkcji bramy sztucznej inteligencji przy użyciu interfejsu użytkownika obsługującego lub interfejsu API REST. |