Övervaka modellkvalitet och slutpunktshälsa
Mosaic AI Model Serving tillhandahåller avancerade verktyg för att övervaka kvaliteten och hälsan för modeller och deras distributioner. Följande tabell är en översikt över varje tillgängligt övervakningsverktyg.
| Verktyg | Beskrivning | Syfte | Åtkomst |
|---|---|---|---|
| Tjänstloggar | stdout Samlar in och stderr strömmar från modellens serverdelsslutpunkt. |
Användbart för felsökning under modelldistribution. Använd print(..., flush=true) för omedelbar visning i loggarna. |
Tillgänglig med hjälp av fliken Loggar i användargränssnittet för servering. Loggar strömmas i realtid och kan exporteras via API:et. |
| Skapa loggar | Visar utdata från processen som automatiskt skapar en produktionsklar Python-miljö för modellen som betjänar slutpunkten. | Användbart för att diagnostisera problem med modelldistribution och beroenden. | Tillgänglig när modellen som betjänar bygget har slutförts under Byggloggar på fliken Loggar . Loggar kan exporteras via API:et. |
| Slutpunktshälsomått | Ger insikter om infrastrukturmått som svarstid, begärandefrekvens, felfrekvens, CPU-användning och minnesanvändning. | Viktigt för att förstå prestanda och hälsa för den betjänande infrastrukturen. | Tillgänglig som standard i användargränssnittet för servering under de senaste 14 dagarna. Data kan också strömmas till observerbarhetsverktyg i realtid. |
| Slutsatsdragningstabeller | Loggar automatiskt begäranden och svar om förutsägelser online i Delta-tabeller som hanteras av Unity Catalog. | Använd det här verktyget för att övervaka och felsöka modellkvalitet eller svar, generera träningsdatauppsättningar eller utföra efterlevnadsgranskningar. | Kan aktiveras för befintliga och nya modellbetjäningsslutpunkter med ett enda klick i användargränssnittet eller API:et. |