Modelkwaliteit en eindpuntstatus bewaken
Mozaïek AI Model Serving biedt geavanceerde hulpmiddelen voor het bewaken van de kwaliteit en status van modellen en hun implementaties. De volgende table is een overzicht van elk bewakingsprogramma dat beschikbaar is.
| Tool | Beschrijving | Doel | Toegang |
|---|---|---|---|
| Servicelogboeken |
stdout Legt en stderr streams vast van het model dat het eindpunt voor de dienst biedt. |
Handig voor foutopsporing tijdens modelimplementatie. Gebruik print(..., flush=true) deze functie voor onmiddellijke weergave in de logboeken. |
Toegankelijk via het tabblad Logboeken in de gebruikersinterface van de server. Logboeken worden in realtime gestreamd en kunnen worden geëxporteerd via de API. |
| Logboeken bouwen | Geeft uitvoer weer van het proces waarmee automatisch een python-omgeving wordt gemaakt die gereed is voor productie voor het eindpunt van het model. | Handig voor het diagnosticeren van modelimplementatie- en afhankelijkheidsproblemen. | Beschikbaar na voltooiing van het model met build onder Build-logboeken op het tabblad Logboeken . Logboeken kunnen worden geëxporteerd via de API. |
| Metrische gegevens voor eindpuntstatus | Biedt inzicht in metrische infrastructuurgegevens, zoals latentie, aanvraagsnelheid, foutpercentage, CPU-gebruik en geheugengebruik. | Belangrijk voor inzicht in de prestaties en status van de ondersteunende infrastructuur. | Standaard beschikbaar in de gebruikersinterface voor de server voor de afgelopen 14 dagen. Gegevens kunnen ook in realtime worden gestreamd naar hulpprogramma's voor waarneembaarheid. |
| inferentie tables | Registreert automatisch online voorspellingsaanvragen en -antwoorden in Delta tables beheerd door Unity Catalog. | Gebruik dit hulpprogramma voor het bewaken en opsporen van fouten in modelkwaliteit of -antwoorden, het genereren van trainingsgegevenssets of het uitvoeren van nalevingscontroles. | Kan worden ingeschakeld voor bestaande en nieuwe eindpunten voor modelverdiening met één klik in de gebruikersinterface of API. |