Modelkwaliteit en eindpuntstatus bewaken
Mozaïek AI Model Serving biedt geavanceerde hulpmiddelen voor het bewaken van de kwaliteit en status van modellen en hun implementaties. De volgende tabel is een overzicht van elk bewakingsprogramma dat beschikbaar is.
| Tool | Beschrijving | Doel | Toegang |
|---|---|---|---|
| Servicelogboeken |
stdout Legt en stderr streams vast van het model dat het eindpunt voor de dienst biedt. |
Handig voor foutopsporing tijdens modelimplementatie. Gebruik print(..., flush=true) deze functie voor onmiddellijke weergave in de logboeken. |
Toegankelijk via het tabblad Logboeken in de gebruikersinterface van de server. Logboeken worden in realtime gestreamd en kunnen worden geëxporteerd via de API. |
| Logboeken bouwen | Geeft uitvoer weer van het proces waarmee automatisch een python-omgeving wordt gemaakt die gereed is voor productie voor het eindpunt van het model. | Handig voor het diagnosticeren van modelimplementatie- en afhankelijkheidsproblemen. | Beschikbaar na voltooiing van het model met build onder Build-logboeken op het tabblad Logboeken . Logboeken kunnen worden geëxporteerd via de API. |
| Metrische gegevens voor eindpuntstatus | Biedt inzicht in metrische infrastructuurgegevens, zoals latentie, aanvraagsnelheid, foutpercentage, CPU-gebruik en geheugengebruik. | Belangrijk voor inzicht in de prestaties en status van de ondersteunende infrastructuur. | Standaard beschikbaar in de gebruikersinterface voor de server voor de afgelopen 14 dagen. Gegevens kunnen ook in realtime worden gestreamd naar hulpprogramma's voor waarneembaarheid. |
| Inferentietabellen | Registreert automatisch online voorspellingsaanvragen en -antwoorden in Delta-tabellen die worden beheerd door Unity Catalog voor aangepaste modellen. | Gebruik dit hulpprogramma voor het bewaken en opsporen van fouten in modelkwaliteit of -antwoorden, het genereren van trainingsgegevenssets of het uitvoeren van nalevingscontroles. | Kan worden ingeschakeld voor bestaande en nieuwe modelservereindpunten met één klik in de serverinterface of programmatisch met behulp van De server-API's. |
| met AI Gateway ingeschakelde deductietabellen | Registreert automatisch online voorspellingsaanvragen en -antwoorden in Delta-tabellen die worden beheerd door Unity Catalog voor eindpunten die externe modellen of ingerichte doorvoerworkloads leveren. | Gebruik dit hulpprogramma voor het bewaken en opsporen van fouten in modelkwaliteit of -antwoorden, het genereren van trainingsgegevenssets of het uitvoeren van nalevingscontroles. | Kan worden ingeschakeld voor bestaande en nieuwe eindpunten voor modeldienstverlening bij het inschakelen van AI Gateway--functies met behulp van de bedieningsinterface of REST API. |