Monitorare la qualità del modello e l'integrità degli endpoint
Mosaic AI Model Serving offre strumenti avanzati per il monitoraggio della qualità e dell'integrità dei modelli e delle relative distribuzioni. La tabella seguente offre una panoramica di ogni strumento di monitoraggio disponibile.
| Strumento | Descrizione | Scopo | Accesso |
|---|---|---|---|
| Log del servizio | Acquisisce e stdout trasmette flussi stderr dall'endpoint di gestione del modello. |
Utile per il debug durante la distribuzione del modello. Usare print(..., flush=true) per visualizzare immediatamente i log. |
Accessibile tramite la scheda Log nell'interfaccia utente di servizio. I log vengono trasmessi in tempo reale e possono essere esportati tramite l'API. |
| Log di compilazione | Visualizza l'output del processo che crea automaticamente un ambiente Python pronto per la produzione per l'endpoint di gestione del modello. | Utile per la diagnosi dei problemi di distribuzione e dipendenza del modello. | Disponibile al completamento del modello che gestisce la compilazione in Log di compilazione nella scheda Log . I log possono essere esportati tramite l'API. |
| Metriche di integrità degli endpoint | Fornisce informazioni dettagliate sulle metriche dell'infrastruttura, ad esempio latenza, frequenza delle richieste, frequenza di errore, utilizzo della CPU e utilizzo della memoria. | Importante per comprendere le prestazioni e l'integrità dell'infrastruttura di servizio. | Disponibile per impostazione predefinita nell'interfaccia utente Di servizio per gli ultimi 14 giorni. I dati possono anche essere trasmessi agli strumenti di osservabilità in tempo reale. |
| tabelle di inferenza | Registra automaticamente le richieste di stima online e le risposte in tabelle Delta gestite dal catalogo Unity per modelli personalizzati. | Usare questo strumento per il monitoraggio e il debug della qualità o delle risposte del modello, la generazione di set di dati di training o l'esecuzione di controlli di conformità. | Può essere abilitato per gli endpoint esistenti e nuovi per il servizio dei modelli con un solo clic nell'interfaccia utente di Servizio o programmaticamente usando le API di Servizio. |
| tabelle di inferenza abilitate da gateway AI | Registra automaticamente le richieste di previsione online e le risposte in tabelle Delta gestite dal Catalogo Unity per gli endpoint che gestiscono modelli esterni o carichi di lavoro con throughput fornito. | Usare questo strumento per il monitoraggio e il debug della qualità o delle risposte del modello, la generazione di set di dati di training o l'esecuzione di controlli di conformità. | Può essere abilitato per gli endpoint esistenti e nuovi del modello quando si abilitano le funzionalità del gateway AI utilizzando l'interfaccia utente di servizio o l'API REST. |