Monitorar a qualidade do modelo e a integridade do ponto de extremidade
O Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.
| Ferramenta | Descrição | Finalidade | Acesso |
|---|---|---|---|
| Logs de serviço | As capturas stdout e stderr transmitem do ponto de extremidade do serviço do modelo. |
Isso é útil para depuração durante a implantação do modelo. Use print(..., flush=true) para exibição imediata nos logs. |
Acessível por meio da guia Logs na interface do usuário de serviço. Os logs são transmitidos em tempo real e podem ser exportados por meio da API. |
| Logs de build | Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o ponto de extremidade de serviço do modelo. | Útil para diagnosticar problemas de implantação e dependência de modelo. | Disponível após a conclusão do modelo que serve o build em Logs de build na guia Logs. Os logs podem ser exportados por meio da API. |
| Métricas de integridade do ponto de extremidade | Fornece insights sobre métricas de infraestrutura, como latência, taxa de solicitação, taxa de erro, uso da CPU e uso de memória. | Isso é importante para entender o desempenho e a integridade da infraestrutura de serviço. | Disponível por padrão na interface do usuário de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real. |
| Tabelas de inferências | Registra automaticamente solicitações e respostas de previsão online em tabelas Delta gerenciadas pelo Catálogo do Unity. | Use essa ferramenta para monitorar e depurar a qualidade ou respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias de conformidade. | Pode ser habilitado para pontos de extremidade existentes e novos que servem modelos usando um único clique na interface do usuário ou na API. |