Monitore a qualidade do modelo e a integridade do endpoint
O Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.
| Ferramenta | Descrição | Objetivo | Acesso |
|---|---|---|---|
| Logs de serviço | Captura stdout e transmite stderr do ponto de extremidade de serviço do modelo. |
Útil para depuração durante a implantação do modelo. Use print(..., flush=true) para exibição imediata nos logs. |
Acessível usando a guia Logs na interface do usuário de serviço. Os logs são transmitidos em tempo real e podem ser exportados por meio da API. |
| Construir logs | Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o ponto de extremidade de serviço do modelo. | Útil para diagnosticar problemas de dependência e implantação de modelos. | Disponível após a conclusão da compilação de serviço do modelo em Logs de compilação na guia Logs . Os logs podem ser exportados por meio da API. |
| Métricas de integridade do endpoint | Fornece informações sobre métricas de infraestrutura, como latência, taxa de solicitação, taxa de erro, uso da CPU e uso de memória. | Importante para compreender o desempenho e a integridade da infraestrutura de serviço. | Disponível por padrão na interface do usuário de serviço nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real. |
| Tabelas de inferência | Registra automaticamente solicitações e respostas de previsão on-line em tabelas Delta gerenciadas pelo Unity Catalog para modelos personalizados. | Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias de conformidade. | Pode ser ativado para endpoints de serviço de modelos novos e existentes usando um único clique na interface de serviço ou através de APIs de serviço. |
| tabelas de inferência com suporte do AI Gateway | Registra automaticamente solicitações e respostas de previsão on-line em tabelas Delta gerenciadas pelo Unity Catalog para pontos de extremidade que atendem modelos externos ou cargas de trabalho de taxa de transferência provisionadas. | Use essa ferramenta para monitorar e depurar a qualidade ou as respostas do modelo, gerar conjuntos de dados de treinamento ou realizar auditorias de conformidade. | Pode ser habilitado para pontos de extremidade de disponibilização de modelos existentes e novos ao habilitar recursos de do AI Gateway usando a Interface de Serviço ou a API REST. |