Monitore continuamente suas aplicações de IA generativa
Importante
Os itens marcados (visualização) neste artigo estão atualmente em visualização pública. Essa visualização é fornecida sem um contrato de nível de serviço e não a recomendamos para cargas de trabalho de produção. Algumas funcionalidades poderão não ser suportadas ou poderão ter capacidades limitadas. Para obter mais informações, veja Termos Suplementares de Utilização para Pré-visualizações do Microsoft Azure.
Os avanços contínuos em IA generativa levaram as organizações a construir aplicações cada vez mais complexas para resolver vários problemas (chat-bots, sistemas RAG, sistemas agenticos, etc.). Esses aplicativos estão sendo usados para impulsionar a inovação, melhorar as experiências dos clientes e melhorar a tomada de decisões. Embora os modelos (por exemplo, GPT-4o) que alimentam essas aplicações de IA generativa sejam extremamente capazes, o monitoramento contínuo nunca foi tão importante para garantir resultados de alta qualidade, seguros e confiáveis. O monitoramento contínuo é eficaz quando várias perspetivas são consideradas ao observar um aplicativo. Essas perspetivas incluem uso e custo de tokens, métricas operacionais – latência, contagem de solicitações, etc. – e, o que é importante, avaliação contínua. Para saber mais sobre avaliação, consulte Avaliação de aplicações generativas de IA.
A IA do Azure e o Azure Monitor fornecem ferramentas para você monitorar continuamente o desempenho de seus aplicativos de IA generativa de várias perspetivas. Com o Azure AI Online Evaluation, você pode avaliar continuamente seu aplicativo independente de onde ele está implantado ou qual estrutura de orquestração está usando (por exemplo, LangChain). Você pode usar vários avaliadores internos que mantêm a paridade com o SDK de Avaliação de IA do Azure ou definir seus próprios avaliadores personalizados. Ao executar continuamente os avaliadores certos sobre os dados de rastreamento coletados, sua equipe pode identificar e mitigar de forma mais eficaz as preocupações de segurança, qualidade e segurança à medida que surgem, seja na pré-produção ou na pós-produção. O Azure AI Online Evaluation fornece integração total com o conjunto abrangente de ferramentas de observabilidade disponíveis no Azure Monitor Application Insights, permitindo que você crie painéis personalizados, visualize os resultados da avaliação ao longo do tempo e configure alertas para monitoramento avançado de aplicativos.
Em resumo, monitorar suas aplicações generativas de IA nunca foi tão importante, devido à complexidade e rápida evolução da indústria de IA. O Azure AI Online Evaluation, integrado com o Azure Monitor Application Insights, permite que você avalie continuamente seus aplicativos implantados para garantir que eles tenham desempenho, segurança e produzam resultados de alta qualidade na produção.
Como monitorar suas aplicações de IA generativa
Nesta seção, saiba como monitorar seus aplicativos de IA generativa usando o rastreamento do Azure AI Foundry, avaliação online e funcionalidade de visualização de rastreamento. Em seguida, saiba como o Azure AI Foundry se integra ao Azure Monitor Application Insights para observação e visualização abrangentes.
Rastreando seu aplicativo de IA generativa
A primeira etapa no monitoramento contínuo de seu aplicativo é garantir que seus dados de telemetria sejam capturados e armazenados para análise. Para fazer isso, você precisará instrumentar o código do seu aplicativo de IA generativa para usar o pacote Azure AI Tracing para registrar dados de rastreamento em um recurso do Azure Monitor Application Insights de sua escolha. Este pacote está totalmente em conformidade com o padrão OpenTelemetry para observabilidade. Depois de instrumentar o código do aplicativo, os dados de rastreamento serão registrados no recurso do Application Insights.
Depois de incluir o rastreamento no código do aplicativo, você pode exibir os dados de rastreamento no Azure AI Foundry ou no recurso do Azure Monitor Application Insights. Para saber mais sobre como fazer isso, consulte monitorar seu aplicativo de IA generativa.
Configurar avaliação online
Depois de configurar o rastreamento para seu aplicativo de IA generativa, configure a avaliação online com o SDK do Azure AI Foundry para avaliar continuamente seus dados de rastreamento à medida que são coletados. Isso permitirá que você monitore o desempenho do seu aplicativo na produção ao longo do tempo.
Nota
Se você tiver vários aplicativos de IA registrando dados de rastreamento no mesmo recurso do Azure Monitor Application Insights, é recomendável usar o nome do serviço para diferenciar entre os dados do aplicativo no Application Insights. Para saber como definir o nome do serviço, consulte Azure AI Tracing. Para saber como consultar o nome do serviço em sua configuração de avaliação online, consulte Usando o nome do serviço em dados de rastreamento.
Monitore seu aplicativo de IA generativa com o Azure Monitor Application Insights
Nesta seção, você aprenderá como a IA do Azure se integra ao Azure Monitor Application Insights para oferecer uma exibição de painel pronta para uso que é personalizada com informações sobre seu aplicativo de IA generativa para que você possa se manter atualizado com o status mais recente do seu aplicativo.
Insights para sua aplicação de IA generativa
Se você não configurou isso, aqui estão algumas etapas rápidas:
- Navegue até o seu projeto no Azure AI Foundry.
- Selecione a página Rastreamento no lado esquerdo.
- Conecte seu recurso do Application Insights ao seu projeto.
Se você já configurou o rastreamento no portal do Azure AI Foundry, tudo o que você precisa fazer é selecionar o link para Confira seu painel do aplicativo Insights for Generative AI.
Depois de ter o streaming de dados para o recurso do Application Insights, você pode vê-los automaticamente serem preenchidos neste painel personalizado.
Esta vista é um ótimo lugar para você começar com suas necessidades de monitoramento.
- Você pode visualizar o consumo de token ao longo do tempo para entender se precisa aumentar seus limites de uso ou fazer uma análise de custo adicional.
- Você pode visualizar as métricas de avaliação como linhas de tendência para entender a qualidade do seu aplicativo diariamente.
- Você pode depurar quando as exceções ocorrem e detalhar os rastreamentos usando a exibição de detalhes da transação de ponta a ponta do Azure Monitor para descobrir o que deu errado.
Esta é uma Pasta de Trabalho do Azure que está consultando dados armazenados em seu recurso do Application Insights. Você pode personalizar essa pasta de trabalho e adaptá-la para atender às suas necessidades de negócios. Para saber mais, consulte Editando pastas de trabalho do Azure.
Isso permite que você adicione outros avaliadores personalizados que você pode ter registrado ou outro texto de marcação para compartilhar resumos e usar para fins de relatório.
Você também pode compartilhar esta pasta de trabalho com sua equipe para que eles fiquem informados com o mais recente!
Nota
Ao compartilhar essa pasta de trabalho com os membros da equipe, eles devem ter pelo menos a função "Leitor" no recurso do Application Insights conectado para exibir as informações exibidas.