Recomendações de gerenciamento para cargas de trabalho de IA no Azure
Este artigo contém recomendações de gerenciamento para organizações que executam cargas de trabalho de IA no Azure. Ele se concentra em soluções de PaaS (plataforma como serviço) de IA do Azure, incluindo Estúdio de IA do Azure, OpenAI do Azure, Azure Machine Learning e Serviços de IA do Azure. Ele abrange cargas de trabalho de IA generativa e não generativa.
O gerenciamento eficiente de cargas de trabalho de IA no Azure envolve supervisionar implantação, desempenho do modelo, operações, dados e recuperação de desastre para apoiar as cargas de trabalho de IA. Com o gerenciamento adequado, suas cargas de trabalho de IA se mantêm confiáveis e seguras durante todo o ciclo de vida.
Gerenciar implantações de IA
O gerenciamento de implantações de IA ajuda as equipes de carga de trabalho a passar de etapas de prova de conceito para ambientes de produção com configurações consistentes que melhoram a segurança e a conformidade entre as equipes. O Azure oferece ferramentas como hubs e projetos do Estúdio de IA do Azure para aplicar governança e segurança. O Azure Machine Learning tem recursos semelhantes com seus workspaces de hub. Para obter mais informações, confira Gerenciar implantações de IA.
Gerenciar modelos de IA
O gerenciamento de modelos de IA inclui o monitoramento de seus resultados, o desempenho e o alinhamento com os princípios de IA responsável. Os modelos de IA podem variar ao longo do tempo, seja por mudanças dos dados, comportamentos do usuário ou outros fatores externos. Se não forem resolvidas, essas mudanças podem produzir resultados imprecisos ou questões éticas.
Monitore os resultados do modelo. Implemente um processo de monitoramento e teste para que essas cargas de trabalho se alinhem com suas metas de IA responsável.
Monitore a IA generativa. Para cargas de trabalho de IA generativa, use os recursos internos de avaliação e monitoramento manual do Estúdio de IA do Azure. Se você estiver usando um prompt flow, monitore as implantações do prompt flow. Considere também o uso de ferramentas de IA responsável para complementar o monitoramento de modelos.
Monitore a IA não generativa. Para cargas de trabalho de IA não generativa, monitore as etapas de processamento de dados e modele as métricas de desempenho para que as previsões permaneçam precisas e confiáveis. Habilite o monitoramento de modelo no Azure Machine Learning. Para Serviços de IA do Azure, habilite o monitoramento para cada serviço de IA que você usa.
Monitore o desempenho do modelo. Com o monitoramento, você identifica a origem do problema quando uma queda no desempenho ou na precisão é detectada. Assim como acontece com todas as cargas de trabalho, use o Azure Monitor e o Application Insights para monitorar o desempenho das cargas de trabalho de IA.
Monitore o desempenho da IA generativa. Na IA generativa, monitore a latência nos tempos de resposta ou a precisão dos resultados da busca em vetores para aprimorar as experiências do usuário. No Estúdio de IA do Azure, habilite o rastreamento para coletar dados de rastreamento para cada solicitação, métricas agregadas e feedback do usuário.
Monitore o desempenho da IA não generativa. Capture métricas de desempenho de modelos implantados no Azure Machine Learning. Para Serviços de IA do Azure, habilite o log de diagnósticos para cada serviço de IA do Azure.
Use um gateway de IA generativa para monitoramento. Um proxy reverso, como o Gerenciamento de API do Azure, permite que você implemente o registro em log e o monitoramento que não são nativos da plataforma. O Gerenciamento de API permite coletar IPs de origem, texto de entrada e texto de saída. Para obter mais informações, consulte Implementar o registro em log e o monitoramento para os modelos de linguagem do Serviço OpenAI do Azure.
Gerenciar operações de IA
O gerenciamento de operações de IA envolve a padronização de recursos de computação e o monitoramento de recursos da plataforma para cargas de trabalho de IA do Azure. Ele garante que as equipes usem os recursos de computação corretos com eficiência e capturem métricas e logs dos recursos da plataforma.
Monitore os recursos da plataforma. Use as configurações de diagnóstico para capturar logs e métricas de todos os principais serviços, como Estúdio de IA do Azure, Azure Machine Learning e Serviços de IA do Azure. Serviços específicos devem capturar logs de auditoria e logs específicos relevantes ao serviço. Implemente alertas de monitoramento personalizados com base nas necessidades específicas da sua arquitetura. Por exemplo, alertas para registros de contêiner, serviços do Machine Learning e operações do Serviço OpenAI do Azure.
Padronize o gerenciamento de computação. Você precisa de recursos de computação para certas ações, como prompt flows e modelos de treinamento. Um serviço como o Machine Learning tem diferentes opções de computação, como instâncias de computação, clusters e opções sem servidor. Padronize o tipo de computação, os tempos de execução e os períodos de desligamento. Para opções de computação específicas ao serviço, consulte Estúdio de IA do Azure e Machine Learning.
Gerenciar dados de IA
Dados de alta qualidade são a base da precisão nos modelos de IA. O rastreamento de descompasso do modelo ajuda a manter a relevância das previsões de IA ao longo do tempo e permite que as organizações adaptem os modelos conforme necessário para refletir as condições atuais.
Monitore o descompasso de dados. Acompanhe a precisão e o descompasso de dados continuamente na IA generativa e não generativa para manter a relevância dos modelos. O monitoramento pode enviar alertas quando as previsões ou as respostas do modelo de linguagem grande se desviam do comportamento esperado. Esse desvio indica a necessidade de retreinamento ou de ajuste. Configure alertas personalizados para detectar limites de desempenho. Essa abordagem permite a intervenção precoce em caso de problemas. Use as avaliações no Estúdio de IA do Azure e as métricas encontradas no Machine Learning.
Garanta a qualidade do processamento de dados. Para machine learning, é necessário formatar, limpar e disponibilizar os dados de treinamento para consumo do modelo. Para IA generativa, os dados de base precisam estar no formato correto e provavelmente fragmentados, enriquecidos e incorporados para consumo do modelo de IA. Para obter mais informações, consulte Guia para projetar e desenvolver uma solução RAG.
Gerenciar a continuidade dos negócios
Faça implantações em várias regiões para garantir alta disponibilidade e resiliência de sistemas de IA generativa e não generativa. Para obter mais informações, consulte implantação em várias regiões no Estúdio de IA do Azure, Azure Machine Learning e OpenAI do Azure.