Gerenciar a IA – Processo para gerenciar a IA
Este artigo descreve o processo para gerenciar cargas de trabalho de IA na organização. Ele contém recomendações para o gerenciamento de cargas de trabalho de IA a partir de desenvolvimento, implantação e operações. O gerenciamento eficaz de IA envolve uma abordagem estruturada desde o desenvolvimento até a implantação e as operações contínuas. As empresas precisam de práticas padronizadas e de monitoramento regular para evitar problemas como descompasso de dados e modelos, para que a IA mantenha sua precisão e confiabilidade ao longo do tempo.
Gerenciar operações de IA
O gerenciamento de operações de IA garante visibilidade e consistência em todo o ciclo de vida da IA. Ao adotar estruturas operacionais como MLOps, criar ambientes de área restrita e estabelecer pipelines de CI/CD, você pode supervisionar o desenvolvimento, o teste e a implantação.
Adote uma estrutura operacional de IA. Implemente estruturas de MLOps (operações de aprendizado de máquina) para fluxos de trabalho tradicionais de aprendizado de máquina e GenAIOps para cargas de trabalho de IA generativa. Essas estruturas operacionais organizam completamente o ciclo para o desenvolvimento de IA. Cada estrutura afeta a abordagem e as ferramentas da equipe responsável pela carga de trabalho. Para saber mais, confira MLOps e GenAIOps.
Padronize as ferramentas de desenvolvimento de IA. Defina e padronize o uso de SDKs e APIs para fins de consistência entre as equipes de desenvolvimento. Ferramentas como o SDK do Azure para cargas de trabalho de IA fornecem bibliotecas e APIs otimizadas para dimensionar modelos de IA e integrá-los aos aplicativos. Para IA generativa, padronize sua plataforma de IA e orquestradores, como Semantic Kernel, LangChain e Prompt Flow.
Use um ambiente de área restrita para experimentação da IA. Use um ambiente de área restrita para experimentação do modelo de IA. Você espera consistência entre os ambientes de desenvolvimento, teste e produção. Portanto, o ambiente de área restrita deve ser distinto dos ambientes de desenvolvimento, teste e produção no ciclo de vida de desenvolvimento de IA. A alteração de modelos de implantação e governança entre ambientes de desenvolvimento, teste e produção pode ocultar e introduzir mudanças significativas.
Estabeleça pipelines de integração contínua e entrega contínua para implantação. Veja se seus pipelines de dados abrangem verificações de qualidade de código, incluindo linting e análise estática. Os pipelines de dados também devem incluir testes de unidade e integração, além de fluxos de experimentação e avaliação. Por fim, incorpore etapas de implantação de produção, como promover versões para ambientes de teste e produção depois das aprovações manuais. Mantenha a separação entre modelos, prompt flows e interface do usuário do cliente para que as atualizações de um componente não afetem outros. Cada fluxo deve ter seu próprio ciclo de vida para promoção independente.
Gerenciar a implantação de IA
O gerenciamento de implantação de IA define quem pode implantar recursos de IA e quem governa esses pontos de extremidade. Uma abordagem estruturada, liderada por um centro de excelência em IA, ajuda as empresas a decidir se as equipes de carga de trabalho ou uma equipe central devem gerenciar recursos, ponderando a velocidade de desenvolvimento com os requisitos de governança. O AI CoE deve encabeçar a iniciativa de determinar a melhor abordagem.
Use o gerenciamento dos recursos de IA da equipe de carga de trabalho para um desenvolvimento mais rápido. Equipes de carga de trabalho que gerenciam recursos de IA têm autonomia para implantar e gerenciar recursos de IA dentro dos limites de suas políticas de governança. Use o Azure Policy para aplicar a governança de forma consistente em todos os ambientes de carga de trabalho. Crie e comunique políticas de IA que as equipes de carga de trabalho devem seguir para resolver falhas na governança. Por exemplo, crie políticas de IA generativa para aplicar configurações de filtro de conteúdo e impedir o uso de modelos não permitidos. Deixe claras essas políticas para as equipes de carga de trabalho e faça a auditoria regularmente.
Figura 1. Gerenciamento de recursos de IA da equipe de carga de trabalho.Use o gerenciamento compartilhado de recursos de IA para aumentar a governança de IA. Em uma abordagem de gerenciamento compartilhado de IA, uma equipe central gerencia recursos para todas as cargas de trabalho de IA. Essa equipe implanta os principais recursos de IA e configura a segurança e a governança que todas as equipes de carga de trabalho usam. Use essa abordagem se quiser que uma única equipe controle as implantações e a governança de IA em suas cargas de trabalho.
Figura 2. Gerenciamento dos recursos de IA por parte da equipe de IA central.
Gerenciar o compartilhamento de pontos de extremidade de IA
O compartilhamento de pontos de extremidade de IA entre cargas de trabalho pode simplificar o gerenciamento, mas exige uma consideração cautelosa dos requisitos de governança e modelo. As empresas só devem compartilhar pontos de extremidade em uma única carga de trabalho se a necessidade for consistente, pois o uso compartilhado para diferentes fins pode complicar a governança e aumentar os custos.
Evite compartilhar pontos de extremidade de IA quando as necessidades de governança e modelo variarem. As cargas de trabalho que exigem diferentes configurações de filtro de conteúdo, como governança na entrada e na saída, não devem compartilhar um ponto de extremidade. Além disso, não compartilhe um único ponto de extremidade de IA se um modelo de IA diferente sugerir um modo mais econômico de atender aos requisitos de carga de trabalho.
Compartilhe pontos de extremidade de IA apenas em uma única carga de trabalho. O compartilhamento de um ponto de extremidade de IA funciona melhor quando uma equipe de carga de trabalho tem vários aplicativos como parte da mesma carga. Compartilhar pontos de extremidade de IA gera menos quantidade de sobrecarga de gerenciamento e simplifica a implantação. Esses aplicativos devem compartilhar as mesmas necessidades de governança e de modelo de IA. O compartilhamento de pontos de extremidade pode fazer a empresa atingir limites de taxa e limitações de cota. A maioria dos serviços do Azure tem limites por assinatura. Em uma assinatura, cada região tem limites de cota.
Gerenciar modelos de IA
O gerenciamento de modelos de IA envolve a definição de estruturas de governança, o monitoramento contínuo e o retreinamento para manter o desempenho ao longo do tempo. Esse processo ajuda as empresas a alinhar modelos com padrões éticos, acompanhar o desempenho do modelo e garantir que os sistemas de IA permaneçam eficientes e alinhados com os objetivos de negócios.
Estabeleça uma estrutura de governança para supervisão de IA. Crie um centro de excelência de IA (AI CoE) ou nomeie um líder de IA. Ele deve garantir a adesão aos padrões de uso responsável de IA. Deve tomar decisões sobre a necessidade de ajuste dos sistemas com base nesses relatórios. Use o painel de IA responsável para gerar relatórios sobre os resultados do modelo.
Defina uma linha de base de mensuração de IA. Estabeleça uma linha de base de mensuração para garantir que os modelos de IA estejam alinhados com as metas de negócios e os padrões éticos. Use KPIs relacionados a princípios de IA responsáveis, como imparcialidade, transparência e precisão. Mapeie esses KPIs para cargas de trabalho de IA. Por exemplo, em um chatbot de atendimento ao cliente, para medir a imparcialidade, avalie o desempenho do modelo em diferentes grupos demográficos. Para mensurar isso, comece com as ferramentas usadas no painel de IA responsável.
Implemente o monitoramento contínuo. As cargas de trabalho de IA podem mudar ao longo do tempo, seja pela evolução dos dados, pelas atualizações de modelo ou por mudanças no comportamento do usuário. Monitore modelos de IA, recursos de IA e dados de IA para que essas cargas de trabalho permaneçam alinhadas com os KPIs. Faça auditorias para avaliar se os sistemas de IA estão de acordo com os princípios e as métricas de IA responsável definidos.
Identifique as causas-raiz dos problemas de desempenho. Identifique a origem do problema quando o monitoramento da IA detectar uma queda no desempenho ou na precisão. Tenha visibilidade de cada etapa da interação para isolar o problema e implementar ações corretivas o quanto antes. Por exemplo, se um chatbot de atendimento ao cliente gerar respostas imprecisas, com o monitoramento, você conseguirá determinar se o erro está na criação do prompt ou na compreensão do contexto do modelo. Use ferramentas internas, como o Azure Monitor e o Application Insights, para identificar proativamente gargalos e anomalias de desempenho.
Acompanhe a desativação do modelo. Acompanhe a desativação de modelos pré-treinados para evitar problemas de desempenho à medida que o suporte do fornecedor deixa de ser oferecido. Por exemplo, um modelo de IA generativa pode estar obsoleto, portanto, você precisa atualizá-lo para que continue funcionando. O portal do Azure AI Foundry mostra a data de desativação do modelo para todas as implantações.
Treine novamente os modelos de IA conforme necessário. Considere os modelos que vão se degradando ao longo do tempo devido a alterações nos dados. Agende um retreinamento regular com base no desempenho do modelo ou nas necessidades de negócios, assim você mantém o sistema de IA relevante. O retreinamento pode ser caro, portanto, avalie o custo inicial do treinamento e use-o para avaliar com que frequência é necessário treinar novamente os modelos de IA. Mantenha o controle de versão para modelos e garanta um mecanismo de reversão para versões de baixo desempenho.
Estabeleça o processo de promoção do modelo. Use entradas de qualidade para promover modelos treinados, ajustados e retreinados para ambientes superiores com base em critérios de desempenho. Os critérios de desempenho são exclusivos para cada aplicativo.
Gerenciar custos de IA
Para gerenciar custos de IA, é necessário entender claramente as despesas relacionadas a recursos como computação, armazenamento e processamento de tokens. Você deve implementar as melhores práticas de gerenciamento de custos, monitorar o uso e configurar alertas automatizados para evitar despesas inesperadas e otimizar a eficiência dos recursos.
Siga as práticas recomendadas de gerenciamento de custos para cada serviço. Cada serviço do Azure tem recursos e práticas recomendadas específicos que maximizam a otimização de custos. Familiarize-se com as diretrizes a seguir para planejar e gerenciar custos na Fábrica de IA do Azure, no Serviço OpenAI do Azure e no Azure Machine Learning.
Monitore e maximize a eficiência do faturamento. Entenda os pontos de interrupção de custo para evitar cobranças desnecessárias. Por exemplo, usar o limite total de preço fixo para a geração de imagens ou fazer ajuste fino por hora. Acompanhe seus padrões de uso, incluindo tokens por minuto (TPM) e solicitações por minuto (RPM), e ajuste os modelos e a arquitetura de acordo. Avalie um modelo de cobrança baseado em compromisso para padrões de uso consistentes.
Configure alertas de custo automatizados. Use alertas de orçamento como notificação sobre cobranças inesperadas e estabeleça estratégias orçamentárias para controlar e prever suas despesas de IA.
Para aplicativos de IA generativa que usam o Azure OpenAI, consulte estas recomendações de otimização de custo.
Gerenciar dados de IA
O gerenciamento eficaz de dados de IA abrange manter a precisão, a integridade e a sensibilidade dos dados durante todo o ciclo de vida da IA. Quando você seleciona conjuntos de dados de alta qualidade e protege seus pipelines, sua organização consegue manter a confiabilidade e a conformidade dos dados com os requisitos regulatórios que mudam constantemente.
Mantenha a precisão dos dados e selecione conjuntos de dados de alta qualidade. Desenvolva um conjunto confiável de dados usados para testes e validação regulares entre os dois tipos de IA. Organize continuamente esse conjunto de dados de forma que ele reflita informações atualizadas e precisas.
Garanta a integridade do pipeline de dados. Desenvolva e mantenha pipelines de dados personalizados para garantir a integridade dos dados, desde a coleta até o pré-processamento e o armazenamento. Cada etapa do pipeline deve ser segura a ponto de manter o desempenho e a confiabilidade entre os dois tipos de aplicativos de IA.
Gerencie as alterações de confidencialidade dos dados. Entenda que a classificação de confidencialidade dos dados pode mudar com o tempo. Talvez você queira reclassificar dados de baixa confidencialidade como altamente confidenciais em razão de alterações comerciais ou regulatórias. Desenvolva processos para remover ou substituir dados confidenciais em sistemas downstream. O Microsoft Defender para Nuvem e o Microsoft Purview podem ajudar a rotular e gerenciar dados confidenciais. Esse processo começa com um bom catálogo de dados antes da ingestão de IA. Quando ocorrerem alterações, identifique todos os modelos ou sistemas que usam os dados confidenciais. Se possível, treine novamente os modelos de IA usando conjuntos de dados que excluem os dados confidenciais reclassificados.
Gerenciar a continuidade dos negócios de IA
A continuidade dos negócios e a recuperação de desastres por IA envolvem a criação de implantações multirregionais e o teste regular dos planos de recuperação. Com essas estratégias, os sistemas de IA podem manter a operação durante interrupções e minimizar o risco de interrupções prolongadas ou perda de dados.
Use implantações de IA de várias regiões. Faça implantações multirregionais para garantir alta disponibilidade e resiliência de sistemas de IA generativa e não generativa. Essas estratégias minimizam o tempo de inatividade e garantem que os aplicativos críticos de IA permaneçam operacionais durante interrupções regionais ou falhas de infraestrutura. Implemente a redundância necessária para modelos treinados e ajustados para evitar a necessidade de retreinamento durante uma interrupção.
Teste e valide planos de recuperação de desastres regularmente. Realize testes regulares de planos de recuperação de desastres para saber se é possível restaurar sistemas de IA generativa e não generativa de forma eficaz. Inclua testes de processos de restauração de dados e procedimentos de validação para saber se todos os componentes de IA estão funcionando corretamente após a recuperação. A validação regular garante que a organização esteja preparada para incidentes reais e minimiza o risco de falhas durante a recuperação.
Gerencie e acompanhe as alterações nos sistemas de IA. Certifique-se de que todas as alterações em modelos, dados e configurações sejam gerenciadas por meio de sistemas de controle de versão, como o Git. Isso é fundamental para acompanhar modificações e garantir a capacidade de restaurar versões anteriores durante a recuperação. Para IA generativa e não generativa, a auditoria automatizada de alterações de modelo e sistema deve estar em vigor para que você possa identificar e reverter rapidamente alterações não planejadas.