Governar a IA – Recomendações para organizações que controlam cargas de trabalho de IA no Azure
Este artigo descreve o processo organizacional para governar cargas de trabalho de IA. Segue o NIST Artificial Intelligence Risk Management Framework (AI RMF) e o NIST AI RMF Playbook. Também se alinha com a estrutura do CAF Govern.
Esta orientação visa ajudá-lo a integrar o gerenciamento de riscos de IA em estratégias mais amplas de gerenciamento de riscos. Essa integração promove um tratamento mais coeso dos riscos de IA, cibersegurança e privacidade para uma abordagem de governança unificada.
Avalie os riscos organizacionais da IA
A avaliação dos riscos da IA identifica e aborda os riscos potenciais introduzidos pelas tecnologias de IA. Este processo cria confiança nos sistemas de IA e reduz consequências indesejadas. Abordar os riscos organizacionais garante que as implantações de IA estejam alinhadas com os valores, a tolerância ao risco e os objetivos operacionais da organização.
Entenda as cargas de trabalho de IA. Para mitigar os riscos de IA, você deve entender suas cargas de trabalho de IA. Ao esclarecer o escopo e a finalidade de cada carga de trabalho de IA, você pode mapear os riscos associados. Esta clarificação deve incluir quaisquer pressupostos e limitações relacionados com a carga de trabalho da IA.
Use princípios de IA responsável para identificar riscos. Estes princípios fornecem um quadro para avaliar os riscos da IA. Use a tabela a seguir para identificar e mitigar riscos por meio de uma avaliação estruturada dos princípios da IA.
Princípio da IA responsável Definição Pergunta sobre a avaliação dos riscos AI Privacidade e Segurança As cargas de trabalho de IA devem respeitar a privacidade e ser seguras. Como as cargas de trabalho de IA podem lidar com dados confidenciais ou se tornar vulneráveis a violações de segurança? Fiabilidade e Segurança As cargas de trabalho de IA devem funcionar de forma segura e confiável. Em que situações as cargas de trabalho de IA podem não operar com segurança ou produzir resultados não confiáveis? Justiça As cargas de trabalho de IA devem tratar as pessoas de forma equitativa. Como as cargas de trabalho de IA podem levar a um tratamento desigual ou a enviesamentos não intencionais na tomada de decisões? Inclusão As cargas de trabalho de IA devem ser inclusivas e capacitadoras. Como certos grupos podem ser excluídos ou desfavorecidos na conceção ou implementação de cargas de trabalho de IA? Transparency As cargas de trabalho de IA devem ser compreensíveis. Que aspetos da tomada de decisões de IA podem ser difíceis de compreender ou explicar pelos utilizadores? Responsabilidade As pessoas devem ser responsáveis pelas cargas de trabalho de IA. Onde a responsabilização pode ser pouco clara ou difícil de estabelecer no desenvolvimento ou uso da IA? Identificar riscos de IA. Comece avaliando os riscos de segurança das cargas de trabalho de IA, incluindo possíveis violações de dados, acesso não autorizado ou uso indevido. Consulte as partes interessadas para descobrir riscos menos visíveis e avalie os impactos qualitativos e quantitativos, incluindo riscos de reputação, para determinar a tolerância ao risco da organização.
Identificar riscos de dependências externas. Avalie os riscos relacionados a fontes de dados, software e integrações de terceiros. Resolva questões como vulnerabilidades de segurança, preconceitos e riscos de propriedade intelectual estabelecendo políticas que garantam o alinhamento com os padrões organizacionais de privacidade e conformidade.
Avalie os riscos de integração. Avalie a integração de cargas de trabalho de IA com cargas de trabalho e processos existentes. Documente riscos potenciais, como dependência de outras cargas de trabalho, aumento da complexidade ou incompatibilidades que possam afetar a funcionalidade.
Documente as políticas de governança de IA
As políticas de governança de IA fornecem uma estrutura estruturada para o uso responsável da IA. Essas políticas alinham as atividades de IA com padrões éticos, requisitos regulatórios e objetivos de negócios. Documentar políticas garante diretrizes claras para gerenciar modelos, dados e operações de IA.
| Domínio de intervenção em matéria de governação da IA | Recomendações de políticas de governança de IA |
|---|---|
| Definir políticas para seleção e integração de modelos | ▪ Estabeleça políticas para a seleção de modelos de IA. As políticas devem descrever critérios para a escolha de modelos que atendam aos valores, capacidades e restrições de custo organizacionais. Analise os modelos potenciais para alinhamento com a tolerância ao risco e os requisitos das tarefas pretendidas. ▪ Integrar novos modelos com políticas estruturadas. Um processo formal de integração de modelos mantém a consistência na justificação, validação e aprovação do modelo. Use ambientes de área restrita para experimentos iniciais e, em seguida, valide e revise modelos no catálogo de produção para evitar duplicação. |
| Definir políticas para o uso de ferramentas e dados de terceiros | ▪ Defina controles para ferramentas de terceiros. Um processo de verificação de ferramentas de terceiros protege contra riscos de segurança, conformidade e alinhamento. As políticas devem incluir diretrizes para privacidade, segurança e padrões éticos de dados ao usar conjuntos de dados externos. ▪ Defina padrões de sensibilidade de dados. Manter os dados confidenciais e públicos separados é essencial para mitigar os riscos da IA. Crie políticas em torno do tratamento e separação de dados. ▪ Definir padrões de qualidade de dados. Um "conjunto de dados dourado" fornece uma referência confiável para testes e avaliação de modelos de IA. Estabeleça políticas claras de consistência e qualidade dos dados para garantir alto desempenho e resultados confiáveis. |
| Definir políticas para manutenção e monitoramento de modelos | ▪ Especifique a frequência de retreinamento por caso de uso. O retreinamento frequente suporta precisão para cargas de trabalho de IA de alto risco. Definir diretrizes que considerem o caso de uso e o nível de risco de cada modelo, especialmente para setores como saúde e finanças. ▪ Monitore a degradação do desempenho. O monitoramento do desempenho do modelo ao longo do tempo ajuda a detetar problemas antes que eles afetem os resultados. Documente benchmarks e, se o desempenho de um modelo diminuir, inicie um processo de reciclagem ou revisão. |
| Definir políticas de conformidade regulatória | ▪ Cumprir os requisitos legais regionais. Compreender as leis regionais garante que as operações de IA permaneçam em conformidade em todos os locais. Pesquise as regulamentações aplicáveis para cada área de implantação, como leis de privacidade de dados, padrões éticos e regulamentações do setor. ▪ Desenvolver políticas específicas para cada região. A adaptação das políticas de IA às considerações regionais apoia a conformidade com as normas locais. As políticas podem incluir suporte a idiomas, protocolos de armazenamento de dados e adaptações culturais. ▪ Adapte a IA para a variabilidade regional. A flexibilidade nas cargas de trabalho de IA permite ajustes de funcionalidade específicos do local. Para operações globais, documente adaptações específicas da região, como dados de treinamento localizados e restrições de recursos. |
| Definir políticas de conduta do usuário | ▪ Definir estratégias de mitigação de riscos para uso indevido. As políticas de prevenção de uso indevido ajudam a proteger contra danos intencionais ou não intencionais. Descreva possíveis cenários de uso indevido e incorpore controles, como funcionalidades restritas ou recursos de deteção de uso indevido. ▪ Defina diretrizes de conduta do usuário. Os acordos de usuário esclarecem comportamentos aceitáveis ao interagir com a carga de trabalho de IA, reduzindo o risco de uso indevido. Elabore termos de uso claros para comunicar padrões e apoiar a interação responsável da IA. |
| Definir políticas para integração e substituição de IA | ▪ Descreva as políticas de integração. As diretrizes de integração garantem que as cargas de trabalho de IA mantenham a integridade e a segurança dos dados durante a interface da carga de trabalho. Especifique requisitos técnicos, protocolos de compartilhamento de dados e medidas de segurança. ▪ Plano de transição e substituição. As políticas de transição fornecem estrutura ao substituir processos antigos por cargas de trabalho de IA. Descreva as etapas para eliminar gradualmente os processos legados, treinar a equipe e monitorar o desempenho durante toda a mudança. |
Aplicar políticas de governança de IA
A aplicação de políticas de governança de IA garante práticas de IA consistentes e éticas dentro de uma organização. Ferramentas automatizadas e intervenções manuais dão suporte à adesão à política em todas as implantações. A aplicação adequada ajuda a manter a conformidade e minimiza o erro humano.
Automatize a aplicação de políticas sempre que possível Use plataformas como o Azure Policy e o Microsoft Purview para aplicar políticas automaticamente em implantações de IA, reduzindo o erro humano. Avalie regularmente as áreas em que a automação pode melhorar a adesão às políticas.
Aplique manualmente as políticas de IA. Forneça treinamento de risco e conformidade de IA para os funcionários para garantir que eles entendam seu papel na governança de IA. Workshops regulares mantêm a equipe atualizada sobre as políticas de IA e auditorias periódicas ajudam a monitorar a adesão e identificar áreas para melhorias.
Use orientações de governança específicas da carga de trabalho. Estão disponíveis orientações de segurança detalhadas para cargas de trabalho de IA nos serviços da plataforma Azure (PaaS) e na infraestrutura do Azure (IaaS). Use esta orientação para controlar modelos, recursos e dados de IA dentro desses tipos de carga de trabalho.
Monitore os riscos organizacionais da IA
O monitoramento de riscos de IA permite que as organizações identifiquem riscos emergentes e os enfrentem prontamente. Avaliações regulares garantem que as cargas de trabalho de IA funcionem como pretendido. O monitoramento consistente ajuda as organizações a se adaptarem às condições em evolução e evitar impactos negativos dos sistemas de IA.
Estabelecer procedimentos para a avaliação contínua dos riscos. Estabeleça revisões regulares para identificar novos riscos, envolvendo as partes interessadas para avaliar os impactos mais amplos da IA. Desenvolver um plano de resposta às questões que surjam, de modo a permitir a reavaliação dos riscos e os ajustamentos necessários.
Desenvolver um plano de medição. Um plano de medição claro garante uma recolha e análise de dados consistentes. Defina métodos de coleta de dados, como registro automatizado para métricas operacionais e pesquisas para feedback qualitativo. Estabeleça a frequência e o escopo das medições, com foco em áreas de alto risco, e crie ciclos de feedback para refinar as avaliações de risco com base nas contribuições das partes interessadas.
Quantificar e qualificar os riscos de IA. Escolha métricas quantitativas (taxas de erro, precisão) e indicadores qualitativos (feedback do usuário, preocupações éticas) que estejam alinhados com o propósito da carga de trabalho. Compare o desempenho com os padrões do setor para acompanhar os impactos, a confiabilidade e o desempenho da IA.
Documentar e relatar resultados de medição. A documentação e os relatórios periódicos reforçam a transparência e a responsabilização. Crie relatórios padronizados que resumem métricas, descobertas e quaisquer anomalias para orientar a tomada de decisões. Compartilhe esses insights com as partes interessadas, usando-os para refinar as estratégias de mitigação de riscos e melhorar implantações futuras.
Estabelecer processos de revisão independentes. Revisões independentes regulares fornecem avaliações objetivas dos riscos e da conformidade da IA, usando revisores externos ou internos não envolvidos. Use as descobertas para fortalecer as avaliações de risco e refinar as políticas de governança.
Próximo passo
Exemplo de mitigação de riscos de IA
A tabela a seguir lista alguns riscos comuns de IA e fornece uma estratégia de mitigação e uma política de exemplo para cada um. A tabela não lista um conjunto completo de riscos.
| ID do risco | Risco de IA | Mitigação | Política |
|---|---|---|---|
| R001 | Não conformidade com as leis de proteção de dados | Use o Microsoft Purview Compliance Manager para avaliar a conformidade de dados. | O Ciclo de Vida do Desenvolvimento de Segurança deve ser implementado para garantir que todo o desenvolvimento e implantação de IA esteja em conformidade com as leis de proteção de dados. |
| R005 | Falta de transparência na tomada de decisões de IA | Aplicar uma estrutura e linguagem padronizadas para melhorar a transparência nos processos de IA e na tomada de decisões. | O NIST AI Risk Management Framework deve ser adotado e todos os modelos de IA devem ser exaustivamente documentados para manter a transparência de todos os modelos de IA. |
| R006 | Previsões imprecisas | Use o Gerenciamento de API do Azure para rastrear métricas de modelo de IA para garantir precisão e confiabilidade. | O monitoramento contínuo do desempenho e o feedback humano devem ser usados para garantir que as previsões dos modelos de IA sejam precisas. |
| R007 | Ataque contraditório | Use o PyRIT para testar cargas de trabalho de IA em busca de vulnerabilidades e fortalecer as defesas. | O Ciclo de Vida de Desenvolvimento de Segurança e os testes de equipe vermelha de IA devem ser usados para proteger cargas de trabalho de IA contra ataques adversários. |
| R008 | Ameaças internas | Use o Microsoft Entra ID para impor controles de acesso rígidos baseados em funções e associações de grupo para limitar o acesso de insider a dados confidenciais. | O gerenciamento rigoroso de identidade e acesso e o monitoramento contínuo devem ser usados para mitigar ameaças internas. |
| R009 | Custos inesperados | Use o Microsoft Cost Management para rastrear o uso de CPU, GPU, memória e armazenamento para garantir a utilização eficiente de recursos e evitar picos de custo. | O monitoramento e a otimização do uso de recursos e a deteção automatizada de derrapagens de custos devem ser usados para gerenciar custos inesperados. |
| R010 | Subutilização de recursos de IA | Monitore métricas de serviço de IA, como taxas de solicitação e tempos de resposta, para otimizar o uso. | Métricas de desempenho e escalabilidade automatizada devem ser usadas para otimizar a utilização de recursos de IA. |