Governe a IA – Processo para governar a IA
Este artigo descreve o processo organizacional para controlar a IA. Ele segue a Estrutura de Gerenciamento de Riscos de Inteligência Artificial (AI RMF) do NIST e o Manual AI RMF do NIST. Ele também se alinha com a estrutura do CAF Govern.
Estas diretrizes têm como objetivo ajudar você a integrar o gerenciamento de riscos de IA em estratégias mais amplas. Essa integração fornece uma manipulação mais coesa de IA, segurança cibernética e riscos de privacidade para uma abordagem de governança unificada.
Avaliar os riscos organizacionais da IA
A avaliação de risco de IA identifica e aborda os possíveis riscos que as tecnologias de IA apresentam. Esse processo cria confiança nos sistemas de IA e reduz consequências indesejadas. A resolução de riscos organizacionais garante que as implantações de IA estejam alinhadas com os valores, a tolerância ao risco e as metas operacionais da organização.
Entenda aa cargas de trabalho de IA. Para atenuar os riscos de IA, é necessário entender suas cargas de trabalho de IA. Com escopo e finalidade claros de cada carga de trabalho de IA, você consegue mapear os riscos associados. Esse esclarecimento deve incluir suposições e limitações relacionadas à carga de trabalho da IA.
Use os princípios da IA responsável para identificar riscos. Esses princípios formam uma estrutura para avaliar os riscos da IA. Use a tabela a seguir para identificar e atenuar riscos por meio de uma avaliação estruturada dos princípios de IA.
Princípio de uso responsável da IA Definição Pergunta de avaliação de risco Privacidade e segurança da IA As cargas de trabalho de IA devem ser seguras e respeitar a privacidade. Como as cargas de trabalho de IA podem lidar com dados confidenciais ou se tornar vulneráveis às violações de segurança? Confiabilidade e segurança As cargas de trabalho de IA devem ter um desempenho seguro e confiável. Em que situações as cargas de trabalho de IA podem deixar de operar com segurança ou produzir resultados não confiáveis? Imparcialidade As cargas de trabalho de IA devem tratar as pessoas de forma equitativa. Como as cargas de trabalho de IA podem causar um tratamento desigual ou um viés não intencional na tomada de decisões? Inclusão As cargas de trabalho de IA devem ser inclusivas e capacitadoras. Como é possível excluir ou desfavorecer certos grupos no design ou na implantação de cargas de trabalho de IA? Transparência As cargas de trabalho de IA devem ser compreensíveis. Quais aspectos da tomada de decisão com IA podem ser difíceis para os usuários entenderem ou explicarem? Responsabilidade As pessoas devem ser responsáveis pelas cargas de trabalho de IA. No desenvolvimento e uso da IA, onde a responsabilidade pode ser obscura ou difícil de estabelecer? Identifique os riscos da IA. Para começar, avalie os riscos de segurança das cargas de trabalho de IA, incluindo possíveis violações de dados, acesso não autorizado ou uso indevido. Consulte as partes interessadas para descobrir riscos menos visíveis e avalie os impactos qualitativos e quantitativos. Inclua riscos à reputação para determinar a tolerância ao risco da organização.
Identifique os riscos de dependências externas. Avalie os riscos relacionados a fontes de dados, software e integrações de terceiros. Explore questões como vulnerabilidades de segurança, viés e riscos de propriedade intelectual estabelecendo políticas que garantam o alinhamento com os padrões de privacidade e a conformidade organizacional.
Avalie os riscos de integração. Avalie a integração de cargas de trabalho de IA com cargas de trabalho e processos existentes. Documente possíveis riscos, como dependência de outras cargas de trabalho, maior complexidade ou incompatibilidades que podem afetar a funcionalidade.
Documentar políticas de governança de IA
As políticas de governança de IA formam uma estrutura bem projetada para o uso responsável da IA. Essas políticas alinham as atividades de IA com padrões éticos, requisitos regulatórios e objetivos de negócios. Documentar as políticas é uma forma de produzir diretrizes claras para o gerenciamento de modelos, dados e operações de IA.
| Área de política de governança de IA | Recomendações de políticas de governança de IA |
|---|---|
| Definir políticas para selecionar e integrar modelos | ▪ Estabeleça políticas para selecionar modelos de IA. As políticas devem descrever os critérios para a escolha de modelos que atendam aos valores, capacidades e restrições de custo da organização. Revise os modelos potenciais para fins de alinhamento com a tolerância ao risco e os requisitos de tarefas desejados. ▪ Integre novos modelos com políticas estruturadas. Um processo formal de integração de modelos mantém a consistência ao justificar, validar e aprovar um modelo. Use ambientes de área restrita para experimentos iniciais, depois valide e revise modelos no catálogo de produção para evitar a duplicação. |
| Definir políticas para usar ferramentas e dados de terceiros | ▪ Defina controles para ferramentas de terceiros. Um processo de verificação para ferramentas de terceiros é uma forma de proteção contra riscos a segurança, conformidade e alinhamento. As políticas devem incluir diretrizes sobre privacidade de dados, segurança e padrões éticos ao usar conjuntos de dados externos. ▪ Defina padrões de confidencialidade de dados. Manter dados confidenciais e públicos separados é essencial para atenuar os riscos de IA. Crie políticas sobre tratamento e separação de dados. ▪ Defina padrões de qualidade dos dados. Um "conjunto de dados de qualidade" traz uma referência confiável para teste e avaliação de modelos de IA. Estabeleça políticas claras de consistência e qualidade dos dados para garantir alto desempenho e resultados confiáveis. |
| Definir políticas para manter e monitorar modelos | ▪ Especifique a frequência de retreinamento por caso de uso. A frequência de retreinamento ajuda na precisão das cargas de trabalho de IA de alto risco. Defina diretrizes que levem em conta o caso de uso e o nível de risco de cada modelo, especialmente para setores como saúde e finanças. ▪ Monitore a degradação do desempenho. O monitoramento do desempenho do modelo ao longo do tempo ajuda a detectar problemas antes que eles afetem os resultados. Documente os parâmetros de comparação e, se o desempenho de um modelo cair, inicie um processo de retreinamento ou revisão. |
| Definir políticas de conformidade regulatória | ▪ Cumpra os requisitos legais regionais. Entender as leis regionais ajuda a manter as operações de IA em conformidade em todos os locais. Pesquise os regulamentos aplicáveis em cada área de implantação, como leis de privacidade de dados, padrões éticos e regulamentos do setor. ▪ Desenvolver políticas específicas para cada região. A adaptação das políticas de IA segundo as considerações regionais ajuda na conformidade com os padrões locais. As políticas podem incluir suporte a idiomas, protocolos de armazenamento de dados e adaptações culturais. ▪ Adapte a IA para a variabilidade regional. A flexibilidade nas cargas de trabalho de IA possibilita ajustes de funcionalidade específicos do local. Para operações globais, documente adaptações específicas da região, como dados de treinamento traduzidos e restrições de recursos. |
| Definir políticas de conduta do usuário | ▪ Defina estratégias de atenuação de risco em caso de uso indevido. As políticas de prevenção de uso indevido ajudam a proteger contra danos intencionais ou não intencionais. Descreva possíveis cenários de uso indevido e incorpore controles, como funcionalidades restritas ou recursos de detecção de uso indevido. ▪ Defina diretrizes de conduta do usuário. Os contratos do usuário esclarecem comportamentos aceitáveis na interação com a carga de trabalho de IA, reduzindo o risco de uso indevido. Elabore termos de uso claros para comunicar padrões e apoiar a interação de uma IA responsável. |
| Definir políticas para integração e substituição de IA | ▪ Descreva as políticas de integração. As diretrizes de integração garantem que as cargas de trabalho de IA mantenham a integridade e a segurança dos dados durante a interface com a carga de trabalho. Especifique requisitos técnicos, protocolos de compartilhamento de dados e medidas de segurança. ▪ Planeje a transição e a substituição. As políticas de transição fornecem estrutura ao substituir processos antigos por cargas de trabalho de IA. Descreva as etapas para eliminar gradualmente os processos legados, treinar a equipe e monitorar o desempenho durante a mudança. |
Aplicar políticas de governança de IA
A aplicação de políticas de governança de IA gera práticas de IA consistentes e éticas dentro de uma organização. Ferramentas automatizadas e intervenções manuais ajudam na adesão à política em todas as implantações. A aplicação adequada ajuda a manter a conformidade e minimiza erros humanos.
Automatize a aplicação de políticas sempre que possível Use plataformas, como Azure Policy e Microsoft Purview, para aplicar políticas automaticamente em implantações de IA, reduzindo erros humanos. Avalie regularmente as áreas em que a automação pode aumentar a adesão à política.
Aplique manualmente as políticas de IA. Disponibilize treinamento de risco e conformidade de uso da IA para os funcionários, assim, eles podem entender seu papel na governança de IA. Workshops regulares são uma forma de atualizar a equipe sobre as políticas de IA, e auditorias periódicas ajudam a monitorar a adesão e identificar áreas de melhoria.
Use diretrizes de governança específicas da carga de trabalho. Diretrizes de segurança detalhadas estão disponíveis para cargas de trabalho de IA nos serviços de plataforma do Azure (PaaS) e na infraestrutura do Azure (IaaS). Use essas diretrizes para controlar modelos, recursos e dados de IA nesses tipos de carga de trabalho.
Monitorar os riscos organizacionais da IA
Com o monitoramento dos riscos de IA, as organizações identificam riscos emergentes e os resolvem prontamente. Avaliações regulares garantem que as cargas de trabalho de IA funcionem conforme o esperado. O monitoramento consistente ajuda as organizações a se adaptarem às condições dinâmicas e a evitar impactos negativos dos sistemas de IA.
Estabeleça procedimentos para avaliação contínua de riscos. Estabeleça avaliações regulares para identificar novos riscos, envolvendo as partes interessadas para revisar os impactos mais amplos da IA. Desenvolva um plano de resposta para possíveis problemas que surjam para poder reavaliar o risco e fazer os ajustes necessários.
Desenvolva um plano de mensuração. Um plano de mensuração claro garante coleta e análise de dados consistentes. Defina métodos de coleta de dados, como registro automatizado para métricas operacionais e pesquisas para feedback qualitativo. Estabeleça a frequência e o escopo das medições, com foco em áreas de alto risco, e crie ciclos de feedback para refinar as avaliações de risco com base nas informações das partes interessadas.
Quantifique e qualifique os riscos de IA. Escolha métricas quantitativas (taxas de erro, precisão) e indicadores qualitativos (feedback do usuário, questões éticas) que se alinhem com o propósito da carga de trabalho. Compare o desempenho com os padrões do setor para monitorar os impactos, a confiabilidade e o desempenho da IA.
Documente e relate os resultados da mensuração. Documentar e gerar relatórios regularmente aumentam a transparência e a responsabilidade. Crie relatórios padronizados que resumem métricas, descobertas e eventuais anomalias para orientar a tomada de decisões. Compartilhe esses insights com as partes interessadas, usando-os para refinar estratégias de atenuação de riscos e melhorar implantações futuras.
Estabeleça processos de avaliação independentes. Avaliações independentes regulares fornecem avaliações objetivas dos riscos e conformidade da IA, que usam revisores internos externos ou não envolvidos. Use as descobertas para fortalecer as avaliações de risco e refinar as políticas de governança.
Próxima etapa
Exemplo de atenuação de risco de uso da IA
A tabela a seguir lista alguns riscos comuns de uso da IA e elabora uma estratégia de atenuação e uma política de exemplo para cada um. A tabela não lista um conjunto completo de riscos.
| ID do risco | Risco de uso da IA | Mitigação | Policy |
|---|---|---|---|
| R001 | Falta de conformidade com as leis de proteção de dados | Usar o Gerenciador de Conformidade do Microsoft Purview para avaliar a conformidade de dados. | O Ciclo de Vida de Desenvolvimento de Segurança deve ser implementado para garantir que todo o desenvolvimento e implantação de IA esteja em conformidade com as leis de proteção de dados. |
| R005 | Falta de transparência na tomada de decisões sobre IA | Aplicar estrutura e linguagem padronizadas para melhorar a transparência nos processos de IA e na tomada de decisões. | A Estrutura de Gerenciamento de Riscos de IA do NIST deve ser adotada. Além disso, todos os modelos de IA devem ser completamente documentados para manter a transparência de todos os modelos de IA. |
| R006 | Previsões imprecisas | Usar o Gerenciamento de API do Azure para acompanhar as métricas do modelo de IA e garantir precisão e confiabilidade. | O monitoramento contínuo do desempenho e o feedback humano devem ser usados para que as previsões do modelo de IA sejam precisas. |
| R007 | Ataque adversário | Usar o PyRIT para testar cargas de trabalho de IA, procurar vulnerabilidades e fortalecer as defesas. | O Ciclo de Vida de Desenvolvimento de Segurança e os testes da equipe vermelha de IA devem ser usados para proteger cargas de trabalho de IA contra ataques adversários. |
| R008 | Ameaças internas | Usar o Microsoft Entra ID para aplicar controles de acesso rígidos baseados em funções e associações de grupo para limitar o acesso interno a dados confidenciais. | O gerenciamento rigoroso de identidade e acesso e o monitoramento contínuo devem ser usados para reduzir ameaças internas. |
| R009 | Custos inesperados | Usar o Gerenciamento de Custos da Microsoft para rastrear o uso de CPU, GPU, memória e armazenamento para garantir a utilização eficiente dos recursos e evitar picos de custos. | O monitoramento e a otimização do uso de recursos e a detecção automatizada de custos excedentes devem ser usados para gerenciar custos inesperados. |
| R010 | Subutilização de recursos de IA | Monitorar as métricas de serviço de IA, como taxas de solicitação e tempos de resposta, para otimizar o uso. | As métricas de desempenho e a escalabilidade automatizada devem ser usadas para otimizar a utilização de recursos de IA. |