IA segura – Processo para proteger a IA
Este artigo descreve o processo para proteger cargas de trabalho de IA na organização. Ele se concentra na confidencialidade, integridade e disponibilidade (CIA) da IA. Práticas de segurança eficazes reduzem o risco de comprometimento, pois protegem a confidencialidade, a integridade e a disponibilidade de modelos e dados de IA. Um ambiente de IA seguro também se alinha às metas de segurança dos negócios e aumenta a confiança nos processos orientados por IA.
Avaliar os riscos de segurança da IA
A avaliação dos riscos de segurança da IA envolve identificar e avaliar possíveis vulnerabilidades que podem afetar as cargas de trabalho de IA. Tratar proativamente esses riscos ajuda a evitar violações, manipulação e uso indevido, o que fortalece a confiabilidade dos aplicativos de IA. Essa abordagem também sustenta as metas da organização, pois protege dados confidenciais e mantém a confiança das partes interessadas.
Identifique riscos comuns de segurança de IA. Use recursos reconhecidos, como o MITRE ATLAS e o risco de IA generativa OWASP , para avaliar regularmente os riscos em todas as cargas de trabalho de IA.
Gerencie sua postura de segurança de IA. Para o gerenciamento contínuo da postura de segurança, use ferramentas de segurança de IA, como gerenciamento de postura de segurança de IA no Microsoft Defender para Nuvem. Essas ferramentas podem automatizar a detecção e a correção de riscos da IA generativa.
Identifique os riscos de dados. Use ferramentas abrangentes da empresa, como o Microsoft Purview Insider Risk Management, para avaliar o risco interno e manter a segurança dos dados em toda a empresa. Em todas as cargas de trabalho de IA, classifique e priorize os riscos com base na confidencialidade dos dados que elas processam, armazenam ou transmitem.
Modelos de IA da equipe vermelha. Realize testes de equipe vermelha em modelos de IA generativa e modelos não generativos para avaliar a vulnerabilidade deles a ataques. Siga estas recomendações para a IA de uso de equipes vermelhas:
Avaliar os recursos do sistema e o contexto do aplicativo. Identifique o que o sistema de IA pode fazer e onde ele é aplicado para atingir vulnerabilidades do mundo real com eficiência. Parta dos impactos potenciais para criar estratégias de ataque eficazes.
Use técnicas de ataque simples primeiro. Explore a engenharia básica de prompt e as fraquezas do sistema antes de tentar ataques adversários complexos. Muitas violações do mundo real dependem de técnicas de baixo recurso.
Distinguir o uso de equipes vermelhas do benchmarking. O uso de equipes vermelhas de IA revela riscos desconhecidos. O benchmarking avalia vulnerabilidades conhecidas. Concentre-se em testar a IA em cenários do mundo real, em vez de depender apenas de métricas de avaliação predefinidas.
Automatize para expandir a cobertura de risco. Use ferramentas como PyRIT para testar sistemas de IA em escala, mas manter a supervisão humana.
Priorize o julgamento humano no uso de equipes vermelhas de IA. A automação ajuda no teste, mas os humanos fornecem o contexto necessário para avaliar riscos matizados, como viés, respostas emocionais e implicações culturais.
Desenvolva métodos confiáveis para medir falhas de IA responsáveis. Falhas de IA responsáveis ocorrem quando os sistemas de IA violam os princípios da IA responsável. Ao contrário das vulnerabilidades de segurança, essas falhas são mais difíceis de definir e medir devido às suas implicações subjetivas, sociais e éticas. Use diretrizes estruturadas e avaliações baseadas em cenários para avaliar e mitigar saídas prejudiciais.
Proteja ameaças tradicionais e específicas de IA. Resolva vulnerabilidades de segurança convencionais juntamente com riscos de IA, como injeções de prompt e exfiltração de dados. Fortaleça as defesas específicas do sistema e do modelo.
Para obter mais informações, consulte Lições do uso de equipes vermelhas de 100 produtos de IA generativa.
Implementar controles de segurança de IA
Implementar controles de segurança de IA significa estabelecer políticas, procedimentos e ferramentas que protejam os recursos e dados de IA. Esses controles ajudam a garantir a conformidade com os requisitos regulamentares e oferecem proteção contra acesso não autorizado em prol de uma operação contínua e privacidade dos dados. Ao aplicar controles consistentes em cargas de trabalho de IA, você pode gerenciar a segurança com mais eficiência.
Proteger recursos de IA
A proteção de recursos de IA inclui gerenciar e proteger sistemas, modelos e infraestrutura sustentam os aplicativos de IA. Essa etapa reduz a probabilidade de acesso não autorizado e ajuda a padronizar as práticas de segurança em toda a organização. Um inventário abrangente de recursos possibilita aplicar consistentemente políticas de segurança e fortalecer o controle geral dos ativos de IA.
Estabeleça um inventário centralizado de ativos de IA. Ao manter um inventário detalhado e atualizado de seus recursos de carga de trabalho de IA, você pode aplicar políticas de segurança uniformemente a todas as cargas de trabalho de IA. Compile um inventário da empresa de todos os sistemas, modelos, conjuntos de dados e infraestrutura de IA no Azure. Utilize ferramentas como o Azure Resource Graph Explorer e o Microsoft Defender para Nuvem para automatizar o processo de descoberta. O Microsoft Defender para Nuvem pode descobrir cargas de trabalho de IA generativa e artefatos de IA generativa pré-implantação.
Proteja as plataformas de IA do Azure. Padronize a aplicação de linhas de base de segurança do Azure em todos os recursos de IA. Siga as recomendações de segurança nos Guias de Serviço do Azure.
Use diretrizes de governança específicas da carga de trabalho. Diretrizes de segurança detalhadas estão disponíveis para cargas de trabalho de IA nos serviços de plataforma do Azure (PaaS) e na infraestrutura do Azure (IaaS). Use essas diretrizes para proteger modelos, recursos e dados de IA nesses tipos de carga de trabalho.
Proteger os dados de IA
Proteger os dados de IA envolve proteger os dados que os modelos de IA usam e geram. Práticas eficientes de segurança de dados ajudam a evitar acesso não autorizado, vazamentos de dados e violações de conformidade. Controlar o acesso aos dados e manter um catálogo detalhado também ajuda na tomada de decisões informadas e reduz o risco de expor informações confidenciais.
Defina e mantenha os limites de dados. Certifique-se de que as cargas de trabalho de IA usem dados apropriados para seu nível de acesso. Os aplicativos de IA acessíveis a todos os funcionários devem processar apenas dados adequados para eles. Os aplicativos de IA voltados para a Internet devem usar dados apropriados para consumo público. Use conjuntos de dados ou ambientes separados para diferentes aplicativos de IA para evitar o acesso inadvertido a dados. Use o pacote de ferramentas de segurança de dados do Microsoft Purview para proteger seus dados.
Implemente controles rígidos de acesso a dados. Os aplicativos devem verificar se os usuários finais estão autorizados a acessar os dados envolvidos em suas consultas. Evite permissões amplas do sistema para as ações do usuário. Tenha em mente o princípio de que, se a IA puder acessar determinadas informações, o usuário deverá ser autorizado a acessá-las diretamente.
Mantenha um catálogo de dados. Mantenha um catálogo atualizado de todos os dados conectados e consumidos por sistemas de IA, incluindo locais de armazenamento e detalhes de acesso. Digitalize e identifique regularmente os dados para acompanhar os níveis de confidencialidade e adequação, auxiliando na análise e na identificação de riscos. Use o Catálogo de Dados do Microsoft Purview para mapear e governar seus dados.
Crie um plano de gerenciamento de alterações de confidencialidade dos dados. Acompanhe os níveis de confidencialidade dos dados, pois eles podem mudar com o tempo. Use seu catálogo de dados para monitorar informações usadas em cargas de trabalho de IA. Implemente um processo para localizar e remover dados confidenciais de cargas de trabalho de IA.
Proteja artefatos de IA. Reconheça modelos e conjuntos de dados de IA como propriedade intelectual valiosa e implemente medidas para protegê-los adequadamente. Armazene modelos de IA e conjuntos de dados por trás de pontos de extremidade privados e em ambientes seguros, como o Armazenamento de Blobs do Azure e workspaces dedicados. Aplique políticas de acesso e criptografia rigorosas para proteger os artefatos de IA contra acesso não autorizado ou roubo e evitar envenenamento de dados.
Proteja dados confidenciais. Quando a fonte de dados original não for adequada para uso direto, use duplicatas, cópias locais ou subconjuntos que contenham apenas as informações necessárias. Processe dados confidenciais em ambientes controlados que apresentam isolamento de rede e controles de acesso rigorosos, para evitar acesso não autorizado ou vazamento de dados. Além disso, implemente proteções abrangentes, como criptografia, monitoramento contínuo e sistemas de detecção de invasão para proteger contra violações de dados durante o processamento.
Manter os controles de segurança de IA
Manter controles de segurança de IA inclui monitorar, testar e atualizar continuamente as medidas de segurança para lidar com ameaças emergentes. A revisão regular dos controles de segurança garante que as cargas de trabalho de IA permaneçam protegidas e que a organização se adapte a novos riscos. A manutenção proativa ajuda a evitar violações e gera confiança nos sistemas de IA ao longo do tempo.
Implemente testes de vazamento e coerção de dados em sistemas de IA. Realize testes rigorosos para determinar a probabilidade de vazamento ou coerção dos dados confidenciais nos sistemas de IA. Realize testes de prevenção contra perda de dados (DLP) e simule cenários de ataque específicos de IA. Simule inversão de modelo ou ataques adversários para avaliar a resiliência das medidas de proteção de dados. Garantir a segurança de modelos de IA e processos de manipulação de dados contra acesso e manipulação não autorizados é fundamental para manter a integridade dos dados e a confiança nos aplicativos de IA.
Forneça treinamento e conscientização de funcionários com foco em IA. Disponibilize programas de treinamento para todos os funcionários envolvidos em projetos de IA. Enfatize a importância da segurança dos dados e das práticas recomendadas específicas para o desenvolvimento e a implantação de IA. Informe a equipe sobre como lidar com dados confidenciais usados no treinamento e reconheça ameaças como inversão de modelo ou ataques de envenenamento de dados. O treinamento regular garante que os membros da equipe conheçam os protocolos de segurança de IA mais recentes e entendam seu papel na manutenção da integridade das cargas de trabalho de IA.
Desenvolva e mantenha um plano de resposta a incidentes de segurança de IA. Crie uma estratégia de resposta a incidentes adaptada aos sistemas de IA para gerenciar possíveis violações de dados ou incidentes de segurança. O plano deve delinear procedimentos claros para detectar, reportar e atenuar incidentes de segurança que possam afetar modelos, dados ou infraestrutura de IA. Realize exercícios e simulações regulares com foco em cenários específicos de IA para que a equipe de resposta esteja preparada para lidar com incidentes de segurança de IA reais com mais eficiência.
Realize avaliações de risco periódicas. Avalie regularmente as ameaças e vulnerabilidades emergentes específicas da IA por meio de avaliações de risco e análises de impacto. Essas avaliações ajudam a identificar novos riscos associados a modelos de IA, processos de manipulação de dados e ambientes de implantação. As avaliações também verificam os possíveis efeitos das violações de segurança nos sistemas de IA.
Próximas etapas
Governar IA, Gerenciar IA e Proteger IA são processos contínuos pelos quais você deve passar regularmente. Revise cada Estratégia de IA, Plano de IA e Pronto para IA conforme necessário. Use as listas de verificação de adoção da IA para determinar sua próxima etapa.