IA segura – Recomendações para organizações que protegem cargas de trabalho de IA no Azure
Este artigo descreve o processo organizacional para proteger cargas de trabalho de IA. Ele se concentra na confidencialidade, integridade e disponibilidade (CIA) da IA. Práticas de segurança eficazes reduzem o risco de comprometimento, salvaguardando a confidencialidade, integridade e disponibilidade de modelos e dados de IA. Um ambiente de IA seguro também se alinha com os objetivos de segurança dos negócios e aumenta a confiança nos processos orientados por IA.
Avalie os riscos de segurança da IA
A avaliação dos riscos de segurança da IA envolve a identificação e a avaliação de potenciais vulnerabilidades que podem afetar as cargas de trabalho da IA. Abordar proativamente esses riscos ajuda a evitar violações, manipulação e uso indevido, o que fortalece a confiabilidade das aplicações de IA. Essa abordagem também apoia os objetivos organizacionais, protegendo dados confidenciais e mantendo a confiança das partes interessadas.
Identifique riscos comuns de segurança de IA. Use recursos reconhecidos como MITRE ATLAS, risco de Machine Learning OWASP e risco de IA generativa OWASP para avaliar regularmente os riscos em todas as cargas de trabalho de IA. Para o gerenciamento contínuo da postura de segurança, considere o uso de ferramentas de segurança de IA, como o gerenciamento de postura de segurança de IA no Microsoft Defender for Cloud. Essas ferramentas podem automatizar a deteção e a remediação de riscos generativos de IA.
Identificar riscos de dados. A perda ou exposição de dados confidenciais pode ter impactos significativos nas partes interessadas e nas obrigações de conformidade da sua organização. Use ferramentas de toda a empresa, como o Microsoft Purview Insider Risk Management , para avaliar o risco interno e manter a segurança dos dados em toda a empresa. Em todas as cargas de trabalho de IA, classifique e priorize os riscos com base na sensibilidade dos dados que eles processam, armazenam ou transmitem.
Conduza modelagem de ameaças de IA. Execute a modelagem de ameaças de IA em toda a empresa usando estruturas como STRIDE para avaliar potenciais vetores de ataque para todas as cargas de trabalho de IA. Atualize os modelos de ameaças regularmente para se adaptar a novos casos de uso e ameaças de IA. O centro de excelência de IA deve considerar a centralização da modelagem de ameaças de IA para garantir uma abordagem uniforme em toda a organização e mitigar os riscos associados a vários modelos, fontes de dados e processos de IA.
Teste modelos de IA. Realize testes de equipe vermelha contra modelos de IA generativa e modelos não generativos para avaliar sua vulnerabilidade a ataques. Ferramentas como o PyRIT podem automatizar esse processo para IA generativa, para que você possa desafiar as saídas do modelo sob várias condições. Esta etapa é altamente técnica e requer experiência dedicada para ser executada de forma eficaz.
Implementar controles de segurança de IA
Implementar controles de segurança de IA significa estabelecer políticas, procedimentos e ferramentas que protejam recursos e dados de IA. Esses controles ajudam a garantir a conformidade com os requisitos regulatórios e protegem contra acesso não autorizado, oferecendo suporte à operação contínua e à privacidade dos dados. Quando você aplica controles consistentes em cargas de trabalho de IA, pode gerenciar a segurança de forma mais eficaz.
Recursos seguros de IA
Proteger os recursos de IA inclui gerenciar e proteger os sistemas, modelos e infraestrutura que suportam aplicativos de IA. Esta etapa reduz a probabilidade de acesso não autorizado e ajuda a padronizar as práticas de segurança em toda a organização. Um inventário de recursos abrangente permite a aplicação consistente de políticas de segurança e fortalece o controle geral dos ativos de IA.
Estabeleça um inventário centralizado de ativos de IA. Manter um inventário detalhado e atualizado de seus recursos de carga de trabalho de IA garante que você possa aplicar políticas de segurança uniformemente a todas as cargas de trabalho de IA. Compile um inventário em toda a empresa de todos os sistemas, modelos, conjuntos de dados e infraestrutura de IA no Azure. Utilize ferramentas como o Azure Resource Graph Explorer e o Microsoft Defender for Cloud para automatizar o processo de descoberta. O Microsoft Defender for Cloud pode descobrir cargas de trabalho de IA generativas e artefatos de IA generativa pré-implantação.
Proteja as plataformas de IA do Azure. Padronize a aplicação das linhas de base de segurança do Azure para cada recurso de IA. Siga as recomendações de segurança nos Guias de Serviço do Azure.
Use orientações de governança específicas da carga de trabalho. Estão disponíveis orientações de segurança detalhadas para cargas de trabalho de IA nos serviços da plataforma Azure (PaaS) e na infraestrutura do Azure (IaaS). Use esta orientação para proteger modelos, recursos e dados de IA dentro desses tipos de carga de trabalho.
Proteja os dados de IA
Proteger os dados de IA envolve proteger os dados que os modelos de IA usam e geram. Práticas eficazes de segurança de dados ajudam a evitar acesso não autorizado, vazamentos de dados e violações de conformidade. O controle do acesso aos dados e a manutenção de um catálogo detalhado também apoiam a tomada de decisões informadas e reduzem o risco de exposição de informações confidenciais.
Defina e mantenha limites de dados. Garantir que as cargas de trabalho de IA usem dados apropriados para seu nível de acesso. As aplicações de IA acessíveis a todos os funcionários só devem processar dados adequados para todos os funcionários. As aplicações de IA voltadas para a Internet devem usar dados apropriados para consumo público. Use conjuntos de dados ou ambientes separados para diferentes aplicativos de IA para evitar o acesso inadvertido a dados. Considere usar o conjunto de ferramentas de segurança de dados do Microsoft Purview para proteger seus dados.
Implemente controles rígidos de acesso a dados. Certifique-se de que os aplicativos verifiquem se os usuários finais estão autorizados a acessar os dados envolvidos em suas consultas. Evite permissões amplas do sistema para ações do usuário. Operar sob o princípio de que, se a IA pode acessar certas informações, o usuário deve ser autorizado a acessá-las diretamente.
Manter um catálogo de dados. Mantenha um catálogo atualizado de todos os dados conectados e consumidos por sistemas de IA, incluindo locais de armazenamento e detalhes de acesso. Analise e rotule regularmente os dados para rastrear os níveis de sensibilidade e adequação, auxiliando na análise e identificação de riscos. Considere usar o Catálogo de Dados do Microsoft Purview para mapear e controlar seus dados.
Crie um plano de gerenciamento de alterações de sensibilidade de dados. Acompanhe os níveis de sensibilidade de dados, pois eles podem mudar ao longo do tempo. Use seu catálogo de dados para monitorar informações usadas em cargas de trabalho de IA. Implemente um processo para localizar e remover dados confidenciais de cargas de trabalho de IA.
Proteja artefatos de IA. Reconhecer modelos e conjuntos de dados de IA como propriedade intelectual valiosa e implementar medidas para protegê-los de acordo. Armazene modelos e conjuntos de dados de IA atrás de pontos de extremidade privados e em ambientes seguros, como o Armazenamento de Blobs do Azure e espaços de trabalho dedicados. Aplique políticas de acesso rigorosas e criptografia para proteger artefatos de IA contra acesso não autorizado ou roubo para evitar envenenamento de dados.
Proteja dados confidenciais. Quando a fonte de dados original não for adequada para uso direto, use duplicatas, cópias locais ou subconjuntos que contenham apenas as informações necessárias. Processe dados confidenciais em ambientes controlados que apresentam isolamento de rede e controles de acesso rigorosos para evitar acesso não autorizado ou vazamentos de dados. Além disso, implemente salvaguardas abrangentes, como criptografia, monitoramento contínuo e sistemas de deteção de intrusão para proteger contra violações de dados durante o processamento.
Manter os controles de segurança de IA
A manutenção de controles de segurança de IA inclui monitoramento, testes e atualização contínuos de medidas de segurança para lidar com ameaças em evolução. A revisão regular dos controles de segurança garante que as cargas de trabalho de IA permaneçam protegidas e que a organização possa se adaptar a novos riscos. A manutenção proativa ajuda a evitar violações e mantém a confiança nos sistemas de IA ao longo do tempo.
Implementar testes para vazamento de dados e coerção em sistemas de IA. Realize testes rigorosos para determinar se dados confidenciais podem ser vazados ou coagidos por meio de sistemas de IA. Execute testes de prevenção de perda de dados (DLP) e simule cenários de ataque específicos de IA. Simule inversão de modelo ou ataques adversários para avaliar a resiliência das medidas de proteção de dados. Garantir que os modelos de IA e os processos de tratamento de dados estejam seguros contra acesso e manipulação não autorizados é fundamental para manter a integridade dos dados e a confiança nas aplicações de IA.
Forneça treinamento e conscientização de funcionários focados em IA. Fornecer programas de treinamento para todos os funcionários envolvidos em projetos de IA. Enfatize a importância da segurança de dados e das melhores práticas específicas para o desenvolvimento e a implantação de IA. Eduque a equipe sobre como lidar com dados confidenciais usados em treinamento e reconheça ameaças como inversão de modelo ou ataques de envenenamento de dados. O treinamento regular garante que os membros da equipe conheçam os protocolos de segurança de IA mais recentes e entendam seu papel na manutenção da integridade das cargas de trabalho de IA.
Desenvolver e manter um plano de resposta a incidentes de segurança de IA. Crie uma estratégia de resposta a incidentes adaptada aos sistemas de IA para lidar com possíveis violações de dados ou incidentes de segurança. O plano deve descrever procedimentos claros para detetar, relatar e mitigar incidentes de segurança que possam afetar modelos, dados ou infraestrutura de IA. Realize exercícios e simulações regulares focados em cenários específicos de IA para garantir que a equipe de resposta esteja preparada para lidar com incidentes de segurança de IA do mundo real de forma eficiente.
Realizar avaliações de risco periódicas. Avaliar regularmente ameaças e vulnerabilidades emergentes específicas da IA através de avaliações de risco e análises de impacto. Essas avaliações ajudam a identificar novos riscos associados a modelos de IA, processos de tratamento de dados e ambientes de implantação. As avaliações também avaliam os potenciais efeitos das violações de segurança nos sistemas de IA.
Próximos passos
Governar IA, Gerenciar IA e Proteger a IA são processos contínuos pelos quais você deve iterar regularmente. Revisite cada Estratégia de IA, Plano de IA e AI Ready conforme necessário. Use as listas de verificação de adoção de IA para determinar qual deve ser o seu próximo passo.