IA responsável em cargas de trabalho do Azure
O objetivo da IA responsável no design da carga de trabalho é garantir que o uso de algoritmos de IA seja justo, transparente e inclusivo. Os princípios de segurança bem arquitetados estão inter-relacionados com o foco na confidencialidade e integridade. Devem existir medidas de segurança para manter a privacidade do utilizador, proteger os dados e salvaguardar a integridade do desenho ou modelo, que não deve ser utilizado indevidamente para fins não intencionais.
Em cargas de trabalho de IA, as decisões são tomadas por modelos que geralmente usam lógica opaca. Os utilizadores devem confiar na funcionalidade do sistema e sentir-se confiantes de que as decisões são tomadas de forma responsável. Comportamentos antiéticos, como manipulação, toxicidade de conteúdo, violação de IP e respostas fabricadas, devem ser evitados.
Considere um caso de uso em que uma empresa de entretenimento de mídia deseja fornecer recomendações usando modelos de IA. Não implementar IA responsável e segurança adequada pode levar um mau ator a assumir o controle dos modelos. O modelo pode potencialmente recomendar conteúdo de mídia que pode levar a resultados prejudiciais. Para a organização, esse comportamento pode levar a danos à marca, ambientes inseguros e problemas legais. Portanto, manter a vigilância ética durante todo o ciclo de vida do sistema é essencial e inegociável.
As decisões éticas devem priorizar a segurança e o gerenciamento da carga de trabalho com os resultados humanos em mente. Familiarize-se com a estrutura de IA responsável da Microsoft e certifique-se de que os princípios sejam refletidos e medidos em seu design. Esta imagem mostra os principais conceitos da estrutura.
Importante
A precisão da previsão e as métricas de IA responsável estão frequentemente interligadas. Melhorar a precisão de um modelo pode aumentar a sua equidade e alinhamento com a realidade. No entanto, embora a IA ética frequentemente se alinhe com a precisão, a precisão por si só não inclui todas as considerações éticas. É crucial validar estes princípios éticos de forma responsável.
Este artigo fornece recomendações sobre a tomada de decisões éticas, a validação da entrada do usuário e a garantia de uma experiência segura do usuário. Ele também fornece orientações sobre segurança de dados para garantir que os dados do usuário estejam protegidos.
Recomendações
Aqui está o resumo das recomendações fornecidas neste artigo.
| Recomendação | Description |
|---|---|
| Desenvolver políticas que apliquem práticas éticas em cada fase do ciclo de vida. | Inclua itens da lista de verificação que declarem explicitamente os requisitos éticos, adaptados ao contexto da carga de trabalho. Os exemplos incluem transparência de dados do usuário, configuração de consentimento e procedimentos para lidar com o "Direito a ser esquecido". ▪ Desenvolva suas políticas de IA responsável ▪ Impor a governança em políticas de IA responsável |
| Proteja os dados do usuário com o objetivo de maximizar a privacidade. | Recolher apenas o necessário e com o devido consentimento do utilizador. Aplique controles técnicos para proteger perfis de usuário, seus dados e acesso a esses dados. ▪ Lidar com os dados do usuário de forma ética ▪ Inspecionar dados de entrada e saída |
| Mantenha as decisões de IA claras e compreensíveis. | Mantenha explicações claras sobre como os algoritmos de recomendação funcionam e ofereça aos usuários insights sobre o uso de dados e a tomada de decisões algorítmicas para garantir que eles entendam e confiem no processo. ▪ Torne a experiência do usuário segura |
Desenvolver políticas de IA responsável
Documente a sua abordagem à utilização ética e responsável da IA. Indique explicitamente as políticas aplicadas em cada estágio do ciclo de vida para que a equipe de carga de trabalho compreenda suas responsabilidades. Embora os padrões de IA responsável da Microsoft forneçam diretrizes, você deve definir o que elas significam especificamente para o seu contexto.
Por exemplo, as políticas devem incluir itens de lista de verificação para mecanismos em torno da transparência de dados do usuário e configuração de consentimento, idealmente permitindo que os usuários optem por não incluir dados. Pipelines de dados, análises, treinamento de modelos e outras etapas devem respeitar essa escolha. Outro exemplo são os procedimentos para lidar com o "Direito ao Esquecimento". Consulte o departamento de ética e a equipa jurídica da sua organização para tomar decisões informadas.
Crie políticas transparentes em torno do uso de dados e da tomada de decisões algorítmicas para garantir que os usuários entendam e confiem no processo. Documente essas decisões para manter um histórico claro de possíveis litígios futuros.
A implementação de IA ética envolve três papéis principais: a equipe de pesquisa, a equipe de políticas e a equipe de engenharia. A colaboração entre estas equipas deve ser operacionalizada. Se a sua organização já tem uma equipa, tire partido do seu trabalho; caso contrário, estabeleça essas práticas você mesmo.
Ter responsabilidades sobre a separação de funções:
A equipe de pesquisa conduz a descoberta de riscos consultando diretrizes organizacionais, padrões do setor, leis, regulamentos e táticas conhecidas da equipe vermelha.
A equipe de políticas desenvolve políticas específicas para a carga de trabalho, incorporando diretrizes da organização matriz e regulamentações governamentais.
A equipe de engenharia implementa as políticas em seus processos e entregas, garantindo que eles validem e testem a adesão.
Cada equipe formaliza suas diretrizes, mas a equipe de carga de trabalho deve ser responsável por suas próprias práticas documentadas. A equipe deve documentar claramente quaisquer etapas adicionais ou desvios intencionais, certificando-se de que não haja ambiguidade sobre o que é permitido. Além disso, seja transparente sobre possíveis deficiências ou resultados inesperados na solução.
Impor a governança em políticas de IA responsável
Projete sua carga de trabalho para estar em conformidade com a governança organizacional e regulatória. Por exemplo, se a transparência for um requisito organizacional, determine como ela se aplica à sua carga de trabalho. Identifique áreas em seu design, ciclo de vida, código ou outros componentes, onde os recursos de transparência devem ser introduzidos para atender a esse padrão.
Compreenda a governança, a prestação de contas, os conselhos de revisão e os mandatos de relatórios necessários. Certifique-se de que os projetos de carga de trabalho sejam aprovados e assinados pelo seu conselho de governança para evitar redesigns e mitigar preocupações éticas ou de privacidade. Talvez seja necessário passar por várias camadas de aprovação. Aqui está uma estrutura típica de governança.
Para obter informações sobre políticas organizacionais e aprovadores, consulte Cloud Adoption Framework: Define a responsible AI strategy.
Torne a experiência do usuário segura
As experiências dos utilizadores devem basear-se nas orientações da indústria. Aproveite a Biblioteca de Design de experiências de IA Humana da Microsoft, que inclui princípios e fornece detalhes de implementação, com exemplos de produtos da Microsoft e outras fontes do setor.
Há responsabilidades de carga de trabalho durante todo o ciclo de vida da interação do usuário, começando pela intenção do usuário de usar o sistema, durante uma sessão, e interrupções devido a erros do sistema. Aqui estão algumas práticas a considerar:
Construa transparência. Conscientize os usuários sobre como o sistema gerou a resposta à sua consulta.
Inclua links para fontes de dados consultadas pelo modelo para previsões para aumentar a confiança do usuário, mostrando a origem das informações. A conceção de dados deve garantir que estas fontes são incluídas nos metadados. Quando o orquestrador em um aplicativo aumentado de recuperação executa uma pesquisa, ele recupera, por exemplo, 20 partes de documento e envia as 10 partes principais, pertencentes a três documentos diferentes, para o modelo como contexto. A interface do usuário pode então fazer referência a esses três documentos de origem ao exibir a resposta do modelo, aumentando a transparência e a confiança do usuário.
A transparência torna-se mais importante ao usar agentes, que atuam como intermediários entre interfaces front-end e sistemas back-end. Por exemplo, em um sistema de tíquetes, o código de orquestração interpreta a intenção do usuário e faz chamadas de API para agentes para recuperar as informações necessárias. Expor essas interações pode conscientizar o usuário sobre as ações do sistema.
Para fluxos de trabalho automatizados com vários agentes envolvidos, crie arquivos de log que registrem cada etapa. Esta capacidade ajuda a identificar e corrigir erros. Além disso, pode fornecer aos usuários explicações para as decisões, o que operacionaliza a transparência.
Atenção
Ao implementar recomendações de transparência, evite sobrecarregar o usuário com muitas informações. Use uma abordagem gradual, onde você começa com métodos de interface do usuário minimamente disruptivos.
Por exemplo, exiba uma dica de ferramenta com uma pontuação de confiança do modelo. Você pode incorporar um link no qual os usuários podem clicar para obter mais detalhes, como links para documentos de origem. Esse método iniciado pelo usuário mantém a interface do usuário sem interrupções e permite que os usuários busquem informações adicionais somente se desejarem.
Recolha feedback. Implementar mecanismos de feedback.
Evite sobrecarregar os utilizadores com questionários extensos após cada resposta. Em vez disso, use mecanismos de feedback simples e rápidos, como polegares para cima/para baixo ou sistemas de classificação para aspetos específicos da resposta em uma escala de 1 a 5. Este método permite feedback granular sem ser intrusivo, ajudando a melhorar o sistema ao longo do tempo. Esteja atento a possíveis vieses no feedback, pois pode haver razões secundárias por trás das respostas do usuário.
A implementação de um mecanismo de feedback afeta a arquitetura devido à necessidade de armazenamento de dados. Trate isso como dados do usuário e aplique níveis de controle de privacidade, conforme necessário.
Além do feedback da resposta, colete feedback sobre a eficácia da experiência do usuário. Isso pode ser feito coletando métricas de engajamento por meio de sua pilha de monitoramento do sistema.
Operacionalizar as medidas de segurança de conteúdo
Integre a segurança de conteúdo em cada estágio do ciclo de vida da IA usando código de solução personalizado, ferramentas apropriadas e práticas de segurança eficazes. Aqui estão algumas estratégias.
Anonimização de dados. À medida que os dados passam da ingestão para o treinamento ou avaliação, tenha verificações ao longo do caminho para minimizar o risco de vazamento de informações pessoais e evitar a exposição de dados brutos do usuário.
Moderação de conteúdo. Use a API de segurança de conteúdo que avalia solicitações e respostas em tempo real e garanta que essas APIs estejam acessíveis.
Identificar e mitigar ameaças. Aplique práticas de segurança bem conhecidas aos seus cenários de IA. Por exemplo, conduza a modelagem de ameaças e documente as ameaças e sua mitigação. Práticas de segurança comuns, como exercícios Red Team, são aplicáveis a cargas de trabalho de IA. As equipas vermelhas podem testar se os modelos podem ser manipulados para gerar conteúdo nocivo. Estas atividades devem ser integradas nas operações de IA.
Para obter informações sobre como conduzir testes de equipe vermelha, consulte Planejando o agrupamento vermelho para modelos de linguagem grandes (LLMs) e seus aplicativos.
Use as métricas certas. Use métricas apropriadas que sejam eficazes para medir o comportamento ético do modelo. As métricas variam dependendo do tipo de modelo de IA. A medição de modelos generativos pode não se aplicar a modelos de regressão. Considere um modelo que preveja a expectativa de vida e os resultados impactam as taxas de seguro. O enviesamento neste modelo pode levar a questões éticas, mas esse problema decorre do desvio nos testes métricos centrais. Melhorar a precisão pode reduzir os problemas éticos, uma vez que as métricas éticas e de precisão estão frequentemente interligadas.
Adicione instrumentação ética. Os resultados do modelo de IA devem ser explicáveis. Você precisa justificar e rastrear como as inferências são feitas, incluindo os dados usados para treinamento, os recursos calculados e os dados de fundamentação. Na IA discriminativa, você pode justificar decisões passo a passo. No entanto, para modelos generativos, explicar os resultados pode ser complexo. Documentar o processo de tomada de decisão para abordar potenciais implicações legais e proporcionar transparência.
Este aspeto da explicabilidade deve ser implementado ao longo de todo o ciclo de vida da IA. Limpeza de dados, linhagem, critérios de seleção e processamento são etapas críticas onde as decisões devem ser rastreadas.
Ferramentas
Ferramentas para segurança de conteúdo e rastreabilidade de dados, como o Microsoft Purview, devem ser integradas. As APIs de Segurança de Conteúdo da IA do Azure podem ser chamadas a partir do seu teste para facilitar os testes de segurança de conteúdo.
O Azure AI Studio fornece métricas que avaliam o comportamento do modelo. Para obter mais informações, consulte Métricas de avaliação e monitoramento para IA generativa.
Para modelos de treinamento, recomendamos revisar as métricas fornecidas pelo Azure Machine Learning.
Inspecionar dados de entrada e saída
Ataques de injeção imediata, como jailbreak, são uma preocupação comum para cargas de trabalho de IA. Nesse caso, alguns usuários podem tentar usar indevidamente o modelo para fins não intencionais. Para garantir a segurança, inspecione os dados para evitar ataques e filtrar conteúdo impróprio. Essa análise deve ser aplicada tanto à entrada do usuário quanto às respostas do sistema para garantir que haja moderação completa de conteúdo nos fluxos de entrada e saída.
Em cenários em que você está fazendo várias invocações de modelo, como por meio do Azure OpenAI, para atender a uma única solicitação de cliente, aplicar verificações de segurança de conteúdo a cada chamada pode ser caro e desnecessário. Considere centralizar esse trabalho na arquitetura, mantendo a segurança como uma responsabilidade do lado do servidor. Suponha que uma arquitetura tenha um gateway na frente do ponto de extremidade de inferência do modelo para descarregar certos recursos de back-end. Esse gateway pode ser projetado para lidar com verificações de segurança de conteúdo para solicitações e respostas que o back-end pode não suportar nativamente. Embora um gateway seja uma solução comum, uma camada de orquestração pode lidar com essas tarefas de forma eficaz em arquiteturas mais simples. Em ambos os casos, você pode aplicar seletivamente essas verificações quando necessário, otimizando o desempenho e o custo.
As inspeções devem ser multimodais e abranger vários formatos. Ao usar entradas multimodais, como imagens, é importante analisá-las em busca de mensagens ocultas que possam ser prejudiciais ou violentas. Essas mensagens podem não ser imediatamente visíveis, semelhantes à tinta invisível, e exigem uma inspeção cuidadosa. Use ferramentas como APIs de segurança de conteúdo para essa finalidade.
Para aplicar políticas de privacidade e segurança de dados, inspecione os dados do usuário e os dados de aterramento para verificar a conformidade com as regulamentações de privacidade. Certifique-se de que os dados são limpos ou filtrados à medida que fluem pelo sistema. Por exemplo, os dados de conversas anteriores de suporte ao cliente podem servir como dados de base. Deve ser higienizado antes da reutilização.
Lidar com os dados do usuário de forma ética
As práticas éticas envolvem um tratamento cuidadoso da gestão dos dados dos utilizadores. Isso inclui saber quando usar dados e quando evitar depender dos dados do usuário.
Inferência sem compartilhamento de dados do usuário. Para compartilhar com segurança os dados do usuário com outras organizações para obter informações, use um modelo de câmara de compensação. Nesse cenário, as organizações fornecem dados a um terceiro confiável, que treina um modelo usando os dados agregados. Esse modelo pode ser usado por todas as instituições, permitindo insights compartilhados sem expor conjuntos de dados individuais. O objetivo é usar os recursos de inferência do modelo sem compartilhar dados detalhados de treinamento.
Promover a diversidade e a inclusão. Quando os dados do usuário forem necessários, use uma gama diversificada de dados, incluindo gêneros e criadores sub-representados, para minimizar o viés. Implemente recursos que incentivem os usuários a explorar conteúdo novo e variado. Tenha monitoramento contínuo do uso e ajuste as recomendações para evitar a representação excessiva de qualquer tipo de conteúdo.
Respeite o "Direito ao Esquecimento". Evite utilizar dados do utilizador, sempre que possível. Garantir o cumprimento do "Direito a ser esquecido", adotando as medidas necessárias para garantir que os dados do usuário sejam excluídos diligentemente.
Para garantir a conformidade, pode haver solicitações para remover dados do usuário do sistema. Para modelos menores, isso pode ser alcançado por meio de retreinamento com dados que excluem informações pessoais. Para modelos maiores, que podem consistir em vários modelos menores e treinados independentemente, o processo é mais complexo e o custo e o esforço são significativos. Procure orientação legal e ética sobre como lidar com essas situações e certifique-se de que isso esteja incluído em sua política de IA responsável, descrita em Desenvolver políticas de IA responsável.
Retenha com responsabilidade. Quando a eliminação de dados não for possível, obtenha o consentimento explícito do utilizador para a recolha de dados e forneça políticas de privacidade claras. Recolher e reter dados apenas quando for absolutamente necessário. Tenha operações para remover dados de forma agressiva quando não forem mais necessários. Por exemplo, limpe o histórico de bate-papo assim que possível e anonimize dados confidenciais antes da retenção. Certifique-se de que métodos avançados de criptografia sejam usados para esses dados em repouso.
Apoie a explicabilidade. Trace decisões no sistema para dar suporte aos requisitos de explicabilidade. Desenvolva explicações claras sobre como os algoritmos de recomendação funcionam, oferecendo aos usuários insights sobre por que um conteúdo específico é recomendado a eles. O objetivo é garantir que as cargas de trabalho de IA e seus resultados sejam transparentes e justificáveis, detalhando como as decisões são tomadas, quais dados foram usados e como os modelos foram treinados.
Criptografar dados do usuário. Os dados de entrada devem ser criptografados em todos os estágios do pipeline de processamento de dados a partir do momento em que o usuário insere dados. Isso inclui dados à medida que se movem de um ponto para outro, onde são armazenados e durante a inferência, se necessário. Equilibre segurança e funcionalidade, mas procure manter os dados privados durante todo o seu ciclo de vida.
Para obter informações sobre técnicas de criptografia, consulte Design de aplicativo.
Forneça controles de acesso robustos. Vários tipos de identidades podem potencialmente acessar dados do usuário. Implemente o RBAC (Controle de Acesso Baseado em Função) para o plano de controle e o plano de dados, abrangendo a comunicação entre usuários e sistemas.
Mantenha também uma segmentação de usuários adequada para proteger a privacidade. Por exemplo, o Copilot para Microsoft 365 pode pesquisar e fornecer respostas com base em documentos e e-mails específicos de um usuário, garantindo que apenas o conteúdo relevante para esse usuário seja acessado.
Para obter informações sobre como impor controles de acesso, consulte Design de aplicativo.
Reduza a área de superfície. Uma estratégia fundamental do pilar Well-Architected Framework Security é minimizar a superfície de ataque e fortalecer os recursos. Essa estratégia deve ser aplicada às práticas padrão de segurança de endpoints, controlando rigorosamente os pontos de extremidade da API, expondo apenas dados essenciais e evitando informações estranhas nas respostas. A escolha do desenho ou modelo deve ser equilibrada entre flexibilidade e controlo.
Certifique-se de que não existem pontos de extremidade anónimos. Em geral, evite dar aos clientes mais controle do que o necessário. Na maioria dos cenários, os clientes não precisam ajustar hiperparâmetros, exceto em ambientes experimentais. Para casos de uso típicos, como interagir com um agente virtual, os clientes devem controlar apenas aspetos essenciais para garantir a segurança, limitando o controle desnecessário.
Para obter informações, consulte Design de aplicativo.