Colocar estruturas de IA responsáveis em ação
Como discutido na unidade anterior, a Microsoft desenvolveu e refinou seu próprio processo interno para governar a IA de forma responsável. Esta unidade explica como funciona este sistema de governação numa situação real. Embora cada organização precise de suas próprias estruturas de governança e processos de revisão, acreditamos que nossa estrutura de uso sensível pode servir como um ponto de partida útil. Um dos primeiros passos da Microsoft em nosso processo de governança responsável de IA foi usar um gatilho de revisão de usos sensíveis. A estrutura ajudou nossas equipes internas e voltadas para o cliente a identificar quando casos de uso específicos precisam de mais orientação.
Estrutura de caso de uso sensível da Microsoft
De acordo com nossa documentação de governança de IA responsável, consideramos um cenário de desenvolvimento ou implantação de IA um "uso sensível" se ele se enquadrar em uma ou mais das seguintes categorias:
- Negação de serviços consequenciais: O cenário envolve o uso de IA de uma forma que pode resultar diretamente na negação de serviços consequenciais ou apoio a um indivíduo (por exemplo, serviços financeiros, habitacionais, seguros, educação, emprego ou saúde).
- Risco de dano: O cenário envolve o uso de IA de uma forma que pode criar um risco significativo de danos físicos, emocionais ou psicológicos a um indivíduo (por exemplo, decisões de vida ou morte em ambientes militares, ambientes de fabricação críticos para a segurança, contextos de saúde, quase qualquer cenário envolvendo crianças ou outras pessoas vulneráveis, e assim por diante).
- Violação dos direitos humanos: O cenário envolve o uso de IA de uma forma que pode resultar em uma restrição significativa da liberdade pessoal, opinião ou expressão, reunião ou associação, privacidade e assim por diante (por exemplo, na aplicação da lei ou policiamento).
Treinamos nossos funcionários para usar essa estrutura para determinar se um caso de uso de IA deve ser sinalizado para revisão adicional — se eles são um vendedor trabalhando com um cliente ou alguém trabalhando em uma solução interna de IA. Também treinamos nossos Campeões de IA Responsável por seu papel de ligação entre os funcionários e as equipes de governança central.
Processo de revisão de casos de uso sensíveis da Microsoft
O processo de revisão para casos de uso sensíveis tem três etapas: identificação, avaliação e mitigação. Para ilustrar melhor este processo, um estudo de caso do mundo real junta-se à explicação de cada passo. Neste estudo de caso, um cliente nos procurou para um sistema de reconhecimento facial.
Identificação
Se um funcionário identificar que um caso de uso se enquadra em uma das três categorias (negação de serviços consequentes, risco de dano ou violação dos direitos humanos), ele o denuncia. Os relatórios são feitos por meio de uma ferramenta central de envio e, em seguida, encaminhados para o Campeão de IA Responsável local, um indivíduo que é responsável por promover a conscientização e a compreensão das políticas, padrões e orientações de IA responsáveis da empresa.
Neste caso, uma agência de aplicação da lei nos procurou para desenvolver um sistema de reconhecimento facial para aumentar os métodos de verificação de identidade existentes. Os cenários incluíam o uso do reconhecimento facial para verificar as identidades dos motoristas durante as paradas de trânsito, para acelerar o processo de check-in nas prisões e para verificar as identidades dos presos enquanto se deslocavam pelas instalações. Um funcionário submeteu esses três casos de uso por meio da ferramenta central de admissão para revisão responsável da IA.
Avaliação
O Responsible AI Champ, trabalhando com o Office of Responsible AI e a equipe da Microsoft envolvida no caso de uso, investiga o caso para reunir os fatos relevantes, segue um processo guiado para avaliar o efeito do sistema proposto nos indivíduos e na sociedade e analisa casos passados para determinar se já existem orientações para um cenário semelhante. Se não houver orientação anterior, ou se o caso exigir mais conhecimento e avaliação, o Responsible AI Champ apresenta o caso ao Grupo de Trabalho de Usos Sensíveis do Comitê Aether.
Neste caso de reconhecimento facial, o Responsible AI Champ trabalhou em estreita colaboração com o Office of Responsible AI, as equipes de contas e os clientes para avaliar os riscos. Foi decidido que os três casos precisavam ser encaminhados para o Grupo de Trabalho de Usos Sensíveis ao Éter para obter informações adicionais, pois abordavam um ou mais dos usos sensíveis da IA.
Mitigação
O Grupo de Trabalho de Usos Sensíveis delibera com um grupo diversificado de especialistas para fornecer informações e recomendações sobre como lidar com os riscos associados ao caso de uso específico. Se a situação exigir uma nova escalada, os casos podem subir até o próprio Comitê Aether, que aconselha diretamente a Equipe de Liderança Sênior. Em última análise, a Equipe de Liderança Sênior toma decisões em casos novos e de alto impacto.
Nota
Ao analisar casos de uso sensíveis, recomendamos reunir um grupo diversificado de pessoas com formações e conhecimentos variados. Também é importante criar um espaço inclusivo onde todos se sintam à vontade para compartilhar suas ideias e perspetivas.
Uma vez que o caso tenha sido analisado, o Responsible AI Champ trabalha com o Office of Responsible AI para fornecer conselhos à equipe do projeto sobre estratégias de mitigação que se alinham às nossas práticas e princípios de IA responsável. Essas estratégias de mitigação podem incluir abordagens técnicas, treinamento de funcionários e abordagens de governança, ou alterações no escopo do projeto. Por vezes, as nossas equipas foram aconselhadas a não prosseguir com determinados projetos porque não fomos capazes de os entregar de uma forma que defendesse os nossos princípios.
No caso de uso, o Grupo de Trabalho de Usos Sensíveis ao Éter tomou decisões separadas para cada um dos cenários. Após cuidadosa consideração, eles determinaram que não apoiaríamos o cenário de patrulhamento para identificar "pessoas de interesse", durante as paradas de trânsito. Como o estado da tecnologia e o ecossistema mais amplo não estavam suficientemente maduros para mitigar as consequências nocivas para quando a tecnologia funciona de forma imperfeita, o grupo de trabalho da Aether considerou este cenário um caso de uso prematuro.
Explicamos os problemas ao cliente, e eles decidiram não seguir esse cenário.
Nota
Apoiado por pesquisas: tentar identificar indivíduos em ambientes descontrolados pode violar os direitos humanos, resultando em prisões indevidas devido a erros de identificação. Estudos mostraram que a IA é mais propensa a confundir as identidades de mulheres e minorias, o que também pode levar a que essas populações sejam detidas de forma desproporcionada.1
Para os casos de uso nas instalações, decidimos que poderíamos apoiar o projeto e o desenvolvimento de uma prova de conceito (POC), com salvaguardas em vigor para garantir o controle humano apropriado sobre a solução, e um ciclo de feedback bidirecional entre o cliente e a Microsoft poderia ser estabelecido. Também era importante que o cliente implementasse um programa de treinamento para o pessoal que interagia com as soluções e que o cliente voltasse a se envolver com a Microsoft em implantações além desses cenários suportados.
A evolução da governança responsável da IA
Agora que você viu nosso processo em ação, há um ponto importante que gostaríamos de reiterar: estamos no início do desenvolvimento da governança de IA. Os processos em torno da IA estão evoluindo rapidamente. No futuro, planejamos refinar nossas políticas de governança à medida que investimos mais em IA e recomendamos que outras empresas façam o mesmo. Toda organização precisa personalizar seu processo de revisão com base em suas próprias necessidades e maturidade de IA, mas esperamos que nosso processo possa servir como um ponto de partida útil.
Em seguida, vamos encerrar tudo o que você aprendeu com uma verificação de conhecimento.