Compartilhar via

Tipos de danos

  • Artigo

Este artigo conscientiza sobre os diferentes tipos de dano para que as etapas de mitigação apropriadas possam ser implementadas.

Risco de lesão

Lesão física

Considere como a tecnologia pode prejudicar as pessoas ou criar ambientes perigosos.

Dano Descrição Consideração(ões) Exemplo
Dependência excessiva dos recursos de segurança Indica a dependência da tecnologia para tomar decisões sem supervisão humana adequada. Como as pessoas podem confiar nessa tecnologia para mantê-las seguras? Como essa tecnologia poderia reduzir a supervisão humana apropriada? Um agente de saúde poderia diagnosticar mal a doença, levando a tratamento desnecessário.
Fail-safes inadequados Os testes do mundo real podem considerar insuficientemente um conjunto diversificado de usuários e cenários. Se essa tecnologia falhar ou for utilizada indevidamente, como as pessoas seriam afetadas? Em que ponto um humano poderia intervir? Há usos alternativos que não foram testados? Como a falha de um sistema afetaria os usuários? Se uma porta automática não detectasse uma cadeira de rodas durante uma evacuação de emergência, uma pessoa poderia ficar presa caso não haja um botão de substituição acessível.
Exposição a agentes não íntegros A fabricação, bem como o descarte de tecnologia, podem comprometer a saúde e o bem-estar dos trabalhadores e habitantes nas proximidades. Quais resultados negativos podem vir da fabricação de seus componentes ou dispositivos? Medidas de segurança inadequadas podem expor os trabalhadores a toxinas durante a fabricação de componentes digitais.

Lesão emocional ou psicológica

O uso indevido da tecnologia pode causar graves sofrimentos emocionais e psicológicos.

Dano Descrição Consideração(ões) Exemplo
Dependência excessiva da automação Crenças equivocadas podem levar os usuários a confiar mais em um agente digital do que em um humano. Como essa tecnologia poderia reduzir os comentários interpessoais diretos? Como essa interface de tecnologia pode ter fontes de informação confiáveis? Como a dependência exclusiva de um agente artificial pode afetar uma pessoa? Um chatbot poderia ser utilizado para conselhos de relacionamento ou aconselhamento de saúde mental em vez de um profissional treinado.
Distorção da realidade ou gaslighting Quando intencionalmente mal utilizada, a tecnologia pode minar a confiança e distorcer o senso de realidade de alguém. Isso pode ser usado para modificar a mídia digital ou ambientes físicos? Um dispositivo IoT pode habilitar o monitoramento e o controle de um ex-parceiro íntimo de longe.
Redução da autoestima/danos à reputação Alguns conteúdos compartilhados podem ser prejudiciais, falsos, enganosos ou depreciativos. Como essa tecnologia pode ser usada para compartilhar informações pessoais inadequadamente? Como pode ser manipulada para usar informações incorretas e cometer fraude de identidade? A "pornografia de vingança" com mídia sintética pode trocar rostos, criando a ilusão de que uma pessoa está participando de um vídeo quando, na verdade, ela não participou.
Vício/sequestro de atenção A tecnologia pode ser desenvolvida para interação prolongada, sem considerar o bem-estar. De que maneiras essa tecnologia pode recompensar ou incentivar a interação contínua além de fornecer valor do usuário? As taxas de queda variável nas caixas de saque de videogame podem fazer com que os jogadores continuem jogando e negligenciem o autocuidado.
Roubo de identidade O roubo de identidade pode levar à perda de controle sobre credenciais pessoais, reputação e representação. Como um indivíduo pode ser representado com essa tecnologia? Como essa tecnologia pode reconhecer erroneamente o indivíduo errado como um usuário autêntico? A fonte de voz sintética pode imitar o som da voz de uma pessoa e ser usada para acessar uma conta bancária.
Atribuição incorreta Isso inclui creditar uma ação ou conteúdo a uma pessoa que não é responsável por ele. De que maneiras essa tecnologia pode atribuir uma ação a um indivíduo ou grupo? Como uma pessoa pode ser afetada se uma ação foi atribuída incorretamente a ela? O reconhecimento facial pode identificar erroneamente um indivíduo durante uma investigação policial.

Negação de serviços consequentes

Perda de oportunidade

Decisões automatizadas podem limitar o acesso a recursos, serviços e oportunidades essenciais para o bem-estar.

Dano Descrição Consideração(ões) Exemplo
Discriminação no emprego Algumas pessoas podem ter acesso negado para solicitar ou proteger um trabalho com base em características não relacionadas ao mérito. Há maneiras pelas quais essa tecnologia pode afetar recomendações ou decisões relacionadas ao emprego? A IA de contratação poderia recomendar menos candidatos com nomes femininos para entrevistas.
Discriminação habitacional Inclui negar às pessoas acesso à habitação ou a capacidade de solicitar moradia. Como essa tecnologia pode afetar recomendações ou decisões relacionadas à habitação? O algoritmo de enfileiramento de habitação pública pode fazer com que pessoas com nomes internacionais aguardem mais tempo pelos comprovantes.
Discriminação de seguros e benefícios Inclui negar seguro pessoal, assistência social ou acesso a uma avaliação médica devido a padrões tendenciosos. Essa tecnologia poderia ser usada para determinar acesso, custo, alocação de seguros ou benefícios sociais? A seguradora pode cobrar taxas mais altas para motoristas que trabalham em turnos noturnos devido a previsões algorítmicas que sugerem aumento do risco de dirigir bêbado.
Discriminação educacional O acesso à educação pode ser negado devido a uma característica imutável. Como essa tecnologia pode ser usada para determinar acesso, custo, acomodações ou outros resultados relacionados à educação? O classificador de emoções poderia relatar incorretamente que os alunos negros são menos engajados do que seus colegas brancos, levando a notas mais baixas.
Divisão digital/discriminação tecnológica O acesso desproporcional aos benefícios da tecnologia pode deixar algumas pessoas menos informadas ou menos preparadas para participar da sociedade. Quais habilidades, equipamentos ou conectividade de pré-requisitos são necessários para aproveitar ao máximo essa tecnologia? Qual pode ser o impacto de selecionar pessoas que tenham acesso anterior a essa tecnologia do que outras, em termos de equipamentos, conectividade ou outras funcionalidades do produto? A limitação de conteúdo poderia impedir que os alunos de zonas rurais acessassem os feeds de vídeo de instrução de sala de aula.
Perda de opções/rede e bolha de filtro Apresentar às pessoas apenas informações compatíveis com suas crenças e que as reforcem. Como essa tecnologia pode afetar as opções e informações disponíveis para as pessoas? Quais comportamentos ou preferências anteriores essa tecnologia pode utilizar para prever comportamentos ou preferências futuras? O feed de notícias só poderia apresentar informações que confirmam as crenças existentes.

Perda econômica

Automatizar decisões relacionadas a instrumentos financeiros, oportunidades econômicas e recursos pode ampliar as iniquidades sociais existentes e obstruir o bem-estar.

Dano Descrição Consideração(ões) Exemplo
Discriminação de crédito As pessoas podem ter acesso negado a instrumentos financeiros com base em características não relacionadas ao mérito econômico. Como essa tecnologia pode utilizar estruturas de crédito existentes para tomar decisões? Como essa tecnologia pode afetar a capacidade de um indivíduo ou grupo de obter ou manter uma pontuação de crédito? Ofertas de taxas introdutórias mais altas poderiam ser enviadas apenas para casas em códigos postais socioeconômicos mais baixos.
Preço diferencial de bens e serviços Bens ou serviços podem ser oferecidos a preços diferentes por razões não relacionadas ao custo de produção ou entrega. Como essa tecnologia pode ser usada para determinar os preços de bens ou serviços? Quais são os critérios para determinar o custo do uso dessa tecnologia para as pessoas? Um valor maior poderia ser cobrado por produtos com base na designação para homens ou mulheres.
Exploração econômica As pessoas podem ser obrigadas ou induzidas a trabalhar em algo que afete sua dignidade ou bem-estar. Qual foi o papel do trabalho humano na produção de dados de treinamento para essa tecnologia? Como essa força de trabalho foi adquirida? Qual é o papel do trabalho humano no apoio a essa tecnologia? De onde espera-se que essa força de trabalho venha? Pagar pessoas carentes financeiramente por seus dados biométricos para treinar sistemas de IA.
Desvalorização da experiência individual A tecnologia pode suplantar o uso de conhecimentos humanos ou mão de obra remunerados. Como essa tecnologia pode afetar a necessidade de empregar uma força de trabalho existente? Os agentes de IA substituem médicos/radiologistas na avaliação de imagens médicas.

Violação de direitos humanos:

Perda de dignidade

A tecnologia pode influenciar a maneira como as pessoas percebem o mundo e reconhecem, interagem e valorizam umas às outras. Pode haver interferência na troca de honra e respeito entre as pessoas.

Dano Descrição Consideração(ões) Exemplo
Desumanização Remover, reduzir ou ocultar a visibilidade da humanidade de uma pessoa. Como essa tecnologia pode ser usada para simplificar ou abstrair a forma como uma pessoa é representada? Como essa tecnologia pode reduzir a distinção entre humanos e o mundo digital? O reconhecimento de entidade e as sobreposições virtuais na vigilância de drones poderiam reduzir a responsabilidade percebida das ações humanas.
Humilhação pública Isso pode significar exposição do material privado, sensível ou socialmente inapropriado de pessoas. Como as movimentações ou ações podem ser reveladas por meio da agregação de dados? Um aplicativo de fitness pode revelar a localização GPS de um usuário nas redes sociais, indicando a presença em uma reunião dos Alcoólicos Anônimos.

Perda de liberdade

A automação de sistemas jurídicos, judiciais e sociais pode reforçar vieses e levar a consequências prejudiciais.

Dano Descrição Consideração(ões) Exemplo
Policiamento preditivo Inferir comportamento suspeito ou intenção criminosa com base em registros históricos. Como isso poderia apoiar ou substituir o policiamento humano ou a tomada de decisões de justiça criminal? Um algoritmo pode prever várias prisões de área para que a polícia verifique se correspondem, ou excedem, esse número.
Controle social A conformidade pode ser reforçada ou incentivada pela designação pública de comportamentos humanos como positivos ou negativos. Quais tipos de dados pessoais ou comportamentais podem alimentar essa tecnologia? Como eles seriam obtidos? Quais saídas seriam derivadas desses dados? É provável que essa tecnologia seja usada para incentivar ou desencorajar determinados comportamentos? Governos autoritários usam dados de mídia social e comércio eletrônico para determinar uma pontuação de "confiança" com base em onde as pessoas compram e com quem passam o tempo.
Perda de medida efetiva Significa uma incapacidade de explicar a lógica ou a falta de oportunidade de contestar uma decisão. Como as pessoas podem entender o raciocínio das decisões tomadas por essa tecnologia? Como um indivíduo que depende dessa tecnologia pode explicar suas decisões? Como as pessoas podem contestar ou questionar uma decisão tomada por essa tecnologia? A sentença de prisão automatizada ou a decisão de liberdade pré-julgamento não é explicada ao acusado.

Perda de privacidade

As informações geradas pelo uso da tecnologia podem ser usadas para determinar fatos ou fazer suposições sobre uma pessoa sem o conhecimento dela.

Dano Descrição Consideração(ões) Exemplo
Interferência na vida privada Revelar informações que uma pessoa não optou por compartilhar. Como essa tecnologia pode usar informações para inferir partes da vida privada? Como as decisões baseadas nessas inferências podem expor coisas que uma pessoa não quer tornar públicas? A IA de acompanhamento de tarefas pode monitorar padrões pessoais dos quais infere um caso extraconjugal.
Associação forçada Exigir a participação no uso da tecnologia ou da vigilância para participar da sociedade. Como o uso dessa tecnologia pode ser necessário para participação na sociedade ou associação a uma organização? O registro biométrico na IA de transcrição da sala de reunião de uma empresa é um requisito estipulado na carta de oferta de trabalho.
Incapacidade de desenvolver personalidade de forma livre e completa Pode significar uma restrição da capacidade de se expressar verdadeiramente ou explorar caminhos externos para o autodesenvolvimento. De que forma o sistema ou o produto atribui conotações positivas e negativas em relação a características de personalidade específicas? Como o uso do produto ou sistema pode revelar informações que inibem a liberdade de expressão a entidades como o governo ou o empregador? O sistema de reuniões inteligente pode registrar todas as discussões entre colegas, incluindo treinamento pessoal e sessões de mentoria.
Nunca perdoado Arquivos ou registros digitais podem nunca ser excluídos. Quais dados desse produto estão sendo armazenados, onde isso acontece e quem pode acessá-los? Por quanto tempo os dados do usuário são armazenados após a interação com a tecnologia? Como os dados do usuário são atualizados ou excluídos? O histórico de mídia social de um adolescente pode permanecer pesquisável muito depois de ele ter superado a plataforma.
Perda de liberdade de movimento ou reunião Significa uma incapacidade de navegar pelo mundo físico ou virtual com o anonimato desejado. De que maneiras essa tecnologia pode monitorar as pessoas em todo o espaço físico e virtual? Um nome real pode ser necessário para se inscrever em um videogame que permite perseguição no mundo real.

Impacto ambiental

O ambiente pode ser afetado por cada decisão em um ciclo de vida do produto ou sistema, desde a quantidade de computação em nuvem necessária até o empacotamento no varejo. As mudanças ambientais podem afetar comunidades inteiras.

Dano Descrição Consideração(ões) Exemplo
Exploração ou esgotamento de recursos A obtenção das matérias-primas para uma tecnologia, incluindo como ela é alimentada, gera consequências negativas para o meio ambiente e seus habitantes. Quais materiais são necessários para criar ou executar essa tecnologia? Quais requisitos de energia são necessários para criar ou executar essa tecnologia? Uma comunidade local poderia ser deslocada devido à extração de minerais e metais naturais raros necessários para alguma fabricação eletrônica.
Resíduos eletrônicos Redução da qualidade do bem-estar coletivo devido à incapacidade de reparar, reciclar ou descartar de forma responsável os eletrônicos. Como essa tecnologia pode reduzir os resíduos eletrônicos reciclando materiais ou permitindo a autorrecuperação dos usuários? Como essa tecnologia pode contribuir para os resíduos eletrônicos quando novas versões são lançadas ou quando versões atuais/passadas param de funcionar? Materiais tóxicos dentro de dispositivos eletrônicos descartados poderiam lixiviar o abastecimento de água, deixando as populações locais doentes.
Emissões de carbono Executar soluções em nuvem que não são otimizadas pode gerar emissões de carbono desnecessárias e desperdício de eletricidade, prejudicando o clima. Você tem insights sobre como suas cargas de trabalho e soluções de nuvem são otimizadas? Qual o impacto da sua solução no clima? Ela é diferente dependendo da região em que você implanta suas cargas de trabalho? A execução de soluções que não sejam otimizadas ou projetadas adequadamente para a eficiência da nuvem pode causar danos mais graves ao clima, causando emissões de carbono desnecessárias e desperdício de eletricidade.

Erosão das estruturas social-democráticas &

Manipulação

A capacidade da tecnologia de criar experiências altamente personalizadas e manipuladoras pode minar uma população informada e a confiança nas estruturas sociais.

Dano Descrição Consideração(ões) Exemplo
Desinformação Disfarçar informações falsas como informações legítimas ou confiáveis. Como essa tecnologia pode ser usada para gerar desinformação? Como ela pode ser usada para espalhar informações incorretas verossímeis? A geração de discurso sintético de um líder político influencia uma eleição.
Exploração comportamental Significa explorar preferências pessoais ou padrões de comportamento para induzir uma reação desejada. Como essa tecnologia pode ser usada para observar padrões de comportamento? Como essa tecnologia pode ser usada para incentivar comportamentos disfuncionais ou de má adaptação? O monitoramento de hábitos de compra no ambiente de varejo conectado leva a incentivos personalizados para pessoas que compram por impulso e colecionadores.

Prejuízo social

Em escala, a forma como a tecnologia afeta as pessoas molda estruturas sociais e econômicas dentro das comunidades. Ela pode inserir ainda mais elementos que incluem ou beneficiam alguns, enquanto excluem outros.

Dano Descrição Consideração(ões) Exemplo
Amplificação da desigualdade de poder Pode perpetuar as disparidades de classe ou privilégio existentes. Como essa tecnologia pode ser usada em contextos em que há disparidades sociais, econômicas ou de classe? Como as pessoas com mais poder ou privilégio podem influenciar desproporcionalmente a tecnologia? Exigir um número de telefone & endereço residencial para se registrar em um site de emprego poderia impedir que uma pessoa em situação de rua se candidatasse.
Reforço de estereótipo Pode perpetuar a "sabedoria convencional" desinformada sobre pessoas historicamente ou estatisticamente subrrepresentadas. Como essa tecnologia pode ser usada para reforçar ou amplificar normas sociais ou estereótipos culturais existentes? Como os dados usados por essa tecnologia podem fazer com que ela reflita preconceitos ou estereótipos? Os resultados de uma pesquisa de imagem para "CEO" poderiam mostrar principalmente fotos de homens caucasianos.
Perda de individualidade Pode ser uma incapacidade de expressar uma perspectiva exclusiva. Como essa tecnologia pode ampliar opiniões majoritárias ou o "pensamento de grupo"? Por outro lado, como formas exclusivas de expressão podem ser suprimidas? De quais maneiras os dados coletados por essa tecnologia podem ser usados em comentários para as pessoas? Opções limitadas de personalização na criação de um avatar de videogame inibem a autoexpressão da diversidade de um jogador.
Perda de representação Amplas categorias de generalização obscurecem, diminuem ou apagam identidades reais. Como essa tecnologia pode restringir as opções de identidade? Ela pode ser usada para rotular ou categorizar pessoas automaticamente? A legenda automática de fotos atribui identidade de gênero e idade incorretas ao sujeito.
Degradação de habilidades e complacência A dependência excessiva da automação leva à atrofia de habilidades manuais. De que maneiras essa tecnologia pode reduzir a acessibilidade e a capacidade de usar controles manuais? A dependência excessiva da automação pode levar a uma incapacidade de medir a verdadeira orientação do avião porque os pilotos foram treinados para contar apenas com instrumentos.

Avaliar danos

Depois de gerar uma ampla lista de possíveis danos, você deve preencher seu Modelo de Danos avaliando a magnitude potencial de cada categoria de danos. Isso permitirá que você priorize suas áreas de foco. Veja o seguinte exemplo de modelo de danos para referência:

Fator Definição
Severidade Até que ponto a tecnologia poderia afetar o bem-estar de um indivíduo ou grupo?
Escala Até que ponto o impacto no bem-estar pode ser sentido em populações ou grupos?
Probabilidade Qual é a probabilidade de que a tecnologia afete o bem-estar de um indivíduo ou grupo?
Frequência Com que frequência um indivíduo ou grupo sentiria o impacto da tecnologia no seu bem-estar?

Próximas etapas

Use o Modelo de Danos que você desenvolveu para orientar seu trabalho de desenvolvimento de produtos:

  • Busque mais informações de stakeholders que você identificou como potencialmente prejudicados.
  • Desenvolva e valide a hipótese para abordar as áreas identificadas como tendo o maior potencial de danos.
  • Integre os insights às suas decisões em todo o processo de desenvolvimento da tecnologia: coleta de dados e treinamento de modelo, arquitetura do sistema, design de experiência do usuário, documentação do produto, loops de comentários, recursos de comunicação e limitações da tecnologia.
  • Explore o júri da comunidade.
  • Avalie e reduza a injustiça usando o Azure Machine Learning e o pacote FairLearn de código aberto.

Outras ferramentas de IA responsável:

Referências adicionais: