Partilhar via

Tipos de danos

  • Artigo

Este artigo cria consciência dos diferentes tipos de danos, para que as medidas de mitigação apropriadas possam ser implementadas.

Risco de lesões

Lesões corporais

Considere como a tecnologia pode prejudicar as pessoas ou criar ambientes perigosos.

Danos Description Consideração(ões) Exemplo
Dependência excessiva dos dispositivos de segurança Isso aponta para a dependência da tecnologia para tomar decisões sem supervisão humana adequada. Como as pessoas podem confiar nessa tecnologia para mantê-las seguras? Como essa tecnologia poderia reduzir a supervisão humana adequada? Um agente de saúde pode diagnosticar mal a doença, levando a um tratamento desnecessário.
Proteção inadequada contra falhas Os testes no mundo real podem considerar insuficientemente um conjunto diversificado de usuários e cenários. Se esta tecnologia falhar ou for mal utilizada, como é que as pessoas seriam afetadas? Em que momento um ser humano poderia intervir? Existem usos alternativos que não foram testados? Como uma falha do sistema afetaria os usuários? Se uma porta automática não detetar uma cadeira de rodas durante uma evacuação de emergência, uma pessoa pode ficar presa se não existir um botão de substituição acessível.
Exposição a agentes nocivos da saúde A fabricação, bem como o descarte de tecnologia, pode comprometer a saúde e o bem-estar dos trabalhadores e dos habitantes próximos. Que resultados negativos podem advir do fabrico dos seus componentes ou dispositivos? Medidas de segurança inadequadas podem expor os trabalhadores a toxinas durante a fabricação de componentes digitais.

Danos emocionais ou psicológicos

O uso indevido da tecnologia pode levar a graves sofrimentos emocionais e psicológicos.

Danos Description Consideração(ões) Exemplo
Dependência excessiva da automação Crenças equivocadas podem levar os usuários a confiar na confiabilidade de um agente digital sobre a de um humano. Como essa tecnologia poderia reduzir o feedback interpessoal direto? Como é que esta tecnologia pode interagir com fontes de informação fiáveis? Como a dependência exclusiva de um agente artificial pode afetar uma pessoa? Um chatbot pode ser usado para aconselhamento de relacionamento ou aconselhamento de saúde mental em vez de um profissional treinado.
Distorção da realidade ou gaslighting Quando utilizada intencionalmente de forma abusiva, a tecnologia pode minar a confiança e distorcer o sentido da realidade de alguém. Isso poderia ser usado para modificar mídia digital ou ambientes físicos? Um dispositivo IoT pode permitir o monitoramento e o controle de um ex-parceiro íntimo à distância.
Redução da autoestima/danos à reputação Alguns conteúdos partilhados podem ser prejudiciais, falsos, enganosos ou depreciativos. Como essa tecnologia pode ser usada para compartilhar informações pessoais de forma inadequada? Como poderia ser manipulado para abusar da informação e deturpar as pessoas? A "pornografia de vingança" da mídia sintética pode trocar de rosto, criando a ilusão de uma pessoa que participa de um vídeo que não o fez.
Vício/sequestro de atenção A tecnologia pode ser concebida para uma interação prolongada, sem ter em conta o bem-estar. De que maneira essa tecnologia pode recompensar ou incentivar a interação contínua além de oferecer valor ao usuário? Taxas de queda variáveis em loot boxes de videogames podem fazer com que os jogadores continuem jogando e negligenciem o autocuidado.
Roubo de identidade O roubo de identidade pode levar à perda de controle sobre credenciais pessoais, reputação e representação. Como um indivíduo pode ser personificado com essa tecnologia? Como essa tecnologia pode reconhecer erroneamente o indivíduo errado como um usuário autêntico? A fonte de voz sintética pode imitar o som da voz de uma pessoa e ser usada para acessar uma conta bancária.
Atribuição incorreta Isso inclui creditar a uma pessoa uma ação ou conteúdo pelo qual ela não é responsável. De que forma essa tecnologia pode atribuir uma ação a um indivíduo ou grupo? Como alguém poderia ser afetado se uma ação foi incorretamente atribuída a ele? O reconhecimento facial pode identificar erroneamente um indivíduo durante uma investigação policial.

Recusa de serviços consequentes

Perda de oportunidade

Decisões automatizadas podem limitar o acesso a recursos, serviços e oportunidades essenciais para o bem-estar.

Danos Description Consideração(ões) Exemplo
Discriminação no emprego Algumas pessoas podem ver-lhes negado o acesso para se candidatarem ou garantirem um emprego com base em características não relacionadas com o mérito. Existem formas de esta tecnologia ter impacto nas recomendações ou decisões relacionadas com o emprego? A contratação de IA poderia recomendar menos candidatos com nomes femininos para entrevistas.
Discriminação em matéria de habitação Isto inclui negar às pessoas o acesso à habitação ou a possibilidade de se candidatarem a alojamento. Como é que esta tecnologia pode impactar as recomendações ou decisões relacionadas com a habitação? O algoritmo de fila de habitação pública pode fazer com que pessoas com nomes com sonoridade internacional esperem mais tempo por vouchers.
Discriminação em matéria de seguros e prestações Isso inclui negar às pessoas seguro, assistência social ou acesso a um julgamento médico devido a padrões tendenciosos. Poderia esta tecnologia ser utilizada para determinar o acesso, o custo, a atribuição de seguros ou benefícios sociais? A companhia de seguros pode cobrar taxas mais altas para motoristas que trabalham em turnos noturnos devido a previsões algorítmicas que sugerem maior risco de dirigir embriagado.
Discriminação educacional O acesso à educação pode ser negado devido a uma característica imutável. Como essa tecnologia pode ser usada para determinar o acesso, o custo, as acomodações ou outros resultados relacionados à educação? O classificador de emoções pode relatar incorretamente que os alunos negros são menos engajados do que seus colegas brancos, levando a notas mais baixas.
Fratura digital/discriminação tecnológica O acesso desproporcionado aos benefícios da tecnologia pode deixar algumas pessoas menos informadas ou equipadas para participar na sociedade. Que pré-requisitos de competências, equipamento ou conectividade são necessários para tirar o máximo partido desta tecnologia? Qual pode ser o impacto de pessoas selecionadas terem acesso a essa tecnologia mais cedo do que outras, em termos de equipamento, conectividade ou outras funcionalidades do produto? A limitação de conteúdo pode impedir que alunos rurais acessem feeds de vídeo de instruções em sala de aula.
Perda de escolha/rede e bolha de filtro Apresentar às pessoas apenas informações que estejam de acordo e reforcem as suas crenças. Como essa tecnologia pode afetar as escolhas e as informações disponíveis para as pessoas? Em que comportamentos ou preferências passadas esta tecnologia se pode basear para prever comportamentos ou preferências futuras? O feed de notícias só poderia apresentar informações que confirmassem as crenças existentes.

Perdas económicas

A automatização de decisões relacionadas com instrumentos financeiros, oportunidades económicas e recursos pode amplificar as desigualdades societais existentes e obstruir o bem-estar.

Danos Description Consideração(ões) Exemplo
Discriminação no crédito Pode ser negado às pessoas o acesso a instrumentos financeiros com base em características não relacionadas com o mérito económico. Como essa tecnologia pode contar com as estruturas de crédito existentes para tomar decisões? Como essa tecnologia pode afetar a capacidade de um indivíduo ou grupo de obter ou manter uma pontuação de crédito? Ofertas de tarifas introdutórias mais altas só poderiam ser enviadas para residências em códigos postais socioeconômicos mais baixos.
Diferenciação de preços de bens e serviços Os bens ou serviços podem ser oferecidos a preços diferentes por razões não relacionadas com o custo de produção ou de entrega. Como poderia esta tecnologia ser utilizada para determinar o preço de bens ou serviços? Quais são os critérios para determinar o custo para as pessoas pelo uso desta tecnologia? Poderia ser cobrado mais pelos produtos baseados na designação para homens ou mulheres.
Exploração económica As pessoas podem ser obrigadas ou induzidas em erro a trabalhar em algo que afeta a sua dignidade ou bem-estar. Que papel desempenhou o trabalho humano na produção de dados de formação para esta tecnologia? Como foi adquirida esta mão de obra? Que papel desempenha o trabalho humano no apoio a esta tecnologia? De onde se espera que venha esta mão de obra? Pagar a pessoas carenciadas financeiramente pelos seus dados biométricos para treinar sistemas de IA.
Desvalorização de competências individuais A tecnologia pode suplantar o uso de perícia humana remunerada ou mão de obra. Como essa tecnologia pode impactar a necessidade de empregar uma força de trabalho existente? Agentes de IA substituem médicos/radiógrafos para avaliação de imagens médicas.

Violação dos direitos humanos

Perda de dignidade

A tecnologia pode influenciar a forma como as pessoas percebem o mundo e se reconhecem, se envolvem e valorizam umas às outras. A troca de honra e respeito entre as pessoas pode ser interferida.

Danos Description Consideração(ões) Exemplo
Desumanização Remover, reduzir ou obscurecer a visibilidade da humanidade de uma pessoa. Como pode esta tecnologia ser usada para simplificar ou abstrair a forma como uma pessoa é representada? Como essa tecnologia pode reduzir a distinção entre os seres humanos e o mundo digital? O reconhecimento de entidades e sobreposições virtuais na vigilância por drones poderia reduzir a perceção de responsabilização das ações humanas.
Vergonha pública Isso pode significar expor o material privado, sensível ou socialmente inadequado das pessoas. Como os movimentos ou ações podem ser revelados através da agregação de dados? Um aplicativo de fitness pode revelar a localização GPS de um usuário nas redes sociais, indicando a participação em uma reunião dos Alcoólicos Anônimos.

Perda de liberdade

A automatização dos sistemas jurídicos, judiciais e sociais pode reforçar preconceitos e levar a consequências prejudiciais.

Danos Description Consideração(ões) Exemplo
Policiamento preditivo Inferir comportamento suspeito ou intenção criminosa com base em registros históricos. Como isso poderia apoiar ou substituir o policiamento humano ou a tomada de decisões da justiça penal? Um algoritmo pode prever várias detenções na área, para que a polícia se certifique de que correspondem ou excedem esse número.
Controle social A conformidade pode ser reforçada ou encorajada pela designação pública dos comportamentos humanos como positivos ou negativos. Que tipos de dados pessoais ou comportamentais podem alimentar esta tecnologia? Como seria obtida? Que resultados seriam derivados destes dados? É provável que esta tecnologia seja usada para encorajar ou desencorajar certos comportamentos? O governo autoritário usa dados de mídia social e comércio eletrônico para determinar uma pontuação "confiável" com base em onde as pessoas compram e com quem passam tempo.
Perda de uma solução eficaz Isto significa uma incapacidade de explicar a fundamentação ou falta de oportunidade para contestar uma decisão. Como as pessoas podem entender o raciocínio das decisões tomadas por essa tecnologia? Como é que um indivíduo que confia nesta tecnologia pode explicar as suas decisões? Como as pessoas poderiam contestar ou questionar uma decisão que essa tecnologia toma? A pena de prisão automatizada ou a decisão de liberdade provisória não são explicadas ao arguido.

Perda de privacidade

As informações geradas pelo nosso uso da tecnologia podem ser usadas para determinar fatos ou fazer suposições sobre alguém sem o seu conhecimento.

Danos Description Consideração(ões) Exemplo
Interferência na vida privada Revelar informações que uma pessoa não escolheu partilhar. Como essa tecnologia poderia usar a informação para inferir partes da vida privada? Como poderiam as decisões baseadas nessas inferências expor coisas que uma pessoa não quer que sejam tornadas públicas? A IA de rastreamento de tarefas pode monitorar padrões pessoais a partir dos quais infere um caso extraconjugal.
Associação forçada Exigir a participação no uso da tecnologia ou da vigilância para participar na sociedade. Como o uso dessa tecnologia pode ser exigido para a participação na sociedade ou na filiação à organização? Inscrição biométrica na transcrição da sala de reunião de uma empresa A IA é um requisito estipulado na carta de oferta de emprego.
Incapacidade de desenvolver livre e plenamente a personalidade Isso pode significar restrição da capacidade de se expressar com verdade ou explorar caminhos externos para o autodesenvolvimento. De que forma o sistema ou produto atribui conotações positivas versus negativas a traços de personalidade particulares? Como o uso do produto ou sistema pode revelar informações a entidades como o governo ou o empregador que inibem a liberdade de expressão? O sistema de reuniões inteligente pode gravar todas as discussões entre colegas, incluindo sessões de coaching pessoal e mentoria.
Nunca perdoou Os ficheiros ou registos digitais nunca podem ser eliminados. O que e onde estão a ser armazenados os dados deste produto e quem pode aceder aos mesmos? Por quanto tempo os dados do usuário são armazenados após a interação com a tecnologia? Como os dados do usuário são atualizados ou excluídos? O histórico de mídia social de um adolescente pode permanecer pesquisável muito depois de ter superado a plataforma.
Perda da liberdade de circulação ou de reunião Isso significa uma incapacidade de navegar no mundo físico ou virtual com o anonimato desejado. De que maneira essa tecnologia pode monitorar as pessoas no espaço físico e virtual? Um nome real pode ser necessário para se inscrever em um jogo de vídeo que permita o stalking no mundo real.

Impacto ambiental

O ambiente pode ser afetado por todas as decisões no ciclo de vida de um sistema ou produto, desde a quantidade de computação em nuvem necessária até a embalagem de varejo. As mudanças ambientais podem afetar comunidades inteiras.

Danos Description Consideração(ões) Exemplo
Exploração ou esgotamento de recursos A obtenção de matérias-primas para a tecnologia, incluindo a forma como é alimentada, leva a consequências negativas para o ambiente e os seus habitantes. Que materiais são necessários para construir ou executar esta tecnologia? Que requisitos energéticos são necessários para construir ou executar esta tecnologia? Uma comunidade local pode ser deslocada devido à colheita de minerais e metais de terras raras necessários para alguma fabricação eletrônica.
Resíduos eletrónicos Qualidade reduzida do bem-estar coletivo devido à incapacidade de reparar, reciclar ou eliminar de forma responsável os produtos eletrónicos. Como pode esta tecnologia reduzir os resíduos eletrónicos através da reciclagem de materiais ou permitindo aos utilizadores a autorreparação? Como essa tecnologia pode contribuir para o lixo eletrônico quando novas versões são lançadas ou quando as versões atuais/passadas param de funcionar? Materiais tóxicos dentro de dispositivos eletrônicos descartados podem lixiviar para o abastecimento de água, adoecendo as populações locais.
Emissões de carbono Executar soluções em nuvem que não são otimizadas pode levar a emissões de carbono desnecessárias e desperdício de eletricidade, causando danos ao clima. Você tem informações sobre o quão otimizadas são suas cargas de trabalho e soluções na nuvem? Que impacto sua solução tem no clima e difere com base na região onde você implanta suas cargas de trabalho? A execução de soluções que não são otimizadas ou adequadamente projetadas para a eficiência da nuvem pode levar a um impacto mais pesado no clima, causando emissões de carbono desnecessárias e desperdício de eletricidade.

Erosão das estruturas sociais e democráticas

Manipulation

A capacidade da tecnologia de criar experiências altamente personalizadas e manipuladoras pode minar uma cidadania informada e a confiança nas estruturas sociais.

Danos Description Consideração(ões) Exemplo
Desinformação Disfarçar informações falsas como informações legítimas ou credíveis. Como essa tecnologia pode ser usada para gerar desinformação? Como poderia ser utilizado para espalhar desinformação credível? Geração de discurso sintético de um líder político influencia uma eleição.
Exploração comportamental Isso significa explorar preferências pessoais ou padrões de comportamento para induzir uma reação desejada. Como essa tecnologia pode ser usada para observar padrões de comportamento? Como essa tecnologia pode ser usada para incentivar comportamentos disfuncionais ou desadaptativos? Monitorar os hábitos de compra no ambiente de varejo conectado leva a incentivos personalizados para compradores por impulso e acumuladores.

Prejuízo social

Em escala, a forma como a tecnologia impacta as pessoas molda as estruturas sociais e econômicas dentro das comunidades. Pode enraizar ainda mais elementos que incluem ou beneficiam alguns, excluindo outros.

Danos Description Consideração(ões) Exemplo
Amplificação da desigualdade de poder Isso pode perpetuar as disparidades de classe ou privilégios existentes. Como pode esta tecnologia ser utilizada em contextos onde existem disparidades sociais, económicas ou de classe? Como pessoas com mais poder ou privilégio podem influenciar desproporcionalmente a tecnologia? Exigir um endereço residencial ou número de telefone para se registrar em um site de emprego pode impedir que um morador de rua se candidate.
Reforço de estereótipos Isso pode perpetuar a "sabedoria convencional" desinformada sobre pessoas historicamente ou estatisticamente sub-representadas. Como pode esta tecnologia ser utilizada para reforçar ou amplificar normas sociais ou estereótipos culturais existentes? Como é que os dados utilizados por esta tecnologia podem fazer com que reflitam preconceitos ou estereótipos? Os resultados de uma pesquisa de imagens por "CEO" podem mostrar principalmente fotos de homens caucasianos.
Perda de individualidade Isso pode ser uma incapacidade de expressar uma perspetiva única. Como essa tecnologia pode amplificar opiniões majoritárias ou "pensamento de grupo"? Por outro lado, como podem ser suprimidas formas únicas de expressão? De que forma os dados recolhidos por esta tecnologia podem ser utilizados no feedback às pessoas? Opções limitadas de personalização na conceção de um avatar de videojogo inibem a autoexpressão da diversidade de um jogador.
Perda de representação Categorias amplas de generalização obscurecem, diminuem ou apagam identidades reais. Como essa tecnologia pode restringir as opções de identidade? Poderia ser usado para rotular ou categorizar pessoas automaticamente? A legenda automática da foto atribui identidade de gênero e idade incorretas ao sujeito.
Degradação das competências e complacência A dependência excessiva da automação leva à atrofia das habilidades manuais. De que forma essa tecnologia pode reduzir a acessibilidade e a capacidade de usar controles manuais? A dependência excessiva da automação pode levar a uma incapacidade de avaliar a verdadeira orientação do avião, porque os pilotos foram treinados para confiar apenas em instrumentos.

Avaliar danos

Depois de gerar uma ampla lista de danos potenciais, você deve completar seu Modelo de Danos avaliando a magnitude potencial para cada categoria de dano. Isso permitirá que você priorize suas áreas de foco. Veja o seguinte exemplo de modelo de danos para referência:

Fator contribuinte Definição
Gravidade Até que ponto a tecnologia pode afetar o bem-estar de um indivíduo ou grupo?
Escala Em que medida o impacto no bem-estar poderia ser sentido em todas as populações ou grupos?
Probabilidade Qual a probabilidade de a tecnologia impactar o bem-estar individual ou do grupo?
Frequência Com que frequência um indivíduo ou grupo experimentaria um impacto no seu bem-estar devido à tecnologia?

Passos Seguintes

Use o Modelo de Danos que você desenvolveu para orientar seu trabalho de desenvolvimento de produto:

  • Procure obter mais informações junto das partes interessadas que identificou como estando potencialmente danificadas.
  • Desenvolva e valide a hipótese para abordar as áreas que você identificou como tendo o maior potencial de dano.
  • Integre os insights em suas decisões durante todo o processo de desenvolvimento de tecnologia: coleta de dados e treinamento de modelos, arquitetura do sistema, design da experiência do usuário, documentação do produto, loops de feedback e recursos de comunicação e limitações da tecnologia.
  • Explore o Júri da Comunidade.
  • Avalie e mitigue injustiças usando o Azure Machine Learning e o pacote FairLearn de código aberto.

Outras ferramentas de IA responsável:

Referências adicionais: