Condividi tramite

Tipi di danno

  • Articolo

Questo articolo crea consapevolezza dei diversi tipi di danni, in modo che sia possibile implementare i passaggi di mitigazione appropriati.

Rischio di lesioni

Lesioni fisiche

Si consideri come la tecnologia potrebbe danneggiare le persone o creare ambienti pericolosi.

Danno Descrizione Considerazioni Esempio
Overreliance on safety features Ciò sottolinea la dipendenza dalla tecnologia per prendere decisioni senza una supervisione umana adeguata. In che modo le persone possono affidarsi a questa tecnologia per mantenerle al sicuro? In che modo questa tecnologia potrebbe ridurre la supervisione umana appropriata? Un agente sanitario potrebbe misdiagnose malattia, causando un trattamento non necessario.
Non sono stati eseguiti errori in modo inadeguato I test reali potrebbero non essere sufficienti a considerare un set diversificato di utenti e scenari. Se questa tecnologia non riesce o viene usato in modo improprio, come potrebbero essere influenzate le persone? A che punto potrebbe intervenire un essere umano? Esistono usi alternativi per cui non sono stati testati? In che modo un errore di sistema influisce sugli utenti? Se una porta automatica non riesce a rilevare una sedia a rotelle durante un'evacuazione di emergenza, una persona potrebbe essere intrappolata se non c'è un pulsante di override accessibile.
Esposizione a agenti non integri La produzione, così come lo smaltimento della tecnologia, può mettere a repentaglio la salute e il benessere dei lavoratori e degli abitanti vicini. Quali risultati negativi possono provenire dalla produzione di componenti o dispositivi? Misure di sicurezza inadeguate potrebbero esporre i lavoratori alle tossine durante la produzione di componenti digitali.

Lesioni emotivi o psicologiche

La tecnologia impropria può causare gravi disagi emotivi e psicologici.

Danno Descrizione Considerazioni Esempio
Overreliance on automation Convinzioni sbagliate possono portare gli utenti a fidarsi dell'affidabilità di un agente digitale su quello di un umano. In che modo questa tecnologia potrebbe ridurre il feedback relazionale diretto? Come potrebbe questa interfaccia tecnologica con fonti attendibili di informazioni? In che modo la sola dipendenza da un agente artificiale può influire su una persona? Un chatbot può essere basato su per consigli di relazione o consulenza sulla salute mentale invece di un professionista addestrato.
Distorsione della realtà o del gas Se intenzionalmente impropria, la tecnologia può compromettere la fiducia e distorcere il senso della realtà di qualcuno. Può essere usato per modificare i supporti digitali o gli ambienti fisici? Un dispositivo IoT potrebbe abilitare il monitoraggio e il controllo di un ex partner intimo da lontano.
Riduzione dell'autostima/danni alla reputazione Alcuni contenuti condivisi possono essere dannosi, falsi, fuorvianti o denigrati. In che modo questa tecnologia può essere usata per condividere informazioni personali in modo inappropriato? Come potrebbe essere manipolato per usare in modo improprio le informazioni e rappresentare in modo errato le persone? I media sintetici "vendetta porno" possono scambiare volti, creando l'illusione di una persona che partecipa a un video che non lo ha fatto.
Dirottamento della dipendenza/attenzione La tecnologia potrebbe essere progettata per un'interazione prolungata, senza considerare il benessere. In quali modi questa tecnologia può ricompensare o incoraggiare l'interazione continua oltre a fornire valore utente? I tassi di calo variabile nelle scatole di bottino del gioco di videogiochi potrebbero causare la riproduzione dei giocatori e trascurare l'auto-cura.
Furto di identità Il furto di identità può causare la perdita di controllo sulle credenziali personali, la reputazione e la rappresentazione. In che modo un individuo può essere rappresentato con questa tecnologia? Come potrebbe questa tecnologia riconoscere erroneamente l'individuo sbagliato come utente autentico? Il tipo di carattere voce sintetica può simulare il suono della voce di una persona e essere usato per accedere a un conto bancario.
Misattribution Ciò include il credito di una persona con un'azione o un contenuto per cui non sono responsabili. In che modo questa tecnologia può attribuire un'azione a un individuo o a un gruppo? In che modo un utente potrebbe essere interessato se un'azione è stata erroneamente attribuita a loro? Il riconoscimento facciale può misidentificare un individuo durante un'indagine della polizia.

Negazione dei servizi consequenziali

Perdita di opportunità

Le decisioni automatizzate potrebbero limitare l'accesso a risorse, servizi e opportunità essenziali per il benessere.

Danno Descrizione Considerazioni Esempio
Discriminazione dell'occupazione Alcune persone possono essere negate l'accesso per richiedere o proteggere un lavoro in base alle caratteristiche non correlate al merito. Ci sono modi in cui questa tecnologia potrebbe influire sulle raccomandazioni o sulle decisioni relative all'occupazione? L'assunzione di intelligenza artificiale potrebbe consigliare un minor numero di candidati con nomi di sesso femminile per interviste.
Discriminazione abitativa Ciò include la negazione dell'accesso delle persone all'alloggio o la possibilità di richiedere l'alloggio. In che modo questa tecnologia potrebbe influire sulle raccomandazioni o sulle decisioni relative alle abitazioni? L'algoritmo di accodamento degli alloggi pubblici potrebbe causare alle persone con nomi di suono internazionale di aspettare più a lungo per i voucher.
Assicurazione e discriminazione a beneficio Ciò include la negazione dell'assicurazione delle persone, l'assistenza sociale o l'accesso a un processo medico a causa di standard distorti. Questa tecnologia può essere usata per determinare l'accesso, il costo, l'allocazione di prestazioni assicurative o sociali? La compagnia assicurativa potrebbe addebitare tariffe più elevate per i turni notturni di lavoro dei conducenti a causa di stime algoritmiche che suggeriscono un aumento del rischio di guida ubriaca.
Discriminazione educativa L'accesso all'istruzione può essere negato a causa di una caratteristica immutabile. In che modo questa tecnologia può essere usata per determinare l'accesso, il costo, l'alloggio o altri risultati correlati all'istruzione? Il classificatore emozioni potrebbe segnalare erroneamente che gli studenti di colore sono meno impegnati rispetto alle loro controparti bianche, portando a voti inferiori.
Divisione digitale/discriminazione tecnologica L'accesso sproporzionato ai benefici della tecnologia può lasciare alcune persone meno informate o dotate di partecipare alla società. Quali competenze, attrezzature o connettività dei prerequisiti sono necessarie per sfruttare al meglio questa tecnologia? Quale potrebbe essere l'impatto delle persone selezionate che ottengono un accesso precedente a questa tecnologia rispetto ad altri, in termini di apparecchiature, connettività o altre funzionalità del prodotto? La limitazione dei contenuti potrebbe impedire agli studenti rurali di accedere ai feed video di istruzioni per le classi.
Perdita di scelta/rete e bolla di filtro Presentare alle persone solo informazioni conformi e rafforza le loro convinzioni. In che modo questa tecnologia può influire sulle scelte e sulle informazioni disponibili per le persone? Quali comportamenti o preferenze precedenti potrebbero basarsi su questa tecnologia per prevedere comportamenti o preferenze futuri? Il feed di notizie potrebbe presentare solo informazioni che confermano le convinzioni esistenti.

Perdita economica

L'automazione delle decisioni relative a strumenti finanziari, opportunità economiche e risorse può amplificare le inquietuzioni sociali esistenti e ostacolare il benessere.

Danno Descrizione Considerazioni Esempio
Discriminazione del credito Persone può essere negato l'accesso a strumenti finanziari in base a caratteristiche non correlate al merito economico. In che modo questa tecnologia può basarsi sulle strutture di credito esistenti per prendere decisioni? In che modo questa tecnologia può influire sulla capacità di un individuo o di un gruppo di ottenere o mantenere un punteggio di credito? Le offerte di tariffe introduttive più elevate possono essere inviate solo a case in codici postali socioeconomici inferiori.
Prezzi differenziali di beni e servizi I beni o i servizi possono essere offerti a prezzi diversi per motivi non correlati al costo della produzione o della consegna. In che modo questa tecnologia può essere usata per determinare i prezzi dei beni o dei servizi? Quali sono i criteri per determinare il costo per le persone per l'uso di questa tecnologia? Più potrebbero essere addebitati i prodotti in base alla designazione per uomini o donne.
Sfruttamento economico Persone potrebbe essere costretto o sbagliato a lavorare su qualcosa che influisce sulla loro dignità o sul benessere. Quale ruolo ha svolto il lavoro umano nella produzione di dati di training per questa tecnologia? Come è stata acquisita questa forza lavoro? Quale ruolo svolge il lavoro umano per supportare questa tecnologia? Da dove proviene questa forza lavoro? Pagare finanziariamente le persone per i dati biometrici per eseguire il training dei sistemi di intelligenza artificiale.
Svalutazione delle singole competenze La tecnologia può soppiantare l'uso delle competenze umane pagate o del lavoro. In che modo questa tecnologia potrebbe influire sulla necessità di impiegare una forza lavoro esistente? Gli agenti di intelligenza artificiale sostituiscono medici/radiografi per la valutazione dell'imaging medico.

Violazione dei diritti umani

Perdita di dignità

La tecnologia può influenzare il modo in cui le persone percepiscono il mondo e riconoscono, interagiscono e valutano l'un l'altro. Lo scambio di onore e rispetto tra le persone può essere interferito con.

Danno Descrizione Considerazioni Esempio
Disumanizzazione Rimozione, riduzione o oscuramento della visibilità dell'umanità di una persona. In che modo questa tecnologia può essere usata per semplificare o astrarre il modo in cui una persona viene rappresentata? In che modo questa tecnologia può ridurre la distinzione tra gli esseri umani e il mondo digitale? Il riconoscimento delle entità e le sovrimpressioni virtuali nella sorveglianza dei droni potrebbero ridurre la responsabilità percepita delle azioni umane.
Sciamano pubblico Ciò può significare esporre materiale privato, sensibile o socialmente inappropriato. Come possono essere rivelati spostamenti o azioni tramite l'aggregazione dei dati? Un'app per il fitness potrebbe rivelare la posizione GPS di un utente sui social media, indicando la partecipazione a una riunione alcoliche anonima.

Perdita di libertà

L'automazione di sistemi legali, giudiziari e sociali può rafforzare le distorsioni e causare conseguenze negative.

Danno Descrizione Considerazioni Esempio
Polizia predittiva Inferenza di comportamenti sospetti o finalità criminali in base a record cronologici. Come potrebbe questo sostegno o sostituire il processo decisionale per la polizia umana o la giustizia penale? Un algoritmo può prevedere diversi arresti dell'area, in modo che i criteri assicurino che corrispondano o superino tale numero.
Controllo sociale La conformità può essere rafforzata o incoraggiata dal designare pubblicamente i comportamenti umani come positivi o negativi. Quali tipi di dati personali o comportamentali potrebbero alimentare questa tecnologia? Come si otterrebbe? Quali output verrebbero derivati da questi dati? È probabile che questa tecnologia venga usata per incoraggiare o scoraggiare determinati comportamenti? Il governo autoritario usa i social media e i dati di e-commerce per determinare un punteggio "affidabile" in base alla posizione in cui le persone acquistano e con cui trascorrono il tempo.
Perdita di rimedio efficace Ciò significa incapacità di spiegare la logica o la mancanza di opportunità di contestare una decisione. In che modo le persone possono comprendere il motivo delle decisioni prese da questa tecnologia? In che modo un individuo si basa su questa tecnologia spiega le sue decisioni? In che modo le persone possono contestare o porre domande su una decisione presa da questa tecnologia? La sentenza automatizzata in carcere o la decisione di rilascio preliminare non è spiegata all'accusato.

Perdita della privacy

Le informazioni generate dall'uso della tecnologia possono essere usate per determinare fatti o fare ipotesi su qualcuno senza la propria conoscenza.

Danno Descrizione Considerazioni Esempio
Interferenza con la vita privata Rivelare informazioni che una persona non ha scelto di condividere. In che modo questa tecnologia può usare le informazioni per dedurre parti della vita privata? In che modo le decisioni basate su queste inferenze espongono cose che una persona non vuole rendere pubblica? L'intelligenza artificiale di rilevamento delle attività potrebbe monitorare i modelli personali da cui deduce una relazione extramaritale.
Associazione forzata Richiedere la partecipazione all'uso della tecnologia o della sorveglianza per partecipare alla società. In che modo l'uso di questa tecnologia può essere necessario per la partecipazione alla società o all'appartenenza all'organizzazione? La registrazione biometrica nell'intelligenza artificiale di trascrizione delle sale riunioni di una società è un requisito previsto nella lettera di offerta di lavoro.
Incapacità di sviluppare liberamente e completamente la personalità Questo può significare restrizione della capacità di esprimersi in modo veritiero o esplorare vie esterne per lo sviluppo autonomo. In che modo il sistema o il prodotto ascrivono connotazioni positive e negative verso particolari tratti di personalità? In che modo l'uso del prodotto o del sistema può rivelare informazioni a entità quali il governo o il datore di lavoro che impedisce l'espressione libera? Il sistema di riunioni intelligente potrebbe registrare tutte le discussioni tra i colleghi, tra cui sessioni di coaching personale e mentoring.
Mai perdonato I file digitali o i record potrebbero non essere mai eliminati. Cosa e dove vengono archiviati i dati da questo prodotto e chi può accedervi? Quanto tempo vengono archiviati i dati utente dopo l'interazione con la tecnologia? Come vengono aggiornati o eliminati i dati utente? La storia dei social media di un adolescente potrebbe rimanere ricercabile a lungo dopo aver superato la piattaforma.
Perdita di libertà di movimento o di assemblaggio Ciò significa un'incapacità di navigare nel mondo fisico o virtuale con l'anonimato desiderato. In quali modi questa tecnologia può monitorare le persone nello spazio fisico e virtuale? Un vero nome potrebbe essere necessario per iscriversi a un videogiochi che abilita lo stalking del mondo reale.

Impatto ambientale

L'ambiente può essere influenzato da ogni decisione in un sistema o in un ciclo di vita del prodotto, dalla quantità di cloud computing necessaria per la creazione di pacchetti al dettaglio. I cambiamenti ambientali possono influire su intere comunità.

Danno Descrizione Considerazioni Esempio
Sfruttamento o esaurimento delle risorse Ottenere le materie prime per la tecnologia, incluso il modo in cui è alimentato, porta a conseguenze negative per l'ambiente e i suoi abitanti. Quali materiali sono necessari per costruire o eseguire questa tecnologia? Quali requisiti energetici sono necessari per costruire o eseguire questa tecnologia? Una comunità locale potrebbe essere spostata a causa della raccolta di minerali di terra rari e metalli necessari per una produzione elettronica.
Rifiuti elettronici Riduzione della qualità del benessere collettivo a causa dell'impossibilità di riparare, riciclare o eliminare in modo responsabile l'elettronica. In che modo questa tecnologia può ridurre i rifiuti elettronici riciclando i materiali o consentendo agli utenti di riparazione automatica? In che modo questa tecnologia può contribuire allo spreco elettronico quando vengono rilasciate nuove versioni o quando le versioni correnti/precedenti smette di funzionare? I materiali tossici all'interno di dispositivi elettronici scartati potrebbero trasfondersi nell'approvvigionamento idrico, rendendo le popolazioni locali ammalate.
Emissioni di carbonio L'esecuzione di soluzioni cloud non ottimizzate può causare emissioni di carbonio non necessarie e rifiuti di elettricità, causando danni al clima. Sono disponibili informazioni dettagliate su come sono ottimizzati i carichi di lavoro e le soluzioni cloud? Quale impatto ha la soluzione sul clima e differisce in base all'area in cui si distribuiscono i carichi di lavoro? L'esecuzione di soluzioni non ottimizzate o progettate correttamente per l'efficienza del cloud può comportare un pedaggio più pesante sul clima, causando emissioni di carbonio inutili e rifiuti elettrici.

Erosione di strutture sociali e democratiche

Manipolazione

La capacità della tecnologia di creare esperienze altamente personalizzate e manipolative può compromettere un cittadino informato e una fiducia nelle strutture sociali.

Danno Descrizione Considerazioni Esempio
Disinformazione Disguire informazioni false come informazioni legittime o credibili. Come potrebbe essere usata questa tecnologia per generare disinformazioni? Come potrebbe essere usato per diffondere disinformazioni credibili? Generazione di discorsi sintetici di un leader politico ondeggia un'elezione.
Sfruttamento comportamentale Ciò significa sfruttare le preferenze personali o i modelli di comportamento per indurre una reazione desiderata. In che modo questa tecnologia può essere usata per osservare i modelli di comportamento? In che modo questa tecnologia può essere usata per incoraggiare comportamenti disfunzionali o maladaptive? Il monitoraggio delle abitudini di acquisto nell'ambiente di vendita al dettaglio connesso porta a incentivi personalizzati per gli acquirenti e gli ordiatori d'impulso.

Danno sociale

Su larga scala, il modo in cui la tecnologia influisce sulle persone forma strutture sociali ed economiche all'interno delle comunità. Può ulteriormente contenere elementi che includono o traggono vantaggio da alcuni, escludendone altri.

Danno Descrizione Considerazioni Esempio
Amplificazione della disuguaglianza di potenza Ciò può perpetuare le disparità esistenti tra classi o privilegi. In che modo questa tecnologia può essere usata nei contesti in cui esistono disparità sociali, economiche o di classe esistenti? In che modo le persone con maggiore potere o privilegio influenzano in modo sproporzionato la tecnologia? Richiedere un indirizzo residenziale e un numero di telefono per registrarsi su un sito Web di lavoro potrebbe impedire a una persona senzatetto di richiedere l'applicazione.
Rinforzo stereotipo Ciò può perpetuare una "saggezza convenzionale" non formato su persone storicamente o statisticamente sottorappresentate. In che modo questa tecnologia può essere usata per rafforzare o amplificare le norme sociali esistenti o gli stereotipi culturali? In che modo i dati usati da questa tecnologia potrebbero riflettere distorsioni o stereotipi? I risultati di una ricerca di immagini per "CEO" potrebbero principalmente mostrare foto di uomini caucasici.
Perdita di individualità Può trattarsi di un'incapacità di esprimere una prospettiva unica. Come potrebbe questa tecnologia amplificare le opinioni di maggioranza o "pensare di gruppo"? Viceversa, come possono essere eliminate forme univoche di espressione? In quali modi i dati raccolti da questa tecnologia possono essere usati nel feedback degli utenti? Opzioni di personalizzazione limitate nella progettazione di un avatar di videogiochi impediscono l'autoespressione della diversità di un giocatore.
Perdita di rappresentazione Ampie categorie di generalizzazione oscurano, diminuiscono o cancellano le identità reali. In che modo questa tecnologia vincola le opzioni di identità? Può essere usato per etichettare o classificare automaticamente le persone? La foto automatica didascalia assegna un'identità di genere e un'età non corrette all'oggetto.
Riduzione delle competenze e scompiamento delle competenze L'eccessiva dipendenza dall'automazione porta a un trofeo delle competenze manuali. In quali modi questa tecnologia può ridurre l'accessibilità e la capacità di usare controlli manuali? L'eccessiva dipendenza dall'automazione potrebbe portare a un'incapacità di misurare il vero orientamento dell'aereo perché i piloti sono stati addestrati per affidarsi solo agli strumenti.

Valutare i danni

Dopo aver generato un elenco completo di potenziali danni, è necessario completare il modello Harms valutando la potenziale grandezza per ogni categoria di danni. In questo modo sarà possibile assegnare priorità alle aree di interesse. Per informazioni di riferimento, vedere l'esempio seguente:

Fattore Definizione
Gravità Quanto acutamente la tecnologia potrebbe influire sul benessere di un individuo o di un gruppo?
Ridimensiona In che misura l'impatto sul benessere può essere sperimentato tra popolazioni o gruppi?
Probability Quanto è probabile che la tecnologia influisca sul benessere individuale o del gruppo?
Frequenza Con quale frequenza un individuo o un gruppo ha un impatto sul benessere della tecnologia?

Passaggi successivi

Usare il modello Harms sviluppato per guidare il lavoro di sviluppo del prodotto:

  • Cercare altre informazioni dagli stakeholder identificati come potenziali danni.
  • Sviluppare e convalidare l'ipotesi per affrontare le aree identificate come il più alto potenziale di danno.
  • Integrare le informazioni dettagliate sulle decisioni in tutto il processo di sviluppo della tecnologia: raccolta dati e training dei modelli, architettura del sistema, progettazione dell'esperienza utente, documentazione del prodotto, cicli di feedback e funzionalità di comunicazione e limitazioni della tecnologia.
  • Esplora la giuria della community.
  • Valutare e attenuare l'iniquità usando Azure Machine Learning e il pacchetto FairLearn open source.

Altri strumenti di IA responsabile:

Riferimenti aggiuntivi: