Typy škod
Tento článek vytváří povědomí o různých typech škod, aby bylo možné implementovat vhodné kroky pro zmírnění rizik.
Riziko zranění
Fyzická zranění
Zvažte, jak by technologie mohla poškodit lidi nebo vytvořit nebezpečná prostředí.
Poškodit Popis Důležité informace Příklad Nadměrná shoda s bezpečnostními funkcemi To poukazuje na závislost na technologii, aby se rozhodovalo bez odpovídajícího lidského dohledu. Jak můžou lidé spoléhat na tuto technologii, aby je udrželi v bezpečí? Jak by tato technologie mohla snížit odpovídající lidský dohled? Zdravotní agent může chybně diagnostikovat nemoc, což vede k zbytečné léčbě. Nedostatečné bezpečné převzetí služeb při selhání Skutečné testování nemusí stačit ke zvážení různorodé sady uživatelůachch Pokud tato technologie selže nebo je zneužitá, jak by to mělo mít dopad na lidi? V jakém okamžiku by mohl člověk zasahovat? Existují alternativní použití, pro která nebyla testována? Jaký vliv by mělo selhání systému na uživatele? Pokud se automatické dveře nepodařilo rozpoznat vozíčkáře během nouzové nouzové evakuce, může být osoba zachycena, pokud není dostupné tlačítko přepsání. Vystavení nezdravým agentům Výroba, stejně jako likvidace technologií, může ohrozit zdraví a pohodu pracovníků a blízkých obyvatel. Jaké negativní výsledky mohou pocházet z výroby komponent nebo zařízení? Nedostatečná bezpečnostní opatření by mohla vystavit pracovníkům látky během výroby digitálních komponent.
Emocionální nebo psychická zranění
Zneužití technologie může vést k vážnému emocionálnímu a psychologickému utrpení.
Poškodit Popis Důležité informace Příklad Přereliance při automatizaci Nechtěná přesvědčení můžou vést uživatele k důvěřování spolehlivosti digitálního agenta nad člověkem. Jak by tato technologie mohla snížit přímou interpersonální zpětnou vazbu? Jak může toto technologické rozhraní s důvěryhodnými zdroji informací? Jak by mohla jediná závislost na umělém agentu ovlivnit člověka? Chatovací robot se může spoléhat na poradenství v oblasti vztahů nebo poradenství v oblasti duševního zdraví místo vyškoleného profesionála. Zkreslení reality nebo gaslightingu Při úmyslném zneužití může technologie podkopávat důvěru a zkreslovat smysl reality někoho. Dá se použít k úpravě digitálních médií nebo fyzických prostředí? Zařízení IoT by mohlo umožnit monitorování a řízení ex-intimního partnera na dálku. Snížení sebeúcty/poškození pověsti Některý sdílený obsah může být škodlivý, nepravdivý, zavádějící nebo denigrace. Jak by se tato technologie dala použít k nevhodnému sdílení osobních údajů? Jak může být manipulováno se zneužitím informací a chybně představovanými lidmi? Syntetická média "pomsta porno" může prohodit tváře, což vytváří iluzi člověka, který se účastní videa, který ne. Závislost/ pozornost únosu Technologie by mohla být navržena pro dlouhodobou interakci bez ohledu na pohodu. Jakým způsobem může tato technologie odměňovat nebo podporovat trvalou interakci nad rámec poskytování hodnoty uživatele? Proměnlivé poklesy míry ve videohrách loot boxy by mohly způsobit, že hráči budou hrát a zanedbávat sebe-péče. Krádež identity Krádež identity může vést ke ztrátě kontroly nad osobními přihlašovacími údaji, reputací a reprezentací. Jak může být jednotlivec zosobněný touto technologií? Jak může tato technologie omylem rozpoznat nesprávného jednotlivce jako autentického uživatele? Syntetické písmo hlasu by mohlo napodobovat zvuk hlasu člověka a použít ho pro přístup k bankovnímu účtu. Chybně přisuzování To zahrnuje kredit osoby s akcí nebo obsahem, za který nejsou zodpovědní. Jakým způsobem může tato technologie přiřazovat akci jednotlivým nebo skupinám? Jak by to mohlo být ovlivněno, pokud byla akce nesprávně přiřazena? Rozpoznávání obličeje může chybně identifikovat jednotlivce během policejního vyšetřování.
Odepření následných služeb
Ztráta příležitosti
Automatizovaná rozhodnutí by mohla omezit přístup k prostředkům, službám a příležitostem nezbytným pro pohodu.
Poškodit Popis Důležité informace Příklad Diskriminace v zaměstnání Některým lidem může být odepřen přístup k uplatnění nebo zabezpečení práce na základě charakteristik nesouvisejících s výkonem. Existují způsoby, kterými by tato technologie mohla ovlivnit doporučení nebo rozhodnutí týkající se zaměstnanosti? Nábor umělé inteligence by mohl doporučit méně kandidátů s ženskými jmény pro pohovory. Diskriminace bydlení To zahrnuje odepření přístupu lidí k bydlení nebo možnost požádat o bydlení. Jak by tato technologie mohla ovlivnit doporučení nebo rozhodnutí související s bydlením? Algoritmus řízení front veřejného bydlení by mohl způsobit, že lidé s mezinárodními názvy čekají na poukázky déle. Pojištění a diskriminace dávek To zahrnuje odepření pojištění osob, sociální pomoci nebo přístupu k lékařskému soudu kvůli zkresleným standardům. Lze tuto technologii použít k určení přístupu, nákladů, přidělování pojištění nebo sociálních dávek? Pojišťovací společnost může účtovat vyšší sazby za řidiče pracující noční směny kvůli algoritmickým predikcím, které naznačují zvýšené opilé riziko řízení. Vzdělávací diskriminace Přístup ke vzdělávání může být odepřen z důvodu neměnné vlastnosti. Jak se tato technologie může použít k určení přístupu, nákladů, ubytování nebo jiných výsledků souvisejících se vzděláváním? Klasifikátor emocí by mohl nesprávně hlásit, že studenti barev jsou méně zapojeni než jejich bílé protějšky, což vede k nižším známkám. Digitální dělení/technologická diskriminace Nepřiměřený přístup k výhodám technologie může některým lidem nechat méně informovaný nebo vybavený, aby se mohli zapojit do společnosti. Jaké požadované dovednosti, vybavení nebo připojení jsou nezbytné k tomu, aby se z této technologie co nejvíce dostaly? Jaký vliv může mít výběr lidí, kteří získají dřívější přístup k této technologii než ostatní, pokud jde o vybavení, připojení nebo jiné funkce produktu? Omezování obsahu by mohlo zabránit studentům v přístupu k výukovým kanálům učeben. Ztráta výběru/ sítě a bubliny filtru Prezentování lidí pouze s informacemi, které vyhovují a posiluje jejich přesvědčení. Jak může tato technologie ovlivnit možnosti a informace dostupné lidem? Jaké minulé chování nebo předvolby se tato technologie může spoléhat na předpovídání budoucího chování nebo předvoleb? Informační kanál by mohl prezentovat pouze informace, které potvrdí stávající přesvědčení.
Ekonomická ztráta
Automatizace rozhodnutí souvisejících s finančními nástroji, ekonomickou příležitostí a zdroji může zvýšit stávající společenské nepravosti a bránit pohodě.
Poškodit Popis Důležité informace Příklad Úvěrová diskriminace Lidé může být odepřen přístup k finančním nástrojům na základě charakteristik nesouvisejících s ekonomickými přínosy. Jak může tato technologie při rozhodování spoléhat na stávající úvěrové struktury? Jak může tato technologie ovlivnit schopnost jednotlivce nebo skupiny získat nebo zachovat úvěrové skóre? Nabídky vyšších úvodních sazeb lze posílat pouze do domů v nižších socioekonomických PSČ. Rozdílové ceny zboží a služeb Zboží nebo služby mohou být nabízeny za různé ceny z důvodů nesouvisejících s náklady na výrobu nebo dodání. Jak by se tato technologie dala použít k určení cen zboží nebo služeb? Jaká jsou kritéria pro určení nákladů na používání této technologie uživatelům? Za produkty založené na označení mužů nebo žen by se mohlo účtovat více. Hospodářské využívání Lidé mohou být nuceni nebo chybně pracovat na něčem, co ovlivňuje jejich důstojnost nebo pohodu. Jakou roli hrála lidská práce při vytváření trénovacích dat pro tuto technologii? Jak se tato pracovní síla získala? Jakou roli hraje lidská práce při podpoře této technologie? Odkud se očekává, že tato pracovní síla pochází? Placení finančně destitutů lidí za jejich biometrická data k trénování systémů AI. Devaluace jednotlivých odborných znalostí Technologie může nahradit využívání placených lidských odborných znalostí nebo práce. Jak by tato technologie mohla ovlivnit potřebu zaměstnat stávající pracovníky? AI agenti nahrazují lékaře/radiografery pro vyhodnocení lékařského obrazu.
Porušení lidských práv
Ztráta důstojnosti
Technologie může ovlivnit, jak lidé vnímají svět a rozpoznávají, zapojují se do sebe a hodnotí. Výměna cti a respektu mezi lidmi může být narušena.
Poškodit Popis Důležité informace Příklad Odlidnění Odebrání, omezení nebo zakrývání viditelnosti lidstva člověka. Jak se tato technologie používá ke zjednodušení nebo abstrakci způsobu, jakým je osoba reprezentována? Jak by tato technologie mohla snížit rozlišení mezi lidmi a digitálním světem? Rozpoznávání entit a virtuální překrytí v dronech může snížit vnímanou odpovědnost za lidské akce. Veřejné stydnutí To může znamenat zveřejnění soukromého, citlivého nebo sociálně nevhodného materiálu. Jak se můžou pohyby nebo akce odhalit prostřednictvím agregace dat? Fitness aplikace by mohla odhalit polohu GPS uživatele na sociálních médiích, což značí účast na anonymní schůzce alkoholiků.
Ztráta svobody
Automatizace právních, soudních a sociálních systémů může posílit předsudky a vést k škodlivým důsledkům.
Poškodit Popis Důležité informace Příklad Prediktivní policejní služby Odvození podezřelého chování nebo trestného záměru na základě historických záznamů. Jak by mohla tato podpora nebo nahradit rozhodování o lidských policejních nebo trestních věcech? Algoritmus dokáže předpovědět několik zatčení oblastí, takže policie zajistí, aby se shodovaly nebo překročily toto číslo. Sociální kontrola Shoda může být posílena nebo podporována veřejným návrhem lidského chování jako pozitivní nebo negativní. Jaké typyosobních Jak by se dal získat? Jaké výstupy by se z těchto dat odvozovaly? Je pravděpodobné, že se tato technologie bude používat k podpoře nebo odrazování určitých chování? Státní správa sociálních médií a dat elektronického obchodování používá k určení "důvěryhodného" skóre na základě toho, kde lidé nakupují a s kým tráví čas. Ztráta účinné nápravy To znamená nemožnost vysvětlit odůvodnění nebo nedostatek příležitostí k napadení rozhodnutí. Jak můžou lidé pochopit odůvodnění rozhodnutí, která tato technologie učinila? Jak může jednotlivec, který se spoléhá na tuto technologii, vysvětlit svá rozhodnutí? Jak mohou lidé soutěžit nebo se ptát na rozhodnutí, které tato technologie dělá? Automatizované rozhodnutí o propuštění z vězení nebo předběžného soudu není vysvětleno obviněnému.
Ztráta ochrany osobních údajů
Informace vygenerované naším využitím technologie mohou být použity k určení faktů nebo k předpokladům o někom bez jejich znalostí.
Poškodit Popis Důležité informace Příklad Interference se soukromým životem Odhalení informací, které osoba nesdílí. Jak by tato technologie mohla používat informace k odvozování částí soukromého života? Jak by mohla rozhodnutí založená na těchto odvozech vystavit věci, které osoba nechce zveřejnit? Umělá inteligence pro sledování úkolů může sledovat osobní vzory, ze kterých odvodí extramárnou záležitost. Vynucené přidružení Vyžadování účasti na používání technologií nebo dohledu, aby se zapojily do společnosti. Jak může být použití této technologie vyžadováno pro účast ve společnosti nebo členství v organizaci? Biometrická registrace v přepisu zasedací místnosti společnosti je stanoveným požadavkem v dopisu o pracovní nabídce. Neschopnost volně a plně rozvíjet osobnost To může znamenat omezení schopnosti člověka pravdivě vyjádřit se nebo prozkoumat externí cesty pro sebe-vývoj. Jakým způsobem systém nebo produkt připisuje pozitivní vs. negativní konnotace ke konkrétním vlastnostem osobnosti? Jak může používání produktu nebo systému odhalit informace entitám, jako je vláda nebo zaměstnavatel, který brání volnému výrazu? Inteligentní systém schůzek by mohl zaznamenávat všechny diskuze mezi kolegy, včetně osobního koučování a mentorství zasedání. Nikdy neodpustíte Digitální soubory nebo záznamy nemusí být nikdy odstraněny. Co a kde jsou data uložená z tohoto produktu a kdo k němu má přístup? Jak dlouho jsou uživatelská data uložená po interakci technologií? Jak se uživatelská data aktualizují nebo odstraní? Historie sociálních médií teenagerů může zůstat prohledávatelná dlouho poté, co přerostly platformu. Ztráta svobody pohybu nebo sestavení To znamená neschopnost procházet fyzický nebo virtuální svět s požadovanou anonymizací. Jak může tato technologie monitorovat lidi ve fyzickém a virtuálním prostoru? Skutečné jméno může být vyžadováno k registraci videohry, která umožňuje skutečné zastarání.
Ekologický dopad
Na prostředí může mít vliv každé rozhodnutí v životním cyklu systému nebo produktu, od množství cloud computingu potřebného k maloobchodnímu balení. Změny životního prostředí můžou mít vliv na celé komunity.
Poškodit Popis Důležité informace Příklad Zneužití nebo vyčerpání prostředků Získávání surovin pro technologie, včetně toho, jak je poháněno, vede k negativním důsledkům pro životní prostředí a jeho obyvatele. Jaké materiály jsou potřeba k sestavení nebo spuštění této technologie? Jaké energetické požadavky jsou potřeba k sestavení nebo provozování této technologie? Místní komunita by mohla být vytěsněna kvůli sběru vzácných surovin a kovů potřebných pro určitou elektronickou výrobu. Elektronický odpad Nižší kvalita kolektivní pohody kvůli nemožnosti opravit, recyklovat nebo jinak zodpovědně zbavit elektroniky. Jak může tato technologie snížit elektronické odpady recyklací materiálů nebo umožnit uživatelům samoobslužnou opravu? Jak může tato technologie přispět k elektronickému odpadu, když jsou vydány nové verze nebo kdy aktuální/minulé verze přestanou fungovat? Toxické materiály uvnitř zahozených elektronických zařízení mohou leachovat do zásobování vodou, což zkazí místní populace. Emise uhlíku Provozování cloudových řešení, která nejsou optimalizovaná, může vést k zbytečným emisím uhlíku a plýtvání elektřinou, což způsobí škodu klimatu. Máte přehled o tom, jak jsou optimalizované cloudové úlohy a řešení? Jaký dopad má vaše řešení na klima a liší se v závislosti na oblasti, ve které nasazujete úlohy? Provozování řešení, která nejsou optimalizovaná nebo správně navržená pro efektivitu cloudu, můžou vést k těžšímu zatížení klimatu, což způsobuje zbytečné emise uhlíku a plýtvání elektřinou.
Eroze sociálních a demokratických struktur
Manipulace
Schopnost technologií vytvářet vysoce personalizované a manipulativní prostředí může podkopávat informované občanství a důvěru ve společenské struktury.
Poškodit Popis Důležité informace Příklad Dezinformace Zachytává falešné informace jako legitimní nebo důvěryhodné informace. Jak by se tato technologie mohla použít ke generování dezinformací? Jak by se dala použít k šíření důvěryhodného dezinformace? Generace syntetické řeči politického vůdce volby. Behaviorální zneužití To znamená zneužití osobních preferencí nebo vzorů chování k vyvolání požadované reakce. Jak se tato technologie používá ke sledování vzorů chování? Jak by tato technologie mohla být použita k podpoře nefunkčního nebo maladaptivního chování? Monitorování nákupních návyků v propojeném maloobchodním prostředí vede k přizpůsobeným pobídkám pro impulzní nakupující a hoardy.
Sociální újma
Způsob, jakým technologie ovlivňuje lidi, tvarují sociální a ekonomické struktury v rámci komunit. Může dále zakroužovat prvky, které zahrnují nebo využívají některé, a současně s výjimkou jiných.
Poškodit Popis Důležité informace Příklad Amplifikace nerovnosti mocniny To může zachovat stávající třídu nebo rozdíly v oprávněních. Jak by se tato technologie mohla používat v kontextech, kde existují sociální, ekonomické nebo třídní rozdíly? Jak můžou lidé s větší silou nebo oprávněním nepřiměřeně ovlivnit technologii? Vyžadování adresy bydliště a telefonního čísla pro registraci na pracovním webu by mohlo bránit bezdomovci v uplatnění žádosti o domácnosti. Stereotypní výztuže To může trvale zachovat neinformované "konvenční moudrosti" o historicky nebo statisticky nedostatečně zastoupených lidech. Jak by se tato technologie mohla použít k posílení nebo rozšíření stávajících sociálních norem nebo kulturních stereotypů? Jak mohou data používaná touto technologií způsobit, že odrážejí předsudky nebo stereotypy? Výsledky hledání obrázků "CEO" by mohly především ukázat fotky bělochů. Ztráta individuality Může to být neschopnost vyjádřit jedinečnou perspektivu. Jak může tato technologie zesilovat názory většiny nebo "skupinový názor"? Jak naopak mohou být potlačeny jedinečné formy výrazu? Jak se můžou data shromážděná touto technologií používat ve zpětné vazbě k lidem? Omezené možnosti přizpůsobení při navrhování avatara videohry inhibují sebevytváření rozmanitosti hráče. Ztráta reprezentace Široké kategorie zobecnění, které jsou nejasné, snižují nebo vymažou skutečné identity. Jak by tato technologie mohla omezit možnosti identity? Dá se použít k automatickému označení nebo kategorizaci lidí? Automatická fotka popis přiřadí předmětu nesprávnou genderovou identitu a věk. Degradace dovedností a kompplacency Nadlimitnost automatizace vede k atrofii ručních dovedností. Jak může tato technologie omezit přístupnost a schopnost používat ruční ovládací prvky? Přecitlivost na automatizaci by mohla vést k neschopnosti měřit skutečnou orientaci letadla, protože piloti byli vyškoleni tak, aby spoléhali pouze na přístroje.
Vyhodnocení škod
Jakmile vygenerujete široký seznam potenciálních škod, měli byste model škod dokončit vyhodnocením potenciální velikosti pro každou kategorii škod. To vám umožní určit prioritu oblastí zaměření. Referenční informace najdete v následujícím příkladu modelu poškození:
| Faktor přispívání | Definice |
|---|---|
| Závažnost | Jak akutní může technologie ovlivnit pohodu jednotlivce nebo skupiny? |
| Měřítko | Jak široce by to mohlo mít dopad na pohodu napříč populacemi nebo skupinami? |
| Probability | Jak pravděpodobné je, že technologie má vliv na pohodu jednotlivce nebo skupiny? |
| Četnost | Jak často by jednotlivec nebo skupina měli vliv na jejich pohodu z této technologie? |
Další kroky
Použijte model Harms, který jste vytvořili, abyste provedli práci na vývoji produktů:
- Vyhledejte další informace od zúčastněných stran, které jste identifikovali jako potenciálně škodlivé.
- Vyvíjejte a ověřte hypotézu pro řešení oblastí, které jste identifikovali jako nejvyšší potenciál škod.
- Integrujte přehledy o vašich rozhodnutích v rámci procesu vývoje technologií: shromažďování dat a trénování modelů, systémová architektura, návrh uživatelského prostředí, dokumentace k produktům, smyčky zpětné vazby a možnosti komunikace a omezení technologie.
- Prozkoumejte komunitní porotu.
- Vyhodnoťte a zmírníte nespravedlivost pomocí služby Azure Machine Učení a opensourcového balíčku FairLearn.
Další zodpovědné nástroje AI:
- Zodpovědné centrum prostředků AI
- Pokyny pro interakci s lidskou AI
- Pokyny pro konverzační AI
- Pokyny pro inkluzivní návrh
- Kontrolní seznam AI Fairness
Další odkazy: