損害の種類
この記事では、適切な緩和措置を実施できるように、さまざまな種類の損害に対する認識を高めます。
損傷のリスク
物理的損傷
テクノロジによってどのように人々が傷つけられたり、危険な環境が作り出されたりする可能性があるかについて検討します。
損害 説明 考慮事項 例 安全機能への過度の依存 これは、適切な人間の監視なしに、テクノロジに依存して意思決定が行われることを指します。 人々はどのようにしてこのテクノロジに依存して安全を確保することができるか。 このテクノロジをどのように使用すれば、適切な人間の監視を減らすことができるか。 医療従事者が病気を誤診したことで、必要ない治療が行われる可能性があります。 不適切なフェールセーフ 実際のテストで、さまざまなユーザーやシナリオが十分に考慮されていない場合があります。 このテクノロジが失敗したり誤って使用されたりした場合、人々はどのような影響を受けるか。 どの時点で人間が介入できるか。 テストされていない別の使用法はあるか。 システム障害がユーザーに与える影響 緊急避難中に自動ドアが車椅子を検知できなかった場合、使用可能な無効化ボタンがないと、利用者が閉じ込められる可能性があります。 有害物質への暴露 テクノロジの製造ならびに廃棄により、作業員や近隣住民の健康と福利が脅かされる可能性があります。 コンポーネントや装置の製造からどのようなマイナスの結果が生じる可能性があるか。 安全対策が不十分な場合、デジタル コンポーネントの製造中に作業員が有害物質にさらされる可能性があります。
感情的または心理的損傷
テクノロジの誤った使用が、深刻な感情的および心理的苦痛を引き起こす可能性があります。
損害 説明 考慮事項 例 自動化への過度の依存 誤った信念により、人間よりもデジタル媒体の方が信頼できるとユーザーが信じるようになる可能性があります。 このテクノロジをどのように使用すれば、直接的な対人フィードバックを削減できるか。 どのような方法で、このテクノロジを信頼できる情報源と連動させることができるか。 人工媒体のみに依存した場合、人にどのような影響を与える可能性があるか。 人間関係についての助言や精神衛生上の相談に関して、訓練を受けた専門家の代わりに、チャット ボットに頼ることができます。 事実の歪曲またはガスライティング 意図的に誤用された場合、テクノロジは信頼を損なったり、現実感を歪めたりする可能性があります。 これは、デジタル媒体や物理的な環境を改変するために使われる可能性はあるか。 IoT デバイスを使用すると、以前親密だったパートナーを遠くから監視したり支配したりすることができます。 自己評価を低下させる/評判を損なう 共有コンテンツの中には、有害なもの、虚偽のもの、誤解を招くもの、中傷するものなどがあります。 このテクノロジを使用して個人情報が不適切に共有されるのはどのような場合か。 これをどのように操作すれば、情報を誤って使用したり、人々を偽って伝えたりできるか。 合成メディアである "リベンジ ポルノ" は、顔を入れ替えて、実際は動画に登場していなかった人物が登場していたかのように錯覚させることができます。 依存症/注意力の乗っ取り 健康に配慮せずに、長時間にわたって相互作用を行うようにテクノロジが設計されている場合があります。 このテクノロジは、ユーザーに価値を提供するほかに、相互作用を継続させることについて、どのような方法で報酬を与えたり、奨励したりする可能性があるか。 ビデオ ゲームではルート ボックスのドロップ率が変化することで、プレーヤーはゲームを継続し、セルフケアを怠る可能性があります。 なりすまし なりすましにより、個人の信用情報、評判、表現に対する制御が失われる可能性があります。 このテクノロジを使って、どのような方法で個人のなりすましが行われる可能性があるか。 このテクノロジでは、どのようにして、誤った個人が正当なユーザーであると間違って認識されるか。 合成の音声フォントが人の声の音をまねて、銀行口座へのアクセスに使用される可能性があります。 誤帰属 これには、自分の責任ではない行動や内容が自分の責任であると見なされることが含まれます。 このテクノロジでは、どのような方法で、ある行動が個人またはグループによるものとされる可能性があるか。 ある行動が誤って自分の責任であると見なされた場合、どのような影響が考えられるか。 警察の捜査中に、顔認識で個人が誤認される可能性があります。
派生的サービスの否定
機会の喪失
自動化された意志決定により、福利に不可欠であるリソース、サービス、および機会の利用が制限される可能性があります。
損害 説明 考慮事項 例 雇用差別 一部の人が、能力に関係ない特性に基づいて、仕事の応募や確保への機会を拒否される場合があります。 このテクノロジはどのような方法で、雇用に関連した推奨事項や意思決定に影響を与える可能性があるか。 AI を採用することで、女性と思われる名前の面接候補者の推奨数が少なくなる可能性があります。 住宅差別 これには、人々が住宅を利用できないようにしたり、住宅の申し込みができないようにしたりすることが含まれます。 このテクノロジは、住宅に関連した推奨事項や意思決定にどのような影響を与える可能性があるか。 公営住宅の待ち行列アルゴリズムにより、外国人と思われる名前の人々の方が証票の待ち時間が長くなる可能性があります。 保険と福祉手当の差別 これには、偏った基準のために、保険、社会的援助、または臨床試験の機会が拒否されることが含まれます。 保険や社会的給付金の機会、コスト、割り当てを決定するために、このテクノロジを使用できるか。 保険会社は、飲酒運転リスクの増加を示すアルゴリズム予測により、夜勤の運転手に対して、より高い保険料を請求する可能性があります。 教育上の差別 変えることができない特性のために、教育の機会が拒否される場合があります。 教育に関連する機会、コスト、設備、またはその他の結果を判定するために、このテクノロジはどのように使用される可能性があるか。 感情分類器が、白人の学生に比べて有色人種の学生が積極的でないという誤った報告をしてしまい、成績の低下につながる可能性があります。 デジタル ディバイド/技術的差別 テクノロジの恩恵を享受する機会が不均衡になると、一部の人々が十分な情報を得られなかったり、社会に参加するための機器が不足したままになってしまう可能性があります。 このテクノロジを最大限に活用するには、どのような前提スキル、機器、または接続性が必要か。 機器、接続性、またはその他の製品機能に関して、限られた人が、他の人よりも早くこのテクノロジにアクセスできることでどのような影響が考えられか。 コンテンツの帯域幅調整により、地方の学生が、授業のビデオ フィードにアクセスできない可能性があります。 選択の喪失/ネットワークおよびフィルター バブル 人々に対して、その人の考え方に合致し、それを強化する情報だけを提示すること。 このテクノロジは、人々が利用できる選択肢や情報にどのような影響を及ぼす可能性があるか。 このテクノロジは、将来の行動や嗜好を予測するために、どのような過去の行動や嗜好に依存する可能性があるか。 ニュース フィードで、既存の信念を裏付ける情報のみが提示される可能性があります。
経済的損失
金融商品、経済的機会、およびリソースに関連する意思決定を自動化することにより、既存の社会的不公平が増幅され、幸福が阻害される可能性があります。
損害 説明 考慮事項 例 信用差別 経済的能力に関係ない特性に基づいて金融商品の機会を拒否される場合があります。 このテクノロジは、意思決定を行うために既存の信用構造にどのように依存する可能性があるか。 このテクノロジは、個人またはグループが信用スコアを取得または維持する能力にどのような影響を与える可能性があるか。 社会経済的に低い郵便番号の家庭だけに、より高額の入会オファーが送付される可能性があります。 商品およびサービスの異なる価格設定 製造や配送のコストとは関係ない理由により、異なる価格で商品やサービスが提供されることがあります。 商品またはサービスの価格を決定するために、このテクノロジをどのように使用できるか。 このテクノロジの使用に関して、人々に対するコストを決定する基準とはどのようなものか。 男性向けか女性向けかに基づいて、商品の代金を高くすることができます。 経済的搾取 人々が、尊厳や幸福に影響を与えるものに取り組むよう強制されたり、誤って誘導されたりする可能性があります。 このテクノロジのトレーニング データの生成において、人間の労働はどのような役割を果たしたか。 この労働力はどのようにして得られたか。 このテクノロジをサポートするうえで、人間の労働はどのような役割を果たしたか。 この労働力は、どこから得られると予想されるか。 経済的に困窮している人々に、AI システムをトレーニングするための生化学的データの対価を支払います。 個々の専門知識に対する評価の低下 テクノロジが、人間による有償の専門知識や労働の使用に取って代わる可能性があります。 このテクノロジは、既存の従業員を雇用する必要性にどのような影響を与える可能性があるか。 AI エージェントが、医用画像の評価で、医師や X 線技師に取って代わる。
人権侵害
尊厳の喪失
テクノロジは、人々の世界の捉え方や、お互いを認識、関与、評価する方法に影響を与える可能性があります。 人と人との間の名誉と敬意のやり取りが妨げられる可能性があります。
損害 説明 考慮事項 例 人間性の喪失 人間性に対する認識が失われたり、薄れたり、曖昧になったりします。 人の表現方法を簡略化したり抽象化したりするために、このテクノロジはどのように使用される可能性があるか。 このテクノロジは、人間とデジタル世界の区別をどのようにして減らす可能性があるか。 ドローンによる監視でのエンティティ認識と仮想オーバーレイにより、人間の行動に関する認識されている責任追跡性を減らすことができます。 パブリック シェイミング これは、人々の個人的、他人に触れられたくない、または社会的に不適切な情報を公開することを意味する場合があります。 データを集計することで、どのように活動や行動が暴露されるか。 フィットネス アプリにより、ユーザーの GPS の位置がソーシャル メディアで暴露され、アルコール中毒更生会のミーティングへの参加が示される可能性があります。
自由の喪失
法律、司法、および社会制度の自動化により、偏見が強化されて、有害な結果につながる可能性があります。
損害 説明 考慮事項 例 予測警察活動 履歴レコードに基づいて疑わしい行動や犯罪の意図を推論すること。 これは、人間による警察活動や刑事司法の意志決定をどのようにサポートするか、または取って代わるか。 アルゴリズムで複数地域での逮捕数を予測できるため、警察はその数に一致しているか、または超えているかを確認します。 社会的統制 人間の行動を肯定的または否定的として公けに示すことで、適合性を強化したり奨励したりすることができます。 どのような種類の個人または行動データがこのテクノロジに提供される可能性があるか。 それはどのようにして取得されるか。 このデータからどのような出力を得られるか。 特定の行動を奨励したり抑制したりするためにこのテクノロジが使用される可能性があるか。 権威主義的な政府は、ソーシャル メディアと e コマースのデータを使用して、人々がどこで買い物をしているか、誰と過ごしているかに基づいて、"信頼" スコアを決定します。 有効な救済策の喪失 これは、意志決定に異議を唱える根拠を説明できないこと、またはその機会がないことを意味します。 このテクノロジによって行われた意志決定の理由を人々はどのように理解できるか。 このテクノロジに依存している個人は、その判断をどのように説明できるか。 人々はどのようにして、このテクノロジによって行われた意思決定に異議を唱えたり、疑問を提示したりすることができるか。 自動化された実刑判決や公判前の釈放の決定は被告人に説明されません。
プライバシーの喪失
テクノロジの使用で生成された情報を使用して、ある人物についてその人が知らないうちに事実を判断したり、推測を行ったりする可能性があります。
損害 説明 考慮事項 例 私生活への干渉 個人が共有することを選択していない情報を暴露すること。 私生活の一部を推測するために、このテクノロジではどのように情報が使用されるか。 これらの推論に基づく意思決定は、どのようにして、個人が公開されることを望んでいないことを暴露できるか。 タスク追跡 AI が、個人の決まった行動を監視して、そこから不倫関係を推測することができます。 強制的な関連付け 社会に参加するために、テクノロジや監視の使用への参加を要求すること。 どのような方法で、このテクノロジの使用が、社会や組織のメンバーに加わるための要件になる可能性があるか。 会社の会議室での文字起こし AI への生体登録は、採用通知に規定された要件です。 自由かつ十分に個性を発揮できない これは、自分自身をありのままに表現したり、自己啓発のための外部手段を調べたりすることへの制限を意味する場合があります。 システムまたは製品はどのような方法で、特定の性格特性に対して肯定的な意味合いと否定的な意味合いを区別しているか。 その製品やシステムを使用することで、表現の自由を妨げる政府や雇用主などの団体に、どのように情報が開示されるか。 インテリジェント ミーティング システムは、個人のコーチングや指導のセッションを含めて、同僚間のすべての話し合いを記録できます。 決して許されない デジタルのファイルや記録は決して削除されない可能性があります。 この製品のどのようなデータがどこに格納されており、誰がそれにアクセスできるか。 テクノロジの相互作用の後、どのくらいの期間、ユーザー データは保存されるか。 ユーザー データの更新または削除はどのように行われるか。 中高生のソーシャル メディア履歴が、そのプラットフォームが使用されなくなった後も長い期間検索可能な状態のままになる可能性があります。 移動や集合の自由の喪失 これは、希望する匿名性で現実または仮想の世界を移動できないことを意味します。 このテクノロジはどのような方法で、現実と仮想の空間にわたって人々を監視するか。 現実世界のストーカー行為を可能にするビデオ ゲームにサインアップするには、実名が必要になる可能性があります。
環境の影響
環境は、必要なクラウド コンピューティングの量から小売りでの包装に至るまで、システムや製品のライフ サイクルにおけるあらゆる意志決定の影響を受けます。 環境の変化は、コミュニティ全体に影響を与える可能性があります。
損害 説明 考慮事項 例 資源の搾取または枯渇 テクノロジの原材料を入手することは、それがどのように動力供給されるかを含めて、環境とその住民に悪影響を及ぼします。 このテクノロジを構築または実行するために、どのような材料が必要か。 このテクノロジを構築または実行するために、どのようエネルギー要件が必要か。 一部の電子機器の製造に必要なレアアースの鉱物と金属を採掘するために、地域コミュニティの立ち退きが行われる可能性があります。 電子機器廃棄物 電子機器の修理やリサイクルができない、または責任ある廃棄が行われないために、集団的福利の質が低下します。 材料をリサイクルしたり、ユーザーが自分で修理できるようにしたりすることで、このテクノロジでは、どのようにして電子機器の廃棄を減らすことができるか。 新しいバージョンがリリースされたり、現在または過去のバージョンが動作しなくなったりしたときに、このテクノロジは電子機器の廃棄にどのように影響するか。 廃棄された電子装置内の有毒物質が給水源に浸出して、地域の人々を病気にする可能性があります。 炭素排出量 最適化されていないクラウド ソリューションの運用は、不必要な二酸化炭素の排出や電力の浪費を招き、気候に害を及ぼす可能性があります。 クラウドのワークロードやソリューションがどの程度最適化されているかについて、分析情報を得られているか。 ソリューションが気候にどのような影響を及ぼすか。また、それはワークロードをデプロイするリージョンによって異なるのか。 クラウドの効率が最適化されていない、または適切に設計されていないソリューションを実行すると、不必要な二酸化炭素の排出や電力の浪費を招き、気候への負荷が増す可能性があります。
社会的および民主的構造の衰退
操作
テクノロジで高度にパーソナライズされた操作可能なエクスペリエンスを作り出せることにより、情報を持つ市民と、社会構造における信頼が損なわれる可能性があります。
損害 説明 考慮事項 例 誤情報 偽の情報を正当または信頼できる情報と偽装すること。 このテクノロジを使用してどのように誤情報を生成できるか。 それをどのように使用すれば、信憑性のある誤情報を拡散できるか。 政治指導者の合成音声を生成することで、選挙に影響を与える。 行動の悪用 これは、個人的嗜好や行動のパターンを悪用して、自分が望む反応を引き出すことを意味します。 行動パターンを観察するためにこのテクノロジをどのように使用できるか。 社会秩序を乱す行動や不適応な行動を促すために、このテクノロジをどのように使用できるか。 コネクテッド リテール環境での買い物習慣を監視することは、衝動買いをする買い物客や買いだめをする人を対象とする個人的なインセンティブにつながります。
社会的損害
大規模に、テクノロジが人々に影響を与える方法により、コミュニティ内で社会構造や経済構造が形成されます。 一部の人を含めたり一部の人に利益をもたらす一方で他の人を排除する要素を根付かせることができます。
損害 説明 考慮事項 例 権力の不均衡の増幅 これにより、既存の階級や特権の格差が持続される可能性があります。 既存の社会的、経済的、または階級の格差がある状況で、このテクノロジをどのように使用できるか。 より大きな権力または特権を持つ人々は、どのようにしてテクノロジに偏った影響を与える可能性があるか。 求人サイトへの登録に自宅の住所と電話番号を必須にすると、ホームレスの人が応募できなくなる可能性があります。 ステレオタイプの強化 これにより、歴史的に、あるいは統計的に不平等な立場にある人々について、無知な "社会通念" が持続される可能性がある。 既存の社会通念や文化的ステレオタイプを強化したり増幅したりするために、このテクノロジがどのように使用される可能性があるか。 このテクノロジで使用されるデータによって、どのように偏見やステレオタイプが反映させるか。 "CEO" の画像検索の結果には、主に白人男性の写真が表示される可能性があります。 個性の喪失 これは、独自の視点を表現できないことを示す可能性があります。 このテクノロジはどのようにして大多数の意見や "集団思考" を増幅する可能性があるか。 逆に、どのようにして独自の表現形式が抑制されるか。 このテクノロジによって収集されたデータは、どのような方法で、人々へのフィードバックに使用されるか。 ビデオ ゲームのアバターを設計する際のカスタマイズ オプションの制限により、プレーヤーの多様性の自己表現が抑制されます。 表現の喪失 一般化の広義のカテゴリにより、実際のアイデンティティが不明瞭になったり、薄れたり、喪失したりします。 このテクノロジはどのようにしてアイデンティティの選択肢を制約できるか。 人々に自動的にラベルを付けたり、分類したりするために使われる可能性はあるか。 自動の写真キャプションで、誤った性別と年齢が被写体に割り当てられます。 スキルの低下と自己満足 自動化に頼り過ぎることは、手動スキルの衰退につながります。 このテクノロジはどのような方法で、手動での制御を使用するアクセシビリティと能力を低下させる可能性があるか。 自動化に頼り過ぎると、飛行機の真の方位を判断できなくなる可能性があります。これは、パイロットは計器だけに頼るよう訓練されるためです。
損害を評価する
潜在的損害の大まかな一覧を生成したら、損害のカテゴリごとに潜在的な重大度を評価して、損害モデルを完成させる必要があります。 これにより、焦点となる分野に優先順位を付けることができます。 参考として、次の損害モデルの例をご覧ください。
| 要因 | 定義 |
|---|---|
| 重大度 | このテクノロジは、個人またはグループの福利にどのくらい深刻な影響を与える可能性があるか。 |
| スケール | 福利への影響は、集団やグループ全体でどの程度広範に経験されるか。 |
| 確率 | テクノロジが個人やグループの福利に影響を与える可能性はどの程度か。 |
| 頻度 | 個人またはグループが、このテクノロジから自分たちの福利に対する影響を経験する頻度はどのくらいか。 |
次の手順
開発した損害モデルを使用して、製品開発作業をガイドします。
- 潜在的に損害を受けていると特定した利害関係者から詳細な情報を求めます。
- 損害の可能性が最も高いと特定した分野に対応するための仮説を立て、検証します。
- テクノロジの開発プロセス全体 (データ収集とモデルのトレーニング、システム アーキテクチャ、ユーザー エクスペリエンスの設計、製品のドキュメント作成、フィードバック ループ、およびコミュニケーション能力とテクノロジの制限事項) の意志決定に分析情報を統合します。
- コミュニティ陪審について調べます。
- Azure Machine Learning とオープン ソースの FairLearn パッケージを使用して、不公平を評価し、緩和します。
その他の責任ある AI ツール:
その他のリファレンス: