Поделиться через

Типы вреда

  • Статья

Эта статья создает осведомленность о различных типах вреда, чтобы можно было реализовать соответствующие действия по устранению рисков.

Риск травмы

Физические травмы

Рассмотрим, как технология может повредить людям или создать опасные среды.

Вреда Description Рекомендации Пример
Чрезмерное использование функций безопасности Это указывает на зависимость от технологии принятия решений без адекватного контроля человека. Как люди могут полагаться на эту технологию, чтобы сохранить их в безопасности? Как эта технология может снизить соответствующий контроль над человеком? Агент здравоохранения может неправильно определить болезнь, что приводит к ненужному лечению.
Неадекватные небезопасные сбои Реальное тестирование может недостаточно рассмотреть разнообразный набор пользователей и сценариев. Если эта технология завершается неудачей или неправильно используется, как люди будут затронуты? В какой момент может вмешаться человек? Существуют ли альтернативные варианты использования, для которых не было проверено? Как повлияет на пользователей сбой системы? Если автоматическая дверь не смогла обнаружить инвалидную коляску во время экстренной эвакуации, человек может быть в ловушке, если нет доступной кнопки переопределения.
Воздействие неработоспособных агентов Производство, а также утилизация технологий, может поставить под угрозу здоровье и благополучие работников и близлежащих жителей. Какие негативные результаты могут произойти из производства ваших компонентов или устройств? Неадекватные меры безопасности могут привести к воздействию токсинов во время производства цифровых компонентов.

Эмоциональные или психологические травмы

Неправильно использованная технология может привести к серьезным эмоциональным и психологическим бедствиям.

Вреда Description Рекомендации Пример
Чрезмерное использование автоматизации Неправильные убеждения могут привести пользователей к доверию надежности цифрового агента над тем, что человек. Как эта технология может сократить прямые межличностные отзывы? Как этот технологический интерфейс с доверенными источниками информации? Как может повлиять только на искусственного агента? Чат-бот можно полагаться на советы по отношениям или консультации по психическому здоровью вместо обученного специалиста.
Искажение реальности или газового света При намеренном неправильном использовании технологии могут подорвать доверие и исказить чувство реальности. Можно ли использовать это для изменения цифровых носителей или физических сред? Устройство Интернета вещей может включить мониторинг и управление экс-интимным партнером издалека.
Снижение самоуважения и репутации ущерба Некоторые общие содержимое могут быть вредными, ложными, вводящими в заблуждение или отрицать. Как эту технологию можно использовать для совместного использования личных сведений неправильно? Как это можно было бы манипулировать неправильной информацией и обмануть людей? Искусственные средства массовой информации "месть порно" могут переключить лица, создавая иллюзию человека, участвующего в видео, который не сделал.
Наркомания/угон внимания Технология может быть разработана для длительного взаимодействия, без учета благополучия. Каким образом эта технология может вознаграждать или поощрять непрерывное взаимодействие за пределами предоставления ценности пользователей? Переменные падение ставок в игровых ящиках может привести игроков к тому, чтобы продолжать играть и игнорировать самообслуживание.
Кража удостоверений Кража удостоверений может привести к потере контроля над личными учетными данными, репутацией и представлением. Как может быть олицетворен отдельный человек с этой технологией? Как эта технология ошибочно распознает неправильного человека в качестве аутентичных пользователей? Искусственный голосовой шрифт может имитировать звук голоса человека и использоваться для доступа к банковскому счету.
Неправильное распределение Это включает в себя кредит человека с действием или содержимым, за которые они не отвечают. Каким образом эта технология может атрибутировать действие для отдельного человека или группы? Как кто-то может быть затронут, если действие было неправильно присвоено им? Распознавание лиц может неправильно указать человека во время расследования полиции.

Отказ в последующих службах

Потеря возможностей

Автоматизированные решения могут ограничить доступ к ресурсам, службам и возможностям, необходимым для благополучия.

Вреда Description Рекомендации Пример
Дискриминация по трудоустройству Некоторые люди могут быть отказано в доступе к заявке или защитить работу на основе характеристик, не связанных с заслугами. Существуют ли способы, в которых эта технология может повлиять на рекомендации или решения, связанные с трудоустройством? Найм ИИ может рекомендовать меньше кандидатов с женскими звуковыми именами для интервью.
Дискриминация по жилищному обеспечению Это включает в себя отказ людей в доступе к жильем или возможность подать заявку на жилье. Как это может повлиять на рекомендации или решения, связанные с жильем? Алгоритм очереди общественного жилья может привести к тому, что люди с международными звуковыми именами дольше ожидают ваучеров.
Дискриминация по страхованию и льготам Это включает отказ людей в страховании, социальной помощи или доступе к медицинскому испытанию из-за предвзятых стандартов. Можно ли использовать эту технологию для определения доступа, стоимости, распределения страховых или социальных пособий? Страховая компания может взимать более высокие ставки для водителей, работающих ночью смены из-за алгоритмических прогнозов, предполагающих увеличение риска пьяного вождения.
Дискриминация в области образования Доступ к образованию может быть запрещен из-за неизменной характеристики. Как можно использовать эту технологию для определения доступа, стоимости, размещения или других результатов, связанных с обучением? Классификатор эмоций может неправильно сообщить, что учащиеся цвета менее вовлечены, чем их белые коллеги, что приводит к более низким оценкам.
Цифровая дискриминация и технологическая дискриминация Непропорциональное доступ к преимуществам технологии может оставить некоторых людей менее информированными или оснащенными для участия в обществе. Какие необходимые навыки, оборудование или подключение необходимы, чтобы получить большую часть этой технологии? Что может оказать влияние на выбор людей, получавших более ранний доступ к этой технологии, чем другие, с точки зрения оборудования, подключения или других функциональных возможностей продукта? Регулирование содержимого может предотвратить доступ сельских учащихся к видеотрансляций для занятий.
Потеря выбора или сети и пузырь фильтра Представление людей только с информацией, которая соответствует и укрепляет свои убеждения. Как эта технология может повлиять на выбор и информацию, доступную для людей? Какие прошлые поведения или предпочтения могут использовать эту технологию для прогнозирования будущих действий или предпочтений? Канал новостей может представить только информацию, которая подтверждает существующие убеждения.

Экономическая потеря

Автоматизация решений, связанных с финансовыми инструментами, экономическими возможностями и ресурсами, может повысить существующие социальные неравенства и препятствовать благополучию.

Вреда Description Рекомендации Пример
Дискриминация по кредитам Люди может быть отказано в доступе к финансовым инструментам на основе характеристик, не связанных с экономическими преимуществами. Как эта технология может полагаться на существующие кредитные структуры для принятия решений? Как эта технология может повлиять на способность человека или группы получать или поддерживать кредитную оценку? Более высокие вводные предложения могут быть отправлены только домам в более низких социально-почтовых индексах.
Разностные цены на товары и услуги Товары или услуги могут предлагаться по разным ценам по причинам, не связанным с стоимостью производства или доставки. Как можно использовать эту технологию для определения цен на товары или услуги? Каковы критерии определения стоимости для людей для использования этой технологии? Больше может взиматься за продукты, основанные на назначении мужчин или женщин.
Экономическая эксплуатация Люди может быть вынужден или неправильно работать над тем, что влияет на их достоинство или благополучие. Какая роль сыграла человеческая трудовая работа в создании обучающих данных для этой технологии? Как приобрели эту рабочую силу? Какая роль играет человеческий труд в поддержке этой технологии? Откуда эта рабочая сила, как ожидается, придет? Оплата финансово обезоценительных людей за их биография метрические данные для обучения систем искусственного интеллекта.
Девальвация индивидуальных знаний Технология может вытеснить использование платных человеческих знаний или труда. Как эта технология может повлиять на необходимость использования существующей рабочей силы? Агенты ИИ заменяют врачей и радиографов для оценки медицинской визуализации.

Нарушение прав человека

Потеря достоинства

Технология может повлиять на то, как люди воспринимают мир и распознают, занимаются и ценят друг друга. Обмен честью и уважением между людьми может быть мешать.

Вреда Description Рекомендации Пример
Дегуманизация Удаление, уменьшение или скрытие видимости человечества человека. Как можно использовать эту технологию для упрощения или абстрагирования способа представления человека? Как эта технология может уменьшить различие между людьми и цифровым миром? Распознавание сущностей и виртуальные наложения в наблюдении за беспилотными летательными аппаратами может снизить предполагаемую подотчетность человеческих действий.
Общедоступная позорная Это может означать разоблачение частного, конфиденциального или социально неуместного материала людей. Как можно выявить движения или действия с помощью агрегирования данных? Фитнес-приложение может показать расположение GPS пользователя в социальных сетях, указывающее посещаемость на анонимном собрании алкоголиков.

Потеря свободы

Автоматизация юридических, судебных и социальных систем может укрепить предвзятые отношения и привести к негативным последствиям.

Вреда Description Рекомендации Пример
Прогнозная полиция Вывод подозрительного поведения или преступного намерения на основе исторических записей. Как это может поддержать или заменить человеческую полицию или принятие решений уголовного правосудия? Алгоритм может предсказать несколько арестов в области, поэтому полиция убедитесь, что они соответствуют или превышают это число.
Социальный контроль Соответствие может быть усилено или поощряться публично, обозначая человеческое поведение как положительное или отрицательное. Какие типы персональных или поведенческих данных могут передавать эту технологию? Как он будет получен? Какие выходные данные будут производными от этих данных? Эта технология, скорее всего, будет использоваться для поощрения или запрета определенных действий? Авторитарное правительство использует социальные медиа и данные электронной коммерции для определения "надежной" оценки на основе того, где люди магазины и с которыми они проводят время.
Потеря эффективного средства правовой защиты Это означает неспособность объяснить обоснование или отсутствие возможности оспаривать решение. Как люди могут понять причину принятия решений, принятых этой технологией? Как человек может полагаться на эту технологию объяснить свои решения? Как люди могут оспаривать или сомневаться в решении, что эта технология делает? Автоматическое тюремное заключение или решение о предварительном освобождении не объясняется обвиняемым.

Потеря конфиденциальности

Информацию, созданную нашей технологией, можно использовать для определения фактов или предположений о кого-то без их знаний.

Вреда Description Рекомендации Пример
Вмешательство в частную жизнь Раскрытие информации, которую человек не выбрал для совместного использования. Как эта технология может использовать информацию для вывода частей частной жизни? Как решения, основанные на этих выводах, предоставляют вещи, которые человек не хочет сделать общедоступным? ИИ отслеживания задач может отслеживать личные шаблоны, из которых он вызывает внемаритарное дело.
Принудительное связывание Требование участия в использовании технологий или наблюдения для участия в обществе. Как можно использовать эту технологию для участия в обществе или членстве в организации? Биометрическая регистрация в конференц-зале компании ИИ является обязательным требованием в письме о предложении работы.
Неспособность свободно и полностью развивать личность Это может означать ограничение способности человека честно выразить себя или исследовать внешние пути для саморазвивного развития. Каким образом система или продукт писает положительные и отрицательные коннотации в отношении конкретных признаков личности? Как использовать информацию о продукте или системе для таких организаций, как правительство или работодатель, которые препятствуют свободному выражению? Интеллектуальная система собраний может записать все обсуждения между коллегами, в том числе личный коучинг и сеансы наставничества.
Никогда не простите Цифровые файлы или записи никогда не могут быть удалены. Что и где хранятся данные из этого продукта, и кто может получить к нему доступ? Сколько времени данные пользователя хранятся после взаимодействия с технологией? Как данные пользователя обновляются или удаляются? История социальных сетей подростка может оставаться искомой в течение долгого времени после того, как они переросли платформу.
Потеря свободы передвижения или сборки Это означает неспособность перемещаться по физическому или виртуальному миру с требуемой анонимностью. Каким образом эта технология может отслеживать людей в физическом и виртуальном пространстве? Реальное имя может потребоваться, чтобы зарегистрироваться для видео игры, что позволяет реального мира преследовать.

Воздействие на окружающую среду

Среда может быть затронута каждым решением в системном или жизненном цикле продукта, от объема облачных вычислений, необходимых для розничной упаковки. Изменения окружающей среды могут повлиять на целые общины.

Вреда Description Рекомендации Пример
Эксплуатация или истощение ресурсов Получение сырья для технологии, в том числе способ ее работы, приводит к негативным последствиям для окружающей среды и ее жителей. Какие материалы необходимы для создания или запуска этой технологии? Какие требования к энергии необходимы для создания или запуска этой технологии? Местные общины могут быть перемещены из-за сбора редких полезных ископаемых и металлов, необходимых для некоторых электронных производств.
Электронные отходы Снижение качества коллективного благополучия из-за невозможности ремонта, переработки или иначе ответственного удаления электроники. Как эта технология может уменьшить электронные отходы за счет переработки материалов или разрешить пользователям самостоятельно ремонтировать? Как эта технология может способствовать электронным отходам при выпуске новых версий или при остановке работы текущих или прошлых версий? Токсичные материалы внутри дис карта электронных устройств могут выливать в водоснабжение, что делает местные жители больными.
Выбросы углерода Выполнение облачных решений, которые не оптимизированы, может привести к ненужным выбросам углерода и отходам электроэнергии, что причиняет вред климату. Вы знаете, насколько оптимизированы облачные рабочие нагрузки и решения? Какое влияние оказывает ваше решение на климат и отличается ли оно в зависимости от региона, в котором вы развертываете рабочие нагрузки? Выполнение решений, которые не оптимизированы или правильно разработаны для эффективной работы облака, могут привести к более тяжелым издержкам на климат, что приводит к ненужным выбросам углерода и отходам электроэнергии.

Эрозия социальных и демократических структур

Оперирование

Способность технологии создавать высокоперсонализированные и манипулятивные опыты могут подрывать информированный гражданин и доверие к социальным структурам.

Вреда Description Рекомендации Пример
Дезинформации Отвращение поддельных сведений в качестве законной или надежной информации. Как эту технологию можно использовать для создания ложной информации? Как можно было бы использовать для распространения достоверной ложной информации? Поколение искусственной речи политического лидера проходит выборы.
Эксплуатация поведения Это означает использование личных предпочтений или шаблонов поведения, чтобы вызвать нужную реакцию. Как можно использовать эту технологию для наблюдения за шаблонами поведения? Как можно использовать эту технологию для поощрения неблагополучных или нездоровых поведении? Мониторинг торговых привычек в подключенной розничной среде приводит к персонализированных стимулов для импульсных покупателей и хриплеров.

Социальный ущерб

В большом масштабе технология влияет на то, как люди формируют социальные и экономические структуры в общинах. Он может дополнительно загрустить элементы, которые включают или выигрывают некоторые при исключении других.

Вреда Description Рекомендации Пример
Увеличение неравенства власти Это может увековечить существующие различия в классе или привилегиях. Как эту технологию можно использовать в контекстах, где существуют социальные, экономические или классовые различия? Как люди с большей властью или привилегией непропорционально влияют на технологию? Требование для регистрации на веб-сайте работы жилого адреса и номера телефона может предотвратить применение бездомных лиц.
Подкрепление стереотипов Это может увековечить неформатированную "обычную мудрость" о исторически или статистически недопредставленных людях. Как можно использовать эту технологию для укрепления или усиления существующих социальных норм или культурных стереотипов? Как данные, используемые этой технологией, могут отражать предвзятые или стереотипы? Результаты поиска изображения "генеральный директор" могли в первую очередь показать фотографии кавказских мужчин.
Потеря индивидуальности Это может быть неспособность выразить уникальную перспективу. Как эта технология может усилить большинство мнений или "группово-думаю"? И наоборот, как можно подавлять уникальные формы выражения? Каким образом данные, собранные этой технологией, могут использоваться в обратной связи с людьми? Ограниченные параметры настройки при проектировании аватара видеоигры препятствуют самостоятельному выражению разнообразия игрока.
Потеря представления Широкие категории обобщений невидимы, уменьшения или удаления реальных удостоверений. Как эта технология может ограничить параметры идентификации? Можно ли использовать его для автоматической маркировки или классификации людей? Автоматическая фотография подпись назначает неверное гендерное удостоверение и возраст субъекту.
Снижение квалификации и самоуспокоенность Чрезмерное использование автоматизации приводит к атрофии ручных навыков. Каким образом эта технология может снизить доступность и возможность использования ручных элементов управления? Чрезмерная зависимость от автоматизации может привести к невозможности оценить истинную ориентацию самолета, потому что пилоты были обучены полагаться только на инструменты.

Оценка вреда

Создав широкий список потенциальных причинений вреда, вы должны завершить модель вреда, оценивая потенциальную величину для каждой категории вреда. Это позволит вам определить приоритеты областей фокуса. Дополнительные сведения см. в следующем примере модели вреда:

Фактором Определение
Важность Насколько остро может повлиять технология на благополучие человека или группы?
Масштабировать Насколько широко можно было бы повлиять на благополучие населения или групп?
Вероятность Насколько вероятно, технология влияет на благополучие отдельных или групп?
Периодичность Как часто человек или группа испытывают влияние на их благополучие от технологии?

Next Steps

Используйте модель вреда, разработанную для руководства по разработке продуктов:

  • Ищите дополнительные сведения от заинтересованных лиц, которые вы определили как потенциально испытывающие вред.
  • Разработка и проверка гипотезы для решения тех областей, которые вы определили как имеющие самый высокий потенциал для вреда.
  • Интегрируйте аналитические сведения о решениях на протяжении всего процесса разработки технологий: сбор данных и обучение модели, системная архитектура, проектирование пользовательского интерфейса, документация по продуктам, циклы обратной связи и возможности связи и ограничения технологии.
  • Изучите жюри сообщества.
  • Оценка и устранение несправедливости с помощью Машинное обучение Azure и пакета FairLearn с открытым исходным кодом.

Другие средства ответственного ИИ:

Дополнительные ссылки: