피해 유형
이 문서에서는 적절한 완화 단계를 구현할 수 있도록 다양한 유형의 피해에 대한 인식을 만듭니다.
부상 위험
신체적 부상
기술이 어떻게 사람들에게 해를 끼치거나 위험한 환경을 조성할 수 있는지 생각해 보십시오.
피해 설명 고려 사항 예시 안전 기능에 대한 지나친 의존 여기에서는 인간의 적절한 감독없이 결정을 내리는 기술에 대한 의존성을 지적합니다. 사람들이 안전을 유지하려면 이 기술에 어떻게 의존할 수 있을까요? 이 기술에 대한 인간의 적절한 감독을 어떻게 줄일 수 있을까요? 헬스케어 에이전트가 질병을 잘못 진단하면 불필요한 치료로 이어질 수 있습니다. 부적절한 장애 조치(fail-safe) 실제 테스트에서는 다양한 사용자 및 시나리오 세트를 충분히 고려하지 못할 수 있습니다. 이 기술이 실패하거나 오용되면 사람들에게 어떤 영향을 미칠까요? 어떤 시점에 인간이 개입할 수 있을까요? 테스트되지 않은 또 다른 용도가 있나요? 시스템 오류는 사용자에게 어떤 영향을 주나요? 비상 대피 시 자동 문이 휠체어를 감지하지 못하는 경우 액세스 가능한 재정의 단추가 없으면 사람이 갇히게 될 수 있습니다. 비정상 에이전트에 노출 제조는 기술의 폐기뿐만 아니라 근로자와 인근 주민의 건강과 복지를 위태롭게 할 수 있습니다. 부품 또는 디바이스의 제조로 인해 어떤 부정적인 결과가 발생할 수 있을까요? 부적절한 안전 조치는 디지털 부품 제조 중에 작업자가 독소에 노출 될 수 있습니다.
정서적 또는 심리적 상해
오용된 기술은 심한 정서적, 심리적 고통으로 이어질 수 있습니다.
피해 설명 고려 사항 예시 자동화에 대한 지나친 의존 잘못된 믿음은 사용자가 디지털 에이전트의 안정성을 인간보다 신뢰하도록 만들 수 있습니다. 이 기술은 어떻게 직접적인 대인 피드백을 줄일 수 있을까요? 이 기술은 신뢰할 수 있는 정보 원본과 어떻게 상호 작용할 수 있을까요? 인공 에이전트에 대한 단독 의존이 사람에게 어떤 영향을 미칠 수 있을까요? 챗봇은 숙련된 전문가 대신 관계 조언이나 정신 건강 상담에 의존할 수 있습니다. 현실 왜곡 또는 가스라이팅 기술이 의도적으로 오용되면 신뢰를 훼손하고 누군가의 현실감을 왜곡할 수 있습니다. 디지털 미디어 또는 물리적 환경을 수정하는 데 사용할 수 있나요? IoT 디바이스를 사용하면 멀리서도 친밀했던 이전 파트너를 모니터링하고 통제할 수 있습니다. 자존감 저하/평판 손상 일부 공유 콘텐츠는 해롭거나, 거짓이거나, 오해의 소지가 있거나, 모욕적일 수 있습니다. 이 기술은 어떻게 개인 정보를 부적절하게 공유하는 데 사용될 수 있습니까? 정보를 오용하고 사람들을 속이기 위해 어떻게 조작할 수 있을까요? 합성 미디어 "복수 포르노"는 얼굴을 교환 할 수 있으며, 비디오에 참여하지 않은 사람의 환상을 만듭니다. 중독/관심을 끌기 위한 납치 웰빙을 무시하고 장기적인 상호 작용을 위해 기술을 설계할 수 있습니다. 이 기술이 어떤 방식으로 사용자 가치를 제공하는 것 이상으로 지속적인 상호 작용을 보상하거나 장려할 수 있을까요? 비디오 게임 전리품 상자의 변화하는 드롭률로 인해 플레이어가 계속 플레이하여 자기 관리를 소홀히 할 수 있습니다. 신원 도용 ID 도용은 개인 자격 증명, 평판 및 표현에 대한 제어를 상실할 수 있습니다. 이 기술을 사용하여 개인을 어떻게 가장할 수 있을까요? 어떻게 이 기술이 잘못된 개인을 진정한 사용자로 잘못 인식할 수 있을까요? 합성된 음성 글꼴은 사람의 음성을 모방하여 은행 계좌에 액세스하는 데 사용될 수 있습니다. 오귀인 효과 여기에는 책임이 없는 작업 또는 콘텐츠로 사람에게 크레딧을 주는 것이 포함됩니다. 이 기술은 어떤 방식으로 행동을 개인 또는 그룹의 탓으로 돌릴까요? 행동에 대한 책임이 잘못 전가된 경우 그 사람은 어떤 영향을 받을까요? 얼굴 인식은 경찰 조사 중에 개인을 잘못 인식할 수 있습니다.
파생적 서비스 거부
기회 손실
자동화된 결정은 웰빙에 필수적인 리소스, 서비스 및 기회에 대한 접근을 제한할 수 있습니다.
피해 설명 고려 사항 예시 고용 차별 어떤 사람들은 실력과 관련 없는 특성에 따라 일자리에 지원하거나 얻는 것이 거부될 수 있습니다. 이 기술이 고용과 관련된 추천 또는 결정에 영향을 미칠 수 있는 방법이 있나요? AI를 고용하면 면접에 여성 이름을 가진 후보자를 더 적게 추천할 수 있습니다. 주거 차별 여기에는 주택 이용 거부 또는 주택 신청 가능성에 대한 거부가 포함됩니다. 이 기술이 주거와 관련된 추천 또는 결정에 어떻게 영향을 미칠 수 있을까요? 공공 주택 큐 알고리즘은 국제 적인 이름을 가진 사람들이 바우처를 더 오래 기다리게 할 수 있습니다. 보험 및 복리후생 차별 여기에는 편향된 표준으로 인한 인적 보험, 사회 지원 또는 임상 실험 이용 거부가 포함됩니다. 이 기술을 통해 보험 또는 사회적 복리후생의 이용, 비용 및 배분을 결정할 수 있을까요? 보험 회사는 음주 운전 위험 증가를 시사하는 알고리즘 예측을 통해 야간에 교대 근무하는 운전자에게 더 높은 요금을 부과할 수 있습니다. 교육 차별 변하지 않는 특징으로 인해 교육에 대한 접근이 거부될 수 있습니다. 이 기술이 교육과 관련한 액세스, 비용, 시설 또는 기타 결과를 결정하는 데 어떻게 사용될 수 있을까요? 감정 분류자는 유색인종 학생이 백인 학생보다 덜 참여한다고 잘못 보고하여 성적이 낮아지도록 할 수 있습니다. 디지털 격차/기술 차별 기술의 이점에 대한 불균형한 접근은 어떤 사람들은 사회에 참여할 수 있는 정보를 덜 주거나 갖추게 할 수 있습니다. 이 기술을 최대한 활용하기 위해서는 어떤 필수 기술, 장비 또는 연결이 필요한가요? 장비, 연결 또는 기타 제품 기능 측면에서 다른 사용자보다 일찍 이 기술에 액세스할 수 있는 엄선된 사용자에게 미치는 영향은 무엇인가요? 콘텐츠 제한은 농촌 학생들이 교실 교육 비디오 피드에 액세스하지 못하게 할 수 있습니다. 선택의 손실/네트워크 및 필터 버블 사람들에게 자신의 믿음을 준수하고 강화하는 정보만 제시합니다. 이 기술은 사람들이 사용할 수 있는 선택 사항과 정보에 어떤 영향을 미칠 수 있나요? 이 기술은 미래의 행동 또는 우선 사항을 예측하기 위해 과거의 어떤 행동이나 우선 사항을 이용할 수 있을까요? 뉴스 피드는 기존 신념을 확인하는 정보만 제시할 수 있습니다.
경제적 손실
금융 상품, 경제적 기회 및 리소스와 관련된 결정을 자동화하면 기존의 사회적 불평등을 증폭시키고 복지를 방해할 수 있습니다.
피해 설명 고려 사항 예시 신용 차별 사람들은 경제력과 관련 없는 특성에 따라 금용 상품 이용이 거부될 수 있습니다. 이 기술은 기존 신용 구조를 바탕으로 어떻게 결정을 내릴 수 있을까요? 이 기술은 개인 또는 그룹이 신용 점수를 얻거나 유지하는 능력에 어떻게 영향을 미칠 수 있을까요? 낮은 사회 경제적 우편 번호를 갖는 가정에만 높은 티저 금리를 제공할 수 있습니다. 상품 및 서비스의 차등 가격 책정 상품 또는 서비스가 생산 또는 배송 비용과 관련되지 않은 이유로 서로 다른 가격으로 제공될 수 있습니다. 이 기술을 사용하여 상품 또는 서비스의 가격을 결정하는 데 어떻게 사용할 수 있나요? 이 기술을 사용하기 위해 사람들에게 비용을 결정하기 위한 기준은 무엇인가요? 남성인지 또는 여성인지에 따라 제품에 대해 더 높은 비용이 청구될 수 있습니다. 경제적 착취 사람 그들의 존엄성이나 복지에 영향을 미치는 일에 강제로 또는 오해 될 수 있습니다. 이 기술에 대한 교육 데이터를 생성하는 데 인간의 노동이 어떤 역할을 했을까요? 이 인력을 어떻게 확보했을까요? 이 기술을 지원하는 데 인간의 노동이 어떤 역할을 할까요? 이 인력이 어디에서 올 것으로 예상되나요? AI 시스템을 훈련시키기 위한 생체 인식 데이터를 얻기 위해 재정적으로 빈곤한 사람들에게 비용을 지불합니다. 개인의 전문 지식 평가 절하 인간의 유료 전문 지식이나 노동력 사용을 기술이 대신할 수 있습니다. 이 기술이 기존 인력을 고용할 필요성에 어떻게 영향을 미칠 수 있을까요? AI 에이전트가 의사/방사 촬영기사를 대신하여 의료 영상을 평가합니다.
인권 침해
존엄성 상실
기술은 사람들이 세상을 인식하고 서로를 인식하고, 참여하고, 소중히 여기는 방식에 영향을 미칠 수 있습니다. 사람 상호간의 존경과 존중은 방해받을 수 있습니다.
피해 설명 고려 사항 예시 비인간화 사람의 인류의 가시성을 제거, 축소 또는 모호하게 합니다. 이 기술을 사용하여 사람이 표현되는 방식을 단순화하거나 추상화하려면 어떻게 해야 할까요? 이 기술은 어떻게 인간과 디지털 세계 사이의 차이를 줄일 수 있을까요? 드론 감시 시 엔터티 인식 및 가상 오버레이가 인간의 동작에 대한 책임 인식을 줄일 수 있습니다. 공개적인 망신 사람들의 사적인 자료, 민감한 자료 또는 사회적으로 부적절한 자료를 노출하는 것을 의미할 수 있습니다. 데이터 집계를 통해 움직임이나 동작을 어떻게 드러낼 수 있을까요? 피트니스 앱이 소셜 미디어에 사용자의 GPS 위치를 표시하여 알코올 중독자 모임에 참석했음을 드러낼 수 있습니다.
자유 침해
법률, 사법 및 사회 시스템을 자동화하면 편견을 강화하고 해로운 결과를 초래할 수 있습니다.
피해 설명 고려 사항 예시 예측 치안 유지 기록 기록에 따라 의심스러운 동작 또는 범죄 의도 유추 어떻게 인간의 치안 유지 또는 형사 사법적 의사 결정을 지원하거나 대신할 수 있을까요? 알고리즘은 여러 지역 체포를 예측할 수 있으므로 경찰은 해당 수와 일치하거나 초과하는지 확인합니다. 사회적 통제 인간의 행동을 긍정적 또는 부정적인 것으로 공개적으로 지정하여 적합성을 강화하거나 장려할 수 있습니다. 이 기술을 제공할 수 있는 개인 또는 행동 데이터의 유형은 무엇인가요? 어떻게 얻을 수 있을까요? 이 데이터에서 어떤 결과가 파생되나요? 이 기술이 특정 행동을 장려하거나 억제하는 데 사용될 가능성이 있나요? 권위주의 정부는 소셜 미디어와 전자 상거래 데이터를 사용하여 사람들이 쇼핑하는 곳과 함께 시간을 보내는 사람에 따라 "신뢰할 수있는"점수를 결정합니다. 효과적인 구제 방법의 상실 결정에 이의를 제기할 수 있는 기회의 상실 또는 이유에 대한 설명 불능 상태를 의미합니다. 사람들이 이 기술에 의해 내려진 결정에 대한 논거를 어떻게 이해할 수 있을까요? 이 기술에 의존하는 개인이 결정을 어떻게 설명할 수 있을까요? 사람들은 이 기술이 내리는 결정에 어떻게 이의를 제기하거나 의문을 제기할 수 있을까요? 자동화된 징역형 또는 재판 전 석방 결정이 피의자에게 고지되지 않습니다.
프라이버시 침해
기술 사용에 의해 생성된 정보는 사실을 확인하거나 지식이 없는 사람에 대해 가정하는 데 사용할 수 있습니다.
피해 설명 고려 사항 예시 개인 생활에 대한 간섭 사용자가 공유하도록 선택하지 않은 정보를 공개합니다. 이 기술은 어떻게 정보를 사용하여 사생활의 일부를 유추할 수 있을까요? 이러한 추론에 근거한 결정이 어떻게 당사자가 공개하기를 원하지 않는 것들을 노출시킬 수 있을까요? 작업 추적 AI가 혼외 관계를 유추하는 개인 패턴을 모니터링할 수 있습니다. 강제 연대 사회의 일원이 되려면 기술 사용 또는 감시에 참여하도록 요구합니다. 사회 또는 조직 구성원 자격에 참여하려면 이 기술을 어떻게 사용해야 할까요? 회사의 회의실 전사 AI의 생체 인식 등록은 작업 제안서에 규정된 요구 사항입니다. 자유롭고 완전히 성격을 개발할 수 없음 진실로 자신을 표현하거나 자기 개발을 위한 외부적인 방안을 탐구하는 능력의 제한을 의미할 수 있습니다. 시스템 또는 제품은 어떤 방식으로 특정 성격 특성에 대해 긍정과 부정적인 의미를 부여합니까? 제품 또는 시스템을 사용하여 표현의 자유를 저해하는 정부 또는 고용주와 같은 기관에 정보를 공개하려면 어떻게 해야 할까요? 지능형 모임 시스템은 개인 코칭 및 멘토링 세션을 포함하여 동료 간의 모든 토론을 기록할 수 있습니다. 결코 용서되지 않음 디지털 파일 또는 레코드는 절대 삭제할 수 없습니다. 이 제품에서 저장되는 데이터는 무엇이고 어디에 저장되며 누가 액세스할 수 있나요? 기술 상호 작용 후 사용자 데이터는 얼마나 오래 저장되나요? 사용자 데이터는 어떻게 업데이트 또는 삭제되나요? 십대 청소년의 소셜 미디어 기록은 그들이 플랫폼을 떠난 후에도 오랫동안 유지되어 검색 가능합니다. 이동 또는 집회의 자유 상실 원하는 익명성으로 물리적 세계 또는 가상 세계를 탐색할 수 없음을 의미합니다. 이 기술은 물리적 공간 및 가상 공간에서 사람들을 어떤 방식으로 모니터링하나요? 실제 스토킹을 가능하게 하는 비디오 게임에 등록하려면 실제 이름이 필요할 수 있습니다.
환경적 영향
환경은 필요한 클라우드 컴퓨팅 양에서 소매 패키징에 이르기까지 시스템 또는 제품 수명 주기의 모든 결정에 영향을 받을 수 있습니다. 환경 변화는 전체 커뮤니티에 영향을 줄 수 있습니다.
피해 설명 고려 사항 예시 리소스의 오용 또는 고갈 기술의 원료를 얻는 것은 어떻게 구동되는지를 포함하여 환경과 주민들에게 부정적인 결과를 초래합니다. 이 기술을 빌드하거나 실행하는 데 필요한 자료는 무엇인가요? 이 기술을 빌드하거나 실행하는 데 필요한 에너지 요구 사항은 무엇인가요? 일부 전자 제조에 필요한 희토류 광물과 금속을 수확하여 지역 사회가 이주할 수 있습니다. 전자 폐기물 전자 기기를 수리 또는 재활용하거나 책임감 있게 폐기하지 못함으로 해서 집단 복지의 질이 저하되었습니다. 이 기술이 자재를 재활용하거나 사용자가 자체 수리할 수 있도록 하여 전자 폐기물을 어떻게 줄일 수 있을까요? 새 버전이 출시되거나 현재/이전 버전이 작동하지 않을 때 이 기술이 전자 폐기물에 어떻게 기여할 수 있을까요? 버려진 전자 기기 내부의 독성 물질이 급수 시설에 침출되어 지역 주민을 병들게 할 수 있습니다. 탄소 배출 최적화되지 않은 클라우드 솔루션을 실행하면 불필요한 탄소 배출 및 전기 폐기물이 발생하여 기후에 해를 끼칠 수 있습니다. 클라우드 워크로드 및 솔루션이 얼마나 최적화되었는지에 대한 인사이트가 있나요? 솔루션이 기후에 어떤 영향을 미치며 워크로드를 배포하는 지역에 따라 달라지나요? 클라우드 효율성을 위해 최적화되지 않았거나 적절하게 설계되지 않은 솔루션을 실행하면 기후에 큰 타격을 입히면 불필요한 탄소 배출 및 전기 폐기물이 발생할 수 있습니다.
사회 및 민주주의 구조의 침식
조작
고도로 개인화되고 조작적인 경험을 만드는 기술의 능력은 정보에 입각한 시민과 사회 구조에 대한 신뢰를 약화시킬 수 있습니다.
피해 설명 고려 사항 예시 잘못된 정보 가짜 정보를 합법적이거나 신뢰할 수 있는 정보로 위장합니다. 이 기술을 사용하여 잘못된 정보를 생성하려면 어떻게 해야 할까요? 신뢰할 수 있는 잘못된 정보를 전파하는 데 어떻게 사용할 수 있습니까? 정치 지도자의 합성 음성을 생성하여 선거를 흔듭니다. 행동적 착취 개인의 선호도 또는 행동 패턴을 악용하여 원하는 반응을 유도합니다. 이 기술을 사용하여 동작 패턴을 관찰하려면 어떻게 해야 할까요? 이 기술을 어떻게 사용하면 문제 행동 또는 부적격 행동을 장려할 수 있을까요? 연결된 소매 환경에서 쇼핑 습관을 모니터링하면 임펄스 쇼핑객과 비장에 대한 맞춤형 인센티브가 발생합니다.
사회적 피해
대규모로 기술이 사람들에게 영향을 미치는 방식은 지역 사회 내에서 사회적, 경제적 구조를 형성합니다. 다른 요소를 제외하는 동안 일부를 포함하거나 혜택을 주는 요소를 추가로 배어들 수 있습니다.
피해 설명 고려 사항 예시 권력 불평등 증폭 기존 계급 또는 특권 불균형이 지속될 수 있습니다. 이 기술은 기존의 사회적, 경제적 또는 계급적 격차가 있는 맥락에서 어떻게 사용될 수 있는가? 더 많은 권력이나 특권을 가진 사람들이 기술에 어떻게 불균형하게 영향을 미칠 수 있을까요? 구직 웹 사이트에 등록하기 위해 주거 주소 및 전화 번호를 요구하면 노숙자가 신청하지 못하게 될 수 있습니다. 고정관념 강화 역사적으로 또는 통계적으로 잘 드러나지 않는 사람들에 대해 충분한 지식이 없는 "일반적인 통념"이 영구적으로 지속될 수 있습니다. 기존의 사회적 규범이나 문화적 고정관념을 강화하거나 증폭시키는 데 이 기술을 어떻게 사용할 수 있을까요? 이 기술에서 사용하는 데이터가 어떻게 편견이나 고정관념을 반영할 수 있을까요? "CEO"에 대한 이미지 검색 결과는 주로 백인 남성의 사진을 표시할 수 있습니다. 개성 상실 고유한 관점을 표현하는 것이 불가능할 수 있습니다. 이 기술이 어떻게 대다수의 의견 또는 "집단 사고"를 증폭시킬 수 있을까요? 반대로 고유한 형식의 식은 어떻게 억제할 수 있나요? 이 기술에 의해 수집된 데이터가 어떤 방식으로 사람들에게 주는 피드백에 사용될 수 있을까요? 비디오 게임 아바타를 디자인하는 제한된 사용자 지정 옵션은 플레이어의 다양성에 대한 자기 표현을 억제합니다. 표현의 침해 광범위한 범주의 일반화가 진정한 정체성을 모호하게 하거나, 희박하게 만들거나, 없앨 수 있습니다. 이 기술이 어떻게 정체성 옵션을 제한할 수 있나요? 사용자에 자동으로 레이블을 지정하거나 분류하는 데 사용할 수 있나요? 자동 사진 캡션이 대상에 대해 잘못된 성 정체성과 연령을 할당합니다. 기술 저하 및 안주 자동화에 지나치게 의존하면 수동 기술이 위축됩니다. 이 기술이 액세스 가능성과 수동 컨트롤을 사용하는 능력을 어떤 방식으로 축소할 수 있을까요? 자동화에 대한 지나친 의존으로 인해 조종사가 장비에만 의존하도록 훈련되었기 때문에 비행기의 실제 방향을 측정할 수 없게 될 수 있습니다.
피해 평가
광범위한 잠재적 피해 목록을 생성한 후에는 각 피해 범주에 대한 잠재적 크기를 평가하여 피해 모델을 완료해야 합니다. 이렇게 하면 집중 영역에 우선 순위를 둘 수 있습니다. 다음 피해 모델 예제를 참조하세요.
| 기여 요소 | 정의 |
|---|---|
| 심각도 | 이 기술이 개인이나 그룹의 복지에 얼마나 심각한 영향을 미칠 수 있을까요? |
| 스케일 | 인구 또는 그룹 전체에서 복지에 미치는 영향을 얼마나 광범위하게 경험할 수 있습니까? |
| 확률 | 이 기술은 개인 또는 그룹의 복지에 얼마나 영향을 미칠 가능성이 있습니까? |
| 빈도 | 개인 또는 그룹이 기술에서 웰빙에 미치는 영향을 얼마나 자주 경험하나요? |
다음 단계
개발한 피해 모델을 사용하여 제품 개발 작업을 안내합니다.
- 잠재적으로 피해를 입은 것으로 확인된 관련자로부터 더 많은 정보를 확보합니다.
- 피해 가능성이 가장 높은 것으로 확인된 영역을 해결하기 위한 가설을 개발하고 유효성을 검사합니다.
- 데이터 수집 및 모델 학습, 시스템 아키텍처, 사용자 환경 디자인, 제품 설명서, 피드백 루프, 통신 기능 및 기술의 제한 사항 등 기술 개발 프로세스 전반에 걸쳐 의사 결정에 인사이트를 통합합니다.
- 커뮤니티 배심을 탐색합니다.
- Azure Machine Learning 및 오픈 소스 FairLearn 패키지를 사용하여 불공정성을 평가하고 완화합니다.
기타 책임 있는 AI 도구:
추가 참조: