ML 엔지니어를 위한 AI 위험 평가

ML 시스템을 보호하는 강력한 이유에도 불구하고 28개 기업을 대상으로 한 Microsoft의 설문 조사에 따르면 대부분의 업계 실무자는 아직 ML(적대적 기계 학습)에 대해 알아보지 못한 것으로 나타났습니다. 28개 기업 중 25개 기업은 ML 시스템을 보호하기 위한 적절한 도구가 없다고 답했습니다. 또한 명시적으로 지침을 찾고 있습니다. 우리는 준비의 부족이 작은 조직에 국한되지 않는 것으로 나타났습니다 - 그들은 포춘 지 선정 500 대 기업, 정부에서 비영리 조직에 이르기까지 다양합니다. 고객은 AI 시스템을 보호해야 한다는 것을 인정하지만 방법을 모릅니다.

이 문서는 조직이 AI 시스템의 보안 상태를 평가하는 첫 번째 단계입니다. 그러나 조직이 따라야 할 또 다른 프레임워크를 추가하는 대신 기존 보안 위험 평가 프레임워크에 스냅할 수 있는 방식으로 콘텐츠를 제공하려고 했습니다.

이 문서에는 다음 세 가지 목표가 있습니다.

• AI 시스템 보안에 대한 포괄적인 관점을 제공합니다. 프로덕션 설정에서 데이터 수집, 데이터 처리에서 모델 배포에 이르는 AI 시스템 수명 주기의 각 요소를 살펴보았습니다. 또한 AI 공급망과 AI 시스템과 관련된 백업, 복구 및 대체 계획과 관련된 제어 및 정책을 설명했습니다.
• 중요한 AI 자산에 대한 위협 및 보안을 위한 지침을 간략하게 설명합니다. 엔지니어와 보안 전문가를 직접 돕기 위해 AI 시스템 빌드 프로세스의 각 단계에서 위협 문을 열거했습니다. 다음으로, AI 시스템의 컨텍스트에서 기존 사례를 오버레이하고 강화하는 일련의 지침을 제공합니다.
• 조직에서 AI 보안 위험 평가를 수행할 수 있도록 합니다. 프레임워크는 조직에서 AI 시스템의 현재 보안 상태에 대한 정보를 수집하고, 갭 분석을 수행하고, 보안 상태의 진행 상황을 추적하는 데 도움이 됩니다.

Microsoft는 Azure Security, 엔지니어링의 책임 있는 AI 전략, Microsoft 보안 대응 센터, Azure 보안 및 AI, Aether(공학 및 연구의 윤리 및 효과)의 담당자와 함께 Microsoft 전체의 이해 관계자와 함께 공식화했습니다.

소개

이 문서를 사용하여 진행 중인 정보 보안 노력 및 비즈니스 목표에 부합하는 AI 시스템 보안에 대한 논의를 시작하는 것이 좋습니다. 이 문서에서는 AI 시스템이 기존 IT 인프라를 기반으로 하므로 AI 시스템 및 기존 컨트롤 포함에 중점을 둡니다.

AI 시스템과 관련된 다음 영역을 다룹니다.

관리 제어 수단	설명
기계 학습 보안 정책	기계 학습, 인공 지능 및 정보 보안을 제어하는 문서화된 정책과 관련된 제어 및 정책입니다.

기술 컨트롤	설명
데이터 수집	기계 학습 및 인공 지능에 사용되는 데이터의 수집, 스토리지 및 분류와 관련된 제어 및 정책입니다.
데이터 처리	기계 학습 및 인공 지능에 사용되는 데이터의 처리 및 엔지니어링과 관련된 제어 및 정책입니다.
모델 학습	모델의 디자인, 학습 및 유효성 검사와 관련된 컨트롤 및 정책입니다.
모델 배포	모델 배포 및 지원 인프라와 관련된 제어 및 정책입니다.
시스템 모니터링	기계 학습 시스템의 지속적인 모니터링과 관련된 제어 및 정책입니다.
인시던트 관리	AI 시스템과 관련된 인시던트가 처리되는 방식과 관련된 제어 및 정책입니다.
비즈니스 연속성 및 재해 복구	모델 도용, 서비스 저하 또는 기타 AI 관련 취약성을 통한 지적 재산 손실과 관련된 제어 및 정책입니다.

인기 있는 ISO27001:2013 표준 에서 제어 및 정책의 기존 프레임워크를 조정하고 데이터 수집 단계에서 AI 시스템에 대한 위협에 대응하는 것까지 AI 시스템 빌드 프로세스 전반에 걸쳐 매핑했습니다. 조직에는 ISO27001:2013에서 구현된 일부 또는 모든 기존 컨트롤이 있거나 기존 정보 보안 노력의 일환으로 이미 여러 위험 프레임워크(NIST 800-53, PCI-DSS, FedRamp 등)를 준수하고 있을 수 있습니다.

AI 시스템을 적절하게 보호하지 못하면 이 평가에서 다루는 AI 시스템뿐만 아니라 전체 정보 기술 및 규정 준수 환경에 대한 위험이 증가합니다.

이 문서의 목표는 이러한 기존 노력을 대체하는 것이 아니라 기존 도구 및 프레임워크의 관점에서 AI 시스템 보안을 설명하고 AI 빌드 프로세스의 모든 부분으로 확장하는 것입니다.

여기에 나열된 지침은 기본 플랫폼, 기본 데이터 형식 및 알고리즘 선택과 같은 더 많은 컨텍스트가 필요하기 때문에 규범적이지 않습니다. Azure Machine Learning 고객인 경우 엔터프라이즈 보안 및 거버넌스 문서를 참조하세요.

제안된 심각도, 가능성, 영향

모든 컨트롤이 AI 시스템의 보안에 중요한 것은 아닙니다. 따라서 작업의 우선 순위를 적절하게 지정하려면 조직에서 특정 컨트롤을 구현하지 않을 경우의 비즈니스 영향과 관련된 심각도 등급으로 각 컨트롤을 평가해야 합니다. 조직은 위험 제어의 위험을 받아들이고 대신 보상 컨트롤을 구현하여 위험을 낮출 수 있습니다. 궁극적으로 이러한 등급은 활동을 규정하기보다는 위험 기반 의사 결정을 안내하는 데 도움이 됩니다.

심각도

손상의 심각도는 AI 모델 사용 사례에 따라 달라집니다. 다행히 기계 학습이 통합되기 전에 사용 중인 데이터 또는 시스템이 중요한 문제였다면 다시 기본 합니다. 마찬가지로, 사용된 모델이 다른 입력 없이 "기성품"인 경우 모델이 사용되는 컨텍스트에 따라 손상의 심각도가 낮을 수 있습니다. 차등 개인 정보 보호와 같은 기술은 손상의 잠재적 영향을 줄일 수 있습니다. 그러나 이 컨텍스트는 시스템, 데이터 또는 모델의 중요도를 줄이지 않습니다. 하나의 방어 구현에 의존하지 않고 심층 방어 전략을 사용하여 모델을 보호하는 것이 좋습니다.

제안된 심각도 수준

중요로 제안됨

• AI 모델을 학습하거나 중요한 개인 데이터, 분류된 데이터 또는 PCI, HIPAA, GLBA 등의 규정 준수 요구 사항이 적용되는 데이터를 수집하는 경우
• AI 모델이 비즈니스에 중요한 애플리케이션 또는 시스템에서 사용되는 경우 이러한 손상은 비즈니스 운영에 큰 부정적인 영향을 미칠 수 있습니다.
• 물리적 또는 손상 또는 사망이 가능한 애플리케이션에서 AI 모델을 사용하는 경우
• 중요한 인프라(예: 물, 전력, 상태)를 지원하는 시스템에서 AI 모델을 사용하는 경우

높은 것으로 제안됨

• AI 모델을 학습하거나 중요한 개인 데이터, 기밀 정보 또는 조직에서 중요하지 않은 것으로 간주되는 데이터를 수집하는 경우
• 이 AI 모델의 손상이 비즈니스 운영에 크지만 범위가 지정된 영향을 미칠 경우
• 중요 비즈니스용 애플리케이션 또는 시스템에서 AI 모델을 사용하는 경우

보통으로 제안됨

• AI 모델이 중요한 데이터 형식을 포함하는 학습 데이터의 하위 집합에서 학습되는 경우
• 이 AI 모델의 손상이 프로덕션에 배포된 모델에 영향을 미칠 경우
• AI 모델이 비임계적이지만 비즈니스용 애플리케이션에서 사용되는 경우
• AI 모델이 프로덕션에서 사용되지 않지만 프로덕션 모델에 대한 정보가 있는 경우

낮음으로 제안됨

• AI 모델이 프로덕션에 사용되지 않는 데이터에 대해 학습된 경우
• AI 모델이 프로덕션에 사용되지 않고 프로덕션 모델에 대한 정보가 없는 경우

정보 제공으로 제안됨

• 데이터가 심사된 원본에서 분류되지 않은 경우
• AI 모델이 프로덕션 환경에서 사용되지 않는 경우

Likelihood

가능성에는 모델의 가용성과 기술 가용성의 두 가지 주요 구성 요소가 있습니다. 공격 가능성을 줄이려면 조직은 다음 컨트롤을 구현해야 합니다.

1. 공격 표면을 제거하거나 공격 표면을 열거하기 어렵게 만듭니다.
2. 로깅 및 경고가 문제의 빠른 해결을 위해 설계된 대로 작동하는지 확인합니다.
3. 모든 지원 시스템이 보안 요구 사항을 최신 상태로 유지하도록 합니다.

컨트롤에는 게이팅 엔드포인트, 네트워크 세분화 또는 속도 제한이 포함될 수 있습니다. 트래픽 흐름 및 네트워크 또는 파이프라인 다이어그램(예: 공격자가 손상되고 외부 연결 엔드포인트를 손상시키고 파이프라인을 통해 뒤로 작업하는 경우)에 특별한 주의를 기울여야 합니다.

영향

영향은 조직에 미치는 영향과 관련이 있습니다. 먼저 ML 시스템을 공격할 수 있는 다양한 방법을 숙지하고 프로덕션 모델이 조직에 영향을 줄 수 있는 방법을 고려하는 것이 좋습니다. 자세한 내용은 Machine Learning의 실패 모드 문서를 참조하세요. 이 숙지 작업이 완료되면 심각도 매트릭스에 매핑할 수 있습니다.

심각도 행렬

다음 표는 조직을 시작하기 위한 기본 위험 및 취약성 심각도 매트릭스입니다. 보안 설계자, 기계 학습 엔지니어 및 AI 레드 팀 구성원을 소집하여 유사한 분류를 채우는 것이 좋습니다.

공격 유형	Likelihood	영향	악용 가능성
추출	높음	낮음	높음
회피	높음	중간	높음
유추	중간	중간	중간
반전	중간	높음	중간
중독	낮음	높음	낮음

"보안 AI 설계 및 개발은 BCG에서 AI 제품 개발의 초석입니다. AI 시스템을 보호해야 하는 사회적 필요성이 점점 더 명백해짐에 따라 Microsoft의 AI 보안 위험 관리 프레임워크와 같은 자산은 기본 기여 될 수 있습니다. Microsoft는 클라이언트를 위해 개발한 AI 시스템에서 이 프레임워크에 있는 모범 사례를 이미 구현하고 있으며 Microsoft가 업계 전체의 이익을 위해 이 프레임워크를 개발하고 오픈 소스 것을 기쁘게 생각한다"고 말했습니다. - 잭 몰로이, 보스턴 컨설팅 그룹의 수석 보안 엔지니어

기본 사용

문서의 나머지 내용은 다음 구조를 따릅니다.

• 위험 컨트롤에는 컨트롤이 포함하는 영역에 대한 설명이 포함됩니다.
• 컨트롤의 목표와 컨트롤이 수행해야 하는 작업입니다.
• 완화되는 위험에 대한 설명을 제공하는 위협 문입니다.
• 컨트롤을 구현하기 위한 지침 입니다. 합법적인 비즈니스상의 이유로 모든 지침을 구현할 수 있는 것은 아닙니다. 구현할 수 없는 지침을 문서화하는 것이 좋습니다.

다음 표는 AI 시스템 위험 평가에서 가져온 컨트롤이며, 위험 범주 구조의 각 부분을 설명하기 위해 메모가 추가됩니다.

예제 컨트롤

읽는 방법

1. 데이터 수집

기본 범주

기계 학습 및 인공 지능에 사용되는 모든 원본의 데이터 수집 및 스토리지와 관련된 제어 및 정책입니다.

상위 수준에서 이 범주의 컨트롤을 설명합니다.

2. 데이터 원본

컨트롤 범주

목표: 학습된 모델에 사용되는 수집된 데이터의 무결성을 보장합니다.

컨트롤을 사용하여 완화되는 위험을 설명해야 합니다.

위협 문: 데이터는 중요한 개인 데이터, 모델의 보안에 영향을 줄 수 있는 기타 바람직하지 않은 데이터를 포함하거나 조직에 규정 준수 위험을 제공하는 신뢰할 수 없는 원본에서 수집됩니다.

컨트롤을 구현하지 않은 결과를 설명하는 문입니다.

제어: 신뢰할 수 있는 원본에서 데이터를 수집해야 합니다. 신뢰할 수 있는 원본 목록을 유지하고 업데이트해야 합니다. 신뢰할 수 없는 데이터를 수집하기 위한 승인 사례별로 고려해야 합니다.

컨트롤에 대한 모범 사례를 설명하는 특정 세부 정보입니다.

지침:

1. 모델을 학습시키기 전에 데이터를 신뢰할 수 있도록 모든 합리적인 노력을 기울여야 합니다. 신뢰할 수 없거나 알 수 없는 데이터는 나중에 파이프라인에서 보안 취약성을 발생시킬 수 있습니다.
2. 데이터 과학 목적으로 사용하든 그렇지 않든 중요한 개인 데이터를 포함하는 데이터는 클린 저장하거나 적절하게 액세스해야 합니다.
3. 컨텍스트를 고려하지 않고 데이터를 수집하면 잘못된 데이터가 포함된 데이터 세트가 발생할 수 있습니다. 데이터 수집 작업은 저작권이 있는 자료, 데이터 위반, 실수로 데이터가 유출되는 보안되지 않은 엔드포인트에 주의해야 합니다.

지침은 위의 조건을 충족하기 위한 권장 사항입니다. Microsoft는 조직에서 적합한 방식으로 문제를 해결할 수 있는 공간을 제공하기 위해 제품 및 공급업체에 불가지론적인 방식으로 제공합니다.

기계 학습 보안 평가

시작하기 앞서

이 평가의 목적은 조직이 AI 시스템에서 도입한 비즈니스 운영에 대한 위험을 명확히 하고, 추적하고, 수정할 수 있도록 돕는 것입니다. 이 평가는 다음을 수행하는 데 사용해야 합니다.

1. 조직 내 AI 보안의 현재 상태에 대한 정보를 수집합니다.
2. 갭 분석을 수행하고 권장 사항을 구현하기 위한 로드맵을 작성합니다.
3. 매년 또는 격년으로 이 평가를 수행하여 보안 진행 상황을 추적합니다.

조직에 보안 프로그램이 없는 경우 이 평가는 시작할 위치가 아닙니다. 조직에는 이 평가에서 권장 사항을 구현하기 전에 작동하는 정보 보안 프로그램이 있어야 합니다. 자세한 내용은 클라우드 채택 프레임워크 Azure 보안 지침 문서를 참조하세요.

데이터 수집

기계 학습 및 인공 지능에 사용되는 모든 원본의 데이터 수집 및 스토리지와 관련된 제어 및 정책입니다.

목표: AI 시스템에서 사용되는 수집된 데이터의 무결성을 보장합니다.

데이터 원본

제어: 신뢰할 수 있는 원본에서 데이터를 수집해야 합니다. 신뢰할 수 있는 원본 목록을 유지하고 업데이트해야 합니다. 신뢰할 수 없는 데이터를 수집하기 위한 관리 승인은 사례별로 고려해야 합니다. 신뢰할 수 없는 원본이 승인되면 문서화해야 합니다.

위협 문: 데이터는 중요한 개인 데이터, 모델의 성능에 영향을 줄 수 있는 기타 바람직하지 않은 데이터를 포함하거나 조직에 규정 준수 위험을 제공하는 신뢰할 수 없는 원본에서 수집됩니다.

지침:

1. 입력 데이터는 AI 시스템에서 사용하기 전에 관리 승인을 통해 유효성을 검사하고 신뢰할 수 있어야 합니다.
2. AI 시스템에 대해 수집된 데이터는 사용하거나 스토리지하기 전에 검토해야 합니다.
3. 적절한 경우 수집된 데이터를 바람직하지 않은 항목으로 클린 합니다.
4. 데이터 원본을 문서화하고 데이터와 함께 보관해야 합니다.
5. 모델을 학습시키는 데 사용되는 유추 데이터는 암시적으로 신뢰할 수 없으며 새 데이터로 처리해야 합니다.
6. 데이터 수집 작업을 문서화하고 감사해야 합니다. 수집된 데이터에는 문서화된 정책을 준수할 책임이 있는 소유자가 있어야 합니다.

중요한 데이터 형식

제어: AI 시스템의 저장된 데이터가 민감도 및 사용 사례에 따라 올바르게 보호, 추적 및 분류되도록 합니다. 이 컨트롤에는 적절한 데이터 분류 레이블, 액세스 정책, 라이선스 정보, 설명 통계, 원본 및 수집 날짜가 포함됩니다.

위협 문: AI 시스템에 사용되는 데이터는 필수 특성, 메타데이터 또는 설명서가 부족하여 부적절하게 사용, 저장 또는 액세스됩니다.

지침:

1. 중요한 데이터 형식의 개인 정보 보호 및 보호를 포괄하는 데이터 정책을 개발하고 AI 시스템의 사용 또는 생성과 관련된 모든 담당자에게 정책을 전달합니다.
2. AI Systems에 사용되는 데이터의 기밀성과 무결성을 보호하는 교육 및 배포 파이프라인을 구현합니다.

데이터 저장소

제어: 문서화된 분류 프로세스에 따라 데이터를 적절하게 저장해야 합니다. 데이터 세트는 인덱싱되고 자산 관리 및 액세스 제어 정책의 적용을 받는 자산으로 간주되어야 합니다.

위협 문: 데이터는 안전하지 않게 저장되며 권한이 없는 당사자 또는 시스템에 의해 변조되거나 변경될 수 있습니다. 데이터가 올바르게 분류되지 않아 기밀 정보 또는 중요한 개인 데이터가 공개됩니다.

지침

1. 개발 또는 AI 연구 시스템 또는 계정이 프로덕션 데이터베이스에 액세스할 수 없고 그 반대의 경우도 마찬가지인지 확인합니다.
2. AI 시스템에 사용되는 데이터는 문서화된 분류 정책에 따라 분류 및 보호되어야 합니다.
3. AI 시스템에 사용되는 데이터는 문서화된 자산 관리 정책에 따라 추적됩니다.
4. 중요한 AI 사용 사례에 사용되는 데이터는 승인되고 관리되는 시스템에 저장됩니다.
5. 데이터에 대한 액세스를 감사해야 하며 액세스를 요청하는 사용자는 관리 승인을 포함하는 공식적인 액세스 제어 프로세스를 거쳐야 합니다.
6. 기계 학습 프로세스에 사용되는 데이터는 인터넷에 노출되어서는 안 됩니다.
7. 인터넷(또는 기타 신뢰할 수 없는 원본)에서 가져온 데이터는 관리 승인을 포함하는 필터링 프로세스를 거쳐야 합니다.
8. 데이터 세트는 정식 변경 제어 프로세스를 사용하여 버전 관리해야 합니다.

데이터 액세스

제어: 데이터 세트는 사용하기 전에 암호화 해시를 통해 적절하게 추적 및 확인해야 합니다.

위협 문: 데이터 세트는 권한 부여 없이 변경됩니다.

지침:

1. 데이터 세트에 대한 역할 기반 액세스 제어를 적용해야 합니다.
2. 데이터 세트에 액세스할 수 있는 계정에 데이터 세트에 대한 액세스 권한이 있어야 하려면 정기적인 액세스 감사를 수행합니다. 각 계정이 정상 범위 내에서 작동하고 있는지 확인합니다.
3. 중앙 추적 플랫폼을 사용하지 않는 경우 원시 액세스 로그를 통해 데이터에 대한 액세스를 의도적으로 검토해야 합니다. 각 계정이 정상 범위 내에서 작동하고 있는지 확인합니다.
4. 타사 리소스 공급자, 계약자 또는 기타 외부 당사자는 계약이 없는 회사의 학습/테스트 데이터 자산에 초과되거나 부적절한 액세스를 해서는 안 됩니다.

데이터 무결성

제어: 데이터 세트는 AI 시스템 수명 주기 내내 신뢰할 수 기본 다시 신뢰해야 합니다.

위협 문: 데이터 세트는 변경 내용을 감사하거나 추적할 수 없는 AI 수명 주기 동안 변경됩니다.

지침:

1. 승인된 데이터 세트를 무단으로 변경하면 데이터 세트가 검토되도록 데이터 세트를 고유하게 식별해야 합니다.
2. 데이터 세트 및 해당 암호화 설명은 중앙 위치에서 추적해야 합니다. 데이터 세트에 대한 액세스는 감사해야 합니다.
3. 데이터 세트의 변경 내용에는 중앙 추적 서비스에 제출되기 전에 업데이트된 암호화 설명 및 관리 승인이 포함되어야 합니다.

데이터 처리

기계 학습 및 인공 지능에 사용되는 데이터 처리와 관련된 제어 및 정책입니다.

목표: 원시 양식에서 중간 형식으로 데이터를 안전하게 처리하여 학습할 수 있도록 합니다.

파이프라인 처리

제어: 처리 파이프라인을 적절하게 보호해야 합니다.

위협 문: 위협 행위자가 데이터 처리 파이프라인을 변경하여 시스템을 무단으로 변경할 수 있습니다.

지침:

1. 프로덕션 시스템을 통해 이동하는 모든 데이터가 데이터 과학 노력과 관련이 있는 것은 아닙니다. 필요한 데이터만 구문 분석하고 안전한 프로덕션 설정에서 개발 설정으로 이동된 모든 데이터를 적절하게 추적해야 합니다. 특정 유형의 데이터를 개발 환경으로 이동하지 못할 수 있습니다. 데이터 과학은 안전한 중간 환경에서 발생해야 할 수 있습니다.
2. 데이터 처리 수명 주기 전반에 걸쳐 데이터 액세스에 대한 적절한 감사가 중요합니다. 별도의 계정이 없으면 액세스에 대한 충분한 감사가 있을 수 없습니다. 또한 인시던트에 대응하는 기능은 잠재적으로 비즈니스 프로세스에 영향을 주지 않고는 발생할 수 없습니다. 단일 계정이 손상되면 모든 데이터가 손상되어 보안 프로덕션 환경이 종료됩니다.
3. 데이터 과학 프로세스에는 엄격한 규정 준수 경계를 벗어난 리소스가 필요할 수 있습니다.
4. 데이터 과학 프로세스는 항상 기존 요구 사항을 준수해야 합니다. 이 프로세스에는 데이터 과학 리소스 및 프로세스를 규격 환경으로 이동하는 것이 포함될 수 있습니다.
5. 데이터는 전체 수명 주기를 통해 추적되어야 합니다. 이 추적에는 더 큰 데이터 세트의 하위 집합이 포함됩니다. 모델을 학습된 데이터로 다시 추적할 수 있어야 합니다. 또한 해당 데이터의 복사본 전체가 존재해야 합니다.

데이터 세트 조리개

제어: 모델 빌드에 포함된 데이터의 하위 집합(예: 임시, 범주 조각)을 보장하고 보안 위험(피드백에 대한 지나치게 강조를 통한 개인 정보 유출, 중독/무결성)을 부여하는 방법을 확인합니다.

위협 문: 위협 행위자가 데이터의 하위 집합을 재구성/복구하여 데이터의 일부를 복구할 수 있습니다.

지침:

1. 데이터의 하위 집합은 데이터 세트 자체입니다. 이러한 하위 집합은 부모 데이터 세트와 동일한 메타데이터를 연결해야 하며 중요한 데이터 형식에 대해 유사하게 검토해야 합니다.
2. 기계 학습 사례(SLA, 바이어스 메트릭 등)에 관한 정책에 따라 모델 빌드에서 사용할 경우 이러한 메트릭을 둘러싼 최소 문서화된 표준을 충족해야 합니다. 메타데이터는 항상 데이터 세트에 연결되어야 합니다.
3. 기존 정책을 위반하는 모든 데이터 세트에는 관리에서 승인한 문서화된 예외가 있어야 합니다. 예외에 포함된 이유는 필수 메타데이터 외에 예외에 대한 문서화된 이유여야 합니다.
4. 모델 빌드에 사용되는 모든 데이터는 중앙 위치에서 추적해야 합니다. 데이터는 언제든지 감사할 수 있어야 합니다. 또한 추적되지 않은 데이터에 대해 학습된 것으로 확인된 모델은 알려진 데이터 세트와 필수 메타데이터가 일치할 때까지 프로덕션에서 가져와야 합니다.
5. 모든 메타데이터가 업데이트되고 데이터 사용자가 내용 및 통계 속성을 이해하게 되도록 데이터 세트의 버전을 적절하게 지정해야 합니다. 필요한 경우 중요한 사용 사례에 대한 관리 승인이 필요합니다.

모델 학습

모델 및 알고리즘의 학습과 관련된 컨트롤 및 정책입니다.

모델 디자인

제어: 책임 있는 당사자가 모델 학습 코드를 검토합니다.

위협 문: 모델 코드의 부적절한 코드 또는 취약성은 가용성, 무결성 또는 기밀성 위험을 생성합니다.

지침:

1. 모델 디자인 및 연구는 적절한 환경에서 발생해야 합니다. 모델 디자인 및 아키텍처는 모델의 효율성에 큰 영향을 미칠 수 있습니다. 프로덕션 환경은 디자인의 효능에 대해 연구하거나 승인할 수 없는 클레임을 테스트할 수 있는 장소가 아닙니다.
2. 프로덕션 시스템에 대한 모델 선택은 경영진이 검토하고 승인해야 합니다. 이 프로세스는 개발 단계 초기에 발생해야 하며 사용 가능한 메커니즘(Excel, DevOps, Git 등)을 통해 추적해야 합니다. 예외를 문서화해야 합니다.
3. 모델은 종종 기본 특정하며 조직에서 사용하는 동안 모델과 함께 제공되는 적절한 설명서가 있어야 합니다.
4. 사용자가 모델 메타데이터에 액세스할 수 있고 모델의 승인되지 않은 사용이 문서화되고 적용되는지 확인합니다. 새 메타 데이터가 적절하게 연결되고 추적되는 한 사용자가 기존 모델을 미세 조정하는 것이 허용됩니다.

모델 학습

컨트롤: 모델 선택 조건(메트릭 및 홀드아웃 집합)은 자연스러운 드리프트 및 배포 시 예상할 수 있는 악의적 조건을 모방합니다.

위협 문: 이상적인 조건에서 학습된 모델은 악의적인 설정에 배포될 때 취약할 수 있습니다.

지침

1. 학습 및 유효성 검사 집합은 자연 임시 종속성을 준수해야 합니다. 예를 들어 맬웨어 분류자의 경우 유효성 검사 집합은 학습 집합에 포함된 버전보다 나중에 소프트웨어 버전만 포함해야 합니다.
2. 야생에서 합리적으로 검색될 수 있는 일반적인 손상으로 데이터 세트를 보강하여 모델 견고성을 명시적으로 추가합니다.
3. 악의적 재학습을 사용하여 최악의 경우 조건에 대해 명시적으로 학습합니다.
4. 실험 및 관련 메타를 추적합니다.

모델 선택

모델 선택은 각 후보에게 고유한 모델 매개 변수 집합, 학습 알고리즘 및 학습 하이퍼 매개 변수가 있는 후보 집합에서 하나의 모델을 선택하는 것으로 구성됩니다. 우승 모델에 대한 선택 조건은 일반적인 홀드아웃 데이터 세트에서 측정되거나 K-폴드 유효성 검사 집합에서 평균으로 측정된 단일 정량화 가능한 메트릭(예: 최소 손실, 최대 검색 속도)을 기반으로 하는 경우가 많습니다.

제어: 모델 디자인 및 학습 알고리즘에는 명시적 또는 암시적 모델 정규화가 포함됩니다.

위협 문: 모델은 학습 및/또는 단일 유효성 검사 데이터 세트에 지나치게 적합하며 실패 모드에 더 취약합니다.

지침:

1. 계산이 가능한 경우 단일 홀드아웃 집합에 과잉 맞춤을 방지하기 위해 K-폴드 교차 유효성 검사를 사용해야 합니다.
2. 선택한 모델이 서로 다른 홀드아웃 집합에서 잘 작동하는지 확인하여 과잉 맞춤되지 않았는지 확인합니다.
3. 프로세스가 있는지 확인합니다.

모델 버전 관리

제어: 새 학습 데이터가 학습 파이프라인으로 흘러들어갈 때 모델은 지속적으로 재학습됩니다.

위협 문: 인시던트가 발생하지만 관련된 모델을 조사할 수 없습니다.

지침:

1. 모델이 학습될 때마다 새 버전이 할당되도록 하는 버전 모델입니다. my_model_dev_1.1 또는 my_model_prod_1.1과 같은 한정자는 사전 프로덕션 모델에서 프로덕션을 구분하는 데 사용해야 합니다. 이 버전 관리 기능은 프로덕션 또는 사전 프로덕션 문제에 대한 문제를 격리하는 데 도움이 됩니다. 기존 보안 SDL 프로세스 또는 정책을 참조합니다.

모델 배포

모델, 알고리즘 및 지원 인프라 배포와 관련된 제어 및 정책입니다.

보안 테스트

제어: 프로덕션에 투입된 모델은 적절하게 보호됩니다.

위협 문: AI 시스템은 배포 전에 취약성에 대해 적절하게 테스트되지 않습니다.

지침:

1. 새 AI 시스템, 업그레이드 및 새 버전에 대한 공식적인 승인 테스트 기준이 정의되고 문서화되지 않았습니다.
2. 새 AI 시스템, 업그레이드 또는 새 버전은 공식 테스트를 통해 구현해야 합니다.
3. 자동화된 도구는 정보 시스템, 업그레이드 또는 새 버전을 테스트하는 데 사용해야 합니다.
4. 테스트 환경은 최종 프로덕션 환경과 매우 유사해야 합니다.
5. 독립적인 보안 검토를 위한 빈도, 범위 및 방법을 문서화해야 합니다.

보안 및 규정 준수 검토

제어: 기본 네트워크의 강력한 관리는 ML 시스템 및 인프라를 보호하는 데 중요합니다.

위협 문: 보안되지 않은 네트워크에 액세스하여 ML 시스템의 손상

지침:

1. ML 시스템에 대한 게이트웨이 디바이스는 do기본 간 트래픽을 필터링하고 무단 액세스를 차단하도록 구성해야 합니다.
2. 관련 법정, 규정 및 계약 요구 사항은 특정 제어 및 개별 책임과 함께 명시적으로 정의되고 문서화되고 해결되어야 합니다.
3. 보안 구성 지침도 문서화, 구현 또는 검토해야 합니다.
4. ML 네트워크를 기본 분리하는 기준은 조직의 액세스 제어 정책 또는 조직의 액세스 요구 사항과 일치해야 합니다.
5. ML 시스템에 대한 보안 게이트웨이, VPN, 라우팅과 같은 메커니즘을 충분히 구현하여 제어 집합을 확장할 수 있어야 합니다.
6. 사용자 및 ML 엔지니어는 공개적으로 액세스할 수 있는 시스템, 내부 네트워크 및 중요한 자산의 사용을 적절하게 분리하고 제한하기 위해 컨트롤 구현에 대한 요구 사항을 사용하거나 따라야 합니다.

시스템 모니터링

기계 학습 시스템 및 지원 인프라의 지속적인 모니터링과 관련된 제어 및 정책입니다.

로그 및 로그 검토

제어: 로깅 및 모니터링은 보안상의 이유로 ML 시스템에 매우 중요합니다.

위협 문: 조사 중에 ML 시스템에 대한 로그를 찾을 수 없습니다.

지침:

1. 로깅 및 모니터링은 스토리지, 파이프라인, 프로덕션 서버 등을 비롯한 모든 AI 시스템 및 해당 구성 요소에서 일관되게 수행되어야 합니다.
2. 비정상적인 동작은 이벤트 및 보안 로그를 정기적으로 검토해야 합니다.
3. 시스템 활동에 대한 통합 보고서 및 경고는 관리 또는 보안 담당자가 생성하고 검토해야 합니다.

인시던트 관리

역할 및 책임

제어: 보안 로그는 중앙 위치에서 수집해야 합니다.

위협 문: 조사 중에 보안 분석가는 공식화된 플레이북을 가지고 있지 않습니다.

지침:

1. 조직은 서비스 손실, 장비 손실, 시설 손실, 시스템 오작동, 시스템 오버로드, 사용자 오류, 정책 또는 지침 비준수, 물리적 보안 위반, 제어되지 않는 시스템 변경, 소프트웨어 오작동, 하드웨어 오작동 및 액세스 위반의 맥락에서 AI 시스템 인시던트를 보고하는 공식 프로세스를 따라야 합니다.
2. 공식적인 인시던트 대응 및 에스컬레이션 절차는 정보 보안 이벤트의 보고서를 수신할 때 수행된 작업을 문서화하기 위해 개발되어야 합니다.
3. 인시던트 대응 절차는 정기적으로 테스트하여 응답 메트릭을 추적해야 합니다.

비즈니스 연속성 계획

계획, 검토 및 결과

제어: 인시던트 후 ML 시스템을 수정하고 복구할 수 있는지 확인합니다.

위협 문: 인시던트로 인해 중요한 ML 시스템에 지속적인 기밀성, 무결성 또는 가용성 문제가 발생합니다.

지침:

1. 중요한 AI 자산을 식별하고 인벤토리화해야 합니다.
2. 조직은 AI 시스템에 대한 공격에 직면하여 BCP(비즈니스 연속성 계획) 또는 DR(재해 복구) 프로세스를 개발해야 합니다.
3. 조직은 중요한 AI 시스템이 공격에 손실되는 영향과 관련된 위험의 우선 순위를 식별해야 합니다.
4. 조직은 중요한 AI 시스템에 대해 반복되는 일정에 따라 비즈니스 연속성 테스트를 수행해야 합니다.

참조

• ISO 27001 부록 A 컨트롤 - 개요(isms.online)
• 공식 PCI 보안 표준 위원회 사이트
• Machine Learning의 실패 모드
• 위협 모델링 AI/ML 시스템 및 종속성
• 보안 개발 수명 주기 버그 모음에 대한 AI/ML 피벗
• 엔터프라이즈 보안 및 거버넌스

질문, 의견 또는 피드백이 있는 경우 문의하세요 atml@microsoft.com.

GitHub 리포지토리에서 이 문서의 PDF를 다운로드합니다.