AI 보안 – AI를 보호하는 프로세스
이 문서에서는 AI 워크로드를 보호하기 위한 조직 프로세스를 간략하게 설명합니다. AI의 기밀성, 무결성 및 가용성(CIA)에 중점을 둡니다. 효과적인 보안 사례는 AI 모델 및 데이터의 기밀성, 무결성 및 가용성을 보호하여 손상 위험을 줄입니다. 또한 보안 AI 환경은 비즈니스 보안 목표에 부합하고 AI 기반 프로세스에 대한 신뢰를 향상시킵니다.
AI 보안 위험 평가
AI 보안 위험을 평가하려면 AI 워크로드에 영향을 줄 수 있는 잠재적 취약성을 식별하고 평가해야 합니다. 이러한 위험을 사전에 해결하면 위반, 조작 및 오용을 방지하여 AI 애플리케이션의 안정성을 강화합니다. 또한 이 방법은 중요한 데이터를 보호하고 관련자의 신뢰를 유지하여 조직의 목표를 지원합니다.
일반적인 AI 보안 위험을 식별합니다. MITRE ATLAS 및 OWASP 생성 AI 위험 같은 인식된 리소스를 사용하여 모든 AI 워크로드에서 정기적으로 위험을 평가합니다.
AI 보안 태세를 관리합니다. 지속적인 보안 상태 관리를 위해 클라우드용 Microsoft Defender AI 보안 상태 관리와 같은 AI 보안 도구를 사용하는 것이 좋습니다. 이러한 도구는 생성 AI 위험의 검색 및 수정을 자동화할 수 있습니다.
데이터 위험을 식별합니다. Microsoft Purview 내부 위험 관리 같은 엔터프라이즈 차원의 도구를 사용하여 내부 위험을 평가하고 비즈니스 전체에서 데이터 보안을 유지합니다. 모든 AI 워크로드에서 처리, 저장 또는 전송하는 데이터의 민감도에 따라 위험을 분류하고 우선 순위를 지정합니다.
레드 팀 AI 모델. 생성 AI 모델 및 비발생적 모델에 대해 레드 팀 테스트를 수행하여 공격에 대한 취약성을 평가합니다. AI 레드팀 운영에 대한 권장 사항을 따르세요.
시스템 기능 및 애플리케이션 컨텍스트를 평가합니다. AI 시스템이 수행할 수 있는 작업과 실제 취약성을 효과적으로 대상으로 하는 위치를 식별합니다. 잠재적 영향에서 뒤로 작업하여 의미 있는 공격 전략을 설계합니다.
먼저 간단한 공격 기술을 사용합니다. 복잡한 악의적 공격을 시도하기 전에 기본 프롬프트 엔지니어링 및 시스템 약점을 악용합니다. 많은 실제 위반은 리소스 부족 기술에 의존합니다.
레드 팀 활동과 벤치마킹을 구분합니다. AI 레드 팀은 알 수 없는 위험을 발견합니다. 벤치마킹은 알려진 취약성을 평가합니다. 미리 정의된 평가 메트릭에만 의존하지 않고 실제 시나리오에서 AI를 테스트하는 데 집중합니다.
위험 범위를 확장하도록 자동화합니다. PyRIT 같은 도구를 사용하여 AI 시스템을 대규모로 테스트하지만 사람의 감독을 유지합니다.
AI 레드 팀에서 사람의 판단 우선 순위를 지정합니다. 자동화는 테스트를 지원하지만 인간은 편견, 정서적 반응 및 문화적 의미와 같은 미묘한 위험을 평가하는 데 필요한 컨텍스트를 제공합니다.
책임 있는 AI 오류를 측정하는 신뢰할 수 있는 방법을 개발합니다. 책임 있는 AI 오류는 AI 시스템이 책임 있는 AI의 원칙을 위반할 때 발생합니다. 보안 취약성과 달리 이러한 오류는 주관적, 사회적, 윤리적 의미로 인해 정의하고 측정하기가 더 어렵습니다. 구조적 지침 및 시나리오 기반 평가를 사용하여 유해한 출력을 평가하고 완화합니다.
기존 위협과 AI 관련 위협을 모두 보호합니다. 프롬프트 주입 및 데이터 반출과 같은 AI 위험과 함께 기존의 보안 취약성을 해결합니다. 시스템 수준 및 모델별 방어를 모두 강화합니다.
자세한 내용은 생성 AI 제품 100개에 대한 레드 팀 활동의 교훈 을 참고하세요.
AI 보안 컨트롤 구현
AI 보안 제어를 구현한다는 것은 AI 리소스 및 데이터를 보호하는 정책, 절차 및 도구를 설정하는 것을 의미합니다. 이러한 제어는 규정 요구 사항을 준수하고 무단 액세스로부터 보호하여 지속적인 운영 및 데이터 개인 정보를 지원하는 데 도움이 됩니다. AI 워크로드에 일관된 컨트롤을 적용하면 보안을 보다 효과적으로 관리할 수 있습니다.
AI 리소스 보호
AI 리소스 보안에는 AI 애플리케이션을 지원하는 시스템, 모델 및 인프라를 관리하고 보호하는 것이 포함됩니다. 이 단계는 무단 액세스 가능성을 줄이고 조직 전체의 보안 사례를 표준화하는 데 도움이 됩니다. 포괄적인 리소스 인벤토리를 사용하면 일관된 보안 정책을 적용하고 AI 자산에 대한 전반적인 제어를 강화할 수 있습니다.
중앙 집중식 AI 자산 인벤토리를 설정합니다. AI 워크로드 리소스의 상세하고 최신 인벤토리를 유지 관리하면 모든 AI 워크로드에 보안 정책을 균일하게 적용할 수 있습니다. Azure 전체에서 모든 AI 시스템, 모델, 데이터 세트 및 인프라의 회사 전체 인벤토리를 컴파일합니다. Azure Resource Graph Explorer 및 클라우드용 Microsoft Defender 같은 도구를 활용하여 검색 프로세스를 자동화합니다. 클라우드용 Microsoft Defender 생성 AI 워크로드 및 배포 전 생성 AI 아티팩트에서 검색할 수 있습니다.
Azure AI 플랫폼을 보호합니다. 모든 AI 리소스에 대한 Azure 보안 기준 애플리케이션 을 표준화합니다 . Azure 서비스 가이드의 보안 권장 사항을 따릅니다.
워크로드별 거버넌스 지침을 사용합니다. 자세한 보안 지침은 Azure PaaS(플랫폼 서비스) 및 Azure IaaS(인프라)의 AI 워크로드에 사용할 수 있습니다. 이 지침을 사용하여 이러한 워크로드 유형 내에서 AI 모델, 리소스 및 데이터를 보호합니다.
AI 데이터 보호
AI 데이터 보안에는 AI 모델에서 사용하고 생성하는 데이터를 보호하는 작업이 포함됩니다. 효과적인 데이터 보안 사례는 무단 액세스, 데이터 유출 및 규정 준수 위반을 방지하는 데 도움이 됩니다. 데이터 액세스를 제어하고 자세한 카탈로그를 유지 관리하는 것도 정보에 입각한 의사 결정을 지원하고 중요한 정보를 노출할 위험을 줄입니다.
데이터 경계를 정의하고 유지 관리합니다. AI 워크로드가 액세스 수준에 적합한 데이터를 사용하는지 확인합니다. 모든 직원이 액세스할 수 있는 AI 애플리케이션은 모든 직원에게 적합한 데이터만 처리해야 합니다. 인터넷 연결 AI 애플리케이션은 공용 소비에 적합한 데이터를 사용해야 합니다. 다른 AI 애플리케이션에 대해 별도의 데이터 세트 또는 환경을 사용하여 실수로 데이터에 액세스하지 못하도록 방지합니다. Microsoft Purview의 데이터 보안 도구 모음을 사용하여 데이터를 보호하는 것이 좋습니다.
엄격한 데이터 액세스 제어를 구현합니다. 애플리케이션에서 최종 사용자가 해당 쿼리와 관련된 데이터에 액세스할 수 있는 권한이 있는지 확인합니다. 사용자 작업에 대한 광범위한 시스템 권한을 사용하지 않습니다. AI가 특정 정보에 액세스할 수 있는 경우 사용자에게 직접 액세스할 수 있는 권한을 부여해야 한다는 원칙에 따라 작동합니다.
데이터 카탈로그를 유지 관리합니다. 스토리지 위치 및 액세스 세부 정보를 포함하여 AI 시스템에 연결되고 사용되는 모든 데이터의 최신 카탈로그를 유지합니다. 정기적으로 데이터를 스캔하고 레이블을 지정하여 민감도 수준과 적합성을 추적하여 분석 및 위험 식별을 지원합니다. Microsoft Purview 데이터 카탈로그 사용하여 데이터를 매핑하고 관리하는 것이 좋습니다.
데이터 민감도 변경 관리 계획을 만듭니다. 시간이 지남에 따라 변경 가능한 데이터 민감도 수준을 추적합니다. 데이터 카탈로그를 사용하여 AI 워크로드에 사용되는 정보를 모니터링합니다. AI 워크로드에서 중요한 데이터를 찾아 제거하는 프로세스를 구현합니다.
AI 아티팩트 보호 AI 모델 및 데이터 세트를 중요한 지적 재산으로 인식하고 그에 따라 보호하기 위한 조치를 구현합니다. 프라이빗 엔드포인트 뒤와 Azure Blob Storage 및 전용 작업 영역과 같은 보안 환경에 AI 모델 및 데이터 세트를 저장합니다. 엄격한 액세스 정책 및 암호화를 적용하여 무단 액세스 또는 도난으로부터 AI 아티팩트를 보호하여 데이터 중독을 방지합니다.
중요한 데이터를 보호합니다. 원본 데이터 원본이 직접 사용하기에 적합하지 않은 경우 필요한 정보만 포함하는 중복, 로컬 복사본 또는 하위 집합을 사용합니다. 무단 액세스 또는 데이터 유출을 방지하기 위해 네트워크 격리 및 엄격한 액세스 제어를 특징으로 하는 제어된 환경 내에서 중요한 데이터를 처리합니다. 또한 암호화, 지속적인 모니터링 및 침입 검색 시스템과 같은 포괄적인 보호 기능을 구현하여 처리 중 데이터 위반으로부터 보호합니다.
AI 보안 제어 유지 관리
AI 보안 제어 유지 관리에는 진화하는 위협을 해결하기 위한 보안 조치의 지속적인 모니터링, 테스트 및 업데이트가 포함됩니다. 보안 제어를 정기적으로 검토하면 AI 워크로드가 보호된 상태로 유지되고 조직이 새로운 위험에 적응할 수 있습니다. 사전 유지 관리는 위반을 방지하고 시간이 지남에 따라 AI 시스템에 대한 신뢰를 유지하는 데 도움이 됩니다.
AI 시스템에서 데이터 유출 및 강제 변환 테스트를 구현합니다. 엄격한 테스트를 수행하여 AI 시스템을 통해 중요한 데이터가 유출되거나 강제 변환될 수 있는지 확인합니다. DLP(데이터 손실 방지) 테스트를 수행하고 AI 관련 공격 시나리오를 시뮬레이션합니다. 모델 반전 또는 악의적 공격을 시뮬레이션하여 데이터 보호 조치의 복원력을 평가합니다. AI 애플리케이션에서 데이터 무결성 및 신뢰를 유지하는 데는 AI 모델 및 데이터 처리 프로세스가 무단 액세스 및 조작에 대해 안전하게 보호되도록 하는 것이 중요합니다.
AI 중심 직원 교육 및 인식을 제공합니다. AI 프로젝트에 관련된 모든 직원을 위한 교육 프로그램을 제공합니다. AI 개발 및 배포와 관련된 데이터 보안 및 모범 사례의 중요성을 강조합니다. 학습에 사용되는 중요한 데이터를 처리하고 모델 반전 또는 데이터 중독 공격과 같은 위협을 인식하는 방법에 대해 직원을 교육합니다. 정기적인 교육을 통해 팀 구성원은 최신 AI 보안 프로토콜에 대해 잘 알고 AI 워크로드의 무결성을 유지하는 역할을 이해할 수 있습니다.
AI 보안 인시던트에 대한 인시던트 대응 계획을 개발하고 유지 관리합니다. 잠재적인 데이터 위반 또는 보안 인시던트를 해결하기 위해 AI 시스템에 맞게 조정된 인시던트 대응 전략을 만듭니다. 이 계획은 AI 모델, 데이터 또는 인프라에 영향을 줄 수 있는 보안 인시던트 검색, 보고 및 완화를 위한 명확한 절차를 간략하게 설명해야 합니다. 대응 팀이 실제 AI 보안 인시던트 효율적으로 처리할 준비가 되도록 AI 관련 시나리오에 초점을 맞춘 정기적인 훈련 및 시뮬레이션을 수행합니다.
정기적인 위험 평가를 수행합니다. 위험 평가 및 영향 분석을 통해 AI와 관련된 새로운 위협 및 취약성을 정기적으로 평가합니다. 이러한 평가는 AI 모델, 데이터 처리 프로세스 및 배포 환경과 관련된 새로운 위험을 식별하는 데 도움이 됩니다. 평가는 또한 AI 시스템에 대한 보안 위반의 잠재적 영향을 평가합니다.
다음 단계
AI 관리, AI 관리 및 보안 AI는 정기적으로 반복해야 하는 연속 프로세스입니다. 필요에 따라 각 AI 전략, AI 계획 및 AI 준비 완료를 다시 확인합니다. AI 채택 검사 목록을 사용하여 다음 단계를 결정합니다.