Azure AI 콘텐츠 안전이란?
Azure AI 콘텐츠 보안은 애플리케이션과 서비스에서 사용자가 생성한 유해한 콘텐츠와 AI가 생성한 콘텐츠를 검색하는 AI 서비스입니다. Azure AI 콘텐츠 보안에는 유해한 자료를 탐지할 수 있는 텍스트 및 이미지 API가 포함되어 있습니다. 대화형 콘텐츠 보안 스튜디오를 사용하면 다양한 형식에서 유해한 콘텐츠를 검색하기 위한 샘플 코드를 보고, 탐색하고, 시험해 볼 수 있습니다.
콘텐츠 필터링 소프트웨어는 앱이 규정을 준수하거나 사용자를 위해 의도된 환경을 유지하는 데 도움이 될 수 있습니다.
이 설명서에는 다음과 같은 문서 유형이 포함되어 있습니다.
- 개념은 서비스 기능에 대한 심층적인 설명을 제공합니다.
- 빠른 시작은 서비스에 대한 요청을 수행하는 과정을 안내하는 시작 지침입니다.
- 방법 가이드에는 보다 구체적이거나 사용자 지정된 방식으로 서비스를 사용하기 위한 지침이 포함되어 있습니다.
사용 위치
다음은 소프트웨어 개발자나 팀이 콘텐츠 조정 서비스를 요구하는 몇 가지 시나리오입니다.
- 생성 AI 서비스에 제출된 사용자 프롬프트입니다.
- 생성 AI 모델에 의해 생성된 콘텐츠입니다.
- 제품 카탈로그 및 기타 사용자 생성 콘텐츠를 조정하는 온라인 마켓플레이스.
- 사용자 생성 게임 아티팩트 및 대화방을 조정하는 게임 회사.
- 사용자가 추가한 이미지와 텍스트를 조정하는 소셜 메시징 플랫폼입니다.
- 중앙에서 콘텐츠를 조정하도록 구현하는 엔터프라이즈 미디어 회사.
- 학생 및 교육자에게 부적절한 콘텐츠를 필터링하는 K-12 교육 솔루션 공급자.
Important
Azure AI 콘텐츠 보안을 사용하여 불법 아동 착취 이미지를 탐지할 수 없습니다.
제품 기능
이 서비스는 여러 가지 형식의 분석을 제공합니다. 다음 표에서는 현재 사용 가능한 API에 대해 설명합니다.
| 기능 | 기능 | 개념 가이드 | 시작하기 |
|---|---|---|---|
| 프롬프트 쉴드 | 대규모 언어 모델에서 텍스트를 검사하여 사용자 입력 공격 위험을 확인합니다. | 프롬프트 쉴드 개념 | 빠른 시작 |
| 근거 감지(미리 보기) | LLM(대규모 언어 모델)의 텍스트 응답이 사용자가 제공한 원본 자료에 기반을 두고 있는지 여부를 검색합니다. | 근거 감지 개념 | 빠른 시작 |
| 보호 자료 텍스트 검색 | AI 생성 텍스트에서 알려진 텍스트 콘텐츠(예: 노래 가사, 기사, 레시피, 선택된 웹 콘텐츠)를 검사합니다. | 보호 자료 개념 | 빠른 시작 |
| 사용자 지정 범주(표준) API(미리 보기) | 사용자 고유의 사용자 지정 콘텐츠 범주를 만들고 학습시키며 일치 항목에 대한 텍스트를 검색할 수 있습니다. | 사용자 지정 범주 개념 | 빠른 시작 |
| 사용자 지정 범주(빠른 채널) API(미리 보기) | 새로운 유해 콘텐츠 패턴을 정의하고 일치하는 텍스트와 이미지를 검사할 수 있습니다. | 사용자 지정 범주 개념 | 방법 가이드 |
| 텍스트 분석 API | 여러 심각도 수준으로 텍스트에서 성적인 콘텐츠, 폭력, 증오, 자해를 검사합니다. | 유해 범주 | 빠른 시작 |
| 이미지 분석 API | 여러 심각도 수준으로 성적인 콘텐츠, 폭력, 증오, 자해에 대한 이미지를 검사합니다. | 유해 범주 | 빠른 시작 |
콘텐츠 안전 스튜디오
Azure AI 콘텐츠 안전 스튜디오는 최첨단 콘텐츠 조정 ML 모델을 사용하여 잠재적으로 공격적이거나 위험하거나 바람직하지 않은 콘텐츠를 처리하도록 설계된 온라인 도구입니다. 템플릿과 사용자 지정된 워크플로를 제공하므로 사용자는 자신만의 콘텐츠 조정 시스템을 선택하고 구축할 수 있습니다. 사용자는 자신의 콘텐츠를 업로드하거나 제공된 샘플 콘텐츠를 사용해 볼 수 있습니다.
콘텐츠 보안 스튜디오에는 즉시 사용 가능한 AI 모델이 포함되어 있을 뿐만 아니라 욕설을 신고하고 새로운 콘텐츠 동향을 최신 상태로 유지하기 위한 Microsoft의 기본 제공 용어 차단 목록도 포함되어 있습니다. 또한 자신의 차단 목록을 업로드하여 사용 사례에 특정한 유해 콘텐츠의 적용 범위를 강화할 수도 있습니다.
또한 스튜디오에서는 콘텐츠 조정 성능을 지속적으로 모니터링하고 개선할 수 있는 조정 워크플로를 설정할 수 있습니다. 게임, 미디어, 교육, 전자상거래 등 모든 산업 분야의 콘텐츠 요구 사항을 충족하는 데 도움이 될 수 있습니다. 기업은 서비스를 스튜디오에 쉽게 연결하고 사용자 생성이든 AI 생성이든 콘텐츠를 실시간으로 조정할 수 있습니다.
이러한 모든 기능은 스튜디오와 해당 백 엔드에서 처리됩니다. 고객은 모델 개발에 대해 걱정할 필요가 없습니다. 빠른 유효성 검사를 위해 데이터를 온보딩하고 그에 따라 기술 메트릭(대기 시간, 정확성, 재현율) 또는 비즈니스 메트릭(차단 속도, 블록 볼륨, 범주 비율, 언어 비율 등)과 같은 KPI를 모니터링할 수 있습니다. 고객은 사용자 지정 모델을 실험하거나 수동으로 조정하는 데 시간을 낭비하는 대신 간단한 운영 및 구성을 통해 다양한 솔루션을 빠르게 테스트하고 가장 적합한 솔루션을 찾을 수 있습니다.
콘텐츠 안전 스튜디오 기능
콘텐츠 보안 Studio에서는 다음과 같은 Azure AI 콘텐츠 보안 기능을 사용할 수 있습니다.
텍스트 콘텐츠 조정: 텍스트 조정 도구를 사용하면 텍스트 콘텐츠에 대한 테스트를 쉽게 실행할 수 있습니다. 단일 문장을 테스트하든 전체 데이터 세트를 테스트하든 당사 도구는 포털에서 직접 테스트 결과를 평가할 수 있는 사용자 친화적인 인터페이스를 제공합니다. 다양한 민감도 수준을 실험하여 콘텐츠 필터 및 차단 목록 관리를 구성하여 콘텐츠가 항상 정확한 사양에 맞게 조정되도록 할 수 있습니다. 또한 코드 내보내기 기능을 통해 애플리케이션에서 도구를 직접 구현하여 작업 흐름을 간소화하고 시간을 절약할 수 있습니다.
이미지 콘텐츠 조정: 이미지 조정 도구를 사용하면 이미지에 대한 테스트를 쉽게 실행하여 콘텐츠 표준을 충족하는지 확인할 수 있습니다. 사용자 친화적인 인터페이스를 사용하면 포털에서 직접 테스트 결과를 평가할 수 있으며 다양한 민감도 수준을 실험하여 콘텐츠 필터를 구성할 수 있습니다. 설정을 사용자 지정한 후에는 코드를 쉽게 내보내 애플리케이션에 도구를 구현할 수 있습니다.
온라인 활동 모니터링: 강력한 모니터링 페이지를 사용하면 조정 API 사용 및 다양한 방식의 추세를 쉽게 추적할 수 있습니다. 이 기능을 사용하면 카테고리 및 심각도 분포, 대기 시간, 오류 및 차단 목록 검색을 포함한 자세한 응답 정보에 액세스할 수 있습니다. 이 정보는 콘텐츠 조정 성능에 대한 전체 개요를 제공하여 작업 흐름을 최적화하고 콘텐츠가 항상 정확한 사양에 맞게 조정되도록 할 수 있습니다. 사용자 친화적인 인터페이스를 통해 모니터링 페이지를 빠르고 쉽게 탐색하여 콘텐츠 조정 전략에 대해 정보에 입각한 결정을 내리는 데 필요한 정보에 액세스할 수 있습니다. 콘텐츠 조정 성능을 최상으로 유지하고 콘텐츠 목표를 달성하는 데 필요한 도구가 있습니다.
보안
Microsoft Entra ID 또는 관리 ID를 사용하여 액세스 관리
보안 강화를 위해 Microsoft Entra ID 또는 MI(관리 ID)를 사용하여 리소스에 대한 액세스를 관리할 수 있습니다.
- 콘텐츠 안전 리소스를 만들면 관리 ID가 자동으로 활성화됩니다.
- Microsoft Entra ID는 API 시나리오와 SDK 시나리오에서 모두 지원됩니다. Microsoft Entra ID로 인증의 일반 AI 서비스 지침을 참조하세요. 또한 조직 내 다른 사용자에게 Cognitive Services 사용자 및 읽기 권한자 역할을 할당하여 액세스 권한을 부여할 수도 있습니다. Azure portal을 사용하여 사용자에게 Azure 리소스에 대한 액세스 권한을 부여하는 방법에 대해 자세히 알아보려면 역할 기반 액세스 제어 가이드를 참조하세요.
미사용 데이터의 암호화
Azure AI 콘텐츠 보안이 데이터 암호화 및 암호 해독을 처리하는 방법을 알아보세요. BYOK(Bring Your Own Key)라고도 하는 CMK(고객 관리형 키)를 사용하면 더 유연하게 액세스 제어를 만들고, 회전하고, 사용하지 않도록 설정하고, 취소할 수 있습니다. 데이터를 보호하는 데 사용되는 암호화 키를 감사할 수도 있습니다.
가격 책정
현재 Azure AI 콘텐츠 보안에는 F0 및 S0 가격 책정 계층이 있습니다. 자세한 내용은 Azure 가격 책정 페이지를 참조하세요.
서비스 한도
주의
사용 중단 알림
콘텐츠 안전 버전 관리 및 수명 주기 관리의 일환으로 서비스 API의 특정 공개 미리 보기 및 GA 버전의 사용 중단을 발표합니다. 사용 중단 정책에 따라:
- 공개 미리 보기 버전: 새로운 퍼블릭 미리 보기 버전은 호환성이 손상되는 변경이 발생하지 않는 한 90일 기간 이후에 이전 미리 보기 버전의 사용 중단을 트리거합니다.
- GA 버전: 새 GA 버전이 릴리스되면 호환성이 유지되는 경우 90일 후에 이전 GA 버전이 더 이상 사용되지 않습니다.
향후 사용 중단에 대한 새로운 기능 페이지를 참조하세요.
입력 요구 사항
각 기능의 입력 요구 사항에 대해서는 다음 목록을 참조하세요.
- 텍스트 분석 API:
- 기본 최대 길이: 10,000자(필요에 따라 긴 텍스트 분할)
- 이미지 분석 API
- 최대 이미지 파일 크기: 4MB
- 50x50에서 7200x7200 픽셀 사이의 크기입니다.
- 이미지는 JPEG, PNG, GIF, BMP, TIFF 또는 WEBP 형식일 수 있습니다.
- 멀티모달 API 분석(미리 보기):
- 기본 최대 텍스트 길이: 1,000자
- 최대 이미지 파일 크기: 4MB
- 50x50에서 7200x7200 픽셀 사이의 크기입니다.
- 이미지는 JPEG, PNG, GIF, BMP, TIFF 또는 WEBP 형식일 수 있습니다.
- 프롬프트 쉴드 API:
- 최대 프롬프트 길이: 10,000자
- 총 10,000자를 포함하는 최대 5개 문서
- 근거 감지 API(미리 보기):
- 근거 원본의 최대 길이: 55,000자(API 호출당)
- 최대 텍스트 및 쿼리 길이: 7,500자
- 보호자료감지 API:
- 기본 최대 길이: 1,000자
- 기본 최소 길이: 110자(사용자 프롬프트가 아닌 LLM 완성 검색)
- 사용자 지정 범주(표준) API(미리 보기):
- 최대 추론 입력 길이: 1K 문자.
언어 지원
보호된 자료, 근거 검색 및 사용자 지정 범주(표준)에 대한 Azure AI 콘텐츠 보안 모델은 영어로만 작동합니다.
다른 Azure AI 콘텐츠 보안 모델은 중국어, 영어, 프랑스어, 독일어, 스페인어, 이탈리아어, 일본어, 포르투갈어로 특별히 학습되고 테스트되었습니다. 하지만 이러한 기능은 다른 여러 언어에서도 작동할 수 있지만 품질은 다를 수 있습니다. 모든 경우에 애플리케이션에 적합한지 확인하기 위해 자체 테스트를 수행해야 합니다.
자세한 내용은 언어 지원을 참조하세요.
사용 가능 지역
콘텐츠 보안 API를 사용하려면 지원되는 지역에서 Azure AI 콘텐츠 보안 리소스를 만들어야 합니다. 현재 콘텐츠 안전 기능은 다른 API 버전을 사용하는 다음 Azure 지역에서 사용할 수 있습니다.
| 지역 | 사용자 지정 범주 | 접지 | 이미지 | Multimodal(Tex를 사용하여 이미지) | 인시던트 대응 | 프롬프트 쉴드 | 보호된 재질(텍스트) | 보호된 재질(코드) | Text | Unified API |
|---|---|---|---|---|---|---|---|---|---|---|
| 오스트레일리아 동부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 캐나다 동부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 미국 중부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 미국 동부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |
| 미국 동부 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 프랑스 중부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 일본 동부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 미국 중북부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 폴란드 중부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 미국 중남부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 인도 남부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 스웨덴 중부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 스위스 북부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 스위스 서부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 아랍에미리트 북부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||||
| 영국 남부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 서유럽 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 미국 서부 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| 미국 서부 2 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| 미국 서부 3 | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| FairFax - USGovArizona | ✅ | ✅ | ✅ | ✅ | ✅ | |||||
| FairFax - USGovVirginia | ✅ | ✅ | ✅ | ✅ | ✅ |
비즈니스의 다른 지역에도 서비스가 제공되어야 하는 경우 언제든지 문의해 주시기 바랍니다.
쿼리 속도
콘텐츠 안전 기능에는 RPS(초당 요청 수) 또는 RP10S(10초당 요청 수)의 쿼리 속도 제한이 있습니다. 각 기능에 대한 속도 제한은 다음 테이블을 참조하세요.
| 가격 책정 계층 | 중재 API (텍스트 및 이미지) |
프롬프트 쉴드 | 보호 재질 감지 |
접지 감지(미리 보기) |
사용자 지정 범주 (신속) (미리 보기) |
사용자 지정 범주 (표준) (미리 보기) |
다중 모달 |
|---|---|---|---|---|---|---|---|
| F0 | 5 RPS | 5 RPS | 5 RPS | 해당 없음 | 5 RPS | 5 RPS | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RPS | 1000 RP10S | 5 RPS | 10 RPS |
더 빠른 요금이 필요한 경우 문의 하여 요청하세요.
문의하기
도움이 필요하면 전자 메일을 보내거나 Microsoft Learn 페이지의 맨 아래에 있는 피드백 위젯을 사용하세요.
다음 단계
애플리케이션에서 Azure AI 콘텐츠 보안 사용을 시작하려면 빠른 시작을 따르세요.