Azure OpenAI Service로 콘텐츠 필터를 구성하는 방법
Azure OpenAI Service에 통합된 콘텐츠 필터링 시스템은 DALL-E 이미지 생성 모델을 포함한 핵심 모델과 함께 실행됩니다. 다중 클래스 분류 모델의 앙상블을 사용하여 각각 4가지 심각도 수준(안전함, 낮음, 중간, 높음)에서 유해 콘텐츠의 4가지 범주(폭력, 증오, 성적, 자해)를 검색하고 탈옥 위험, 기존 텍스트 및 공용 리포지토리의 코드를 검색하기 위한 선택적 이진 분류자를 사용합니다. 기본 콘텐츠 필터링 구성은 프롬프트와 완료 모두에 대해 4가지 콘텐츠 피해 범주 모두에 대해 중간 심각도 임계값으로 필터링하도록 설정됩니다. 즉, 심각도 수준이 중간 또는 높음으로 검색된 콘텐츠는 필터링되는 반면 심각도 수준이 낮음 또는 안전으로 검색된 콘텐츠는 콘텐츠 필터에 의해 필터링되지 않습니다. 여기에서 콘텐츠 범주, 심각도 수준 및 콘텐츠 필터링 시스템의 동작에 대해 자세히 알아봅니다. 탈옥 위험 감지와 보호된 텍스트 및 코드 모델은 선택 사항이며 기본적으로 해제되어 있습니다. 탈옥 및 보호된 자료 텍스트 및 코드 모델의 경우 구성 기능을 통해 모든 고객이 모델을 켜고 끌 수 있습니다. 모델은 기본적으로 꺼져 있으며 시나리오에 따라 켤 수 있습니다. 일부 모델은 고객 저작권 약정에 따라 적용 범위를 유지하기 위해 특정 시나리오에 있어야 합니다.
참고 항목
모든 고객은 콘텐츠 필터를 수정하고 심각도 임계값(낮음, 중간, 높음)을 구성할 수 있습니다. 콘텐츠 필터를 부분적으로 또는 완전히 해제하려면 승인이 필요합니다. 관리 고객만 Azure OpenAI 제한 액세스 검토: 수정된 콘텐츠 필터 양식을 통해 전체 콘텐츠 필터링 제어를 신청할 수 있습니다. 현재로서는 관리 고객이 될 수 없습니다.
콘텐츠 필터는 리소스 수준에서 구성할 수 있습니다. 새 구성이 만들어지면 하나 이상의 배포와 연결할 수 있습니다. 모델 배포에 대한 자세한 내용은 리소스 배포 가이드를 참조하세요.
필수 조건
- 콘텐츠 필터를 구성하려면 Azure OpenAI 리소스와 LLM(대규모 언어 모델) 배포가 있어야 합니다. 빠른 시작을 따라 시작하세요.
콘텐츠 필터 구성 가능성 이해
Azure OpenAI Service에는 Azure OpenAI Whisper를 제외한 모든 모델에 적용되는 기본 안전 설정이 포함되어 있습니다. 이러한 구성은 기본적으로 콘텐츠 필터링 모델, 차단 목록, 프롬프트 변환, 콘텐츠 자격 증명 등을 포함한 책임 있는 환경을 제공합니다. 자세한 내용은 여기에서 확인할 수 있습니다.
모든 고객은 콘텐츠 필터를 구성하고 사용 사례 요구 사항에 맞게 조정된 사용자 지정 안전 정책을 만들 수도 있습니다. 구성 기능에서는 고객이 프롬프트와 완성에 대해 별도로 설정을 조정하여 아래 표에 설명된 대로 다양한 심각도 수준에서 각 콘텐츠 범주에 대한 콘텐츠를 필터링할 수 있습니다. '안전' 심각도 수준에서 탐지된 콘텐츠는 주석에 레이블이 지정되지만 필터링 대상이 아니며 구성할 수 없습니다.
| 심각도 필터링됨 | 프롬프트에 대해 구성 가능 | 완료를 위해 구성 가능 | 설명 |
|---|---|---|---|
| 낮음, 보통, 높음 | 예 | 예 | 가장 엄격한 필터링 구성. 심각도 수준 낮음, 중간, 높음에서 탐지된 콘텐츠는 필터링됩니다. |
| 중간, 높음 | 예 | 예 | 심각도 수준이 낮음에서 검색된 콘텐츠는 필터링되지 않으며, 중간 및 높음의 콘텐츠는 필터링됩니다. |
| 높음 | 예 | 예 | 심각도 수준 낮음 및 보통에서 탐지된 콘텐츠는 필터링되지 않습니다. 심각도 수준이 높은 콘텐츠만 필터링됩니다. |
| 필터 없음 | 승인된 경우1 | 승인된 경우1 | 탐지된 심각도 수준에 관계없이 콘텐츠가 필터링되지 않습니다. 승인 필요1. |
| 주석만 달기 | 승인된 경우1 | 승인된 경우1 | 필터 기능을 사용하지 않도록 설정하므로 콘텐츠가 차단되지 않지만 주석은 API 응답을 통해 반환됩니다. 승인 필요1. |
1 Azure OpenAI 모델의 경우 수정된 콘텐츠 필터링이 승인된 고객만 전체 콘텐츠 필터링 제어 권한을 가지며 콘텐츠 필터를 완전히 해제할 수 있습니다. Azure OpenAI 제한된 액세스 검토: 수정된 콘텐츠 필터 양식을 통해 수정된 콘텐츠 필터를 신청합니다. Azure Government 고객의 경우 Azure Government - Azure OpenAI 서비스에 대한 수정된 콘텐츠 필터링 요청 형식 을 통해 수정된 콘텐츠 필터를 신청합니다.
입력(프롬프트) 및 출력(완료)에 대해 구성 가능한 콘텐츠 필터는 다음 Azure OpenAI 모델에 사용할 수 있습니다.
- GPT 모델 시리즈
- GPT-4 Turbo Vision GA*(
turbo-2024-04-09) - GPT-4o
- GPT-4o mini
- DALL-E 2 및 3
구성 가능한 콘텐츠 필터를 사용할 수 없음
- o1-preview
- o1-mini
*GPT-4 Turbo Vision GA에만 사용할 수 있으며 GPT-4 Turbo Vision 미리 보기에는 적용되지 않습니다.
콘텐츠 필터링 구성은 Azure AI Studio의 리소스 내에서 생성되며 배포와 연결될 수 있습니다. 여기에서 구성 가능성에 대해 자세히 알아보세요.
고객은 Azure OpenAI를 통합하는 애플리케이션이 사용 규정을 준수하는지 확인할 책임이 있습니다.
기타 필터 이해
기본 피해 범주 필터 외에도 다음 필터 범주를 구성할 수 있습니다.
| 필터 범주 | 상태 | 기본 설정 | 프롬프트 또는 완료에 적용하시겠습니까? | 설명 |
|---|---|---|---|---|
| 직접 공격에 대한 프롬프트 쉴드(탈옥) | GA | 설정 | 사용자 프롬프트 | 탈옥 위험을 표시할 수 있는 사용자 프롬프트를 필터링/주석으로 추가합니다. 주석에 대한 자세한 내용은 Azure OpenAI 서비스 콘텐츠 필터링을 참조하세요. |
| 간접 공격에 대한 프롬프트 쉴드 | GA | 설정 | 사용자 프롬프트 | 필터링/주석 처리: 간접 프롬프트 공격 또는 교차 도메인 프롬프트 주입 공격이라고도 하는 간접 공격은 제3자가 생성형 AI 시스템이 액세스하고 처리할 수 있는 문서 내부에 악의적인 지침을 기입하는 잠재적인 취약성입니다. 필수: 문서 서식 지정 |
| 보호된 재질 - 코드 | GA | 설정 | Completion | 보호된 코드를 필터링하거나 GitHub Copilot에서 제공하는 공용 코드 원본과 일치하는 코드 조각에 대한 주석에서 예제 인용 및 라이선스 정보를 가져옵니다. 주석 사용에 대한 자세한 내용은 콘텐츠 필터링 개념 가이드를 참조하세요. |
| 보호된 재질 - 텍스트 | GA | 설정 | Completion | 알려진 텍스트 컨텐츠가 모델 출력에 표시되지 않도록 식별하고 차단합니다(예: 노래 가사, 레시피 및 선택한 웹 컨텐츠). |
| 접지* | 프리뷰 | 끄기 | Completion | LLM(대규모 언어 모델)의 텍스트 응답이 사용자가 제공한 원본 자료에 기반을 두고 있는지 여부를 검색합니다. 근거 없음은 LLM이 원본 자료에 있던 것과는 달리 사실이 아니거나 부정확한 정보를 생성하는 경우를 나타냅니다. |
*프롬프트에 문서를 포함해야 합니다. 자세히 알아보세요.
Azure AI Studio를 사용하여 콘텐츠 필터 구성
다음 단계에서는 AI Studio 내에서 Azure OpenAI 리소스에 대해 사용자 지정된 콘텐츠 필터링 구성을 설정하는 방법을 보여 줍니다. Azure AI Studio 프로젝트의 콘텐츠 필터에 대한 지침은 Azure AI Studio 콘텐츠 필터링에서 자세히 확인할 수 있습니다.
Azure AI Studio로 이동하여 왼쪽 메뉴의 안전 + 보안 페이지로 이동합니다.
콘텐츠 필터 탭으로 이동하여 사용자 지정된 새 콘텐츠 필터링 구성을 만듭니다.
그러면 사용자 지정 콘텐츠 필터링 구성의 이름을 선택할 수 있는 다음 구성 보기가 표시됩니다. 이름을 입력한 후 입력 필터(사용자 프롬프트용) 및 출력 필터(모델 완성용)를 구성할 수 있습니다.
처음 4개의 콘텐츠 범주에는 구성 가능한 세 가지 심각도 수준(낮음, 중간 및 높음)이 있습니다. 애플리케이션 또는 사용 시나리오에 기본값과 다른 필터링이 필요하다고 판단되는 경우 슬라이더를 사용하여 심각도 임계값을 설정할 수 있습니다.
프롬프트 쉴드 및 보호된 재질 검색과 같은 일부 필터를 사용하면 모델에 주석을 달거나 콘텐츠를 차단해야 하는지 여부를 확인할 수 있습니다. 주석을 선택하면 해당 모델만 실행되고 API 응답을 통해 주석을 반환하지만 콘텐츠를 필터링하지는 않습니다. 주석 달기 외에도 콘텐츠를 차단하도록 선택할 수도 있습니다.
사용 사례가 수정된 콘텐츠 필터에 대해 승인된 경우 콘텐츠 필터링 구성에 대한 모든 권한을 받으며 필터링을 부분적으로 또는 완전히 해제하도록 선택하거나 콘텐츠 피해 범주(폭력, 증오, 성적 및 자해)에 대해서만 주석을 달도록 선택할 수 있습니다.
요구 사항에 따라 여러 콘텐츠 필터링 구성을 만들 수 있습니다.
다음으로, 사용자 지정 콘텐츠 필터링 구성을 사용하려면 리소스의 하나 이상의 배포에 할당합니다. 이렇게 하려면 배포 탭으로 이동하여 배포를 선택합니다. 그런 다음, 편집을 선택합니다.
표시되는 배포 업데이트 창의 콘텐츠 필터 드롭다운 메뉴에서 사용자 지정 필터를 선택합니다. 그런 다음 저장 및 닫기를 선택하여 선택한 구성을 배포에 적용합니다.
필요한 경우 콘텐츠 필터 구성을 편집하고 삭제할 수도 있습니다.
콘텐츠 필터링 구성을 삭제하기 전에 배포 탭의 배포에서 할당을 취소하고 대체해야 합니다.
보고서 콘텐츠 필터링 피드백
콘텐츠 필터링 문제가 발생하는 경우 플레이그라운드 맨 위에 있는 피드백 보내기 단추를 선택합니다. 이 기능은 이미지, 채팅 및 완료 플레이그라운드에서 사용할 수 있습니다 .
대화 상자가 나타나면 적절한 콘텐츠 필터링 문제를 선택합니다. 발생한 특정 프롬프트 및 콘텐츠 필터링 오류와 같은 콘텐츠 필터링 문제와 관련하여 가능한 한 많은 세부 정보를 포함합니다. 개인 정보나 중요한 정보는 포함하지 마세요.
지원을 받으려면 지원 티켓을 제출하세요.
모범 사례 준수
특정 모델, 애플리케이션 및 배포 시나리오와 관련된 잠재적인 피해를 해결하기 위해 반복적인 식별(예: 레드팀 테스트, 스트레스 테스트 및 분석) 및 측정 프로세스를 통해 콘텐츠 필터링 구성 결정을 알리는 것이 좋습니다. 콘텐츠 필터링과 같은 완화 측정값을 구현한 후 측정을 반복하여 효율성을 테스트합니다. Microsoft 책임 있는 AI 표준을 기반으로 하는 Azure OpenAI에 대한 책임 있는 AI에 대한 권장 사항 및 모범 사례는 Azure OpenAI에 대한 책임 있는 AI 개요에서 확인할 수 있습니다.
관련 콘텐츠
- Azure OpenAI에 대한 책임 있는 AI 사례에 대해 자세히 알아봅니다. Azure OpenAI 모델에 대한 책임 있는 AI 사례 개요
- Azure OpenAI 서비스를 사용한 콘텐츠 필터링 범주 및 심각도 수준에 대해 자세히 알아봅니다.
- 레드 팀 LLM(대규모 언어 모델) 소개 문서에서 레드 팀에 대해 자세히 알아봅니다.