콘텐츠 안전(텍스트) 도구

Azure AI Content Safety는 Microsoft에서 개발한 con텐트 모드ration 서비스로, 다양한 형식 및 언어에서 유해한 콘텐츠를 감지할 수 있습니다. 텍스트(콘텐츠 안전) 도구는 텍스트 콘텐츠를 검색하고 조정 결과를 얻을 수 있는 Azure AI 콘텐츠 안전 텍스트 API에 대한 래퍼입니다. 자세한 콘텐츠는 Azure AI 콘텐츠 보안을 참조하세요.

필수 조건

• Azure AI Content Safety 리소스를 만듭니다.
• Azure Content Safety 프롬프트 흐름에 연결을 추가합니다. 만든 리소스의 API key 섹션에서 필드를 Primary key Keys and Endpoint 채웁니다.

입력

이 도구의 입력으로 다음 매개 변수를 사용할 수 있습니다.

이름	형식	설명	필수
text	string	조정해야 하는 텍스트입니다.	예
hate_category	string	범주에 대한 조정 민감도입니다 Hate . 네 가지 옵션 중에서 선택: disable, low_sensitivity, medium_sensitivity또는 high_sensitivity. 이 disable 옵션은 범주에 대한 조정이 없음을 Hate 의미합니다. 다른 세 가지 옵션은 증오 콘텐츠 필터링의 엄격함 정도가 다르다는 것을 의미합니다. 기본값은 medium_sensitivity입니다.	예
sexual_category	string	범주에 대한 조정 민감도입니다 Sexual . 네 가지 옵션 중에서 선택: disable, low_sensitivity, medium_sensitivity또는 high_sensitivity. 이 disable 옵션은 범주에 대한 조정이 없음을 Sexual 의미합니다. 다른 세 가지 옵션은 성적 콘텐츠 필터링의 엄격함 정도가 다르다는 것을 의미합니다. 기본값은 medium_sensitivity입니다.	예
self_harm_category	string	범주에 대한 조정 민감도입니다 Self-harm . 네 가지 옵션 중에서 선택: disable, low_sensitivity, medium_sensitivity또는 high_sensitivity. 이 disable 옵션은 범주에 대한 조정이 없음을 Self-harm 의미합니다. 다른 세 가지 옵션은 자해 콘텐츠 필터링의 엄격함 정도가 다르다는 것을 의미합니다. 기본값은 medium_sensitivity입니다.	예
violence_category	string	범주에 대한 조정 민감도입니다 Violence . 네 가지 옵션 중에서 선택: disable, low_sensitivity, medium_sensitivity또는 high_sensitivity. 이 disable 옵션은 범주에 대한 조정이 없음을 Violence 의미합니다. 다른 세 가지 옵션은 폭력 콘텐츠 필터링의 엄격함 정도가 다르다는 것을 의미합니다. 기본값은 medium_sensitivity입니다.	예

자세한 콘텐츠는 Azure AI 콘텐츠 보안을 참조하세요.

Outputs

다음 샘플은 도구에서 반환하는 예제 JSON 형식 응답입니다.

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

action_by_category 필드는 각 범주 Accept 에 대한 이진 값을 제공합니다. 또는 Reject. 이 값은 텍스트가 해당 범주에 대한 요청 매개 변수에 설정한 민감도 수준을 충족하는지 표시합니다.

suggested_action 필드는 네 가지 범주를 기반으로 전반적인 권장 사항을 제공합니다. 범주에 Reject 값이 있는 경우 suggested_action 또한 Reject입니다.