次の方法で共有


Azure AI Content Safety の危害カテゴリ

このガイドでは、Azure AI Content Safety でコンテンツにフラグを設定するために使用される危害カテゴリと評価について説明します。 テキストと画像の両方のコンテンツで同じフラグ セットが使用されます。

危害カテゴリ

Content Safety により、不快なコンテンツの 4 つの異なるカテゴリが認識されます。

カテゴリ 説明 API 用語
ヘイトと公平性 ヘイトと公平性の危害とは、そのグループの特定の差別化属性に基づいて個人または ID グループを攻撃する、あるいはそのグループに関して差別的な言葉を使用するコンテンツを指します。

たとえば、次のようなものが挙げられます。
  • 人種、民族、国籍
  • 性別のアイデンティティ グループと表現
  • 性的指向
  • 宗教
  • 個人の外観、身体のサイズ
  • 障碍の状態
  • 嫌がらせといじめ
Hate
性的 性的とは、解剖学的臓器や生殖器、恋愛関係、性行為、性愛的または情愛的な用語で描写された行為 (暴行または意志に反した強制的な性的暴力行為として描写されたものを含む) に関連する言葉を表します。 

 たとえば、次のようなものが挙げられます。
  • 低俗なコンテンツ
  • 売春
  • ヌードおよびポルノ
  • 迷惑行為
  • 児童搾取、児童虐待、チャイルド グルーミング
Sexual
暴力 暴力は、人や何かに苦痛を与える、傷つける、損傷を与える、殺害することを意図した物理的行為に関連する言葉、武器、銃器などを表します。

たとえば、次のようなものが挙げられます。
  • 武器
  • いじめと脅迫
  • テロリスト、暴力的な過激主義
  • ストーカー行為
Violence
自傷行為 自傷行為とは、故意に自分の体に苦痛を与える、傷つける、損傷を与える、または自殺を意図した物理的な行為に関連する言葉を表します。

たとえば、次のようなものが挙げられます。
  • 摂食障害
  • いじめと脅迫
SelfHarm

分類には複数のラベルを付けることができます。 たとえば、テキスト サンプルがテキスト モデレーション モデルを通過すると、性的コンテンツと暴力の両方として分類される可能性があります。

セキュリティ レベル

サービスで適用されるすべての危害カテゴリには、重大度レベルも含まれます。 重大度レベルは、フラグが設定されたコンテンツを表示した結果の重大度を示すためのものです。

テキスト: テキスト モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

画像: 画像モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールをトリミングしたバージョンがサポートされています。 分類子は重大度 0、2、4、6 のみを返します。

  • 0
  • 2
  • 4
  • 6

テキスト付きの画像: マルチモーダル モデルの現在のバージョンでは、完全な 0 から 7 の重大度スケールがサポートされています。 この分類子は、このスケールに沿ってすべての重大度の中から検出します。 ユーザーが指定した場合、0、2、4、6 へとトリミングしたスケールで重大度を返すことができます。2 つの隣接するレベルはそれぞれ、1 つのレベルにマップされます。

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

テキスト コンテンツ

警告

このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。

画像コンテンツ

警告

このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。

マルチモーダル (テキスト付きの画像) コンテンツ

警告

このドキュメントの [重大度の定義] タブには、一部の読者が不快に感じる可能性のある有害なコンテンツの例が含まれています。

次のステップ

クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。