次の方法で共有

テキスト モデレーションの概念

  • [アーティクル]

重要

Azure Content Moderator は 2024 年 2 月に非推奨となり、2027 年 2 月までに廃止される予定です。 これは、高度な AI 機能とパフォーマンス強化を提供する Azure AI Content Safety に置き換えられます。

Azure AI Content Safety は、アプリケーションやサービスでユーザーまたは AI によって生成された有害コンテンツを検出するように設計された包括的なソリューションです。 Azure AI Content Safety は、オンライン マーケットプレース、ゲーム会社、ソーシャル メッセージング プラットフォーム、エンタープライズ メディア企業、K-12 教育ソリューション プロバイダーなど、多くのシナリオに適しています。 その特徴と機能の概要を次に示します。

  • テキストと画像を検出する API: テキストと画像をスキャンし、多様な重大度レベルで性的コンテンツ、暴力、憎悪、自傷行為を検出します。
  • Content Safety Studio: 最先端のコンテンツ モデレーション ML モデルを使用し、不快、危険、有害となる可能性があるコンテンツを処理するように設計されたオンライン ツール。 テンプレートとカスタマイズされたワークフローを備えており、ユーザーは独自のコンテンツ モデレーション システムを構築できます。
  • 言語サポート: Azure AI Content Safety は 100 を超える言語をサポートしており、とりわけ、英語、ドイツ語、日本語、スペイン語、フランス語、イタリア語、ポルトガル語、中国語でトレーニングされています。

Azure AI Content Safety は、コンテンツ モデレーションのニーズに対して堅牢で柔軟なソリューションを提供します。 Content Moderator から Azure AI Content Safety に切り替えることで、コンテンツが常に仕様に厳密に合わせてモデレートされるよう、最新のツールとテクノロジを活用できます。

Azure AI Content Safety の詳細はこちらをご覧いただき、コンテンツ モデレーション戦略を高める方法を模索してください。

Azure Content Moderator のテキスト モデレーション モデルを使用して、チャット ルーム、ディスカッション掲示板、チャットボット、eコマース カタログ、ドキュメントなどのテキスト コンテンツを分析できます。

サービスの応答には次の情報が含まれています。

  • 不適切な表現: さまざまな言語での不適切な用語の組み込みの一覧との用語ベースのマッチング
  • 分類: 3 つのカテゴリへのコンピューター支援型の分類
  • 個人データ
  • 自動修正されたテキスト
  • 元のテキスト
  • Language

不適切な表現

API が、いずれかのサポートされる言語で何らかの不適切な用語を検出した場合、それらの用語が応答に含められます。 また、応答には、元のテキストの場所 (Index) も含まれます。 以下のサンプル JSON にある ListId では、カスタム用語一覧で検出された用語を参照しています (利用可能な場合)。

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Note

コンピューター支援による "分類" 応答 (プレビュー機能) を表示する場合、language パラメーターには eng を割り当てるか、空のままにします。 この機能でサポートされているのは英語のみです。

不適切用語の検出については、この記事の一覧に示したサポート対象言語の ISO 639-3 コードを使用するか、空のままにします。

分類

Content Moderator のコンピューター支援型テキスト分類機能では英語のみをサポートし、潜在的に不要なコンテンツを検出します。 フラグが付いたコンテンツは、コンテキストによっては不適切として評価される可能性があります。 各カテゴリの見込み情報を表します。 この機能は、トレーニングされたモデルを使用して、虐待、軽蔑、または差別的な言葉の可能性を特定します。 これにはスラング、略語、攻撃的な言葉、意図的な誤字脱字も含まれます。

JSON の次の抽出箇所は、出力例を示しています。

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

説明

  • Category1 は、特定の状況で性的に露骨か、または成人向けであると見なされる可能性のある言語の潜在的な存在を示します。
  • Category2 は、特定の状況で性的な連想を起こさせるか、または大人向けであると見なされる可能性のある言語の潜在的な存在を示します。
  • Category3 は、特定の状況で不快であると見なされる可能性のある言語の潜在的な存在を示します。
  • Score は 0 から 1 の間です。 スコアが高いほど、そのカテゴリが適用される可能性が高くなります。 この機能は、人がコーディングした結果ではなく、統計モデルに依存しています。 独自のコンテンツを使用してテストを行い、実際の要件に合うように各カテゴリをどのように設定するかを決めることをお勧めします。
  • ReviewRecommended は、内部スコアのしきい値に応じて true または false のどちらかになります。 ユーザーは、この値を使用するか、独自のコンテンツ ポリシーに基づいてカスタムしきい値を決めるかを見極める必要があります。

個人データ

個人データ機能は、この情報の潜在的な存在を検出します。

  • 電子メール アドレス
  • 米国の住所
  • IP アドレス
  • 米国の電話番号

次の例は、サンプルの応答を示しています。

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

自動修正

テキスト モデレーション応答は、必要に応じて、基本的な自動修正が適用されたテキストを返すことができます。

たとえば、次の入力テキストにはスペルミスがあります。

The quick brown fox jumps over the lazzy dog.

自動修正を指定した場合、応答には修正されたバージョンのテキストが含まれます。

The quick brown fox jumps over the lazy dog.

用語のカスタム一覧を作成および管理する

用語の既定のグローバル一覧は、ほとんどのケースで有効に機能しますが、ビジネス ニーズに固有の用語に対してスクリーニングしたい場合があります。 たとえば、ユーザーの投稿から競合するブランドの名前を検出したい場合があります。

Note

"用語の一覧は 5 つ" が上限で、各一覧の "用語は 10,000 個を超えない" ようにしてください。

次の例では、一致するリスト ID を示しています。

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator は、用語一覧の API にカスタム用語一覧を管理する操作を提供します。 Visual Studio および C# に精通している場合は、用語一覧に関する .NET のクイックスタートを確認してください。

関連するコンテンツ