Azure AI Content Safety とは?

[アーティクル]
11/04/2024

Azure AI Content Safety は、アプリケーションおよびサービス内の有害なユーザー生成コンテンツや AI 生成コンテンツを検出する AI サービスです。 Azure AI Content Safety には、有害な素材を検出できるテキストと画像の API が含まれています。対話型の Content Safety Studio を使用すると、さまざまなモダリティで有害なコンテンツを検出するサンプルコードを表示、探索、試用できます。

コンテンツフィルタリングソフトウェアは、アプリで法的規制に準拠したり、ユーザーが意図する環境を維持したりするのに役立ちます。

このドキュメントには、次の種類の記事が含まれています。

概念では、サービスの機能と特徴について詳しく説明します。
クイックスタートは、サービスへの要求の実行方法を説明する概要手順です。
攻略ガイドには、より具体的またはカスタマイズした方法でサービスを使用するための手順が記載されています。

使用場所

ソフトウェア開発者またはチームがコンテンツモデレーションサービスを使用するシナリオをいくつか次に示します。

生成 AI サービスに送信されたユーザープロンプト。
生成 AI モデルによって生成されたコンテンツ。
ユーザーが生成した製品カタログなどのコンテンツをモデレートするオンラインマーケットプレース。
ユーザーが生成したゲームの成果物とチャットルームをモデレートするゲーム会社。
ユーザーによって追加された画像とテキストをモデレートするソーシャルメッセージングプラットフォーム。
コンテンツに対する一元的なモデレーションを実装するエンタープライズメディア企業。
学生および教育者にとって不適切なコンテンツをフィルター処理して除外する K-12 教育ソリューションプロバイダー。

重要

Azure AI Content Safety を使用し、子どもの搾取に該当する違法な画像を検出することはできません。

製品の機能

このサービスを使用すると、さまざまな種類の分析を使用できます。次の表は、現在使用できる API を説明したものです。

機能	機能	概念ガイド	作業の開始
プロンプトシールド	大規模言語モデルに対するユーザー入力攻撃のリスクがないか、テキストをスキャンします。	プロンプトシールドの概念	クイックスタート
グラウンデッドネス検出 (プレビュー)	大規模言語モデル (LLM) のテキスト応答が、ユーザーが提供するソース資料に基づいているかどうかを検出します。	根拠性検出の概念	クイックスタート
保護されたマテリアルのテキスト検出	既知のテキストコンテンツ (曲の歌詞、記事、レシピ、一部の Web コンテンツなど) がないか、AI によって生成されたテキストをスキャンします。	保護された素材の概念	クイックスタート
カスタムカテゴリ (標準) API (プレビュー)	独自のカスタムコンテンツカテゴリを作成してトレーニングし、テキストの一致をスキャンできます。	カスタムカテゴリの概念	クイックスタート
カスタムカテゴリ (急速) API (プレビュー)	新たな有害コンテンツパターンを定義し、テキストと画像をスキャンして一致を確認できます。	カスタムカテゴリの概念	攻略ガイド
テキスト分析 API	性的コンテンツ、暴力、憎悪、自傷行為に関するテキストを複数の重大度レベルでスキャンします。	危害カテゴリ	クイックスタート
画像分析 API	性的コンテンツ、暴力、憎悪、自傷行為に関する画像を複数の重大度レベルでスキャンします。	危害カテゴリ	クイックスタート

Content Safety Studio

Azure AI Content Safety Studio は、最先端のコンテンツモデレーション ML モデルを使って、不快、危険、または望ましくない可能性があるコンテンツを処理するように設計されたオンラインツールです。テンプレートとカスタマイズされたワークフローを備えており、ユーザーは独自のコンテンツモデレーションシステムを選び、構築することができます。ユーザーは、自分のコンテンツをアップロードしたり、用意されているサンプルコンテンツを使って試したりすることができます。

Content Safety Studio には、そのまま利用できる AI モデルが含まれているだけでなく、不適切な表現を検出し常にコンテンツの最新の傾向を把握するための Microsoft による組み込みの用語ブロックリストも含まれています。また、独自のブロックリストをアップロードして、ユースケースに固有の有害コンテンツの範囲を拡張することもできます。

Studio では、コンテンツモデレーションのパフォーマンスを継続的に監視し向上させることができるモデレーションワークフローを設定することができます。ゲーム、メディア、教育、eコマースなど、あらゆる業界のコンテンツ要件に対応できます。企業は、自社のサービスを Studio に簡単に接続し、ユーザー生成か AI 生成かを問わず、リアルタイムでコンテンツをモデレートできます。

これらの機能はすべて Studio とそのバックエンドによって処理されるので、お客様はモデル開発について心配する必要はありません。データをオンボードして手早く検証し、その結果に応じて、技術メトリック (待ち時間、精度、再現率) やビジネスメトリック (ブロック率、ブロック量、カテゴリ比率、言語比率など) のような KPI を監視できます。操作と構成はシンプルなので、お客様は手動でカスタムモデルの実験やモデレーションを行うことに時間を費やすことなく、短期間でさまざまなソリューションをテストし、最適なものを見つけることができます。

Content Safety Studio を試してみる

Content Safety Studio の機能

Content Safety Studio では、次の Azure AI Content Safety 機能が利用できます。

テキストコンテンツをモデレートする: テキストモデレーションツールを使うと、テキストコンテンツのテストを簡単に実行できます。 1 文のテストでもデータセット全体のテストでも、ユーザーフレンドリなインターフェイスのツールを使い、ポータルで直接テスト結果を評価できます。さまざまな感度レベルを実験してコンテンツフィルターとブロックリスト管理を構成できます。こうすることで、常に想定した仕様どおりにコンテンツをモデレートできます。さらに、コードをエクスポートする機能を使って、ツールをアプリケーションに直接実装できるので、ワークフローを合理化し、時間を節約できます。
画像コンテンツをモデレートする: 画像モデレーションツールを使うと、画像のテストを簡単に実行し、コンテンツ基準を満たすかどうかを確認できます。ユーザーフレンドリなインターフェイスを使い、テスト結果をポータルで直接評価することができます。また、さまざまな感度レベルを実験してコンテンツフィルターを構成できます。設定をカスタマイズしたら、コードをエクスポートして、簡単にアプリケーションにツールを実装できます。
オンラインアクティビティを監視する: 強力な監視ページを使って、さまざまなモダリティのモデレーション API の使用状況や傾向を簡単に追跡できます。この機能を使うと、カテゴリや重大度の分布、待機時間、エラー、ブロックリストの検出など、詳細な応答情報にアクセスできます。この情報からコンテンツモデレーションのパフォーマンスの全体像を把握して、ワークフローを最適化し、常に想定した仕様どおりにコンテンツをモデレートできます。インターフェイスはユーザーフレンドリなので、監視ページを短時間で簡単に操作できるようになり、コンテンツモデレーション戦略について情報に基づいて決定を下すために必要な情報にアクセスできます。コンテンツモデレーションのパフォーマンスを常に把握し、コンテンツの目標を達成するために必要なツールが用意されています。

セキュリティ

Microsoft Entra ID またはマネージド ID を使用してアクセスを管理する

セキュリティの強化には、Microsoft Entra ID またはマネージド ID (MI) によるリソースアクセス管理が役立ちます。

Content Safety リソースを作成すると、マネージド ID が自動的に有効になります。
Microsoft Entra ID は、API シナリオと SDK シナリオの両方に対応しています。「Microsoft Entra ID を使用して認証する」で説明されている一般的な AI サービスガイドラインを参照してください。また、組織内の他のユーザーに Cognitive Services Users と Reader というロールを割り当ててアクセス権を付与することもできます。 Azure portal を使って Azure リソースへのアクセス権をユーザーに付与する方法については、ロールベースのアクセス制御ガイドに関する記事を参照してください。

保存データの暗号化

Azure AI Content Safety がデータの暗号化と復号化を処理する方法に関する記事を参照してください。カスタマーマネージドキー (CMK) (Bring Your Own Key (BYOK) とも呼ばれます) を使用すると、アクセス制御の作成、ローテーション、無効化、取り消しを、いっそう柔軟に行うことができます。また、データを保護するために使われる暗号化キーを監査することもできます。

価格

現在、Azure AI Content Safety には F0 と S0 という 2 つの価格レベルが用意されています。詳細については、Azure の価格ページを参照してください。

サービスの制限

注意事項

非推奨に関する通知

Content Safety のバージョン管理とライフサイクル管理の一環として、サービス API の特定のパブリックプレビューと GA バージョンが非推奨になることをお知らせしています。非推奨ポリシーは以下のとおりです。

パブリックプレビューバージョン: パブリックプレビューバージョンが新しくなるたびに、破壊的変更が導入されていない限り、90 日間が経過すると以前のプレビューバージョンの非推奨化がトリガーされます。
GA バージョン: 新しい GA バージョンがリリースされると、互換性が維持されている場合、以前の GA バージョンは 90 日後に非推奨になります。

今後非推奨になるものについては、新機能に関するページをご覧ください。

入力の要件

各機能の入力要件については、次の一覧を参照してください。

Analyze text API:
- 既定の最大長: 10,000 文字 (必要に応じて長いテキストを分割)。
Analyze Image API:
- 最大画像ファイルサイズ: 4 MB
- 50 x 50 から 7200 x 7200 ピクセルの寸法。
- 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
マルチモーダル API の分析 (プレビュー):
- 既定の最大テキスト長: 1,000 文字。
- 最大画像ファイルサイズ: 4 MB
- 50 x 50 から 7200 x 7200 ピクセルの寸法。
- 画像は、JPEG、PNG、GIF、BMP、TIFF、または WEBP 形式を使用できます。
プロンプトシールド API:
- プロンプトの最大長: 10,000 文字。
- 合計 10,000 文字の最大 5 つのドキュメント。
グラウンデッドネス検出 API (プレビュー):
- 根拠となるソースの最大長: 55,000 文字 (API 呼び出しあたり)。
- テキストとクエリの最大長: 7,500 文字。
保護されたマテリアルの検出 API:
- 既定の最大長: 1,000 文字。
- 既定の最小長: 110 文字 (ユーザープロンプトではなく LLM の完了をスキャンする場合)。
カスタムカテゴリ (標準) API (プレビュー):
- 推論入力の最大長: 1,000 文字。

サポートされている言語

保護されたマテリアル、グウランデッドネス検出、およびカスタムカテゴリ (標準) 用の Azure AI Content Safety モデルは英語でしか機能しません。

その他の Azure AI Content Safety モデルは次の言語において特別にトレーニングかつテストされています: 中国語、英語、フランス語、ドイツ語、スペイン語、イタリア語、日本語、ポルトガル語。しかし、これらのサービスはその他の多くの言語でも機能します (品質は言語によって異なる場合があります)。いずれの場合も、独自のテストを実行して、アプリケーションに対して動作することを確認する必要があります。

詳細については、「言語サポート」を参照してください。

利用可能なリージョン

Content Safety API を使用するには、サポートされているリージョン内に Azure AI Content Safety リソースを作成する必要があります。現在、Content Safety 機能は、次の Azure リージョンで、さまざまな API バージョンを使用して利用できます。

リージョン	カスタムカテゴリ	現実性	Image	マルチモーダル (テキスト付きの画像)	インシデント対応	プロンプトシールド	保護されたマテリアル (テキスト)	保護されたマテリアル (コード)	Text	Unified API
オーストラリア東部	✅		✅		✅	✅	✅	✅	✅	✅
カナダ東部			✅		✅	✅	✅	✅	✅	✅
米国中部			✅		✅		✅	✅	✅	✅
米国東部	✅		✅	✅	✅	✅	✅	✅	✅	✅
米国東部 2		✅	✅		✅	✅	✅	✅	✅	✅
フランス中部		✅	✅		✅	✅	✅	✅	✅	✅
東日本			✅		✅	✅	✅	✅	✅	✅
米国中北部			✅		✅	✅	✅	✅	✅	✅
ポーランド中部			✅			✅	✅	✅	✅	✅
米国中南部			✅		✅	✅	✅	✅	✅	✅
インド南部			✅		✅		✅	✅	✅	✅
スウェーデン中部		✅	✅		✅	✅	✅	✅	✅	✅
スイス北部	✅		✅		✅	✅	✅	✅	✅	✅
スイス西部			✅		✅	✅	✅	✅	✅
アラブ首長国連邦北部			✅		✅	✅	✅	✅	✅
英国南部		✅	✅		✅	✅	✅	✅	✅	✅
西ヨーロッパ			✅	✅	✅	✅	✅	✅	✅	✅
米国西部		✅	✅		✅	✅	✅	✅	✅	✅
米国西部 2			✅		✅	✅	✅	✅	✅	✅
米国西部 3			✅		✅	✅	✅	✅	✅	✅
FairFax - USGovArizona			✅			✅	✅		✅	✅
FairFax - USGovVirginia			✅			✅	✅		✅	✅

お客様のビジネスで他のリージョンを利用できるようにする必要がある場合は、お気軽にお問い合わせください。

クエリ速度

コンテンツの安全性機能には、1 秒あたりの要求数 (RPS) または 10 秒あたりの要求数 (RP10S) でのクエリ速度制限があります。各機能の速度制限については、次の表を参照してください。

価格レベル	モデレート API (テキストとイメージ)	プロンプトシールド	保護済み素材検出	現実性検出 (プレビュー)	カスタムカテゴリ (迅速) (プレビュー)	カスタムカテゴリ (標準) (プレビュー)	マルチモーダル
F0	5 RPS	5 RPS	5 RPS	該当なし	5 RPS	5 RPS	5 RPS
S0	1000 RP10S	1000 RP10S	1000 RP10S	50 RPS	1000 RP10S	5 RPS	10 RPS

より高速なレートが必要な場合は、お問い合わせいただき、リクエストしてください。

お問い合わせ

行き詰まった場合は、Microsoft にメールを送信するか、Microsoft Learn ページの下部にあるフィードバックウィジェットを使用してください。

次のステップ

クイックスタートに従って、アプリケーションで Azure AI Content Safety の使用を開始します。

Content Safety のクイックスタート

次の方法で共有