次の方法で共有

不正使用の監視

  • [アーティクル]

Azure OpenAI Service は、行動規範またはその他の該当する製品の使用条件に違反する可能性のある方法でサービスの使用を提案する、繰り返し発生するコンテンツや動作のインスタンスを検出して軽減します。 データの処理方法の詳細については、データ、プライバシー、セキュリティに関するページをご覧ください。

不正使用監視のコンポーネント

不正使用の監視には、いくつかのコンポーネントがあります。

  • コンテンツ分類: 分類子モデルでは、ユーザー プロンプト (入力) と入力候補 (出力) 内の有害なテキストや画像を検出します。 システムは、コンテンツの要件で定義されている有害カテゴリを探し、「コンテンツのフィルタリング」ページで詳しく説明されているように重大度レベルを割り当てます。 コンテンツ分類シグナルは、以下に示すようにパターン検出に役立ちます。
  • 不正使用パターン キャプチャ: Azure OpenAI Service の不正使用の監視システムでは、お客様の使用パターンを確認し、アルゴリズムとヒューリスティックを使用して、不正使用の可能性のあるインジケーターを検出してスコア付けします。 たとえば、検出されたパターンでは、お客様のプロンプトと入力候補で有害なコンテンツが検出される頻度と重大度 (コンテンツ分類子シグナルで示されるように) と、動作の志向性が考慮されます。 検出されたパターンの傾向と緊急度は、潜在的な不正使用の重大度のスコアリングにも影響します。 たとえば、重大度が高いと分類される有害なコンテンツの量が多い場合や、志向性を示す繰り返し発生する行為 (繰り返される脱獄の試行など) は、どちらも不正使用の可能性を示す高いスコアを受け取る可能性が高くなります。
  • レビューと決定: コンテンツ分類によってフラグが設定された、または悪用される可能性のある使用パターンの一部として識別されたプロンプトと入力候補は、別のレビュー プロセスを行い、システムの分析を確認して、アクションに関する決定を通知します。 このようなレビューは、人によるレビューと AI レビューの 2 つの方法を通じて行われます。
    • 既定では、コンテンツ分類で有害のフラグが設定された、または悪用される可能性のある使用パターンの一部であることが確認されたプロンプトと入力候補は、人のレビュー担当者ではなく LLM を使用して、自動化されたアイズオフ レビューのためにサンプリングされる可能性があります。 この目的で使用される LLM では、プロンプトと入力候補を処理してシステムの分析を確認し、アクションに関する決定を通知します。このような LLM レビューが行われるプロンプトと入力候補は、システムによって保存されたり、LLM またはその他のシステムのトレーニングに使用されたりすることはありません。
    • 場合によっては、複雑なコンテキストで適用可能な信頼度しきい値を自動レビューが満たしていない場合や、LLM レビュー システムが利用できない場合は、追加の判断を行うために人によるアイズオン レビューが取り入れられる場合があります。 これは、不正使用分析の全体的な精度を向上させるのに役立ちます。 承認済みの Microsoft の従業員は、フラグ付きコンテンツを評価し、定義済みのガイドラインとポリシーに基づいて分類または決定を確認または修正できます。 プロンプトと入力候補には、チーム マネージャーによって許可された Just-In-Time (JIT) 要求の承認を使用して、Secure Access Workstations (SAW) を介して承認済みの Microsoft 従業員のみが人によるレビューのためにアクセスできます。 欧州経済地域にデプロイされた Azure OpenAI Service リソースの場合、権限を付与された Microsoft 従業員が配置されているのは欧州経済地域内です。 このお客様が、変更された不正使用の監視で承認されている場合、人によるレビュー プロセスは行われません。
  • 通知とアクション: 上記の手順に基づいて不正な動作のしきい値が確認されると、お客様には電子メールで決定が通知されます。 重大または繰り返しの不正使用の場合を除き、通常、顧客には不正使用行為を説明または修復し、その再発を防止するためのメカニズムを実装する機会が与えられます。 この行為 (つまり繰り返しまたは重大な不正使用) に対処できない場合、その顧客による Azure OpenAI リソースや機能へのアクセスの中断または終了を招く可能性があります。

変更された不正使用の監視

一部のお客様は機密性の高い、または極秘データの処理を伴うユース ケースに Azure OpenAI Service を使用しますが、逆に、プロンプトと入力候補に対する不正使用の検出で人によるレビューを行ったり、保存することを Microsoft に対して許可しない、または権利がないと判断する場合があります。 これらの懸念事項に対処するために、Microsoft では、追加の制限付きアクセス資格条件を満たすお客様に、このフォームに入力して、不正使用の監視の変更を申請できるようにします。 変更された不正使用の監視の申請については、「Azure OpenAI Service への制限付きアクセス」を、データ処理に対する変更された不正使用の監視の影響については、「Azure OpenAI Service のデータ、プライバシー、およびセキュリティ」を参照してください。

Note

不正使用の監視が変更され、人によるレビューが実行されない場合、不正使用の検出の精度が低下する可能性があります。 前述のように、不正使用の可能性が検出された場合、お客様は通知を受け取り、可能な場合はサービスの中断を回避するために、そのような通知に対応できるように準備する必要があります。

次のステップ