生成オーケストレーションの使用についてよくあるご質問
これらのよくある質問 (FAQ) では、Copilot Studio のカスタム エージェントに対する生成オーケストレーション モードの AI への影響について説明します。
生成オーケストレーションについて
生成オーケストレーション カスタム エージェント が、関連するトピックやアクションでユーザーのクエリに回答できるようにします。 生成オーケストレーションにより、会話履歴の詳細を使用して入力を埋めることで、より自然な会話が可能になります。 たとえば、カークランドの最寄りの店舗について問い合わせ、そこで天気を尋ねた場合、オーケストレーションは、カークランドの天気 を尋ねたいと推測します システムは、複数のアクションまたはトピックを連結することもできます。 たとえば、「店舗の営業時間を取得して、最寄りの店舗を見つける必要があります」と答えることができます。エージェントが詳細について確信が持てない場合は、曖昧さを解消するためにフォローアップの質問をすることができます。
生成オーケストレーションができること
生成オーケストレーションでは、システムはまず、使用可能なトピックとアクションの名前、説明、入力、および出力を使用して、ユーザーのクエリに回答するプランを作成します。 また、会話履歴の過去 10 ターンも参照します。 続いて、会話から必要な入力を埋めて計画の実行を試み、不足している詳細や不明な詳細があればユーザーに確認します。 システムは、ユーザーに返信する前に、ユーザーの質問に対する回答が見つかったかどうかを確認します。 そうでない場合は、再度プロセスを実行します。 最後に、システムはトピックやアクションからの計画の出力に基づいて応答を生成します。 また、最終的な応答を生成するときに、エージェント のカスタム命令も使用します。
生成オーケストレーションの目的は何ですか？
エージェント内でこのモードを使用すると、会話履歴、トピックの名前と説明、アクションの名前、説明、入力、出力に基づいてユーザーのクエリに回答できる エージェントを作成できます。
生成オーケストレーションはどのように評価されますか? パフォーマンスの測定にはどのようなメトリックが使用されますか?
生成オーケストレーションは、プロセスの各 手順 でエンドツーエンドの品質が評価されます。 品質は、システムがユーザーのクエリに適切に対応するプランをどれだけうまく作成し、実行するかという観点から測定されます。 私たちのチームは、微調整中に品質スコアに手動でラベルを付けます。 さまざまなユーザーからの問い合わせ、プロンプト、アクションで品質を評価します。 また、システムがユーザーや作成者からの悪意のあるコンテンツを無視する能力や、有害なコンテンツの生成をどの程度回避できるかも評価します。
生成オーケストレーションにはどのような制限がありますか? システムを使用する際、ユーザーはどのように生成オーケストレーションの制限の影響を最小限に抑えられますか?
最良の結果を得るには、トピックとアクションに高品質の説明が含まれていることを確認してください。 Copilot Studio ドキュメントでは、質の高い説明文の書き方についてガイダンスを提供しています。
生成オーケストレーションを効果的かつ責任ある形で使用するためには、どのような運用要因や設定が必要ですか？
生成オーケストレーションは現在英語のみの対応です。 エージェント内で生成モードを有効にすると、テストパネルを使用してシステムをテストし、システムのパフォーマンスを確認できます。 また、エージェント にカスタム手順を追加して、最終的な応答を生成することもできます。
アクションとは何で、生成モードを有効にした エージェント はアクションをどのように使用しますか?
カスタム エージェント にアクションを追加して、ユーザーのクエリに回答できます。 マイクロソフト、またはサードパーティによって開発されたアクションを使用することも、独自のアクションを作成することもできます。 使用するカスタム エージェントに対して構成するアクションを構成します。 システムで使用される名前、説明、入力、出力を編集することもできます。
Copilot Studio がアクションに提供できるデータは何ですか？ Copilot Studio のアクションにはどのような権限がありますか？
エージェントがアクションを呼び出すと、アクションはアクションで指定された入力値を受け取ります。 入力値には、ユーザーとの会話履歴の一部を含めることができます。
アクションで有効化された Copilot Studio を使用する場合、どのような問題が発生する可能性がありますか？
アクションは、常に意図したとおりに機能するとは限りません。 アクションの入力を準備するとき、またはアクションの出力に基づいて応答を生成するときに、エラーが発生する場合があります。 また、エージェント がユーザー クエリに対して間違ったアクションを呼び出す可能性もあります。 アクションを使用する際のこのようなエラーのリスクを軽減するには、カスタム エージェント のアクションに対して、高品質で関連性が高く、明確な説明が構成されていることを確認してください。
責任ある AI に対して Copilot Studio どのような保護が実施されていますか?
エージェントを保護するために、多くの緩和機能が用意されています。 エージェントには、一連のナレッジ、アクション、トピックを設定できます。 エージェントは、構成に含まれていないアクションを実行することはありません。 管理者は、組織内のエージェントのアクションを禁止できます。 確認なしでアクションがトリガーされることが懸念される場合は、ユーザーが呼び出しに同意した場合にのみアクションが呼び出されるように構成できます。
さらに、システムへの入力を調べて有害なコンテンツやジェイルブレイク攻撃を検出する分類子があります。 私たちのテストによると、これらの分類子は、有害なコンテンツやジェイルブレイク攻撃をブロックすることに高い成功率を持っていますが、有害ではないコンテンツやジェイルブレイク攻撃をブロックしないことにも高い成功率を持っています。 ただし、分類子は完璧ではないため、エージェントが有害なコンテンツを生成したり、ジェイルブレイク攻撃に応答したりするリスクがあります。 これらのリスクには、エージェントが従おうとするアクションまたはナレッジソースの出力に命令が追加される可能性があるクロスドメインプロンプトインジェクション攻撃が含まれます。
最後に、エージェントが人工知能を使用していることをユーザーに伝えることがベストプラクティスです。そのため、以下の既定のメッセージをユーザーに通知します: 「念のためお伝えしますが、私は AI を使用して質問に答えることがあります。」