インテリジェントなアプリケーションワークロードのためのパフォーマンス最適化
パフォーマンス効率とは、ワークロードを効率的にスケーリングして、ユーザーからの要求を満たすことができることです。 インテリジェントなアプリケーションのワークロードのパフォーマンスを監視することは、そのアプリケーションが効果的かつ効率的に動作することを保証するために極めて重要です。
ワークロード チームは、主要なパフォーマンス メトリックを確立し、システム パフォーマンスを定期的にレビューし、問題を迅速に診断する必要があります。 効果的な監視および診断手順により、システムの信頼性とユーザー満足度を維持できます。
パフォーマンス目標を定義する
主要なパフォーマンス指標を特定するには、ワークロードのパフォーマンス目標の達成に向けた進捗状況を追跡するための重要な測定値を決定する必要があります。 これらの指標は、パフォーマンス効率を測定し改善するための定量的な方法を提供します。
重点的に取り組む主要な指標を特定する際には、キャパシティ、応答時間、偏向率、エンゲージメントと成果に関連する指標を検討します。
キャパシティ: スループットとコンカレンシーはキャパシティ メトリックの例です。 スループットとは、指定された時間内に特定の数のトランザクションを処理する能力を指します。 たとえば、エージェント は月に 200,000 件のチャット セッションを処理する場合があります。 また、季節的な変動や、予想される同時会話の最大ピークも考慮する必要があります。 コンカレンシーとは、同時ユーザーまたはアクションの尺度です。 たとえば、エージェント は、ピーク シーズン中に最大 5,000 件の同時チャットを処理できます。 ターゲット ボリュームを理解すると、ターゲット アーキテクチャとスケールの検証に役立ちます。
応答時間: 待機時間と読み込み時間は、一般的な応答時間メトリックです。 待機時間は、要求への応答にかかる時間です (200 ミリ秒)。 読み込み時間 は、エージェントがアクティブになり、最初のメッセージに応答するまでにかかる時間です。 エージェント がクエリに応答するために予想される最大待機時間を把握し、実行時間の長いアクション (外部システムがデータを返すのを待機するなど) を処理する方法を定義します。
偏向率: 会話型 AI のコンテキストでは、偏向 は、顧客サービス担当者が処理するセルフ サービス方式で完了したリクエストの割合を表す指標です。 言い換えれば、自動化によってチームが処理する必要がなくなったタスクの数を指します。 エージェント偏向率の最適化は、投資収益率 (ROI) や顧客満足度 (CSAT) からエージェントの全体的なパフォーマンスの向上まで、組織がビジネス目標を達成するための最重要分野のひとつです。 Microsoft Copilot Studio は、解決率、エスカレーション率、CSAT などの主要指標を含む、エージェントのパフォーマンスの概要を提供します。
エンゲージメントと成果: 会話への関与と成果を追跡することは、エージェントのパフォーマンス指標を測定し、改善すべき領域を特定する上で重要です。 詳細については、エージェント エンゲージメントの測定 と エージェント成果の測定 をご参照ください。
パフォーマンス計画
ワークロード内のリソースにはパフォーマンスの制限があります。 各サービス内の機能にはパフォーマンス制限が適用されます。 ワークロード内のリソースの制限を理解し、それらの制限を設計上の決定に考慮する必要があります。 たとえば、リソースの制限により、設計アプローチを変更する必要があるのか、それともリソース全体を変更する必要があるのかを把握する必要があります。
- ターゲット・ボリュームの概要。 目標とするボリュームは、目標とするアーキテクチャと規模、エージェントのライセンス面、会話記録のトランスクリプトの Dataverse ストレージへの潜在的な影響の検証に役立ちます。
- プラットフォームの制限を理解する。 インテリジェントなアプリケーションのワークロードを外部システムと統合する場合、たとえば Power Automate や HTTP リクエストを通じて統合する場合、すべてのコンポーネントが負荷に対応できることを検証することが重要です。
- ボトルネックを特定する。 スループットと応答時間を測定して、ワークロードの増加に伴って問題が発生する可能性のあるシステムのコンポーネントを特定します。 リワークや根本原因分析などのプロセス マイニング分析機能を使用して、エンドツー エンド プロセスのボトルネックを特定します。
詳細情報: パフォーマンス計画のための推奨事項
パフォーマンスの監視
パフォーマンスの最適化には、パフォーマンス目標に対するワークロードまたはフローの現在のパフォーマンスを測定するためのデータが必要です。 設定されたパフォーマンス目標に対するコードとインフラストラクチャのパフォーマンスを正確に測定するために、十分な量とさまざまなデータを収集します。 ワークロード内のすべてのコンポーネントとフローが継続的かつ意味のあるメトリックとログを自動的に生成することを確認します。
インテリジェントなアプリケーションワークロードのパフォーマンスを注意深く監視し、最高の効果と効率で動作するようにします。
Copilot Studio は、エージェントの使用状況と主要業績評価指標を把握できる包括的な既成の分析機能を提供します。
以下に関連するレポートを表示できます。
- パフォーマンスと使用方法
- 顧客満足度
- セッション情報
- トピックの使用状況
- 課金されたセッション
Copilot Studio 内のネイティブな分析機能に加えて、テレメトリ データを Application Insights に送ることができます。 詳細については、Application Insights でテレメトリをキャプチャするを参照してください。 Azure Monitor、Log Analytics、Application Insights、アラートなどのツールを使用してパフォーマンスを継続的に監視し、異常を検出します。
エンゲージメント率、解決率、偏向率など、インテリジェント アプリケーション ワークロードの成功を測定するために監視する主要業績評価指標 (KPI) を定義します。 まず、ネイティブ ダッシュボードを確認して、使用可能なデータを理解します。 次に、カスタム レポートを作成する方が特定のニーズにより適しているかどうかを判断します。
詳細情報:
継続的なパフォーマンス最適化
パフォーマンスをプロアクティブに最適化するには、問題が発生する前にワークロードのパフォーマンスを改善、強化するための対策を実装する必要があります。 プロアクティブな対策には、潜在的なボトルネックの特定、パフォーマンス メトリックの監視、最適化の実装などが含まれており、ワークロードが効率的に実行され、パフォーマンス目標が満たされるようにします。
インテリジェント アプリケーション ワークロードを継続的に強化するには、エージェントのパフォーマンスの定期的なレビューをスケジュールします。
| 業績評価指標 | 説明 |
|---|---|
| 解決率 | 顧客サービス担当者へのエスカレーションを必要とせずに エージェント によって正常に解決されたユーザー要求の割合。 |
| エンゲージメント率 | エンゲージメント セッションの合計の割合。 セッションは、ユーザーがシステム以外のトピックのトリガー、セッションのエスカレーション、フォールバック トピックの呼び出しなど、意味のある方法で エージェント と対話した場合に、関与していると見なされます。 |
| 破棄率 | 解決もエスカレーションもなく終了したエンゲージメント セッションの割合です。 基本的には、問題が解決されるか、担当者にエスカレーションされる前に、ユーザーが エージェント とのやり取りを離れたり、停止したりする頻度を測定します。 |
| エスカレーション率 | 担当者にエスカレーションされたアクティブ セッションの割合です。 この指標は、エージェントがユーザーの問い合わせを自分で解決できず、人間の介入を必要とする頻度を理解するための鍵となります。 |
| 認識されない発話 | エージェントの自然言語理解 (NLU) モデルが、ユーザー入力を事前定義されたインテントまたはトピックと照合できない場合に発生します。 システムは、提供された入力に基づいてユーザーの意図を判断できません。 |
| CSAT | 顧客満足度。 |
| 解決率が低いトピック | ユーザーのクエリを効果的に解決できないことが多い会話トピックを指します。 これらのトピックは、多くの場合、ユーザーの不満、放棄、または担当者へのエスカレーションにつながります。 |
このレビューは、エージェント更新のバックログに優先順位を付けるのに役立ちます。 たとえば、認識されていない発話が頻繁にカスタマー サービス担当者にエスカレーションされている場合は、これを機会に転換率を改善しましょう。 フォールバックや認識されない発話をトリガーするユーザー パターンを分析し、既存のトピックをトレーニングするか、新しいトピックを作成して エージェント を装備し、ユーザーのニーズにより適切に対応します。
詳細情報: