通过

智能应用程序工作负载的性能优化

  • 项目

性能效率是指工作负载能够有效扩展以满足用户对其提出的要求。 监控智能应用程序工作负载的性能对于确保其有效和高效地运行至关重要。

工作负载团队需要建立关键性能指标，定期查看系统性能，并及时诊断任何问题。 有效的监控和诊断程序有助于保持系统可靠性和用户满意度。

定义性能目标

确定关键性能指标涉及确定跟踪实现工作负荷性能目标进度的基本度量。 这些指标提供了一种可量化的方法来衡量和提高绩效效率。

在确定要关注的关键指标时，请考虑与容量、响应时间、偏转率以及参与度和结果相关的指标：

  • 产能：吞吐量和并发性是示例产能度量。 吞吐量是指能够在给定时间内处理特定数量的事务。 例如，代理每月可能处理 200,000 个聊天会话。 此外，还要考虑季节性变化和并发对话的预期最大峰值。 并发是同时用户或操作的度量值。 例如，在旺季期间，代理最多可以处理 5,000 个并发聊天。 了解目标卷有助于验证目标架构和规模。

  • 响应时间：延迟和加载时间是常见的响应时间指标。 延迟是指响应请求所需的时间（200 毫秒）。 加载时间是指代理激活并响应第一条消息所需的时间。 了解代理回答查询的预期最大延迟，并定义处理长时间运行的操作（例如，等待外部系统返回数据）的方法。

  • 偏转率：就对话 AI 而言，偏转率指标表示在自助服务中完成而无需由客服代理处理的请求所占的比例。 换句话说，它指的是由于自动化，团队不再需要处理的任务数量。 优化代理偏转率是组织实现其业务目标的首要关注领域之一，从投资回报率（ROI）和客户满意度（CSAT）到提高代理的整体绩效。 Microsoft Copilot Studio 概述了代理的性能，包括解决率、升级率和 CSAT 等关键指标。

  • 参与度和结果：跟踪对话参与度和结果是衡量代理绩效指标和确定改进领域的关键。 了解更多信息，请参阅衡量代理参与度和衡量代理成果。

性能规划

工作负载中的资源具有性能限制。 性能限制适用于每个服务中的功能。 您需要了解工作负载中资源的局限性，并将这些局限性纳入设计决策。 例如，您应该知道资源限制是否要求您更改设计方法或完全更改资源。

  • 了解目标容量。 目标容量有助于验证目标架构和规模、代理的许可方面以及对 Dataverse 对话记录存储的潜在影响。
  • 了解平台限制。 在通过 Power Automate 或 HTTP 请求等方式将智能应用工作负载与外部系统集成时，必须验证每个组件都能处理负载。
  • 识别瓶颈。 测量吞吐量和响应时间，以确定系统中随着工作负载的增长而可能出现问题的组件。 使用流程挖掘分析功能（如返工和根本原因分析）确定端到端流程中的瓶颈。

了解更多信息：性能规划建议

性能监视

优化性能需要数据来针对其性能目标衡量工作负荷或流程的当前性能。 收集足够数量和种类的数据，以便根据设定的性能目标准确衡量代码和基础结构的性能。 确保工作负荷内每个组件和流都会自动生成连续的有意义的度量和日志。

警惕地监控智能应用程序工作负载的性能，以确保其以最高效力和效率运行。

Copilot Studio 提供全面的开箱即用分析，让您了解代理的使用情况和关键性能指标。

您可以查看与以下内容相关的报告：

  • 性能和使用情况
  • 客户满意度
  • 会话信息
  • 主题使用情况
  • 记帐会话

除了 Copilot Studio 中的本地分析功能外，您还可以将遥测数据发送到 Application Insights。 了解更多信息，请参阅使用 Application Insights 捕获遥测数据。 使用 Azure Monitor、日志分析 Application Insights 和警报等工具持续监控性能并检测异常。

定义您打算监视的关键绩效指标（KPI），以衡量智能应用程序工作负载的成功，例如参与率、解决率和偏转率。 首先，查看本机仪表板以了解可用数据。 然后，确定创建自定义报表是否能更好地满足您的特定需求。

了解详细信息：

持续优化性能

主动优化性能涉及在出现任何问题之前实施措施来改进和增强工作负载的性能。 主动措施包括识别潜在瓶颈、监控性能指标和实施优化，以确保工作负载高效运行并满足性能目标。

要持续增强您的智能应用程序工作负载，请安排对代理性能的定期审查：

性能指标 定义
解决率 代理成功解决的用户请求的百分比，而无需上报给客户服务代表。
参与率 占总参与会话的百分比。 当用户以有意义的方式与代理交互时，例如触发非系统主题、升级会话或调用备用主题，则认为会话已参与。
放弃率 未达成解决方案或升级而结束的已参与会话的百分比。 从本质上讲，它衡量用户在问题得到解决或上报给代表之前离开或停止与代理互动的频率。
升级率 升级到代表的参与会话百分比。 此指标是了解代理无法自行解决用户查询并需要人工干预的频率的关键。
无法识别的话语 当代理的自然语言理解（NLU）模型无法将用户输入与任何预定义的意图或主题匹配时发生。 系统无法根据提供的输入确定用户的意图。
CSAT 客户满意度。
解决率低的主题 指经常无法有效解决用户查询的对话主题。 这些问题通常会导致用户不满、放弃或升级到代表。

此审查有助于确定代理更新积压的优先级。 例如，如果未识别的话语经常升级到客服代表，则应抓住机会改进回退。 分析引发回退和未识别语音的用户模式，培训现有主题或创建新主题，使代理能够更好地满足用户需求。

了解详细信息：