你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

消息分析:负责任 AI 透明度常见问题解答

重要

本文中所述的功能目前以公共预览版提供。 此预览版在提供时没有附带服务级别协议,我们不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。 有关详细信息,请参阅 Microsoft Azure 预览版补充使用条款

什么是消息分析?

消息分析是一项 AI 功能,用于分析传入的客户消息,以便提取见解,从而帮助开发人员增强客户交互。 它检测语言、确定意向(如服务问题或投诉),并识别关键主题。 消息分析可以帮助企业了解其沟通策略的效果如何,并改善与客户的交互。

消息分析可以做什么?

消息分析利用 Azure OpenAI 的高级 AI 功能,为客户交互提供多方面的功能。 它使用 Azure OpenAI 服务来处理通过 WhatsApp 等平台接收的消息。 下面是它的作用:

  • 语言检测:识别消息的语言,提供置信度分数,如果原始消息不是英语,则将消息翻译成英语。
  • 意向识别:分析消息以确定客户的目的,例如寻求帮助或提供反馈。
  • 关键短语提取:从消息中提取重要的术语和名称,这对于上下文至关重要。

这种功能组合使企业能够定制其响应并更好地管理客户交互。

消息分析的预期用途是什么?

  • 为代理或部门提供消息分析可帮助企业有效解决问题,并提供无缝的最终用户体验。

  • 通过识别客户的需求,向客户提供即时反馈。

  • 根据紧急程度或情感确定消息的优先级,从而提高客户服务团队的效率。

  • 通过了解客户查询或评论的上下文和细微差别来提高客户交互的质量。

消息分析是如何评估的? 哪些指标用于衡量表现?

  • 部署前测试:

    • 单元测试:针对系统的每个组件开发并运行单元测试,以确保它们能够独立正常运行。

    • 集成测试:测试不同系统组件的集成,例如 Webhook 接收器、Azure OpenAI API 和事件网格之间的交互。 测试有助于识别组件交互的问题。

  • 校验和验证:

    • 手动验证:执行团队成员模拟真实用例的手动测试会话,以了解系统对消息进行处理和分析的状况如何。

    • Bug 打击:组织 Bug 打击活动,其中团队成员和利益相关者将共同努力在短时间内找到尽可能多的问题。 这些活动有助于发现意外的 bug 或可用性问题。

  • 生产环境中的反馈:

    • 用户反馈:收集和分析最终用户的反馈。 通过这种直接输入可以深入了解该功能满足用户需求和期望的程度。

    • 用户调查和访谈:对用户进行调查和访谈,以收集有关系统性能和用户体验的定性数据。

消息分析有哪些限制? 用户在使用系统时如何最大程度地减少消息分析限制的影响?

  • 假正:

    • 系统有时可能会生成假正分析,特别是在处理模糊、冲突或讽刺内容以及它无法准确解释的客户消息中的文化特定短语和习语时。
  • 不支持的语言/翻译问题:

    • 如果模型不支持该语言,则无法正确检测或正确翻译该语言。 支持的语言也可能存在误导性翻译,你需要更正或构建自己的翻译模型。

哪些操作因素和设置可让用户有效且负责任地使用消息分析?

  • 显式元提示组件:使用用于引导 AI 更好地了解对话上下文的显式元提示组件来增强系统的提示。 此方法可以通过提供有关系统在其评估期间应关注的内容的更清晰说明来提高分析的相关性和准确度。

  • 敏感消息的预设响应:在分析响应中标记敏感主题或问题。 这有助于确保回复体现尊重并合法合规,从而降低 AI 生成错误或不当响应的风险。

  • 分阶段发布计划:为了收集反馈并确保系统稳定性,请在全面部署之前实施分阶段部署,从涉及有限用户群的预览开始。 这种分阶段的方法可实现根据实际用户体验进行实时调整和风险管理。

  • 更新事件响应计划:定期更新事件响应计划,以包括用于解决新功能集成或潜在新威胁的过程。 此策略可确保团队准备好有效处理意外情况,并维护系统完整性和用户信任。

  • 回滚计划:制定回滚策略,以便在新功能导致意外问题时能够快速恢复到之前的稳定状态。 为了确保紧急情况下的快速响应功能,请在部署管道中实施此策略。

  • 反馈分析:为了收集可操作见解,请定期收集和分析用户的反馈,尤其是来自 Contoso 的反馈。 此反馈对于持续改进至关重要,可帮助开发团队了解功能的实际影响,从而实现更有针对性且更有效的更新。

后续步骤