使用生成式业务流程的常见问题
这些常见问题 (FAQ) 描述了生成式协调对 Copilot Studio 中构建的自定义代理的人工智能影响。
什么是生成式业务流程?
通过生成式编排 ,自定义代理使用相关主题和/或操作来回答用户查询。 生成式业务流程通过使用对话历史记录中的细节来填充输入,从而实现更自然的对话。 例如,如果您询问柯克兰最近的商店,然后询问那里的天气,业务流程推断您想要询问柯克兰的天气。该系统还可以将多个操作或主题链接在一起。 例如,它可以回答“我需要获取商店营业时间并找到离我最近的商店”。当代理不确定细节时,它可以提出后续问题以消除歧义。
生成式业务流程能做什么?
通过生成式编排,系统首先创建一个计划,以使用可用主题和操作的名称、说明、输入和输出来回答用户查询。 它还引用最近 10 次对话的历史记录。 然后,它尝试通过填充对话中的必需输入来执行计划,并跟踪用户是否有任何遗漏或模糊的细节。 在回复用户之前,系统会检查是否找到了用户问题的答案。 如果没有,它将再次经历该流程。 最后,系统基于来自主题和/或操作的计划输出生成响应。 在生成最终响应时,它还使用代理的任何自定义指令。
生成式业务流程的预期用途是什么?
您可以在代理中使用此模式创建一个代理,该 # 可以根据对话历史记录、主题的名称和描述以及操作的名称、描述、输入和输出来回答用户查询。
如何评估生成式业务流程? 哪些指标用于衡量表现?
在流程的每一步,都会评估生成式业务流程的端到端质量。 质量是根据系统创建和执行成功解决用户查询的计划的能力来衡量的。 我们的团队在微调期间手动标记质量分数。 我们根据各种用户查询、提示和操作来评估质量。 我们还评估了系统在忽略来自用户和作者的恶意内容方面的表现,以及系统避免产生有害内容的程度。
生成式业务流程的局限性是什么? 用户在使用系统时,如何将生成式业务流程限制的影响降至最低?
为了获得最佳效果,请确保您的主题和操作包含高质量的描述。 我们就如何在 Copilot Studio 文档中编写高质量的描述提供指导。
哪些操作因素和设置允许有效和负责任地使用生成式业务流程?
生成式流程业务流程目前只有英文版。 在代理中启用生成模式后,您可以使用测试面板测试系统以查看其性能。 您还可以为代理添加自定义说明,以帮助生成最终响应。
什么是操作,启用生成模式的代理如何使用它们?
您可以向自定义代理添加操作以回答用户查询。 您可以使用 Microsoft 或第三方开发的操作,也可以创建自己的操作。 您可以配置自定义代理要使用的操作。 您还可以编辑系统使用的名称、描述、输入和输出。
Copilot Studio 能为操作提供什么数据? Copilot Studio 操作有哪些权限?
当您的代理调用操作时,该操作将接收该操作指定的输入值。 输入值可以包括与用户的一些对话历史记录。
使用 Copilot Studio 启用操作时可能会出现什么问题?
操作可能并不总是按预期工作。 在为操作准备输入或根据操作的输出生成响应时,可能会发生错误。 您的代理也可能为用户查询调用错误的操作。 为了降低使用操作时出现此类错误的风险,请确保在自定义代理中为操作配置了高质量、相关且明确的描述。
Copilot Studio 对负责任的人工智能有哪些保护措施?
为保护您的代理,提供了许多缓解功能。 您可以使用一组知识、操作和主题来配置您的代理。 代理从不执行不属于其配置的操作。 管理员可以禁止对组织中的代理执行操作。 如果您担心操作在未经确认的情况下被触发,可以将操作配置为仅在用户同意调用时调用该操作。
此外,我们还有分类器,可以查看系统的输入,以检测有害内容和越狱攻击。 根据我们的测试,这些分类器在阻止有害内容和越狱攻击方面具有很高的成功率,同时在不阻止无害内容或越狱攻击方面也具有很高的成功率。 但是,分类器不可能完美无缺,因此存在代理产生有害内容或响应越狱攻击的风险。 这些风险包括跨域提示注入攻击,其中指令可以添加到操作或知识源的输出中,然后代理尝试遵循。
最后,最佳做法是向用户传达代理使用人工智能,因此以下默认消息通知用户:“只是为了让您知道,我有时会使用 AI 来回答您的问题。