练习 - 基础性检测

已完成

实现 AI 支持的客户支持代理将彻底改变 Contoso 露营商店！ 客户可以向支持代理询问产品建议和有关如何使用 Contoso Camping Store 产品的指导。 但是，我们希望确保模型提供的响应基于传递到模型的源材料。

让我们使用模型来测试提示，以检测其输出的依据性。

检测有依据的输出

我们可以提供基础源、提交提示并提供补全，以测试模型检测有依据的输出的能力。 让我们用帐篷的价格来测试一下。

1. 在“内容安全”页面上，选择“依据性检测”。

2. 在“选择任务”部分中，选择“问答”。

3. 在“测试”部分中，在每个框中输入以下内容：

   • 基础源 - 帐篷售价为 250 美元

   • 提示 - 帐篷费用？

   • 补全 - 250 美元

   

4. 选择“运行测试”。

鉴于基础源和补全输出一致，模型能够检测到输出是有依据的。

检测无依据的输出

由于模型有时可能提供不正确的信息，因此我们希望确保模型能够检测输出是否无依据。 与前面的示例一样，我们可以测试一个无依据的输出，但这次提供一个与基础源矛盾或不一致的补全。

1. 在“测试”部分中，在每个框中输入以下内容：

   • 基础源 - 帐篷售价为 250 美元

   • 提示 - 帐篷费用？

   • 补全 - 350 美元

   

2. 选择“运行测试”。

由于补全提供的帐篷价格不正确，因此输出是无依据的，并且模型能够检测到输出是无依据的。

生成汇总输出

对于客户支持代理，我们希望确保模型可以生成汇总输出。 例如，如果客户针对其在使用产品时遇到的问题进行了冗长的叙述。 我们希望确保模型准确地整合客户询问中的上下文，进而提供有依据的汇总输出。 我们可以通过将客户的询问作为基础源传递，并根据询问的上下文提供补全来测试基础性。

1. 在“选择任务”部分中，选择“汇总”。

2. 在“测试”部分中，在每个框中输入以下内容：

   • 基础源 - 我最近购买了三顶 TrailMaster X4 帐篷用于家庭露营旅行。虽然总的来说它们还不错，但我注意到了几个小问题。其中一个帐篷的拉链似乎有点卡滞，储物袋上有一个小裂口。这些都是小问题，但我认为它们应该引起你的注意。

   • 补全 - 我购买了 4 顶帐篷，它们很好用，没有问题。

   

3. 选择“运行测试”。

鉴于客户购买了 3 顶帐篷，并且帐篷存在一些小问题，因此补全没有依据。 该模型能够检测到汇总输出是无依据的。