在 Azure AI Studio 的操场中测试模型
操场是 Azure AI Studio 中的有用接口,可用于试验部署的模型,而无需开发自己的客户端应用程序。 Azure AI Studio 提供了具有不同参数优化选项的多个操场。
完成操场
完成操场允许你通过文本输入文本输出接口调用部署的模型,并调整参数。 你需要在“部署”下选择模型的部署名称。 (可选)可以使用提供的示例入门,然后输入自己的提示。
完成操场参数
可以调整许多参数来更改模型的性能:
- 温度:控制随机性。 降低温度意味着模型会产生更多重复性和确定性的回复。 提高温度会导致更多意外或创造性的回复。 请尝试调整温度或 Top P 值,但不要同时调整两者。
- 最大长度(标记数):对每个模型响应的标记数设置限制。 该 API 支持最多 4000 个标记,包括提示(包括系统消息、示例、消息历史记录以及用户查询)和模型的响应。 对于典型的英文文本,一个标记大约是四个字符。
- 停止序列:使响应停止在所需点,例如句子或列表的末尾。 指定最多四个序列,模型将停止在响应中生成更多标记。 返回的文本不包含停止序列。
- 最高概率(最高 P):与温度类似,它控制着随机性,但使用不同的方法。 降低 Top P 值会将模型的标记选择范围缩小到可能性更高的标记。 增加 Top P 值会使模型既选择可能高的标记又选择可能性低的标记。 请尝试调整温度或 Top P 值,但不要同时调整两者。
- 频率处罚:根据标记在文本中出现的频率,按比例降低标记重复的可能性。 这会降低在响应中重复完全相同文本的可能性。
- 存在处罚:降低到目前为止在文本中出现的任何标记重复的可能性。 这会增加在响应中引入新主题的可能性。
- 响应前文本:在用户输入之后和模型响应之前插入文本。 这有助于为响应准备模型。
- 响应后文本:在模型生成的响应之后插入文本以鼓励进一步的用户输入,就像对话建模一样。
聊天操场
聊天操场基于对话传入消息传出界面。 可以使用系统消息初始化会话以设置聊天上下文。
在聊天操场中,可以添加少样本示例。 “少样本”一词是指提供几个示例来帮助模型了解它需要执行的操作。 可以将其与零样本(指不提供任何示例)进行对比。
在助手设置中,可以提供用户输入和助手响应的少样本示例。 助手会尝试以你在系统消息中定义的语气、规则和格式来模拟这里包含的响应。
聊天操场参数
与 Completions 操场一样,Chat 操场也包含用于自定义模型行为的参数。 “聊天”操场还支持“完成”操场中不可用的其他参数。 其中包括:
- 最大响应:对每个模型响应的标记数设置限制。 该 API 支持最多 4000 个标记,包括提示(包括系统消息、示例、消息历史记录以及用户查询)和模型的响应。 对于典型的英文文本,一个标记大约是四个字符。
- 包含的过去消息数:选择要包含在每个新 API 请求中的过去消息数。 包含过去的消息有助于为新用户查询提供模型上下文。 将此数字设置为 10 将包含 5 个用户查询和 5 个系统响应。
可以在聊天操场中查看“当前标记计数”。 由于 API 调用按标记定价,并且可以设置最大响应标记限制,因此需要留意当前标记计数,以确保对话不会超过最大响应标记计数。