提高语言模型的性能

已完成

将模型部署到终结点后,可与该模型交互以探索其行为方式。 如果你希望根据自己的用例自定义模型,可以应用多种优化策略来提高模型的性能。 让我们探索各种策略。

在操场中与模型聊天

可以使用你偏好的编码语言对模型的终结点发出 API 调用,或者直接在 Azure AI Foundry 门户操场中与模型聊天。 使用聊天操场可以快速方便地试验模型并提高其性能。

显示 Azure AI Foundry 中的聊天操场的屏幕截图。

发送到语言模型的问题的质量会直接影响你得到的响应的质量。 你可以认真构造问题或提示,以获得更好、更有趣的响应。 设计和优化提示以提高模型性能的过程也称为提示工程。 如果最终用户提供了相关、具体、明确且结构良好的提示,则模型可以更好地理解上下文并生成更准确的响应。

应用提示工程

在操场中与模型聊天时,可以应用多种提示工程方法来探索它是否可以改善模型的输出。

显示向语言模型提出的问题及其响应的屏幕截图。

让我们探索可由最终用户用来应用提示工程的一些方法:

  • 提供清晰的说明:与所需的输出具体相关。 带有清晰说明的问题,使回答与用例更相关的屏幕截图。
  • 设置说明的格式:使用标题和分隔符使问题更易于阅读。 设置了格式,明确指出想要获得哪种翻译文本的问题的屏幕截图。
  • 使用提示:提供关键字或指示符,指出模型应如何开始做出响应,例如使用特定的编码语言。 带有线索的问题,助手根据此线索开始给出回答的屏幕截图。

更新系统消息

在聊天操场中,可以通过选择“显示 JSON”来查看当前对话的 JSON

显示聊天操场中对话的 JSON 输出的屏幕截图。

每次发送新消息时,显示的 JSON 都是模型终结点的输入数据。 系统消息始终是输入数据的一部分。 虽然最终用户看不到系统消息,但开发人员可以使用系统消息通过为模型行为提供说明来自定义模型的行为。

开发人员可以通过更新系统消息来应用一些常用的提示工程方法:

  • 使用一个样本或少量几个样本:提供一个或多个示例来帮助模型识别所需的模式。 可以在系统消息中添加一个部分,以添加一个或多个示例。 带有示例的系统消息的屏幕截图。
  • 使用思路链:通过指导模型思考任务来引导模型逐步做出推理。 思路链推理的屏幕截图。
  • 添加上下文:通过提供与任务相关的上下文或背景信息来提高模型的准确度。 可以通过对用户提示中提供的数据进行上下文关联或连接自己的数据源来提供上下文。 用于添加上下文数据的选项的屏幕截图。

应用模型优化策略

作为开发人员,你还可以应用其他优化策略来提高模型的性能,而无需要求最终用户编写特定的提示。 除了提示工程之外,选择的策略还取决于要求:

示意图显示了用来优化模型性能的各种策略。

  • 针对上下文进行优化:当模型缺乏上下文知识,而你想要最大程度地提高响应准确度时
  • 优化模型:当你想要通过最大程度地提高行为一致性来改进响应格式、样式或语音时

若要针对上下文进行优化,可以应用检索增强生成 (RAG) 模式。 使用 RAG,可以先从数据源检索上下文,然后再生成响应,从而对数据进行上下文关联。 例如,你希望客户询问有关你在旅行预订目录中提供的酒店的问题。

当你希望模型以特定的样式或格式做出响应时,可以通过在系统消息中添加指导来指示模型这样做。 当你注意到模型行为不一致时,可以通过微调模型来进一步强制行为一致性。 使用微调,可以基于数据集训练基本语言模型,然后将其集成到应用程序中。

你还可以使用优化策略的组合(例如 RAG 和微调的模型)来改进你的语言应用程序。