将本地语言模型与开发代理配合使用

通过将开发代理连接到本地语言模型，可以改进开发代理的功能。 选择开发代理插件使用语言模型来改进其输出，其中涉及自然语言。 通过使用本地语言模型，可以从改进的功能中受益，而不会产生额外的成本。

先决条件

开发代理支持 Ollama 作为本地语言模型的主机。 若要在计算机上设置它，请按照 Ollama 文档中的说明进行操作。

将开发代理配置为使用本地语言模型

若要将开发代理配置为使用本地语言模型，请使用 languageModel 文件中的设置 devproxyrc.json 。

{
  "languageModel": {
    "enabled": true
  }
}

可以将以下选项用作设置的 languageModel 一部分：

选项	说明	默认值
cacheResponses	指定是否缓存来自语言模型的响应。	true
enabled	指定是否使用本地语言模型。	false
model	要使用的语言模型的名称。	phi3
url	Ollama 实例的 URL。	http://localhost:11434

默认情况下，Dev Proxy 使用具有 Phi-3 模型的默认 Ollama 配置。 它还缓存来自语言模型的响应，这意味着，对于同一提示，你会收到即时响应，而无需等待语言模型处理它。

重要

使用本地语言模型时，请务必在启动开发代理之前启动 Ollama。

可以使用本地语言模型的开发代理插件

以下开发代理插件使用本地语言模型（如果可用）：

• OpenApiSpecGeneratorPlugin