Partilhar via


Usar modelo de idioma local com o Dev Proxy

Ao conectar o Dev Proxy a um modelo de idioma local, você pode melhorar a funcionalidade do Dev Proxy. Selecione Dev Proxy plugins usam o modelo de linguagem para melhorar sua saída, onde a linguagem natural está envolvida. Usando um modelo de idioma local, você pode se beneficiar da funcionalidade aprimorada sem incorrer em custos extras.

Pré-requisitos

O Dev Proxy suporta Ollama como host para modelos de idioma local. Para configurá-lo em sua máquina, siga as instruções na documentação do Ollama.

Configurar o Dev Proxy para usar um modelo de idioma local

Para configurar o Dev Proxy para usar um modelo de idioma local, use a languageModel configuração no devproxyrc.json arquivo.

{
  "languageModel": {
    "enabled": true
  }
}

Você pode usar as seguintes opções como parte da languageModel configuração:

Opção Description Default value
cacheResponses Especifica se as respostas do modelo de linguagem devem ser armazenadas em cache. true
enabled Especifica se um modelo de idioma local deve ser usado. false
model O nome do modelo de linguagem a ser usado. phi3
url A URL da instância de Ollama. http://localhost:11434

Por padrão, o Dev Proxy usa a configuração padrão do Ollama com o modelo Phi-3 . Ele também armazena em cache as respostas do modelo de linguagem, o que significa que, para o mesmo prompt, você obtém uma resposta imediata sem esperar que o modelo de linguagem a processe.

Importante

Ao usar um modelo de idioma local, certifique-se de iniciar o Ollama antes de iniciar o Dev Proxy.

Plug-ins do Dev Proxy que podem usar um modelo de idioma local

Os seguintes plug-ins do Dev Proxy usam um modelo de idioma local, se disponível: