Usar modelo de idioma local com o Dev Proxy
Ao conectar o Dev Proxy a um modelo de idioma local, você pode melhorar a funcionalidade do Dev Proxy. Selecione Dev Proxy plugins usam o modelo de linguagem para melhorar sua saída, onde a linguagem natural está envolvida. Usando um modelo de idioma local, você pode se beneficiar da funcionalidade aprimorada sem incorrer em custos extras.
Pré-requisitos
O Dev Proxy suporta Ollama como host para modelos de idioma local. Para configurá-lo em sua máquina, siga as instruções na documentação do Ollama.
Configurar o Dev Proxy para usar um modelo de idioma local
Para configurar o Dev Proxy para usar um modelo de idioma local, use a languageModel configuração no devproxyrc.json arquivo.
{
"languageModel": {
"enabled": true
}
}
Você pode usar as seguintes opções como parte da languageModel configuração:
| Opção | Description | Default value |
|---|---|---|
cacheResponses |
Especifica se as respostas do modelo de linguagem devem ser armazenadas em cache. | true |
enabled |
Especifica se um modelo de idioma local deve ser usado. | false |
model |
O nome do modelo de linguagem a ser usado. | phi3 |
url |
A URL da instância de Ollama. | http://localhost:11434 |
Por padrão, o Dev Proxy usa a configuração padrão do Ollama com o modelo Phi-3 . Ele também armazena em cache as respostas do modelo de linguagem, o que significa que, para o mesmo prompt, você obtém uma resposta imediata sem esperar que o modelo de linguagem a processe.
Importante
Ao usar um modelo de idioma local, certifique-se de iniciar o Ollama antes de iniciar o Dev Proxy.
Plug-ins do Dev Proxy que podem usar um modelo de idioma local
Os seguintes plug-ins do Dev Proxy usam um modelo de idioma local, se disponível:
