Uso del modelo de lenguaje local con el proxy de desarrollo
Al conectar Dev Proxy a un modelo de lenguaje local, puede mejorar la funcionalidad del proxy de desarrollo. Seleccione Complementos de Proxy de desarrollo que usan el modelo de lenguaje para mejorar su salida, donde el lenguaje natural está implicado. Mediante el uso de un modelo de lenguaje local, puede beneficiarse de la funcionalidad mejorada sin incurrir en costos adicionales.
Requisitos previos
Dev Proxy admite Ollama como host para modelos de lenguaje local. Para configurarlo en la máquina, siga las instrucciones de la documentación de Ollama.
Configuración del proxy de desarrollo para usar un modelo de lenguaje local
Para configurar el proxy de desarrollo para usar un modelo de lenguaje local, use la languageModel configuración en el devproxyrc.json archivo.
{
"languageModel": {
"enabled": true
}
}
Puede usar las siguientes opciones como parte de la languageModel configuración:
| Opción | Descripción | Default value |
|---|---|---|
cacheResponses |
Especifica si se almacenan en caché las respuestas del modelo de lenguaje. | true |
enabled |
Especifica si se va a usar un modelo de lenguaje local. | false |
model |
Nombre del modelo de lenguaje que se va a usar. | phi3 |
url |
Dirección URL de la instancia de Ollama. | http://localhost:11434 |
De forma predeterminada, Dev Proxy usa la configuración predeterminada de Ollama con el modelo Phi-3 . También almacena en caché las respuestas del modelo de lenguaje, lo que significa que, para el mismo mensaje, se obtiene una respuesta inmediata sin esperar a que el modelo de lenguaje lo procese.
Importante
Al usar un modelo de lenguaje local, asegúrese de iniciar Ollama antes de iniciar el proxy de desarrollo.
Complementos de proxy de desarrollo que pueden usar un modelo de lenguaje local
Los siguientes complementos de Proxy de desarrollo usan un modelo de lenguaje local si está disponible:
