Utiliser un modèle de langage local avec le proxy de développement
En connectant le proxy de développement à un modèle de langage local, vous pouvez améliorer les fonctionnalités du proxy de développement. Sélectionnez les plug-ins dev Proxy utilisent le modèle de langage pour améliorer leur sortie, où le langage naturel est impliqué. En utilisant un modèle de langage local, vous pouvez tirer parti des fonctionnalités améliorées sans entraîner de coûts supplémentaires.
Prérequis
Le proxy de développement prend en charge Ollama en tant qu’hôte pour les modèles de langage local. Pour le configurer sur votre ordinateur, suivez les instructions de la documentation Ollama.
Configurer le proxy de développement pour utiliser un modèle de langage local
Pour configurer le proxy de développement pour utiliser un modèle de langue locale, utilisez le languageModel paramètre dans le devproxyrc.json fichier.
{
"languageModel": {
"enabled": true
}
}
Vous pouvez utiliser les options suivantes dans le languageModel cadre du paramètre :
| Option | Description | Valeur par défaut |
|---|---|---|
cacheResponses |
Spécifie s’il faut mettre en cache les réponses du modèle de langage. | true |
enabled |
Spécifie s’il faut utiliser un modèle de langue locale. | false |
model |
Nom du modèle de langage à utiliser. | phi3 |
url |
URL de l’instance Ollama. | http://localhost:11434 |
Par défaut, le proxy de développement utilise la configuration Ollama par défaut avec le modèle Phi-3 . Il met également en cache les réponses du modèle de langage, ce qui signifie que pour la même invite, vous obtenez une réponse immédiate sans attendre que le modèle de langage le traite.
Important
Lorsque vous utilisez un modèle de langue locale, veillez à démarrer Ollama avant de démarrer le proxy de développement.
Plug-ins dev Proxy qui peuvent utiliser un modèle de langage local
Les plug-ins proxy de développement suivants utilisent un modèle de langage local si disponible :
