Använda en lokal språkmodell med Dev Proxy
Genom att ansluta Dev Proxy till en lokal språkmodell kan du förbättra Dev Proxys funktioner. Välj Dev Proxy-plugin-program använder språkmodellen för att förbättra utdata, där naturligt språk ingår. Genom att använda en lokal språkmodell kan du dra nytta av de förbättrade funktionerna utan extra kostnader.
Förutsättningar
Dev Proxy stöder Ollama som värd för lokala språkmodeller. Om du vill konfigurera den på datorn följer du anvisningarna i Ollama-dokumentationen.
Konfigurera Dev Proxy för att använda en lokal språkmodell
Om du vill konfigurera Dev Proxy för att använda en lokal språkmodell använder du languageModel inställningen i devproxyrc.json filen.
{
"languageModel": {
"enabled": true
}
}
Du kan använda följande alternativ som en del av inställningen languageModel :
| Alternativ | Description | Standardvärde |
|---|---|---|
cacheResponses |
Anger om svar ska cachelagrats från språkmodellen. | true |
enabled |
Anger om du vill använda en lokal språkmodell. | false |
model |
Namnet på den språkmodell som ska användas. | phi3 |
url |
URL:en för Ollama-instansen. | http://localhost:11434 |
Som standard använder Dev Proxy standardkonfigurationen för Ollama med Phi-3-modellen . Den cachelagrar även svar från språkmodellen, vilket innebär att du för samma fråga får ett omedelbart svar utan att vänta på att språkmodellen ska bearbeta den.
Viktigt!
När du använder en lokal språkmodell måste du starta Ollama innan du startar Dev Proxy.
Plugin-program för Dev Proxy som kan använda en lokal språkmodell
Följande Dev Proxy-plugin-program använder en lokal språkmodell om det är tillgängligt:
