Lokaal taalmodel gebruiken met Dev Proxy
Door Dev Proxy te verbinden met een lokaal taalmodel, kunt u de functionaliteit van dev proxy verbeteren. Selecteer Dev Proxy-invoegtoepassingen gebruiken het taalmodel om hun uitvoer te verbeteren, waarbij natuurlijke taal betrokken is. Met behulp van een lokaal taalmodel kunt u profiteren van de verbeterde functionaliteit zonder extra kosten.
Vereisten
Dev Proxy ondersteunt Ollama als host voor lokale taalmodellen. Volg de instructies in de documentatie van Ollama om het in te stellen op uw computer.
Dev Proxy configureren voor het gebruik van een lokaal taalmodel
Als u Dev Proxy wilt configureren voor het gebruik van een lokaal taalmodel, gebruikt u de languageModel instelling in het devproxyrc.json bestand.
{
"languageModel": {
"enabled": true
}
}
U kunt de volgende opties gebruiken als onderdeel van de languageModel instelling:
| Optie | Omschrijving | Default value |
|---|---|---|
cacheResponses |
Hiermee geeft u op of antwoorden van het taalmodel moeten worden opgeslagen in de cache. | true |
enabled |
Hiermee geeft u op of een lokaal taalmodel moet worden gebruikt. | false |
model |
De naam van het te gebruiken taalmodel. | phi3 |
url |
De URL van het Ollama-exemplaar. | http://localhost:11434 |
Dev Proxy maakt standaard gebruik van de standaardconfiguratie Ollama met het Phi-3-model . Het slaat ook reacties van het taalmodel in de cache op, wat betekent dat u voor dezelfde prompt een onmiddellijke reactie krijgt zonder te wachten tot het taalmodel het verwerkt.
Belangrijk
Wanneer u een lokaal taalmodel gebruikt, moet u Ollama starten voordat u Dev Proxy start.
Dev Proxy-invoegtoepassingen die een lokaal taalmodel kunnen gebruiken
De volgende Dev Proxy-invoegtoepassingen maken gebruik van een lokaal taalmodel, indien beschikbaar:
