Sdílet prostřednictvím

Použití místního jazykového modelu s Dev Proxy

  • Článek

Připojením dev Proxy k místnímu jazykovému modelu můžete vylepšit funkce dev proxy serveru. Vyberte moduly plug-in Dev Proxy, které používají jazykový model ke zlepšení jejich výstupu, kde je zahrnutý přirozený jazyk. Díky použití místního jazykového modelu můžete využívat vylepšené funkce, aniž byste museli šetřit další náklady.

Požadavky

Dev Proxy podporuje Ollama jako hostitele pro místní jazykové modely. Pokud ho chcete nastavit na počítači, postupujte podle pokynů v dokumentaci k Ollama.

Konfigurace dev proxy serveru pro použití místního jazykového modelu

Pokud chcete nakonfigurovat Dev Proxy tak, aby používal místní jazykový model, použijte languageModel nastavení v devproxyrc.json souboru.

{
  "languageModel": {
    "enabled": true
  }
}

Jako součást languageModel nastavení můžete použít následující možnosti:

Možnost Popis Default value
cacheResponses Určuje, jestli se mají odpovědi z jazykového modelu ukládat do mezipaměti. true
enabled Určuje, jestli se má použít místní jazykový model. false
model Název jazykového modelu, který se má použít. phi3
url Adresa URL instance Ollama. http://localhost:11434

Dev Proxy ve výchozím nastavení používá výchozí konfiguraci Ollama s modelem Phi-3 . Také ukládá odpovědi z jazykového modelu do mezipaměti, což znamená, že pro stejnou výzvu získáte okamžitou odpověď bez čekání na zpracování jazykového modelu.

Důležité

Při použití místního jazykového modelu nezapomeňte před spuštěním dev Proxy spustit Ollama.

Moduly plug-in Dev Proxy, které můžou používat místní jazykový model

Následující moduly plug-in Dev Proxy používají místní jazykový model, pokud je k dispozici: