Udostępnij za pośrednictwem

Używanie lokalnego modelu językowego z serwerem proxy deweloperów

  • Artykuł

Łącząc serwer proxy dev z lokalnym modelem językowym, można ulepszyć funkcjonalność serwera proxy deweloperów. Wybierz pozycję Wtyczki serwera proxy deweloperów używają modelu językowego, aby ulepszyć dane wyjściowe, w których zaangażowany jest język naturalny. Korzystając z lokalnego modelu językowego, możesz korzystać z ulepszonej funkcjonalności bez ponoszenia dodatkowych kosztów.

Wymagania wstępne

Serwer proxy deweloperów obsługuje platformę Ollama jako hosta dla lokalnych modeli językowych. Aby skonfigurować ją na maszynie, postępuj zgodnie z instrukcjami w dokumentacji aplikacji Ollama.

Konfigurowanie serwera proxy deweloperskiego do używania lokalnego modelu językowego

Aby skonfigurować serwer proxy deweloperów do używania lokalnego modelu językowego, użyj languageModel ustawienia w devproxyrc.json pliku .

{
  "languageModel": {
    "enabled": true
  }
}

W ramach languageModel ustawienia można użyć następujących opcji:

Opcja opis Domyślna wartość
cacheResponses Określa, czy buforować odpowiedzi z modelu językowego. true
enabled Określa, czy używać lokalnego modelu językowego. false
model Nazwa modelu językowego do użycia. phi3
url Adres URL wystąpienia Ollama. http://localhost:11434

Domyślnie serwer proxy deweloperów używa domyślnej konfiguracji Ollama z modelem Phi-3 . Buforuje również odpowiedzi z modelu językowego, co oznacza, że w przypadku tego samego monitu otrzymasz natychmiastową odpowiedź bez oczekiwania na przetworzenie modelu językowego.

Ważne

W przypadku korzystania z lokalnego modelu językowego pamiętaj, aby uruchomić usługę Ollama przed uruchomieniem serwera proxy deweloperskiego.

Wtyczki serwera proxy deweloperów, które mogą używać lokalnego modelu językowego

Następujące wtyczki serwera proxy deweloperów używają lokalnego modelu językowego, jeśli jest dostępny: