Simulace rozhraní API Azure OpenAI

Článek
06/19/2024

Při vytváření aplikací připojených k Azure OpenAI často komunikuje jenom část aplikace s rozhraním API Azure OpenAI. Když pracujete na částech aplikace, které nevyžadují skutečné odpovědi z rozhraní API Azure OpenAI, můžete simulovat odpovědi pomocí dev proxy serveru. Použití simulovaných odpovědí vám umožní vyhnout se zbytečným nákladům. Používá OpenAIMockResponsePlugin místní jazykový model spuštěný v Ollama k simulaci odpovědí z rozhraní API Azure OpenAI.

Než začnete

K simulaci odpovědí rozhraní API Azure OpenAI pomocí Dev Proxy potřebujete na svém počítači nainstalovaný Ollama. Pokud chcete nainstalovat Ollama, postupujte podle pokynů v dokumentaci k Ollama.

Dev Proxy ve výchozím nastavení používá jazykový model phi-3. Pokud chcete použít jiný model, aktualizujte model vlastnost v konfiguračním souboru dev proxy.

Konfigurace dev proxy serveru pro simulaci odpovědí rozhraní API Azure OpenAI

Tip

Kroky popsané v tomto kurzu jsou k dispozici v přednastavení pro vývojový proxy server připravený k použití. Pokud chcete použít předvolbu, spusťte devproxy preset get simulate-azure-openaina příkazovém řádku a postupujte podle pokynů.

Pokud chcete simulovat odpovědi rozhraní API Azure OpenAI pomocí dev Proxy serveru, musíte v devproxyrc.json souboru povolitOpenAIMockResponsePlugin.

{
  "$schema": "https://raw.githubusercontent.com/microsoft/dev-proxy/main/schemas/v0.19.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
    }
  ]
}

Dále nakonfigurujte Dev Proxy tak, aby zachycovali požadavky na rozhraní API Azure OpenAI. Pro zjednodušení používejte zástupné cardy k zachycení požadavků na všechna nasazení.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Nakonec nakonfigurujte Dev Proxy tak, aby používal místní jazykový model.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Úplný konfigurační soubor vypadá takto.

{
  "$schema": "https://raw.githubusercontent.com/microsoft/dev-proxy/main/schemas/v0.19.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Simulace odpovědí rozhraní API Azure OpenAI

Začněte Ollama s jazykovým modelem phi-3. Na příkazovém řádku spusťte ollama run phi3příkaz .

Potom spusťte Dev Proxy. Pokud použijete předvolbu, spusťte devproxy -c "~appFolder/presets/simulate-azure-openai/simulate-azure-openai.jsonpříkaz . Pokud používáte vlastní konfigurační soubor s názvem devproxyrc.json, uložený v aktuálním pracovním adresáři, spusťte devproxypříkaz . Dev Proxy zkontroluje, jestli má přístup k jazykovému modelu Ollama, a potvrdí, že je připravený simulovat odpovědi rozhraní API OpenAI Azure.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Spusťte aplikaci a proveďte požadavky na rozhraní API Azure OpenAI. Dev Proxy zachytí požadavky a simuluje odpovědi pomocí místního jazykového modelu.

Další krok

Přečtěte si další informace o OpenAIMockResponsePlugin.

OpenAIMockResponsePlugin

Ukázky

Projděte si také související ukázky dev proxy serveru:

Simulace rozhraní API Azure OpenAI

Sdílet prostřednictvím