Имитация API OpenAI Azure

Статья
06/19/2024

При создании приложений, подключенных к Azure OpenAI, часто только часть приложения взаимодействует с API Azure OpenAI. При работе с частями приложения, которые не требуют реальных ответов от API Azure OpenAI, можно имитировать ответы с помощью прокси-сервера разработки. Использование имитированных ответов позволяет избежать ненужных затрат. Эта OpenAIMockResponsePlugin модель использует локальную языковую модель, запущенную в Ollama, для имитации ответов из API OpenAI Azure.

Перед началом работы

Чтобы имитировать ответы API Azure OpenAI с помощью прокси-сервера разработки, на компьютере необходимо установить Ollama. Чтобы установить Ollama, следуйте инструкциям в документации по Ollama.

По умолчанию в прокси-сервере разработки используется языковая модель phi-3. Чтобы использовать другую модель, обновите model свойство в файле конфигурации прокси-сервера разработки.

Настройка прокси-сервера разработки для имитации ответов API OpenAI Azure

Совет

Действия, описанные в этом руководстве, доступны в предустановке прокси-сервера разработки. Чтобы использовать предустановку, в командной строке запустите devproxy preset get simulate-azure-openaiи следуйте инструкциям.

Чтобы имитировать ответы API OpenAI Azure с помощью прокси-сервера разработки, необходимо включить его OpenAIMockResponsePlugin в devproxyrc.json файле.

{
  "$schema": "https://raw.githubusercontent.com/microsoft/dev-proxy/main/schemas/v0.19.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
    }
  ]
}

Затем настройте прокси-сервер разработки для перехвата запросов к API OpenAI Azure. Для простоты используйте подстановочные знаки для перехвата запросов ко всем развертываниям.

{
  // [...] trimmed for brevity
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ]
}

Наконец, настройте прокси-сервер разработки для использования локальной языковой модели.

{
  // [...] trimmed for brevity
  "languageModel": {
    "enabled": true
  }
}

Полный файл конфигурации выглядит следующим образом.

{
  "$schema": "https://raw.githubusercontent.com/microsoft/dev-proxy/main/schemas/v0.19.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll"
    }
  ],
  "urlsToWatch": [
    "https://*.openai.azure.com/openai/deployments/*/completions*"
  ],
  "languageModel": {
    "enabled": true
  }
}

Имитация ответов API OpenAI в Azure

Запустите Ollama с языковой моделью phi-3. В командной строке выполните команду ollama run phi3.

Затем запустите прокси-сервер разработки. Если вы используете предустановку, выполните команду devproxy -c "~appFolder/presets/simulate-azure-openai/simulate-azure-openai.json. При использовании пользовательского файла конфигурации с именем devproxyrc.json, хранящегося в текущем рабочем каталоге, выполните команду devproxy. Прокси-сервер разработки проверяет, что он может получить доступ к языковой модели Ollama и подтверждает, что он готов имитировать ответы API OpenAI Azure.

 info    OpenAIMockResponsePlugin: Checking language model availability...
 info    Listening on 127.0.0.1:8000...

Hotkeys: issue (w)eb request, (r)ecord, (s)top recording, (c)lear screen
Press CTRL+C to stop Dev Proxy

Запустите приложение и выполните запросы к API Azure OpenAI. Прокси-сервер разработки перехватывает запросы и имитирует ответы с помощью локальной языковой модели.

Следующий шаг

Дополнительные сведения о OpenAIMockResponsePlugin.

OpenAIMockResponsePlugin

Примеры

См. также связанные примеры прокси-сервера разработки:

Имитация API OpenAI Azure

Поделиться через