Simule erros de APIs OpenAI
Ao usar APIs OpenAI em seu aplicativo, você deve testar como seu aplicativo lida com erros de API. O Dev Proxy permite simular erros em qualquer API OpenAI usando o GenericRandomErrorPlugin.
Dica
Transfira esta predefinição executando na linha de comandos devproxy preset get openai-throttling
.
Na pasta de instalação do Dev Proxy, localize a pasta presets
. Na pasta presets
, crie um novo arquivo chamado openai-errors.json
. Abra o arquivo em um editor de código.
Crie um novo objeto na matriz plugins
fazendo referência ao GenericRandomErrorPlugin
. Defina o URL da API OpenAI para o plug-in observar e adicione uma referência à configuração do plug-in.
{
"$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.24.0/rc.schema.json",
"plugins": [
{
"name": "GenericRandomErrorPlugin",
"enabled": true,
"pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll",
"configSection": "openAIAPI",
"urlsToWatch": [
"https://api.openai.com/*"
]
}
]
}
Crie o objeto de configuração do plug-in para fornecer ao plug-in o local das respostas de erro.
{
"$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.23.0/rc.schema.json",
"plugins": [
{
"name": "GenericRandomErrorPlugin",
"enabled": true,
"pluginPath": "~appFolder/plugins/dev-proxy-plugins.dll",
"configSection": "openAIAPI",
"urlsToWatch": [
"https://api.openai.com/*"
]
}
],
"openAIAPI": {
"errorsFile": "errors-openai.json"
}
}
Na mesma pasta, crie o arquivo errors-openai.json
. Este arquivo contém as possíveis respostas de erro que podem ser retornadas quando o plugin envia uma resposta de erro.
{
"$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v0.23.0/genericrandomerrorplugin.schema.json",
"errors": [
{
"request": {
"url": "https://api.openai.com/*"
},
"responses": [
{
"statusCode": 429,
"headers": [
{
"name": "content-type",
"value": "application/json; charset=utf-8"
}
],
"body": {
"error": {
"message": "Rate limit reached for default-text-davinci-003 in organization org-K7hT684bLccDbBRnySOoK9f2 on tokens per min. Limit: 150000.000000 / min. Current: 160000.000000 / min. Contact support@openai.com if you continue to have issues. Please add a payment method to your account to increase your rate limit. Visit https://beta.openai.com/account/billing to add a payment method.",
"type": "tokens",
"param": null,
"code": null
}
}
},
{
"statusCode": 429,
"headers": [
{
"name": "content-type",
"value": "application/json; charset=utf-8"
}
],
"body": {
"error": {
"message": "Rate limit reached for default-text-davinci-003 in organization org-K7hT684bLccDbBRnySOoK9f2 on requests per min. Limit: 60.000000 / min. Current: 70.000000 / min. Contact support@openai.com if you continue to have issues. Please add a payment method to your account to increase your rate limit. Visit https://beta.openai.com/account/billing to add a payment method.",
"type": "requests",
"param": null,
"code": null
}
}
},
{
"statusCode": 429,
"addDynamicRetryAfter": true,
"headers": [
{
"name": "content-type",
"value": "application/json; charset=utf-8"
}
],
"body": {
"error": {
"message": "The engine is currently overloaded, please try again later.",
"type": "requests",
"param": null,
"code": null
}
}
}
]
}
]
}
Inicie o Dev Proxy com o arquivo de configuração:
devproxy --config-file "~appFolder/presets/openai-errors.json"
Quando você usa seu aplicativo chamando APIs OpenAI, o Dev Proxy retorna aleatoriamente uma das respostas de erro definidas no arquivo errors-openai.json
.
Saiba mais sobre o GenericRandomErrorPlugin.