Respostas de cache para solicitações de API do Azure OpenAI
APLICA-SE A: Todas as camadas de gerenciamento de API
A azure-openai-semantic-cache-store política armazena em cache as respostas às solicitações da API de Conclusão do Chat do Azure OpenAI e da API de Conclusão em um cache externo configurado. O cache de resposta reduz os requisitos de largura de banda e processamento impostos à API OpenAI do Azure de back-end e reduz a latência percebida pelos consumidores de API.
Nota
- Esta política deve ter uma política de Obter respostas em cache correspondente às solicitações de API do Azure OpenAI.
- Para obter pré-requisitos e etapas para habilitar o cache semântico, consulte Habilitar cache semântico para APIs do Azure OpenAI no Gerenciamento de API do Azure.
- Atualmente, esta política está em pré-visualização.
Nota
Defina os elementos da política e os elementos filho na ordem fornecida na declaração de política. Saiba mais sobre como definir ou editar políticas de Gerenciamento de API.
Modelos de Serviço OpenAI do Azure suportados
A política é usada com APIs adicionadas ao Gerenciamento de API do Serviço OpenAI do Azure dos seguintes tipos:
| Tipo de API | Modelos suportados |
|---|---|
| Conclusão do chat | GPT-3,5 GPT-4 |
| Conclusão | GPT-3.5-Turbo-Instrução |
| Incorporações | incorporação de texto-3-grande incorporação de texto-3-pequeno incorporação de texto-ada-002 |
Para obter mais informações, consulte Modelos do Azure OpenAI Service.
Declaração de política
<azure-openai-semantic-cache-store duration="seconds"/>
Atributos
| Atributo | Description | Necessário | Predefinição |
|---|---|---|---|
| duration | Tempo de vida útil das entradas armazenadas em cache, especificado em segundos. São permitidas expressões de política. | Sim | N/A |
Utilização
- Secções políticas: saída
- Escopos da política: global, produto, API, operação
- Gateways: v2
Notas de utilização
- Esta política só pode ser utilizada uma vez numa secção de política.
- Se a pesquisa de cache falhar, a chamada de API que usa a operação relacionada ao cache não gerará um erro e a operação de cache será concluída com êxito.
Exemplos
Exemplo com a política azure-openai-semantic-cache-lookup correspondente
<policies>
<inbound>
<base />
<azure-openai-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id ="azure-openai-backend"
embeddings-backend-auth ="system-assigned" >
<vary-by>@(context.Subscription.Id)</vary-by>
</azure-openai-semantic-cache-lookup>
</inbound>
<outbound>
<azure-openai-semantic-cache-store duration="60" />
<base />
</outbound>
</policies>
Políticas relacionadas
Conteúdos relacionados
Para obter mais informações sobre como trabalhar com políticas, consulte:
- Tutorial: Transforme e proteja sua API
- Referência de política para uma lista completa de declarações de política e suas configurações
- Expressões de política
- Definir ou editar políticas
- Reutilizar configurações de política
- Recompra de trechos de política
- Criar políticas usando o Microsoft Copilot no Azure