Respostas de cache para solicitações de API do Azure OpenAI

APLICA-SE A: Todas as camadas de gerenciamento de API

A azure-openai-semantic-cache-store política armazena em cache as respostas às solicitações da API de Conclusão do Chat do Azure OpenAI e da API de Conclusão em um cache externo configurado. O cache de resposta reduz os requisitos de largura de banda e processamento impostos à API OpenAI do Azure de back-end e reduz a latência percebida pelos consumidores de API.

Nota

• Esta política deve ter uma política de Obter respostas em cache correspondente às solicitações de API do Azure OpenAI.
• Para obter pré-requisitos e etapas para habilitar o cache semântico, consulte Habilitar cache semântico para APIs do Azure OpenAI no Gerenciamento de API do Azure.
• Atualmente, esta política está em pré-visualização.

Nota

Defina os elementos da política e os elementos filho na ordem fornecida na declaração de política. Saiba mais sobre como definir ou editar políticas de Gerenciamento de API.

Modelos de Serviço OpenAI do Azure suportados

A política é usada com APIs adicionadas ao Gerenciamento de API do Serviço OpenAI do Azure dos seguintes tipos:

Tipo de API	Modelos suportados
Conclusão do chat	GPT-3,5 GPT-4
Conclusão	GPT-3.5-Turbo-Instrução
Incorporações	incorporação de texto-3-grande incorporação de texto-3-pequeno incorporação de texto-ada-002

Para obter mais informações, consulte Modelos do Azure OpenAI Service.

Declaração de política

<azure-openai-semantic-cache-store duration="seconds"/>

Atributos

Atributo	Description	Necessário	Predefinição
duration	Tempo de vida útil das entradas armazenadas em cache, especificado em segundos. São permitidas expressões de política.	Sim	N/A

Utilização

• Secções políticas: saída
• Escopos da política: global, produto, API, operação
• Gateways: clássico, v2, consumo

Notas de utilização

• Esta política só pode ser utilizada uma vez numa secção de política.
• Se a pesquisa de cache falhar, a chamada de API que usa a operação relacionada ao cache não gerará um erro e a operação de cache será concluída com êxito.

Exemplos

Exemplo com a política azure-openai-semantic-cache-lookup correspondente

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Políticas relacionadas

• Armazenamento em cache
• azure-openai-semantic-cache-lookup

Conteúdos relacionados

Para obter mais informações sobre como trabalhar com políticas, consulte:

• Tutorial: Transforme e proteja sua API
• Referência de política para uma lista completa de declarações de política e suas configurações
• Expressões de política
• Definir ou editar políticas
• Reutilizar configurações de política
• Recompra de trechos de política
• Kit de ferramentas de política de Gerenciamento de API do Azure
• Criar políticas usando o Microsoft Copilot no Azure