Respuestas en caché a solicitudes de API de modelos de lenguaje grande

SE APLICA A: todos los niveles de API Management

La directiva llm-semantic-cache-store almacena en una caché externa configurada las respuestas a las solicitudes de API de finalización de chat y de API de finalización. El almacenamiento en caché de respuesta reduce el ancho de banda y los requisitos de procesamiento impuestos sobre la API de Azure OpenAI de back-end y disminuye la latencia percibida por los consumidores de API.

Nota:

• Esta directiva debe tener una directiva Obtención de respuestas en caché a las solicitudes de API de modelo de lenguaje grande correspondiente.
• Para conocer los requisitos previos y los pasos para habilitar el almacenamiento en caché semántico, consulte Habilitación del almacenamiento en caché semántico para las API de Azure OpenAI en Azure API Management.
• Esta directiva está actualmente en versión preliminar.

Nota:

Establezca los elementos de la directiva y los elementos secundarios en el orden proporcionado en la instrucción de directiva. Obtenga más información sobre el establecimiento o modificación de directivas de API Management.

Modelos admitidos

Use la directiva con las API de LLM agregadas a Azure API Management que están disponibles a través de la API de inferencia de modelos de Azure AI.

Instrucción de la directiva

<llm-semantic-cache-store duration="seconds"/>

Atributos

Atributo	Descripción	Necesario	Valor predeterminado
duration	Período de vida de las entradas almacenadas en caché, especificado en segundos. Se permiten expresiones de directiva.	Sí	N/D

Uso

• Secciones de la directiva: saliente
• Ámbitos de la directiva: global, producto, API y operación
• Puertas de enlace: v2

Notas de uso

• Esta directiva solo se puede usar una vez en una sección de directiva.
• Si se produce un error en la búsqueda de caché, la llamada API que usa la operación relacionada con la caché no genera un error y la operación de caché se completa correctamente.

Ejemplos

Ejemplo con la directiva llm-semantic-cache-lookup correspondiente

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Directivas relacionadas

• Almacenamiento en caché
• llm-semantic-cache-lookup

Contenido relacionado

Para más información sobre el trabajo con directivas, vea:

• Tutorial: Transformación y protección de una API
• Referencia de directivas para una lista completa de instrucciones de directivas y su configuración
• Expresiones de directiva
• Establecimiento o edición de directivas
• Reutilización de configuraciones de directivas
• Repositorio de fragmentos de código de directiva
• Creación de directivas mediante Microsoft Copilot en Azure