Ответы кэша на запросы API OpenAI Azure

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика azure-openai-semantic-cache-store кэширует ответы на API завершения чата Azure OpenAI и API завершения в настроенный внешний кэш. Кэширование ответов снижает требования к пропускной способности и обработке, введенные серверной частью API OpenAI, и снижает задержку, воспринимаемую потребителями API.

Примечание.

• Эта политика должна иметь соответствующие ответы get cached responses to Azure OpenAI API requests policy.
• Предварительные требования и шаги для включения семантического кэширования см. в статье "Включение семантического кэширования для API OpenAI Azure" в Azure Управление API.
• В настоящее время эта политика находится в предварительной версии.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели службы OpenAI Azure

Политика используется с API- интерфейсами, добавленными в Управление API из службы Azure OpenAI следующих типов:

Тип API	Поддерживаемые модели
Завершение чата	gpt-3.5 gpt-4
Completion	gpt-3.5-turbo-instruct
Внедрение	text-embedding-3-large text-embedding-3-small text-embedding-ada-002

Для получения дополнительной информации см. Модели Службы Azure OpenAI.

Правило политики

<azure-openai-semantic-cache-store duration="seconds"/>

Атрибуты

Атрибут	Description	Обязательное поле	По умолчанию.
duration	Срок жизни кэшированных записей (в секундах). Допустимы выражения политики.	Да	Н/П

Использование

• Разделы политики: outbound.
• Области политики: global, product, API, operation.
• Шлюзы: классическая, версия 2, потребление

Примечания об использовании

• Эту политику можно использовать только один раз в разделе политики.
• Если поиск кэша завершается сбоем, вызов API, использующий операцию, связанную с кэшем, не вызывает ошибку, и операция кэша успешно завершается.

Примеры

Пример с соответствующей политикой поиска azure-openai-semantic-cache-lookup

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Связанные политики

• Кэширование
• azure-openai-semantic-cache-lookup

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.

• Руководство. Преобразование и защита API
• Полный перечень операторов политик и их параметров см. в справочнике по политикам.
• Выражения политики
• Настройка или изменение политик
• Повторное использование конфигураций политик
• Репозиторий фрагментов политик
• Набор средств политики Управление API Azure
• Создание политик с помощью Microsoft Copilot в Azure