共用方式為

快取對 Azure OpenAI API 要求的回應

  • 發行項

適用於：所有 APIM 層

azure-openai-semantic-cache-store 原則會快取對已設定外部快取的 Azure OpenAI 聊天完成 API 和完成 API 要求的回應。 回應快取可降低加諸於後端 Azure OpenAI API 的頻寬和處理需求，並縮短 API 取用者所感受的延遲時間。

注意

注意

請依照原則陳述式中提供的順序，來設定原則的元素和子元素。 深入了解如何設定或編輯 APIM 原則。

支援的 Azure OpenAI 服務模型

此原則會與從 Azure OpenAI 服務新增至 API 管理的 API 搭配使用，API 類型如下：

API 類型 支援的模型
聊天完成 gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Embeddings text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

如需詳細資訊，請參閱 Azure OpenAI 服務模型。

原則陳述式

<azure-openai-semantic-cache-store duration="seconds"/>

屬性

屬性 描述 是必要欄位 預設
duration 快取項目的存留時間，以秒為單位進行指定。 允許使用原則運算式。 Yes N/A

使用方式

使用注意事項

  • 此原則只能在原則區段中使用一次。
  • 如果快取查閱失敗，使用快取相關作業的 API 呼叫不會引發錯誤，而且快取作業會順利完成。

範例

具有對應 azure-openai-semantic-cache-lookup 原則的範例

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

相關內容

如需使用原則的詳細資訊，請參閱：