Sdílet prostřednictvím

Generování metrik pro využití tokenů Azure OpenAI

  • Článek

PLATÍ PRO: Všechny úrovně služby API Management

Zásada azure-openai-emit-token-metric odesílá vlastní metriky do Application Insights o spotřebě velkých tokenů jazykového modelu prostřednictvím rozhraní API služby Azure OpenAI. Mezi metriky počtu tokenů patří celkový počet tokenů, tokeny výzvy a tokeny dokončení.

Poznámka:

Nastavte prvky zásad a podřízené prvky v pořadí uvedeném v prohlášení o zásadách. Přečtěte si další informace o tom, jak nastavit nebo upravit zásady služby API Management.

Podporované modely služby Azure OpenAI

Zásady se používají s rozhraními API přidanými do služby API Management ze služby Azure OpenAI s následujícími typy:

Typ rozhraní API Podporované modely
Dokončení chatu gpt-3.5

gpt-4
Dokončení gpt-3.5-turbo-instruct
Vkládání text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Další informace najdete v tématu Modely Azure OpenAI Service.

Omezení pro vlastní metriky

Azure Monitor ukládá limity využití pro vlastní metriky, které můžou ovlivnit vaši schopnost generovat metriky ze služby API Management. Azure Monitor například v současné době nastavuje limit 10 klíčů dimenzí na metriku a limit 50 000 celkového počtu aktivních časových řad na oblast v předplatném (v rámci 12hodinového období).

Tato omezení mají následující důsledky pro konfiguraci vlastních metrik v zásadách služby API Management, například emit-metric azure-openai-emit-token-metric:

  • Pro každou zásadu můžete nakonfigurovat maximálně 10 vlastních dimenzí.

  • Počet aktivních časových řad vygenerovaných zásadou během 12hodinového období je součinem počtu jedinečných hodnot jednotlivých nakonfigurovaných dimenzí během období. Pokud byly například v zásadách nakonfigurovány tři vlastní dimenze a každá dimenze měla v daném období 10 možných hodnot, zásada by přispěla 1 000 (10 x 10 x 10) aktivních časových řad.

  • Pokud zásadu nakonfigurujete v několika instancích služby API Management, které jsou ve stejné oblasti v předplatném, můžou všechny instance přispívat k limitu regionálních aktivních časových řad.

Přečtěte si další informace o omezeních a aspektech návrhu pro vlastní metriky ve službě Azure Monitor.

Požadavky

Prohlášení o zásadách

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributy

Atribut Popis Povinní účastníci Default value
namespace Řetězec. Obor názvů metriky Výrazy zásad nejsou povolené. No API Management

Elementy

Element (Prvek) Popis Povinní účastníci
Dimenze Přidejte jeden nebo více těchto prvků pro každou dimenzi, která je součástí metriky. Ano

atributy dimenze

Atribut Popis Povinní účastníci Default value
name Řetězcový výraz nebo výraz zásad. Název dimenze. Yes –
hodnota Řetězcový výraz nebo výraz zásad. Hodnota dimenze Tuto možnost je možné vynechat, pouze pokud name odpovídá jedné z výchozích dimenzí. Pokud ano, je hodnota zadaná podle názvu dimenze. No –

Výchozí názvy dimenzí, které lze použít bez hodnoty

  • API ID
  • ID operace
  • ID produktu
  • ID uživatele
  • Subscription ID
  • Umístění
  • ID brány

Využití

Poznámky k využití

  • Tuto zásadu je možné použít vícekrát pro každou definici zásady.
  • Pro tuto zásadu můžete nakonfigurovat maximálně 10 vlastních dimenzí.
  • Tyto zásady je možné volitelně nakonfigurovat při přidávání rozhraní API ze služby Azure OpenAI pomocí portálu.
  • Pokud jsou k dispozici, hodnoty v části využití odpovědi z rozhraní API služby Azure OpenAI se používají k určení metrik tokenů.
  • Některé koncové body Azure OpenAI podporují streamování odpovědí. Pokud stream je v požadavku rozhraní API nastavená na true povolení streamování, odhadují se metriky tokenů.

Příklad

Následující příklad odešle metriky počtu tokenů Azure OpenAI do Application Insights spolu s ID rozhraní API jako vlastní dimenzí.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Související obsah

Další informace o práci se zásadami najdete v tématech: