Sdílet prostřednictvím

Generování metrik pro spotřebu velkých tokenů jazykového modelu

  • Článek

PLATÍ PRO: Všechny úrovně služby API Management

Tato llm-emit-token-metric zásada odesílá vlastní metriky do Application Insights o spotřebě velkých tokenů jazykového modelu (LLM) prostřednictvím rozhraní API LLM. Mezi metriky počtu tokenů patří celkový počet tokenů, tokeny výzvy a tokeny dokončení.

Poznámka:

V současné době je tato zásada ve verzi Preview.

Poznámka:

Nastavte prvky zásad a podřízené prvky v pořadí uvedeném v prohlášení o zásadách. Přečtěte si další informace o tom, jak nastavit nebo upravit zásady služby API Management.

Podporované modely

Použijte zásadu s rozhraními LLM API přidanými do služby Azure API Management, které jsou dostupné prostřednictvím rozhraní API pro odvozování modelů Azure AI.

Omezení pro vlastní metriky

Azure Monitor ukládá limity využití pro vlastní metriky, které můžou ovlivnit vaši schopnost generovat metriky ze služby API Management. Azure Monitor například v současné době nastavuje limit 10 klíčů dimenzí na metriku a limit 50 000 celkového počtu aktivních časových řad na oblast v předplatném (v rámci 12hodinového období).

Tato omezení mají následující důsledky pro konfiguraci vlastních metrik v zásadách služby API Management, například emit-metric azure-openai-emit-token-metric:

  • Pro každou zásadu můžete nakonfigurovat maximálně 10 vlastních dimenzí.

  • Počet aktivních časových řad vygenerovaných zásadou během 12hodinového období je součinem počtu jedinečných hodnot jednotlivých nakonfigurovaných dimenzí během období. Pokud byly například v zásadách nakonfigurovány tři vlastní dimenze a každá dimenze měla v daném období 10 možných hodnot, zásada by přispěla 1 000 (10 x 10 x 10) aktivních časových řad.

  • Pokud zásadu nakonfigurujete v několika instancích služby API Management, které jsou ve stejné oblasti v předplatném, můžou všechny instance přispívat k limitu regionálních aktivních časových řad.

Přečtěte si další informace o omezeních a aspektech návrhu pro vlastní metriky ve službě Azure Monitor.

Požadavky

Prohlášení o zásadách

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Atributy

Atribut Popis Povinní účastníci Default value
namespace Řetězec. Obor názvů metriky Výrazy zásad nejsou povolené. No API Management

Elementy

Element (Prvek) Popis Povinní účastníci
Dimenze Přidejte jeden nebo více těchto prvků pro každou dimenzi, která je součástí metriky. Ano

atributy dimenze

Atribut Popis Povinní účastníci Default value
name Řetězcový výraz nebo výraz zásad. Název dimenze. Yes –
hodnota Řetězcový výraz nebo výraz zásad. Hodnota dimenze Tuto možnost je možné vynechat, pouze pokud name odpovídá jedné z výchozích dimenzí. Pokud ano, je hodnota zadaná podle názvu dimenze. No –

Výchozí názvy dimenzí, které lze použít bez hodnoty

  • API ID
  • ID operace
  • ID produktu
  • ID uživatele
  • Subscription ID
  • Umístění
  • ID brány

Využití

Poznámky k využití

  • Tuto zásadu je možné použít vícekrát pro každou definici zásady.
  • Pro tuto zásadu můžete nakonfigurovat maximálně 10 vlastních dimenzí.
  • Pokud jsou k dispozici, hodnoty v části využití odpovědi z rozhraní LLM API se používají k určení metrik tokenů.
  • Některé koncové body LLM podporují streamování odpovědí. Pokud stream je v požadavku rozhraní API nastavená na true povolení streamování, odhadují se metriky tokenů.

Příklad

Následující příklad odešle metriky počtu tokenů LLM do Application Insights spolu s ID rozhraní API jako vlastní dimenze.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Související obsah

Další informace o práci se zásadami najdete v tématech: