Delen via

Metrische gegevens verzenden voor het verbruik van tokens voor grote taalmodellen

  • Artikel

VAN TOEPASSING OP: Alle API Management-lagen

Het llm-emit-token-metric beleid verzendt aangepaste metrische gegevens naar Application Insights over het verbruik van LLM-tokens (Large Language Model) via LLM-API's. Metrische tokenaantallen zijn onder andere: Totaaltokens, prompttokens en voltooiingstokens.

Notitie

Dit beleid is momenteel beschikbaar als preview-versie.

Notitie

Stel de elementen en onderliggende elementen van het beleid in de volgorde in die in de beleidsverklaring is opgegeven. Meer informatie over het instellen of bewerken van API Management-beleid.

Ondersteunde modellen

Gebruik het beleid met LLM-API's die zijn toegevoegd aan Azure API Management die beschikbaar zijn via de Azure AI-modeldeductie-API.

Limieten voor aangepaste metrische gegevens

Azure Monitor legt gebruikslimieten op voor aangepaste metrische gegevens die van invloed kunnen zijn op uw mogelijkheid om metrische gegevens uit API Management te verzenden. Azure Monitor stelt bijvoorbeeld momenteel een limiet van 10 dimensiesleutels per metrische waarde in en een limiet van 50.000 totale actieve tijdreeksen per regio in een abonnement (binnen een periode van 12 uur).

Deze limieten hebben de volgende gevolgen voor het configureren van aangepaste metrische gegevens in een API Management-beleid, zoals emit-metric of azure-openai-emit-token-metric:

  • U kunt maximaal 10 aangepaste dimensies per beleid configureren.

  • Het aantal actieve tijdreeksen dat door het beleid binnen een periode van 12 uur wordt gegenereerd, is het product van het aantal unieke waarden van elke geconfigureerde dimensie gedurende de periode. Als er bijvoorbeeld drie aangepaste dimensies zijn geconfigureerd in het beleid en elke dimensie 10 mogelijke waarden binnen de periode had, zou het beleid 1000 (10 x 10 x 10) actieve tijdreeksen bijdragen.

  • Als u het beleid configureert in meerdere API Management-exemplaren die zich in dezelfde regio in een abonnement bevinden, kunnen alle exemplaren bijdragen aan de regionale limiet voor actieve tijdreeksen.

Meer informatie over ontwerpbeperkingen en overwegingen voor aangepaste metrische gegevens in Azure Monitor.

Vereisten

  • Een of meer LLM-API's moeten worden toegevoegd aan uw API Management-exemplaar.
  • Uw API Management-exemplaar moet worden geïntegreerd met Application Insights. Zie Azure API Management integreren met Azure-toepassing Insights voor meer informatie.
  • Schakel Application Insights-logboekregistratie in voor uw LLM-API's.
  • Schakel aangepaste metrische gegevens in met dimensies in Application Insights. Zie Aangepaste metrische gegevens verzenden voor meer informatie.

Beleidsinstructie

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Kenmerken

Kenmerk Beschrijving Vereist Default value
naamruimte Een tekenreeks. Naamruimte van metrische gegevens. Beleidsexpressies zijn niet toegestaan. Nee API Management

Elementen

Element Beschrijving Vereist
dimensie Voeg een of meer van deze elementen toe voor elke dimensie die is opgenomen in de metrische waarde. Ja

dimensiekenmerken

Kenmerk Beschrijving Vereist Default value
naam Een tekenreeks of beleidsexpressie. Naam van dimensie. Ja N.v.t.
waarde Een tekenreeks of beleidsexpressie. Waarde van dimensie. Kan alleen worden weggelaten als deze overeenkomt met name een van de standaarddimensies. Als dat het zo is, wordt de waarde opgegeven volgens de dimensienaam. Nee N.v.t.

Standaarddimensienamen die zonder waarde kunnen worden gebruikt

  • API-id
  • Bewerkings-id
  • Product-id
  • Gebruikers-id
  • Abonnements-id
  • Locatie
  • Gateway-id

Gebruik

Gebruiksnotities

  • Dit beleid kan meerdere keren per beleidsdefinitie worden gebruikt.
  • U kunt maximaal 10 aangepaste dimensies voor dit beleid configureren.
  • Waar beschikbaar worden waarden in het gebruiksgedeelte van het antwoord van de LLM-API gebruikt om metrische tokengegevens te bepalen.
  • Bepaalde LLM-eindpunten ondersteunen het streamen van antwoorden. Wanneer stream deze is ingesteld true op in de API-aanvraag om streaming in te schakelen, worden de metrische tokengegevens geschat.

Opmerking

In het volgende voorbeeld worden metrische gegevens over het aantal LLM-token verzonden naar Application Insights, samen met de API-id als een aangepaste dimensie.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Gerelateerde inhoud

Zie voor meer informatie over het werken met beleid: