Partilhar via

Emitir métricas para consumo de tokens de modelo de linguagem grande

  • Artigo

APLICA-SE A: Todas as camadas de gerenciamento de API

A llm-emit-token-metric política envia métricas personalizadas para o Application Insights sobre o consumo de tokens de modelo de linguagem grande (LLM) por meio de APIs LLM. As métricas de contagem de tokens incluem: Total de Tokens, Prompt Tokens e Completion Tokens.

Nota

Atualmente, esta política está em pré-visualização.

Nota

Defina os elementos da política e os elementos filho na ordem fornecida na declaração de política. Saiba mais sobre como definir ou editar políticas de Gerenciamento de API.

Modelos suportados

Use a política com APIs LLM adicionadas ao Gerenciamento de API do Azure que estão disponíveis por meio da API de Inferência de Modelo de IA do Azure.

Limites para métricas personalizadas

O Azure Monitor impõe limites de uso para métricas personalizadas que podem afetar sua capacidade de emitir métricas do Gerenciamento de API. Por exemplo, o Azure Monitor atualmente define um limite de 10 chaves de dimensão por métrica e um limite de 50.000 séries temporais ativas totais por região em uma assinatura (dentro de um período de 12 horas).

Esses limites têm as seguintes implicações para configurar métricas personalizadas em uma política de Gerenciamento de API, como emit-metric ou azure-openai-emit-token-metric:

  • Você pode configurar um máximo de 10 dimensões personalizadas por política.

  • O número de séries temporais ativas geradas pela política dentro de um período de 12 horas é o produto do número de valores exclusivos de cada dimensão configurada durante o período. Por exemplo, se três dimensões personalizadas fossem configuradas na política e cada dimensão tivesse 10 valores possíveis dentro do período, a política contribuiria com 1.000 (10 x 10 x 10) séries temporais ativas.

  • Se você configurar a política em várias instâncias de Gerenciamento de API que estão na mesma região em uma assinatura, todas as instâncias poderão contribuir para o limite de séries temporais ativas regionais.

Saiba mais sobre limitações de design e considerações para métricas personalizadas no Azure Monitor.

Pré-requisitos

Declaração de política

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Atributos

Atributo Description Obrigatório Default value
espaço de nomes Uma cadeia de caracteres. Namespace da métrica. Expressões de política não são permitidas. Não Gestão de API

Elementos

Elemento Description Obrigatório
dimensão Adicione um ou mais desses elementos para cada dimensão incluída na métrica. Sim

Atributos de dimensão

Atributo Description Obrigatório Default value
nome Uma cadeia de caracteres ou expressão de política. Nome da dimensão. Sim N/A
valor Uma cadeia de caracteres ou expressão de política. Valor da dimensão. Só pode ser omitido se name corresponder a uma das dimensões padrão. Em caso afirmativo, o valor é fornecido conforme o nome da dimensão. No N/A

Nomes de dimensão padrão que podem ser usados sem valor

  • API ID
  • ID da operação
  • ID do Produto
  • ID de Utilizador
  • ID de Subscrição
  • Location
  • ID do Gateway

Utilização

Notas de utilização

  • Essa política pode ser usada várias vezes por definição de política.
  • Você pode configurar no máximo 10 dimensões personalizadas para esta política.
  • Quando disponíveis, os valores na seção de uso da resposta da API LLM são usados para determinar métricas de token.
  • Alguns endpoints LLM suportam streaming de respostas. Quando stream definido como true na solicitação de API para habilitar o streaming, as métricas de token são estimadas.

Exemplo

O exemplo a seguir envia métricas de contagem de token LLM para o Application Insights, juntamente com o ID da API como uma dimensão personalizada.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Conteúdos relacionados

Para obter mais informações sobre como trabalhar com políticas, consulte: