Compartilhar via

Emitir métricas para consumo de tokens do OpenAI do Azure

  • Artigo

APLICA-SE A: todas as camadas do Gerenciamento de API

A política azure-openai-emit-token-metric envia métricas personalizadas ao Application Insights sobre o consumo de tokens grandes de modelo de linguagem por meio de APIs do Serviço OpenAI do Azure. As métricas de contagem de tokens incluem: total de tokens, tokens de prompt e tokens de conclusão.

Observação

Defina os elementos da política e os elementos filho na ordem fornecida na declaração da política. Saiba mais sobre como definir e editar as políticas de Gerenciamento de API.

Modelos de Serviço OpenAI do Azure com suporte

A política é usada com APIs adicionadas ao Gerenciamento de API do Serviço OpenAI do Azure dos seguintes tipos:

Tipo de API Modelos com suporte
Conclusão do chat gpt-3.5

gpt-4
Completion gpt-3.5-turbo-instruct
Incorporações text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Para obter mais informações, consulte Modelos do Serviço OpenAI do Azure.

Limites para métricas personalizadas

O Azure Monitor impõe limites de uso para métricas personalizadas que podem afetar sua capacidade de emitir métricas de Gerenciamento de API. Por exemplo, o Azure Monitor atualmente define um limite de 10 chaves de dimensão por métrica e um limite de 50.000 séries temporais ativas totais por região em uma assinatura (dentro de um período de 12 horas).

Esses limites têm as seguintes implicações para configurar métricas personalizadas em uma política de Gerenciamento de API, como emit-metric ou azure-openai-emit-token-metric:

  • Você pode configurar no máximo 10 dimensões personalizadas por política .

  • O número de séries temporais ativas geradas pela política dentro de um período de 12 horas é o produto do número de valores exclusivos de cada dimensão configurada durante o período. Por exemplo, se três dimensões personalizadas foram configuradas na política e cada dimensão tinha 10 valores possíveis dentro do período, a política contribuiria com 1.000 (10 x 10 x 10) séries temporais ativas.

  • Se você configurar a política em várias instâncias de Gerenciamento de API que estão na mesma região em uma assinatura, todas as instâncias poderão contribuir para o limite de série temporal ativo regional.

Saiba mais sobre limitações de design e considerações para métricas personalizadas no Azure Monitor.

Pré-requisitos

Declaração de política

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atributos

Atributo Descrição Obrigatório Valor padrão
namespace Uma cadeia de caracteres. Namespace da métrica. Expressões de política não são permitidas. Não Gerenciamento da API

Elementos

Elemento Descrição Obrigatório
dimensão Adicione um ou mais desses elementos para cada dimensão incluída na métrica. Yes

atributos de dimensão

Atributo Descrição Obrigatório Valor padrão
name Uma cadeia de caracteres ou expressão de política. Nome da dimensão. Sim N/D
value Uma cadeia de caracteres ou expressão de política. Valor da dimensão. Só poderá ser omitido se name corresponder a uma das dimensões padrão. Em caso afirmativo, o valor é fornecido de acordo com o nome da dimensão. Não N/D

Nomes de dimensão padrão que podem ser usados sem valor

  • ID da API
  • ID da Operação
  • Produto ID
  • ID do Usuário
  • ID da assinatura
  • Localidade
  • ID de Gateway

Uso

Observações de uso

  • Essa política pode ser usada várias vezes por definição de política.
  • Você pode configurar no máximo 10 dimensões personalizadas para essa política.
  • Opcionalmente, essa política pode ser configurada ao adicionar uma API do Serviço OpenAI do Azure usando o portal.
  • Quando disponível, os valores na seção de uso da resposta fornecida pela API do Serviço OpenAI do Azure serão utilizados para determinar o uso de métricas.
  • Determinados pontos de extremidade do Azure OpenAI são compatíveis com o streaming de respostas. Quando stream é definido como true na solicitação de API para habilitar o streaming, as métricas de token são estimadas.

Exemplo

O exemplo a seguir envia métricas de contagem de tokens do OpenAI do Azure ao Application Insights juntamente com a ID da API como uma dimensão personalizada.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Conteúdo relacionado

Para obter mais informações sobre como trabalhar com políticas, consulte: