Udostępnij za pośrednictwem

Emituj metryki do użycia tokenów usługi Azure OpenAI

  • Artykuł

DOTYCZY: Wszystkie warstwy usługi API Management

Zasady azure-openai-emit-token-metric wysyła metryki niestandardowe do usługi Application Insights dotyczące użycia dużych tokenów modelu językowego za pośrednictwem interfejsów API usługi Azure OpenAI Service. Metryki liczby tokenów obejmują: Łączna liczba tokenów, Tokeny monitu i Tokeny ukończenia.

Uwaga

Ustaw elementy zasad i elementy podrzędne w kolejności podanej w instrukcji zasad. Dowiedz się więcej na temat ustawiania lub edytowania zasad usługi API Management.

Obsługiwane modele usługi Azure OpenAI Service

Zasady są używane z interfejsami API dodanymi do usługi API Management z poziomu usługi Azure OpenAI Service następujących typów:

Typ API Obsługiwane modele
Uzupełnianie czatu gpt-3.5

gpt-4
Zakończenie gpt-3.5-turbo-poinstruowanie
Osadzanie osadzanie tekstu —3 — duże

osadzanie tekstu — 3 małe

text-embedding-ada-002

Aby uzyskać więcej informacji, zobacz Modele usługi Azure OpenAI Service.

Limity metryk niestandardowych

Usługa Azure Monitor nakłada limity użycia dla metryk niestandardowych, które mogą mieć wpływ na możliwość emitowania metryk z usługi API Management. Na przykład usługa Azure Monitor obecnie ustawia limit 10 kluczy wymiarów na metrykę i limit 50 000 łącznych aktywnych szeregów czasowych na region w ramach subskrypcji (w okresie 12 godzin).

Te limity mają następujące konsekwencje dotyczące konfigurowania metryk niestandardowych w zasadach usługi API Management, takich jak emit-metric lub azure-openai-emit-token-metric:

  • Można skonfigurować maksymalnie 10 wymiarów niestandardowych na zasady.

  • Liczba aktywnych szeregów czasowych wygenerowanych przez zasady w okresie 12 godzin jest produktem liczby unikatowych wartości każdego skonfigurowanego wymiaru w danym okresie. Jeśli na przykład w zasadach skonfigurowano trzy wymiary niestandardowe, a każdy wymiar miał 10 możliwych wartości w danym okresie, zasady współtworzyłyby 1000 (10 x 10 x 10) aktywnych szeregów czasowych.

  • Jeśli skonfigurujesz zasady w wielu wystąpieniach usługi API Management, które znajdują się w tym samym regionie w ramach subskrypcji, wszystkie wystąpienia mogą współtworzyć regionalny aktywny limit szeregów czasowych.

Dowiedz się więcej o ograniczeniach i zagadnieniach dotyczących projektowania metryk niestandardowych w usłudze Azure Monitor.

Wymagania wstępne

Instrukcja zasad

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atrybuty

Atrybut opis Wymagania Domyślna wartość
namespace Ciąg. Przestrzeń nazw metryki. Wyrażenia zasad nie są dozwolone. Nie. API Management

Elementy

Element opis Wymagania
wymiar Dodaj co najmniej jeden z tych elementów dla każdego wymiaru uwzględnionego w metryce. Tak

atrybuty wymiaru

Atrybut opis Wymagania Domyślna wartość
name Ciąg lub wyrażenie zasad. Nazwa wymiaru. Tak Nie dotyczy
wartość Ciąg lub wyrażenie zasad. Wartość wymiaru. Można pominąć tylko wtedy, gdy name pasuje do jednego z wymiarów domyślnych. Jeśli tak, wartość jest podana jako nazwa wymiaru. Nie. Nie dotyczy

Domyślne nazwy wymiarów, które mogą być używane bez wartości

  • Identyfikator interfejsu API
  • Identyfikator operacji
  • Identyfikator produktu
  • Identyfikator użytkownika
  • Identyfikator subskrypcji
  • Lokalizacja
  • Identyfikator bramy

Użycie

  • Sekcje zasad: ruch przychodzący
  • Zakresy zasad: globalny, obszar roboczy, produkt, interfejs API, operacja
  • Bramy: klasyczne, v2, zużycie, self-hosted, obszar roboczy

Uwagi dotyczące użycia

  • Te zasady mogą być używane wiele razy na definicję zasad.
  • Dla tych zasad można skonfigurować co najwyżej 10 wymiarów niestandardowych.
  • Te zasady można opcjonalnie skonfigurować podczas dodawania interfejsu API z usługi Azure OpenAI Przy użyciu portalu.
  • Jeśli są dostępne, wartości w sekcji użycia odpowiedzi z interfejsu API usługi Azure OpenAI są używane do określania metryk tokenu.
  • Niektóre punkty końcowe usługi Azure OpenAI obsługują przesyłanie strumieniowe odpowiedzi. Jeśli stream parametr jest ustawiony true na wartość w żądaniu interfejsu API w celu włączenia przesyłania strumieniowego, szacowane są metryki tokenu.

Przykład

Poniższy przykład wysyła metryki liczby tokenów usługi Azure OpenAI do usługi Application Insights wraz z identyfikatorem interfejsu API jako wymiarem niestandardowym.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Powiązana zawartość

Aby uzyskać więcej informacji na temat pracy z zasadami, zobacz: