Udostępnij za pośrednictwem

Emituj metryki do użycia dużych tokenów modelu językowego

  • Artykuł

DOTYCZY: Wszystkie warstwy usługi API Management

Zasady llm-emit-token-metric wysyła metryki niestandardowe do usługi Application Insights na temat użycia tokenów dużego modelu językowego (LLM) za pośrednictwem interfejsów API LLM. Metryki liczby tokenów obejmują: Łączna liczba tokenów, Tokeny monitu i Tokeny ukończenia.

Uwaga

Obecnie te zasady są dostępne w wersji zapoznawczej.

Uwaga

Ustaw elementy zasad i elementy podrzędne w kolejności podanej w instrukcji zasad. Dowiedz się więcej na temat ustawiania lub edytowania zasad usługi API Management.

Obsługiwane modele

Użyj zasad z interfejsami API LLM dodanymi do usługi Azure API Management, które są dostępne za pośrednictwem interfejsu API wnioskowania modelu AI platformy Azure.

Limity metryk niestandardowych

Usługa Azure Monitor nakłada limity użycia dla metryk niestandardowych, które mogą mieć wpływ na możliwość emitowania metryk z usługi API Management. Na przykład usługa Azure Monitor obecnie ustawia limit 10 kluczy wymiarów na metrykę i limit 50 000 łącznych aktywnych szeregów czasowych na region w ramach subskrypcji (w okresie 12 godzin).

Te limity mają następujące konsekwencje dotyczące konfigurowania metryk niestandardowych w zasadach usługi API Management, takich jak emit-metric lub azure-openai-emit-token-metric:

  • Można skonfigurować maksymalnie 10 wymiarów niestandardowych na zasady.

  • Liczba aktywnych szeregów czasowych wygenerowanych przez zasady w okresie 12 godzin jest produktem liczby unikatowych wartości każdego skonfigurowanego wymiaru w danym okresie. Jeśli na przykład w zasadach skonfigurowano trzy wymiary niestandardowe, a każdy wymiar miał 10 możliwych wartości w danym okresie, zasady współtworzyłyby 1000 (10 x 10 x 10) aktywnych szeregów czasowych.

  • Jeśli skonfigurujesz zasady w wielu wystąpieniach usługi API Management, które znajdują się w tym samym regionie w ramach subskrypcji, wszystkie wystąpienia mogą współtworzyć regionalny aktywny limit szeregów czasowych.

Dowiedz się więcej o ograniczeniach i zagadnieniach dotyczących projektowania metryk niestandardowych w usłudze Azure Monitor.

Wymagania wstępne

  • Co najmniej jeden interfejs API LLM musi zostać dodany do wystąpienia usługi API Management.
  • Wystąpienie usługi API Management musi być zintegrowane z usługą Application Insights. Aby uzyskać więcej informacji, zobacz Jak zintegrować usługę Azure API Management z usługą aplikacja systemu Azure Insights.
  • Włącz rejestrowanie usługi Application Insights dla interfejsów API USŁUGI LLM.
  • Włącz metryki niestandardowe z wymiarami w usłudze Application Insights. Aby uzyskać więcej informacji, zobacz Emituj metryki niestandardowe.

Instrukcja zasad

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Atrybuty

Atrybut opis Wymagania Domyślna wartość
namespace Ciąg. Przestrzeń nazw metryki. Wyrażenia zasad nie są dozwolone. Nie. API Management

Elementy

Element opis Wymagania
wymiar Dodaj co najmniej jeden z tych elementów dla każdego wymiaru uwzględnionego w metryce. Tak

atrybuty wymiaru

Atrybut opis Wymagania Domyślna wartość
name Ciąg lub wyrażenie zasad. Nazwa wymiaru. Tak Nie dotyczy
wartość Ciąg lub wyrażenie zasad. Wartość wymiaru. Można pominąć tylko wtedy, gdy name pasuje do jednego z wymiarów domyślnych. Jeśli tak, wartość jest podana jako nazwa wymiaru. Nie. Nie dotyczy

Domyślne nazwy wymiarów, które mogą być używane bez wartości

  • Identyfikator interfejsu API
  • Identyfikator operacji
  • Identyfikator produktu
  • Identyfikator użytkownika
  • Identyfikator subskrypcji
  • Lokalizacja
  • Identyfikator bramy

Użycie

  • Sekcje zasad: ruch przychodzący
  • Zakresy zasad: globalny, obszar roboczy, produkt, interfejs API, operacja
  • Bramy: klasyczne, v2, zużycie, self-hosted, obszar roboczy

Uwagi dotyczące użycia

  • Te zasady mogą być używane wiele razy na definicję zasad.
  • Dla tych zasad można skonfigurować co najwyżej 10 wymiarów niestandardowych.
  • Jeśli są dostępne, wartości w sekcji użycia odpowiedzi z interfejsu API LLM są używane do określania metryk tokenu.
  • Niektóre punkty końcowe LLM obsługują przesyłanie strumieniowe odpowiedzi. Jeśli stream parametr jest ustawiony true na wartość w żądaniu interfejsu API w celu włączenia przesyłania strumieniowego, szacowane są metryki tokenu.

Przykład

Poniższy przykład wysyła metryki liczby tokenów LLM do usługi Application Insights wraz z identyfikatorem interfejsu API jako wymiarem niestandardowym.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Powiązana zawartość

Aby uzyskać więcej informacji na temat pracy z zasadami, zobacz: