Поделиться через

Выдача метрик для использования больших маркеров языковой модели

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: все уровни Управление API

Политика llm-emit-token-metric отправляет пользовательские метрики в Application Insights об использовании маркеров большой языковой модели (LLM) через API LLM. Метрики счетчика маркеров включают: общие маркеры, маркеры запроса и маркеры завершения.

Примечание.

В настоящее время эта политика находится в предварительной версии.

Примечание.

Задайте элементы политики и дочерние элементы в порядке, указанном в правиле политики. Узнайте, как устанавливать или изменять политики службы управления API.

Поддерживаемые модели

Используйте политику с API LLM, добавленными в Azure Управление API, которые доступны через API вывода модели ИИ Azure.

Ограничения для пользовательских метрик

Azure Monitor накладывает ограничения на использование пользовательских метрик, которые могут повлиять на возможность отправки метрик из Управление API. Например, Azure Monitor в настоящее время задает ограничение в 10 ключей измерений на метрики и ограничение в 50 000 активных временных рядов в каждом регионе в подписке (в течение 12 часов).

Эти ограничения имеют следующие последствия для настройки пользовательских метрик в политике Управление API, напримерemit-metric:azure-openai-emit-token-metric

  • Можно настроить не более 10 пользовательских измерений для каждой политики.

  • Число активных временных рядов, создаваемых политикой в течение 12 часов, является продуктом числа уникальных значений каждого настроенного измерения в течение периода. Например, если в политике настроены три пользовательских измерения, а каждое измерение имеет 10 возможных значений в течение периода, политика будет способствовать 1000 (10 x 10 x 10) активных временных рядов.

  • Если вы настраиваете политику в нескольких экземплярах Управление API, которые находятся в одном регионе в подписке, все экземпляры могут способствовать ограничению активных временных рядов региона.

Дополнительные сведения об ограничениях проектирования и рекомендациях по пользовательским метрикам в Azure Monitor.

Необходимые компоненты

  • В Управление API экземпляр необходимо добавить один или несколько API LLM.
  • Экземпляр Управление API должен быть интегрирован с Application Insights. Дополнительные сведения см. в статье "Интеграция Azure Управление API с приложение Azure Insights".
  • Включите ведение журнала Application Insights для API LLM.
  • Включите пользовательские метрики с измерениями в Application Insights. Дополнительные сведения см. в разделе "Выдача пользовательских метрик".

Правило политики

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Атрибуты

Атрибут Description Обязательное поле Default value
пространство имен Строка . Пространство имен метрик. Выражения политики не допускаются. No Управление API

Элементы

Элемент Description Обязательное поле
измерение Добавьте один или несколько этих элементов для каждого измерения, включенного в метрику. Да

Атрибуты измерения

Атрибут Description Обязательное поле Default value
name Строковое выражение или выражение политики. Имя измерения. Да Н/П
значение Строковое выражение или выражение политики. Значение измерения. Можно опустить, только если name соответствует одному из измерений по умолчанию. Если это так, значение указывается в соответствии с именем измерения. No Н/П

Имена измерений по умолчанию, которые могут использоваться без значения

  • Идентификатор API
  • Идентификатор операции
  • Код продукта
  • Идентификатор пользователя
  • ИД подписки
  • Расположение
  • Идентификатор шлюза

Использование

Примечания об использовании

  • Эту политику можно использовать несколько раз для определения политики.
  • Для этой политики можно настроить не более 10 пользовательских измерений.
  • При наличии значения в разделе использования ответа от API LLM используются для определения метрик маркеров.
  • Некоторые конечные точки LLM поддерживают потоковую передачу ответов. Если stream задано значение true в запросе API для включения потоковой передачи, оцениваются метрики маркеров.

Пример

Следующий пример отправляет метрики счетчика маркеров LLM в Application Insights вместе с идентификатором API в качестве настраиваемого измерения.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Связанный контент

Дополнительные сведения о работе с политиками см. в нижеуказанных статьях.