Управление маркерами

  • 5 мин

Представьте, что вы получаете внезапный всплеск трафика в сторону вашего API, может быть, есть продажа или другая причина. Чтобы избежать превышения потребления и возможных нарушений работы служб, необходимо выяснить, как это управлять.

Политика ограничения маркеров OpenAI Azure

Как упоминалось в начале этого урока, внезапный пик является чем-то, вам нужно обработать. Хорошая новость заключается в том, что в Azure Управление API есть что-то называемое политикой ограничения маркеров.

Эта политика позволяет клиентам устанавливать ограничения на потребление маркеров, выраженные в маркерах в минуту (TPM), и обеспечить справедливое и эффективное использование ресурсов OpenAI.

Ключевые функции

Ключевыми функциями этой политики являются:

  • Точный контроль. Клиенты могут назначать ограничения на основе маркеров для различных ключей счетчиков, таких как ключ подписки или IP-адрес, адаптация принудительного применения к конкретным вариантам использования.
  • Мониторинг в режиме реального времени: политика использует метрики использования маркеров, возвращаемые из конечной точки OpenAI, что позволяет точно отслеживать и применять ограничения в режиме реального времени.
  • Предварительное вычисление маркеров. Это позволяет предварительно вычислять маркеры запроса на стороне Azure Управление API, минимизируя ненужные запросы к серверной части OpenAI, если ограничение уже превышено.
  • Улучшенная настройка. Клиенты могут применять заголовки и переменные, такие как маркеры, используемые маркерами, и остальные маркеры в политиках для улучшения управления и настройки.

Ss вы видите, есть довольно много функций, которые помогают управлять затратами и благодаря мониторингу в режиме реального времени вы можете убедиться, что вы не превышаете ограничения.

Использование

Чтобы использовать эту политику, необходимо добавить ее в конвейер входящего обработки операции API. Вот как это сделать:

<azure-openai-token-limit counter-key="key value"
        tokens-per-minute="number"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

Существует довольно несколько атрибутов, которые можно задать, но наиболее важные из них:

  • counter-key: ключ, используемый для подсчета маркеров. Это значение может быть ключом подписки или IP-адресом.
  • token-per-minute: количество маркеров, разрешенных в минуту.
  • estimate-prompt-token: следует ли оценивать маркеры запроса или нет.

Политика метрик маркера в Azure OpenAI

Эта политика устраняет необходимость подробного мониторинга и анализа использования маркеров в приложениях с помощью моделей Azure OpenAI.

Предоставляя комплексные метрики, она помогает организациям:

  • Оптимизация распределения ресурсов: эффективное понимание потребления маркеров и управление ими.
  • Улучшение принятия решений. Получение аналитических сведений о шаблонах использования для принятия обоснованных решений о масштабировании и управлении ресурсами.
  • Улучшение Монитор производительности. Отслеживание и анализ использования маркеров для выявления потенциальных проблем и устранения потенциальных проблем

Как использовать политику метрик маркера emit

Чтобы использовать эту политику, необходимо добавить ее в конвейер входящего обработки операции API. Вот как кодировать его в XML:

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Ниже приведен пример использования нескольких измерений:

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

В предыдущем примере:

  • Политика настроена для выдачи метрик маркера в пространство имен AzureOpenAI с измерениями для идентификатора пользователя, IP-адреса клиента и идентификатора API.
  • Для измерения IP-адреса клиента задан IP-адрес клиента, выполняющего запрос.

Представьте себе, что эти метрики можно отобразить на панели мониторинга, и вы можете отслеживать использование API в режиме реального времени. Например, можно увидеть, сколько маркеров использует конкретный пользователь или сколько маркеров использует конкретный API. Эта мощная функция, которая помогает оптимизировать ресурсы и принимать обоснованные решения о масштабировании и управлении ресурсами.

Проверьте свои знания

1.

Как политика ограничения маркеров помогает управлять использованием API?

2.

Каковы некоторые хорошие измерения, используемые для политики метрик маркеров в Azure Управление API и почему?