通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

发出用于使用大型语言模型令牌的指标

  • 项目

适用于：所有 API 管理层级

llm-emit-token-metric 策略会通过 LLM API 向 Application Insights 发送有关使用大型语言模型 (LLM) 令牌的自定义指标。 令牌计数指标包括：令牌总数、提示令牌和完成令牌。

注意

此策略目前为预览版。

注意

按照策略声明中提供的顺序设置策略的元素和子元素。 详细了解如何设置或编辑 API 管理策略。

支持的模型

将该策略与添加到 Azure API 管理的 LLM API（通过 Azure AI 模型推理 API 提供）配合使用。

自定义指标的限制

Azure Monitor 对可能影响从 API 管理发出指标能力的自定义指标实施使用限制。 例如，Azure Monitor 当前为每个指标设置 10 个维度键的限制，并为订阅中每个区域设置 50,000 个总活动时序数的限制（期限为 12 小时）。

这些限制对在 API 管理策略（例如 emit-metric 或 azure-openai-emit-token-metric）中配置自定义指标具有以下影响：

  • 每个 策略最多可以配置 10 个自定义维度。

  • 策略在 12 小时期限内生成的活动时序数是该期限内每个已配置维度的唯一值数的乘积。 例如，如果在策略中配置了三个自定义维度，并且每个维度在该期限内有 10 个可能的值，则 策略将生成 1,000 (10 x 10 x 10) 个活动时序。

  • 如果在订阅的同一区域中的多个 API 管理实例中配置 策略，则所有实例都可能导致区域活动时序限制。

详细了解 Azure Monitor 中自定义指标的设计限制和注意事项。

先决条件

策略语句

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

属性

属性 说明 必须 默认值
命名空间 一个字符串。 指标的命名空间。 不允许使用策略表达式。 否 API 管理

元素

元素 说明 必需
维度 为指标中包含的每个维度添加一个或多个此类元素。 是

维度属性

属性 说明 必须 默认值
name 字符串或策略表达式。 维度的名称。 是 空值
value 字符串或策略表达式。 维度的值。 如果 name 与一个默认维度匹配，则只能省略。 如果是这样，则按维度名称提供值。 否 空值

无需值即可使用的默认维度名称

  • API ID
  • Operation ID
  • 产品 ID
  • 用户 ID
  • 订阅 ID
  • 位置
  • 网关 ID

使用情况

使用注意事项

  • 每个策略定义可以多次使用此策略。
  • 最多可以为此策略配置 10 个自定义维度。
  • 如果可用，则使用 LLM API 响应的使用情况部分中的值来确定令牌指标。
  • 某些 LLM 终结点支持流式传输响应。 在 API 请求中将 stream 设置为 true 以启用流式处理时，将估算令牌指标。

示例

以下示例会将 LLM 令牌计数指标发送到 Application Insights，同时发送 API ID 作为自定义维度。

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

相关内容

有关使用策略的详细信息，请参阅：