Compartilhar via

Monitorar os custos de veiculação do modelo

  • Artigo

Este artigo fornece exemplos de como usar tabelas do sistema para monitorar o custo dos pontos de extremidade do Mosaic AI Model Serving em sua conta do Azure Databricks.

Requisitos

SKU da tabela do sistema de uso de faturamento

Você pode acompanhar os custos de serviço do modelo no Azure Databricks usando a tabela do sistema de uso faturável. Depois que a tabela do sistema de uso de cobrança for habilitada, a tabela será preenchida automaticamente com o uso mais recente em sua conta do Databricks. Os custos aparecem na tabela sku_name com coluna system.billing.usage como um dos seguintes:

sku_name Descrição
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Esse SKU inclui todas as DBUs acumuladas quando um endpoint é iniciado após o dimensionamento para zero.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Todos os outros custos de serviço do modelo são agrupados neste SKU. Em que tier corresponde à sua camada de plataforma do Azure Databricks e region corresponde à região de nuvem da sua implantação do Azure Databricks.

Consultar e visualizar o uso

Você pode consultar a tabela system.billing.usage para agregar todas as DBUs (Unidades do Databricks) associadas ao Mosaic AI Model Serving. Veja a seguir um exemplo de consulta que agrega DBUs de serviço de modelo por dia nos últimos 30 dias usando SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Painel de observabilidade de custos

Para ajudá-lo a começar a monitorar os custos de veiculação do modelo, baixe o exemplo de painel de atribuição de custos do GitHub. Consulte Painel de atribuição de custo do Model Serving.

Depois de baixar o arquivo JSON, importe o painel para o workspace. Para obter instruções sobre como importar painéis, confira Importar um arquivo de painel.

Como usar esse painel

Este painel é alimentado por IA/BI e você precisa ter acesso às tabelas do sistema. Ele fornece insights sobre os custos e o uso do ponto de extremidade de serviço no nível do workspace.

As etapas a seguir o ajudarão a começar:

  1. Insira a ID do espaço de trabalho.
  2. Selecione a data de início e a data de término.
  3. Filtre o painel selecionando o nome do endpoint específico na lista suspensa (se você estiver interessado em um endpoint específico).
  4. Separadamente, insira a chave de tag se você usar tags personalizadas para seu endpoint.

Observação

O Serviço de modelo impõe limites padrão no espaço de trabalho para garantir que não haja gastos descontrolados. Veja Limites e regiões do serviço de modelo.

Gráficos que você pode usar

Os gráficos a seguir estão incluídos nesse painel. Eles devem ser o ponto de partida para você criar sua própria versão personalizada do painel de atribuição de custo do modelo que atende.

  • Consumo de endpoint nos últimos 7 dias
  • Uso total diário do $DBU
  • Custos de serviço do modelo por tipo de endpoint
    • Pagamento por token
    • CPU/GPU
    • Modelo de base
  • Consumo diário por modelo Tipo de porção
  • Os 10 principais endpoints de serviço mais caros
  • Os 10 endpoints de pagamento por token mais caros
  • LLM Ajuste fino Últimos 7 dias Gasto
  • Ajuste fino do LLM Spend per Email

Use tags para monitorar custos

Inicialmente, os custos agregados podem ser suficientes para observar os custos gerais de serviço do modelo. No entanto, à medida que o número de endpoints aumenta, talvez você queira dividir os custos com base no caso de uso, na unidade de negócios ou em outros identificadores personalizados. A veiculação de modelos oferece suporte à criação de tags personalizadas que podem ser aplicadas aos endpoints de veiculação de modelos.

Todas as tags personalizadas aplicadas aos pontos de extremidade de serviço do modelo se propagam para a tabela system.billing.usage na coluna custom_tags e podem ser usadas para agregar e visualizar custos. O Databricks recomenda adicionar marcas descritivas a cada ponto de extremidade para um acompanhamento preciso dos custos.

Consultas de exemplo

Principais endpoints por custo:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Custo com tags ("business_unit": "ciência de dados") ao longo do tempo:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Recursos adicionais

Para obter exemplos sobre como monitorar o custo de trabalhos em sua conta, consulte Monitorar custos de trabalho com tabelas do sistema.