Compartir a través de

Supervisión de los costes de servicio del modelo

  • Artículo

En este artículo se proporcionan ejemplos de cómo usar tablas del sistema para supervisar el coste de los puntos de conexión de servicio del modelo de IA de Mosaico en la cuenta de Azure Databricks.

Requisitos

SKU de tabla del sistema de uso de facturación

Puede realizar un seguimiento de los costes de servicio del modelo en Azure Databricks mediante la tabla del sistema de uso facturable. Una vez habilitada la tabla del sistema de uso de facturación, la tabla se rellena automáticamente con el uso más reciente en la cuenta de Databricks. Los costes aparecen en la tabla system.billing.usage con la columna sku_name como uno de los siguientes:

sku_name Descripción
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Esta SKU incluye todas las DBU acumuladas cuando se inicia un punto de conexión después del escalado a cero.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Todos los demás costes de servicio del modelo se agrupan en esta SKU. Donde tier corresponde al nivel de plataforma de Azure Databricks y region corresponde a la región de nube de la implementación de Azure Databricks.

Consultar y visualizar uso

Puede consultar la tabla system.billing.usage para agregar todas las DBU (unidades de Databricks) asociadas a Mosaic AI Model Serving. A continuación se muestra una consulta de ejemplo que agrega el modelo que atiende las DBU por día durante los últimos 30 días mediante SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Panel de observabilidad de costos

Para ayudarle a empezar a supervisar los costes de servicio de modelos, descargue el ejemplos de panel de atribución de costes desde Github. Consulte el panel de atribución de costes de servicio de modelos.

Después de descargar el archivo JSON, importe el panel en el área de trabajo. Para obtener instrucciones sobre cómo importar paneles, consulte Importar un archivo de panel.

Cómo usar este panel

Este panel se basa en IA/BI y necesita tener acceso a las tablas del sistema. Proporciona información sobre los costes y el uso del punto de conexión de servicio en el nivel de área de trabajo.

Los siguientes pasos le ayudarán a empezar a trabajar:

  1. Escriba el identificador del área de trabajo.
  2. Seleccione una fecha de inicio y una fecha de finalización.
  3. Filtre el panel seleccionando el nombre del punto de conexión específico en la lista desplegable (si está interesado en un punto de conexión determinado).
  4. Por separado, escriba la clave de etiqueta si usa etiquetas personalizadas para el punto de conexión.

Nota:

El servicio de modelos aplica límites predeterminados en el área de trabajo para asegurarse de que no hay ningún gasto descontrolada. Consulte límites de servicio de modelos y regiones.

Gráficos que puede usar

En este panel se incluyen los siguientes gráficos. Estos están diseñados para ser punto de partida para crear su propia versión personalizada del panel de atribución de costes de servicio del modelo.

  • Consumo de puntos de conexión principales de los últimos 7 días
  • Uso total diario de $DBU
  • Costes de servicio de modelos por tipo de punto de conexión
    • Pago por token
    • CPU/GPU
    • Modelos básicos
  • Consumo diario por tipo de servicio de modelo
  • Principales 10 puntos de conexión de servicio más costosos
  • Principales 10 puntos de conexión de pago por token más costosos
  • Ajuste de LLM Últimos 7 días Gasto
  • Ajuste de LLM Gasto por correo electrónico

Uso de etiquetas para supervisar los costes

Inicialmente, los costes agregados podrían ser suficientes para observar los costes generales de servicio de modelos. Sin embargo, a medida que aumenta el número de puntos de conexión, es posible que desee desglosar los costes en función del caso de uso, la unidad de negocio u otros identificadores personalizados. El servicio de modelos admite la creación de etiquetas personalizadas que se pueden aplicar a los puntos de conexión de servicio modelos.

Todas las etiquetas personalizadas aplicadas al modelo que atienden los puntos de conexión se propagan a la tabla system.billing.usage de la columna custom_tags y se pueden usar para agregar y visualizar los costes. Databricks recomienda agregar etiquetas descriptivas a cada punto de conexión para un seguimiento preciso de costes.

Consultas de ejemplo

Principales puntos de conexión por coste:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Coste con etiquetas ("business_unit": "ciencia de datos") con el tiempo:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Recursos adicionales

Para obtener ejemplos sobre cómo supervisar el costo de los trabajos de su cuenta, consulte Supervisión de los costes de trabajo con tablas del sistema.