Partager via

Surveiller les coûts de service de modèle

  • Article

Cet article fournit des exemples d’utilisation des tables système pour surveiller le coût des points de terminaison de service de modèle Mosaic AI dans votre compte Azure Databricks.

Spécifications

Référence SKU de la table système d’utilisation facturable

Vous pouvez suivre les coûts de service de modèle dans Azure Databricks à l’aide de la table système d’utilisation facturable. Une fois la table système d’utilisation facturable activée, la table remplit automatiquement l’utilisation la plus récente dans votre compte Databricks. Les coûts apparaissent dans la table system.billing.usage avec la colonne sku_name comme l’un des éléments suivants :

sku_name Description
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Cette référence SKU inclut toutes les unités de base de données accumulées lorsqu’un point de terminaison commence après la mise à l’échelle à zéro.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Tous les autres coûts de service de modèle sont regroupés sous cette référence SKU. Où tier correspond à votre niveau de plateforme Azure Databricks, et region à la région cloud de votre déploiement Azure Databricks.

Utilisation de la fonction Interroger et visualiser

Vous pouvez interroger la table system.billing.usage pour agréger toutes les unités Databricks (DBU) associées au service de modèle Mosaic AI. Voici un exemple de requête qui agrège le modèle servant des DBU par jour au cours des 30 derniers jours à l’aide de SQL :


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Tableau de bord d’observabilité des coûts

Pour vous permettre de commencer à surveiller vos coûts du service de modèle, téléchargez l’exemple de tableau de bord d’attribution des coûts à partir de GitHub. Consultez le tableau de bord d’attribution des coûts du service de modèle.

Une fois le fichier JSON téléchargé, importez le tableau de bord dans votre espace de travail. Pour obtenir des instructions sur l’importation de tableaux de bord, consultez Importer un fichier de tableau de bord.

Comment utiliser ce tableau de bord

Ce tableau de bord est alimenté par AI/BI, et vous devez avoir accès aux tables système. Il fournit des informations sur les coûts et l’utilisation de votre point de terminaison de service au niveau de l’espace de travail.

Les étapes suivantes vous aident à démarrer :

  1. Entrez l’ID de l’espace de travail.
  2. Sélectionnez une date de début et une date de fin.
  3. Filtrez le tableau de bord en sélectionnant le nom du point de terminaison spécifique dans la liste déroulante (si un point de terminaison particulier vous intéresse).
  4. Entrez séparément la clé d’étiquette si vous utilisez des étiquettes personnalisées pour votre point de terminaison.

Remarque

Le service de modèle applique des limites par défaut à l’espace de travail pour s’assurer qu’il n’y a pas de dépense incontrôlée. Consultez Limites et régions de la mise en service de modèles.

Graphiques que vous pouvez utiliser

Les graphiques suivants sont inclus dans ce tableau de bord. Il s’agit là d’un point de départ pour vous permettre de créer votre propre version personnalisée du tableau de bord d’attribution des coûts du service de modèle.

  • Consommation maximale des points de terminaison des 7 derniers jours
  • Utilisation quotidienne totale en $DBU
  • Coûts du service de modèle par type de point de terminaison
    • Paiement par jeton
    • UC/GPU
    • Modèle de fondation
  • Consommation quotidienne par type de service de modèle
  • 10 points de terminaison de service les plus coûteux
  • 10 points de terminaison de paiement par jeton les plus coûteux
  • Dépenses de réglage précis de LLM des 7 derniers jours
  • Dépenses de réglage précis de LLM par e-mail

Utiliser des étiquettes pour surveiller les coûts

Initialement, les coûts agrégés peuvent être suffisants pour observer les coûts globaux de service de modèle. Toutefois, à mesure que le nombre de points de terminaison augmente, vous souhaiterez peut-être décomposer les coûts en fonction du cas d’usage, de l’unité commerciale ou d’autres identificateurs personnalisés. Le service de modèle prend en charge la création d’étiquettes personnalisées qui peuvent être appliquées à vos points de terminaison de service de modèle.

Toutes les étiquettes personnalisées appliquées aux points de terminaison de service de modèle se propagent à la table system.billing.usage sous la colonne custom_tags et peuvent être utilisées pour agréger et visualiser les coûts. Databricks recommande d’ajouter des étiquettes descriptives à chaque point de terminaison pour un suivi précis des coûts.

Exemples de requêtes

Points de terminaison principaux par coût :


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Coût avec des étiquettes (« business_unit » : « science des données ») au fil du temps :


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Ressources supplémentaires

Pour obtenir des exemples sur la surveillance du coût des travaux dans votre compte, consultez Surveiller les coûts des travaux avec des tables système.