Condividi tramite

Monitorare i costi di gestione dei modelli

  • Articolo

Questo articolo fornisce esempi di come usare le tabelle di sistema per monitorare il costo degli endpoint di gestione dei modelli di intelligenza artificiale Mosaic nell'account Azure Databricks.

Requisiti

SKU della tabella del sistema di utilizzo della fatturazione

È possibile tenere traccia dei costi di gestione dei modelli in Azure Databricks usando la tabella del sistema di utilizzo fatturabile. Dopo aver abilitato la tabella del sistema di utilizzo della fatturazione, la tabella popola automaticamente con l'utilizzo più recente nell'account Databricks. I costi vengono visualizzati nella system.billing.usage tabella con la colonna sku_name come uno dei seguenti:

sku_name Descrizione
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Questo SKU include tutte le UNITÀ di database maturate all'avvio di un endpoint dopo il ridimensionamento a zero.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Tutti gli altri costi di gestione del modello sono raggruppati in questo SKU. Dove tier corrisponde al livello della piattaforma Azure Databricks e region corrisponde all'area cloud della distribuzione di Azure Databricks.

Eseguire query e visualizzare l'utilizzo

È possibile eseguire una query sulla system.billing.usage tabella per aggregare tutte le unità di database (unità Databricks) associate a Mosaic AI Model Serving. Di seguito è riportata una query di esempio che aggrega il modello che gestisce le UNITÀ di database al giorno per gli ultimi 30 giorni usando SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Dashboard di osservabilità dei costi

Per iniziare a monitorare il modello che gestisce i costi, scaricare il dashboard di attribuzione dei costi di esempio da GitHub. Vedere Dashboard di attribuzione dei costi di gestione dei modelli.

Dopo aver scaricato il file JSON, importare il dashboard nell'area di lavoro. Per istruzioni sull'importazione dei dashboard, vedere Importare un file del dashboard.

Come usare questo dashboard

Questo dashboard è basato su intelligenza artificiale/BI ed è necessario avere accesso alle tabelle di sistema. Fornisce informazioni dettagliate sui costi e sull'utilizzo degli endpoint a livello di area di lavoro.

Per iniziare, seguire questa procedura:

  1. Immettere l'ID dell'area di lavoro.
  2. Selezionare la data di inizio e la data di fine.
  3. Filtrare il dashboard selezionando il nome dell'endpoint specifico nell'elenco a discesa (se si è interessati a un endpoint specifico).
  4. Separatamente, immettere la chiave del tag se si usano tag personalizzati per l'endpoint.

Nota

Model Serving applica i limiti predefiniti per l'area di lavoro per garantire che non vi sia alcuna spesa per i runaway. Consultare Limiti e aree di disponibilità di Model Serving.

Grafici che è possibile usare

I grafici seguenti sono inclusi in questo dashboard. Questi sono destinati a essere il punto di partenza per creare la propria versione personalizzata del dashboard di attribuzione dei costi del modello.

  • Ultimi 7 giorni utilizzo top endpoint
  • Utilizzo $DBU totale giornaliero
  • Gestione dei modelli per tipo di endpoint
    • Pagamento in base al token
    • CPU/GPU
    • Modello di base
  • Utilizzo giornaliero per tipo di servizio del modello
  • Primi 10 endpoint di gestione più costosi
  • Top 10 Most Costly Pay-Per-Token Endpoints
  • LLM Fine tuning Last 7 days Spend
  • LLM Fine tuning Spend Per Email

Usare i tag per monitorare i costi

Inizialmente, i costi aggregati potrebbero essere sufficienti per osservare i costi complessivi del modello. Tuttavia, man mano che il numero di endpoint aumenta, è possibile suddividere i costi in base a casi d'uso, business unit o altri identificatori personalizzati. La gestione del modello supporta la creazione di tag personalizzati che possono essere applicati agli endpoint del modello.

Tutti i tag personalizzati applicati ai modelli che servono gli endpoint vengono propagati alla tabella sotto la system.billing.usagecustom_tags colonna e possono essere usati per aggregare e visualizzare i costi. Databricks consiglia di aggiungere tag descrittivi a ogni endpoint per tenere traccia dei costi precisi.

Query di esempio

Principali endpoint per costo:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Costo con tag ("business_unit": "data science") nel tempo:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Risorse aggiuntive

Per esempi su come monitorare i costi dei processi nel tuo account, consulta Monitorare i costi dei processi e le prestazioni con le tabelle di sistema &.