Dela via

Övervaka kostnader för modellhantering

  • Artikel

Den här artikeln innehåller exempel på hur du använder system tables för att övervaka kostnaden för Mosaic AI Model Serving-slutpunkter i ditt Azure Databricks-konto.

Krav

  • Om du vill komma åt system tablesmåste arbetsytan vara aktiverad för Unity Catalog. Mer information finns i Aktivera systemscheman table.

Faktureringsanvändningssystem table SKU

Du kan spåra kostnader för modellbetjäning i Azure Databricks med hjälp av fakturerbart användningssystem table. När faktureringssystemet table har aktiverats fylls table automatiskt i med den senaste användningen i ditt Databricks-konto. Kostnader visas i system.billing.usagetable med columnsku_name som något av följande:

sku_name beskrivning
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Den här SKU:n innehåller alla DBU:er som ackumuleras när en slutpunkt börjar efter skalning till noll.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Alla andra modellbetjäningskostnader grupperas under den här SKU:n. Where tier motsvarar din Azure Databricks-plattformsnivå och region motsvarar molnregionen för din Azure Databricks-distribution.

Fråga efter och visualisera användning

Du kan ställa frågor till system.billing.usagetable för att aggregera alla DBUs (Databricks Units) som är associerade med Mosaic AI Model Serving. Följande är en exempelfråga som sammanställer en modell som betjänar DBUs per dag under de senaste 30 dagarna med SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Instrumentpanel för kostnadsobservabilitet

Ladda ned exempelinstrumentpanelen för kostnadstillskrivning från GitHub för att hjälpa dig get börjat övervaka din modell som betjänar kostnader. Se instrumentpanelen för kostnadstillskrivning för modellserver.

När du har laddat ned JSON-filen importerar du instrumentpanelen till din arbetsyta. Anvisningar om hur du importerar instrumentpaneler finns i Importera en instrumentpanelsfil.

Så här använder du den här instrumentpanelen

Den här instrumentpanelen drivs av AI/BI- och du måste ha åtkomst till systemet tables. Den ger insikter om dina serveringsslutpunktskostnader och din användning på arbetsytans nivå.

Följande steg get du startade:

  1. Ange arbetsytans ID.
  2. Select startdatum och slutdatum.
  3. Filtrera instrumentpanelen genom att välja det specifika slutpunktsnamnet i listrutan list (om du är intresserad av en viss slutpunkt).
  4. Ange taggnyckeln separat om du använder anpassade taggar för slutpunkten.

Kommentar

Modellservern tillämpar standardgränser på arbetsytan för att säkerställa att det inte finns några skenande utgifter. Se Gränser och regioner för modellservering.

Diagram som du kan använda

Följande diagram ingår i den här instrumentpanelen. Dessa är avsedda att vara utgångspunkten för att du ska kunna skapa din egen anpassade version av modellen som betjänar instrumentpanelen för kostnadsattribution.

  • Senaste 7 dagarnas högsta slutpunktsförbrukning
  • Daglig total $DBU användning
  • Modellbetjäningskostnader efter slutpunktstyp
    • Betala per token
    • CPU/GPU
    • Grundmodell
  • Daglig förbrukning per modell, serveringstyp
  • De 10 mest kostsamma serveringsslutpunkterna
  • De 10 mest kostsamma slutpunkterna för betala per token
  • LLM Finjustering De senaste 7 dagarnas utgifter
  • LLM-finjusteringsutgifter per e-post

Använda taggar för att övervaka kostnader

Initialt kan aggregerade kostnader vara tillräckliga för att observera övergripande modell som betjänar kostnader. Men när antalet slutpunkter ökar kanske du vill dela upp kostnader baserat på användningsfall, affärsenhet eller andra anpassade identifierare. Modellservern har stöd för att skapa anpassade taggar som kan tillämpas på din modell som betjänar slutpunkter.

Alla anpassade taggar som tillämpas på modellserverslutpunkter sprids till system.billing.usagetable under custom_tagscolumn och kan användas för att aggregera och visualisera kostnader. Databricks rekommenderar att du lägger till beskrivande taggar till varje slutpunkt för exakt kostnadsspårning.

Exempelfrågor

De översta slutpunkterna efter kostnad:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Kostnad med taggar ("business_unit": "data science") över tid:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Ytterligare resurser

Exempel på hur du övervakar kostnaden för jobb i ditt konto finns i Övervaka jobbkostnader & prestanda med system tables.