Dela via

Övervaka kostnader för modellhantering

  • Artikel

Den här artikeln innehåller exempel på hur du använder systemtabeller för att övervaka kostnaden för Mosaic AI Model Serving-slutpunkter i ditt Azure Databricks-konto.

Krav

  • För att få åtkomst till systemtabeller måste arbetsytan vara aktiverad för Unity Catalog. Mer information finns i Aktivera systemtabellscheman.

SKU för faktureringssystemtabell

Du kan spåra kostnader för modellhantering i Azure Databricks med hjälp av den fakturerbara användningssystemtabellen. När systemtabellen för faktureringsanvändning har aktiverats fylls tabellen automatiskt i med den senaste användningen i ditt Databricks-konto. Kostnader visas i tabellen system.billing.usage med kolumnen sku_name som något av följande:

sku_name beskrivning
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Den här SKU:n innehåller alla DBU:er som ackumuleras när en slutpunkt börjar efter skalning till noll.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Alla andra modellbetjäningskostnader grupperas under den här SKU:n. Var tier motsvarar din Azure Databricks-plattformsnivå och region motsvarar molnregionen för din Azure Databricks-distribution.

Fråga efter och visualisera användning

Du kan köra frågor mot system.billing.usage tabellen för att aggregera alla DBUs (Databricks Units) som är associerade med Mosaic AI Model Serving. Följande är en exempelfråga som sammanställer en modell som betjänar DBUs per dag under de senaste 30 dagarna med SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Instrumentpanel för kostnadsobservabilitet

Om du vill hjälpa dig att komma igång med att övervaka dina modellbetjäningskostnader laddar du ned exempelinstrumentpanelen för kostnadstillskrivning från GitHub. Se instrumentpanelen för kostnadstillskrivning för modellserver.

När du har laddat ned JSON-filen importerar du instrumentpanelen till din arbetsyta. Anvisningar om hur du importerar instrumentpaneler finns i Importera en instrumentpanelsfil.

Så här använder du den här instrumentpanelen

Den här instrumentpanelen drivs av AI/BI och du måste ha åtkomst till systemtabellerna. Den ger insikter om dina serveringsslutpunktskostnader och din användning på arbetsytans nivå.

Du kommer igång med följande steg:

  1. Ange arbetsytans ID.
  2. Välj startdatum och slutdatum.
  3. Filtrera instrumentpanelen genom att välja det specifika slutpunktsnamnet i listrutan (om du är intresserad av en viss slutpunkt).
  4. Ange taggnyckeln separat om du använder anpassade taggar för slutpunkten.

Kommentar

Modellservern tillämpar standardgränser på arbetsytan för att säkerställa att det inte finns några skenande utgifter. Se Gränser och regioner för modellservering.

Diagram som du kan använda

Följande diagram ingår i den här instrumentpanelen. Dessa är avsedda att vara utgångspunkten för att du ska kunna skapa din egen anpassade version av modellen som betjänar instrumentpanelen för kostnadsattribution.

  • Senaste 7 dagarnas högsta slutpunktsförbrukning
  • Daglig total $DBU användning
  • Modellbetjäningskostnader efter slutpunktstyp
    • Betala per token
    • CPU/GPU
    • Grundmodell
  • Daglig förbrukning per modell, serveringstyp
  • De 10 mest kostsamma serveringsslutpunkterna
  • De 10 mest kostsamma slutpunkterna för betala per token
  • LLM Finjustering De senaste 7 dagarnas utgifter
  • LLM-finjusteringsutgifter per e-post

Använda taggar för att övervaka kostnader

Initialt kan aggregerade kostnader vara tillräckliga för att observera övergripande modell som betjänar kostnader. Men när antalet slutpunkter ökar kanske du vill dela upp kostnader baserat på användningsfall, affärsenhet eller andra anpassade identifierare. Modellservern har stöd för att skapa anpassade taggar som kan tillämpas på din modell som betjänar slutpunkter.

Alla anpassade taggar som tillämpas på modellserverslutpunkter sprids till system.billing.usage tabellen under custom_tags kolumnen och kan användas för att aggregera och visualisera kostnader. Databricks rekommenderar att du lägger till beskrivande taggar till varje slutpunkt för exakt kostnadsspårning.

Exempelfrågor

De översta slutpunkterna efter kostnad:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Kostnad med taggar ("business_unit": "data science") över tid:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Ytterligare resurser

Exempel på hur du övervakar kostnaden för jobb i ditt konto finns i Övervaka jobbkostnader med systemtabeller.