De kosten voor modelbediening bewaken

Artikel
01/21/2025

Dit artikel bevat voorbeelden van het gebruik van systeem tables voor het bewaken van de kosten van Mozaïek AI Model Serving-eindpunten in uw Azure Databricks-account.

Vereisten

Als u toegang wilt krijgen tot het systeem tables, moet uw werkruimte zijn ingeschakeld voor Unity Catalog. Voor meer informatie, zie systeem table schema's inschakelen.

Factureringsgebruikssysteem table SKU

U kunt modelkosten in Azure Databricks bijhouden met behulp van het factureerbare gebruikssysteem table. Nadat het factureringsgebruikssysteem table is ingeschakeld, wordt de table automatisch gevuld met het meest recente gebruik in uw Databricks-account. De kosten worden weergegeven in de system.billing.usagetable met columnsku_name als een van de volgende opties:

`sku_name`	Beschrijving
`<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region>`	Deze SKU bevat alle DBU's die zijn opgebouwd wanneer een eindpunt wordt gestart na het schalen naar nul.
`<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region>`	Alle andere kosten voor het leveren van modellen worden gegroepeerd onder deze SKU. Where `tier` komt overeen met uw Azure Databricks-platformlaag en `region` komt overeen met de cloudregio van uw Azure Databricks-implementatie.

Gebruik opvragen en visualiseren

U kunt query's uitvoeren op de system.billing.usagetable om alle DBU's (Databricks Units) te aggregeren die zijn gekoppeld aan Mosaic AI Model Serving. Hier volgt een voorbeeldquery waarmee het model voor DBU's per dag wordt geaggregeerd voor de afgelopen 30 dagen met behulp van SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Dashboard kostenobserveerbaarheid

Als u get bent begonnen met het bewaken van de kosten van uw model, downloadt u het voorbeelddashboard voor kostentoeschrijving vanuit GitHub. Zie het dashboard voor kostentoeschrijving van modelbediening.

Nadat u het JSON-bestand hebt gedownload, importeert u het dashboard in uw werkruimte. Zie Een dashboardbestand importeren voor instructies over het importeren van dashboards.

Dit dashboard gebruiken

Dit dashboard wordt mogelijk gemaakt door AI/BI- en u moet toegang hebben tot het systeem tables. Het biedt inzicht in de kosten en het gebruik van uw service-eindpunt op werkruimteniveau.

De volgende stappen get u bent gestart:

Voer de werkruimte-id in.
Select de begin- en einddatum.
Filter het dashboard door de naam van het specifieke eindpunt te selecteren in de vervolgkeuzelijst list (als u geïnteresseerd bent in een bepaald eindpunt).
Voer de tagsleutel afzonderlijk in als u aangepaste tags voor uw eindpunt gebruikt.

Notitie

Model Serving dwingt standaardlimieten af voor de werkruimte om ervoor te zorgen dat er geen runaway-uitgaven zijn. Zie Limieten en regio's voor modelbediening.

Grafieken die u kunt gebruiken

De volgende grafieken zijn opgenomen in dit dashboard. Deze zijn bedoeld om u te laten beginnen met het bouwen van uw eigen aangepaste versie van het model met het dashboard voor kostentoeschrijving.

Laatste 7 dagen hoogste eindpuntverbruik
Dagelijks totaal $DBU gebruik
Model voor het leveren van kosten per eindpunttype
- Betalen per token
- CPU/GPU
- Foundation-model
Dagelijks verbruik per servicetype model
Top 10 meest kostbare eindpunten
Top 10 meest kostbare eindpunten voor betalen per token
LLM Fine tuning Last 7 days Spend
Afstemmen van uitgaven per e-mail met LLM

Tags gebruiken om kosten te bewaken

In eerste instantie zijn geaggregeerde kosten mogelijk voldoende voor het observeren van de totale kosten voor het leveren van modellen. Als het aantal eindpunten echter toeneemt, kunt u kosten opsplitsen op basis van use-case, bedrijfseenheid of andere aangepaste id's. Het leveren van modellen ondersteunt het maken van aangepaste tags die kunnen worden toegepast op uw model voor eindpunten.

Alle aangepaste tags die worden toegepast op het model dat eindpunten leveren, worden doorgegeven aan de system.billing.usagetable onder de custom_tagscolumn en kunnen worden gebruikt om kosten samen te voegen en te visualiseren. Databricks raadt aan om beschrijvende tags toe te voegen aan elk eindpunt voor nauwkeurige kostentracering.

Voorbeeldquery's

Belangrijkste eindpunten op kosten:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Kosten met tags ('business_unit': 'data science') in de loop van de tijd:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Aanvullende bronnen

Zie Taakkosten bewaken & prestaties met systeem tablesvoor voorbeelden van het bewaken van de kosten van taken in uw account.

Delen via