Sdílet prostřednictvím

Monitorování modelu obsluhujícího náklady

  • Článek

Tento článek obsahuje příklady použití systémových tabulek k monitorování nákladů na koncové body obsluhy modelu Mosaic AI ve vašem účtu Azure Databricks.

Požadavky

  • Pokud chcete získat přístup k systémovým tabulkám, musí být váš pracovní prostor povolený pro katalog Unity. Další informace naleznete v tématu Povolení schémat systémových tabulek.

Skladová položka tabulky fakturačního systému využití

Model obsluhující náklady v Azure Databricks můžete sledovat pomocí tabulky fakturovatelného systému využití. Po povolení tabulky systému využití fakturace se tabulka automaticky naplní nejnovějším využitím vašeho účtu Databricks. Náklady se zobrazí v system.billing.usage tabulce s jedním z následujících sloupců sku_name :

sku_name Popis
<tier>_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_<region> Tato skladová položka zahrnuje všechny jednotky DBU nabíhající při spuštění koncového bodu po škálování na nulu.
<tier>_SERVERLESS_REAL_TIME_INFERENCE_<region> Všechny ostatní náklady na obsluhu modelů jsou seskupeny v rámci této skladové položky. Kde tier odpovídá vaší úrovni platformy Azure Databricks a region odpovídá cloudové oblasti vašeho nasazení Azure Databricks.

Dotazování a vizualizace využití

Dotazem na system.billing.usage tabulku můžete agregovat všechny jednotky DBU (Jednotky Databricks) přidružené k obsluhě modelu AI s využitím systému Mosaic AI. Následuje příklad dotazu, který agreguje model obsluhující jednotky DBU za den za posledních 30 dnů pomocí SQL:


SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Řídicí panel pozorovatelnosti nákladů

Abyste mohli začít monitorovat model obsluhující náklady, stáhněte si ukázkový řídicí panel pro přiřazení nákladů z GitHubu. Viz Řídicí panel pro přiřazení nákladů na poskytování modelu.

Po stažení souboru JSON naimportujte řídicí panel do svého pracovního prostoru. Pokyny k importu řídicích panelů najdete v tématu Import souboru řídicího panelu.

Jak používat tento řídicí panel

Tento řídicí panel využívá AI/BI a potřebujete přístup k systémovým tabulkám. Poskytuje přehled o nákladech na koncové body a využití na úrovni pracovního prostoru.

Následující kroky vám pomůžou začít:

  1. Zadejte ID pracovního prostoru.
  2. Vyberte počáteční a koncové datum.
  3. Vyfiltrujte řídicí panel výběrem konkrétního názvu koncového bodu v rozevíracím seznamu (pokud vás zajímá konkrétní koncový bod).
  4. Klíč značky zadejte samostatně, pokud pro svůj koncový bod použijete nějaké vlastní značky.

Poznámka:

Služba Model Serving vynucuje výchozí limity pracovního prostoru, aby se zajistilo, že nedojde k žádné útratě. Viz Omezení a oblasti služby Model Serving.

Grafy, které můžete použít

Následující grafy jsou součástí tohoto řídicího panelu. Jedná se o výchozí bod, který vám umožní vytvořit vlastní přizpůsobenou verzi modelu obsluhující řídicí panel pro přiřazení nákladů.

  • Spotřeba koncových bodů za posledních 7 dnů
  • Denní celkové využití $DBU
  • Model obsluhující náklady podle typu koncového bodu
    • Platba za token
    • CPU/GPU
    • Základní model
  • Denní spotřeba na typ obsluhy modelu
  • Prvních 10 nejnákladnějších koncových bodů
  • Top 10 Most Costly Pay-Per-Token Endpoints
  • Vyladění LLM Posledních 7 dnů Útrata
  • Vyladění výdajů na e-mail v LLM

Použití značek k monitorování nákladů

Na začátku můžou být agregované náklady dostatečné pro pozorování celkových nákladů na obsluhu modelu. S rostoucím počtem koncových bodů ale můžete chtít rozdělit náklady na základě případu použití, obchodní jednotky nebo jiných vlastních identifikátorů. Obsluha modelů podporuje vytváření vlastních značek, které je možné použít na koncové body obsluhy modelu.

Všechny vlastní značky použité na model obsluhující koncové body se rozšíří do system.billing.usage tabulky pod custom_tags sloupcem a dají se použít k agregaci a vizualizaci nákladů. Databricks doporučuje přidat do každého koncového bodu popisné značky pro přesné sledování nákladů.

Vzorové dotazy

Hlavní koncové body podle nákladů:


SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Náklady se značkami ("business_unit": "datové vědy") v průběhu času:


SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Další materiály

Příklady monitorování nákladů na úlohy ve vašem účtu najdete v tématu Monitorování nákladů na úlohy & výkonu pomocí systémových tabulek.