Referenční informace k tabulce systému fakturovatelného využití

Článek
01/21/2025

Tento článek obsahuje přehled fakturovatelné tabulky systému využití, včetně schématu a ukázkových dotazů. V systémových tabulkách jsou fakturovatelná data o využití vašeho účtu centralizovaná a směrovaná do všech oblastí, takže můžete zobrazit globální využití vašeho účtu z jakékoli oblasti, ve které se váš pracovní prostor nachází.

Informace o použití této tabulky k monitorování nákladů na úlohy najdete v tématu Monitorování nákladů na úlohy & výkonu pomocí systémových tabulek.

Strategie analýzy využití bez serveru najdete v tématu Monitorování nákladů na výpočetní prostředky bez serveru.

cesta k tabulce: Tato systémová tabulka se nachází v system.billing.usage.

Schéma tabulky fakturovatelného využití

Tabulka fakturovatelného systému využití používá následující schéma:

Název sloupce	Datový typ	Popis	Příklad
`record_id`	string	Jedinečné ID pro tento záznam využití	`11e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`account_id`	string	ID účtu, pro který se tato sestava vygenerovala	`23e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`workspace_id`	string	ID pracovního prostoru, ke které bylo toto použití přidruženo	`1234567890123456`
`sku_name`	string	Název skladové položky	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	string	Cloud, pro který je toto využití relevantní. Možné hodnoty jsou `AWS`, `AZURE`a `GCP`.	`AWS`, `AZURE` nebo `GCP`
`usage_start_time`	časové razítko	Počáteční čas, který je relevantní pro tento záznam využití. Informace o časovém pásmu se zaznamenávají na konci hodnoty s `+00:00` představující časové pásmo UTC.	`2023-01-09 10:00:00.000+00:00`
`usage_end_time`	časové razítko	Koncový čas, který je relevantní pro tento záznam využití. Informace o časovém pásmu se zaznamenávají na konci hodnoty s `+00:00` představující časové pásmo UTC.	`2023-01-09 11:00:00.000+00:00`
`usage_date`	datum	Datum záznamu o využití, toto pole lze použít k rychlejší agregaci podle data.	`2023-01-01`
`custom_tags`	map	Značky použité pro toto použití. Zahrnuje značky výpočetních prostředků, značky úloh, vlastní značky pracovního prostoru a značky zásad rozpočtu.	`{ “env”: “production” }`
`usage_unit`	string	Jednotkou je toto využití měřeno. Možné hodnoty zahrnují jednotky DBU.	`DBU`
`usage_quantity`	decimal	Počet jednotek spotřebovaných pro tento záznam	`259.2958`
`usage_metadata`	struct	Systémová metadata o využití, včetně ID výpočetních prostředků a úloh (pokud je k dispozici). Viz referenční metadata použití.	`{cluster_id: null;` `instance_pool_id: null;` `notebook_id: null;` `job_id: null;` `node_type: null}`
`identity_metadata`	struct	Systémová metadata o identitách, které jsou součástí použití. Viz referenční metadata identity .	`{"run_as": example@email.com,"created_by":null}`
`record_type`	string	Bez ohledu na to, zda je záznam původní, odvolání nebo obnovení. Hodnota není-li `ORIGINAL` záznam spojena s opravou. Viz referenční typ záznamu.	`ORIGINAL`
`ingestion_date`	datum	Datum, kdy byl záznam zaznamenán do tabulky `usage`.	`2024-01-01`
`billing_origin_product`	string	Produkt, který pochází z používání. Některé produkty se můžou účtovat jako různé skladové položky. Možné hodnoty najdete v referenční číslo produktu původu fakturace.	`JOBS`
`product_features`	struct	Podrobnosti o použitých funkcích produktu	Viz možné hodnoty v části Vlastnosti produktu.
`usage_type`	string	Typ využití přiřazený k produktu nebo úloze pro účely fakturace. Možné hodnoty jsou `COMPUTE_TIME`, `STORAGE_SPACE`, `NETWORK_BYTES`, `API_OPERATION`, `TOKEN`nebo `GPU_TIME`.	`STORAGE_SPACE`

Referenční informace o metadatech využití

Hodnoty v usage_metadata vám řeknou o objektech a prostředcích zahrnutých v záznamu využití.

Hodnota	Datový typ	Popis
`cluster_id`	string	ID clusteru přidruženého k záznamu využití
`warehouse_id`	string	ID SQL Warehouse přidruženého k záznamu využití
`instance_pool_id`	string	ID fondu instancí přidruženého k záznamu využití
`node_type`	string	Typ instance výpočetního prostředku
`job_id`	string	ID úlohy přidružené k záznamu využití Vrátí hodnotu pouze pro využití výpočetních prostředků bez serveru nebo úloh, jinak vrátí `null`hodnotu .
`job_run_id`	string	ID spuštění úlohy přidružené k záznamu využití. Vrátí hodnotu pouze pro využití výpočetních prostředků bez serveru nebo úloh, jinak vrátí `null`hodnotu .
`job_name`	string	Uživatelské jméno úlohy přidružené k záznamu využití. Vrátí hodnotu pouze pro úlohy spuštěné na bezserverovém výpočetním prostředí, jinak vrátí `null`hodnotu .
`notebook_id`	string	ID poznámkového bloku přidruženého k použití Vrátí hodnotu pouze pro bezserverové výpočetní prostředky pro využití poznámkového bloku, jinak vrátí `null`hodnotu .
`notebook_path`	string	Cesta k úložišti pracovního prostoru poznámkového bloku přidruženého k využití Vrátí hodnotu pouze pro bezserverové výpočetní prostředky pro využití poznámkového bloku, jinak vrátí `null`hodnotu .
`dlt_pipeline_id`	string	ID kanálu Delta Live Tables přidruženého k záznamu využití
`dlt_update_id`	string	ID aktualizace kanálu Delta Live Tables přidružené k záznamu využití
`dlt_maintenance_id`	string	ID úloh údržby potrubí Delta Live Tables spojených se záznamem využití
`run_name`	string	Jedinečný uživatelsky orientovaný identifikátor ladění základního modelu přidružený k záznamu využití
`endpoint_name`	string	Název modelu obsluhující koncový bod nebo koncový bod vektorového vyhledávání přidružený k záznamu využití
`endpoint_id`	string	ID modelu obsluhující koncový bod nebo koncový bod vektorového vyhledávání přidružený k záznamu využití
`central_clean_room_id`	string	ID centrální čisté místnosti přidružené k záznamu o využití
`metastore_id`	string	ID úložiště metadat přidruženého k záznamu použití.
`app_id`	string	ID aplikace přidružené k záznamu využití.
`app_name`	string	Uživatelské jméno aplikace přidružené k záznamu využití

Referenční informace k metadatem identit

Sloupec identity_metadata vám může pomoct určit, kdo je zodpovědný za bezserverový fakturační záznam. Sloupec obsahuje hodnotu run_as, která přiřazuje použití k identitě.

Kromě toho použití přiřazené Databricks Apps protokoluje hodnotu v poli identity_metadata.created_by. Tato hodnota se naplní e-mailem uživatele, který aplikaci vytvořil.

Identita zaznamenaná v identity_metadata.run_as závislosti na produktu přidruženém k využití. Informace o chování identity_metadata.run_as najdete v následující tabulce:

Typ úlohy	Identita `run_as`
Výpočetní úlohy	Uživatel nebo instanční objekt definovaný v `run_as` nastavení. Ve výchozím nastavení se úlohy spouštějí jako identita vlastníka úlohy, ale správci ho můžou změnit na jiného uživatele nebo instančního objektu.
Bezserverové výpočetní prostředky pro úlohy	Uživatel nebo instanční objekt definovaný v `run_as` nastavení. Ve výchozím nastavení se úlohy spouštějí jako identita vlastníka úlohy, ale správci ho můžou změnit na jiného uživatele nebo instančního objektu.
Výpočetní prostředí bez serveru pro poznámkové bloky	Uživatel, který spustil příkazy poznámkového bloku (konkrétně uživatel, který vytvořil relaci poznámkového bloku). U sdílených poznámkových bloků to zahrnuje použití jinými uživateli, kteří sdílejí stejnou relaci poznámkového bloku.
Kanály Delta Live Tables	Uživatel, jehož oprávnění se používají ke spuštění zpracování Delta Live Tables. To se dá změnit převodem vlastnictví kanálu.
Vyladění základního modelu	Uživatel nebo instanční objekt, který inicioval spuštění trénování s vyladěním.
Prediktivní optimalizace	Instanční objekt vlastněný službou Databricks, který spouští operace prediktivní optimalizace.
Monitorování Lakehouse	Uživatel, který vytvořil monitor.

Reference k typu záznamu

Tabulka billing.usage podporuje opravy. K opravám dochází, když je jakékoli pole záznamu o využití nesprávné a musí být opraveno.

Když dojde k opravě, Azure Databricks přidá do tabulky dva nové záznamy. Záznam odvolání neguje původní nesprávný záznam a potom záznam opětovného obnovení obsahuje opravené informace. Záznamy oprav se identifikují pomocí record_type pole:

RETRACTION: Slouží k negovat původní nesprávné použití. Všechna pole jsou shodná se záznamem ORIGINAL s výjimkou usage_quantityzáporné hodnoty, která zruší původní množství využití. Pokud bylo 259.4356například množství využití původního záznamu , pak by záznam odvolání měl množství -259.4356využití .
RESTATEMENT: Záznam, který obsahuje správná pole a množství využití.

Například následující dotaz vrátí správné hodinové množství využití související s , job_idi když byly provedeny opravy. Agregací množství využití neguje záznam odvolání původního záznamu a vrátí se pouze hodnoty restatementu.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Poznámka:

Pro opravy, u kterých by původní záznam o využití neměl být zapsán, může oprava přidat pouze záznam odvolání a žádný záznam o opětovném obnovení.

referenční číslo produktu původu fakturace

Některé produkty Databricks se účtují ve stejné sdílené skladové položce. Sloupce billing_origin_product a product_features, které vám pomůžou odlišit využití, poskytují lepší přehled o konkrétním produktu a funkcích přidružených k využití.

Ve sloupci billing_origin_product se zobrazuje produkt Databricks přidružený k záznamu o využití. Mezi tyto hodnoty patří:

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
AGENT_EVALUATION
FINE_GRAIN_ACCESS_CONTROL
APPS: Náklady spojené se sestavováním a provozem Databricks Apps

Referenční informace k funkcím produktu

Sloupec product_features je objekt obsahující informace o použitých konkrétních funkcích produktu a obsahuje následující páry klíč/hodnota:

jobs_tier: hodnoty zahrnují LIGHT, CLASSICnebo null
sql_tier: hodnoty zahrnují CLASSIC, PROnebo null
dlt_tier: hodnoty zahrnují CORE, PRO, ADVANCEDnebo null
is_serverless: hodnoty zahrnují true nebo falsenebo null
is_photon: hodnoty zahrnují true nebo falsenebo null
serving_type: hodnoty zahrnují MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATUREnebo null

Vzorové dotazy

Tento článek obsahuje následující ukázkové dotazy:

Jaký je denní trend spotřeby DBU?
Kolik jednotek DBU každého produktu bylo během tohoto měsíce použito?
Které úlohy spotřebovaly nejvíce jednotek DBU?
Kolik využití lze přiřadit prostředkům s konkrétní značkou?
Ukažte mi produkty, u kterých se zvyšuje využití
Jaký je trend využití výpočetních prostředků pro všechny účely (Photon)?
Jaká je spotřeba DBU materializovaného zobrazení nebo streamovací tabulky?
Jaká je spotřeba DBU bezserverového kanálu DLT?

Jaký je denní trend spotřeby DBU?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Kolik jednotek DBU každého produktu bylo během tohoto měsíce použito?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Které úlohy spotřebovaly nejvíce jednotek DBU?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Kolik využití lze přiřadit prostředkům s konkrétní značkou?

Náklady můžete rozdělit různými způsoby. Tento příklad ukazuje, jak rozdělit náklady podle vlastní značky. Do parametrů dotazu zadejte hodnotu a klíč vlastní značky.

SELECT
  sku_name,
  usage_unit,
  SUM(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  custom_tags [:key] = :value
GROUP BY
  1,
  2

Ukázat mi produkty, ve kterých roste využití

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Jaký je trend využití výpočetních prostředků pro všechny účely (Photon)?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Jaká je spotřeba DBU materializovaného zobrazení nebo tabulky streamování?

Pokud chcete získat využití DBU a SKU pro konkrétní materializované zobrazení nebo streamovací tabulku, odešlete dotaz na fakturovatelnou tabulku využití systému, kde usage_metadata.dlt_pipeline_id je nastaveno na ID datového kanálu spojeného s materializovaným zobrazením nebo streamovací tabulkou. ID kanálu najdete na kartě Podrobnosti v Průzkumníku katalogu při prohlížení materializovaného zobrazení nebo tabulky streamování.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time > :usage_start_time
GROUP BY
  ALL

Jaká je spotřeba DBU bezserverového kanálu DLT?

Pokud chcete získat využití a skladovou položku DBU pro bezserverový kanál DLT, odešlete dotaz do tabulky fakturovatelného systému využití záznamů, ve kterých je usage_metadata.dlt_pipeline_id nastaveno na ID kanálu. ID potrubí najdete na kartě Podrobnosti potrubí při prohlížení potrubí v uživatelském rozhraní Delta Live Tables. Pokud chcete volitelně omezit spotřebu podle data, zadejte počáteční datum, koncové datum nebo rozsah dat.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time >= :usage_start_time
  AND usage_end_time < :usage_end_time
GROUP BY
  ALL

Sdílet prostřednictvím