Referenční informace k tabulce systému fakturovatelného využití

Článek
12/16/2024

Tento článek obsahuje přehled fakturovatelné tabulky systému využití, včetně schématu a ukázkových dotazů. V systémových tabulkách jsou fakturovatelná data o využití vašeho účtu centralizovaná a směrovaná do všech oblastí, takže můžete zobrazit globální využití vašeho účtu z jakékoli oblasti, ve které se váš pracovní prostor nachází.

Informace o použití této tabulky k monitorování nákladů na úlohy najdete v tématu Monitorování nákladů na úlohy & výkonu pomocí systémových tabulek.

Strategie analýzy využití bez serveru najdete v tématu Monitorování nákladů na výpočetní prostředky bez serveru.

Cesta k tabulce: Tato systémová tabulka se nachází na system.billing.usageadrese .

Schéma fakturovatelné tabulky využití

Tabulka fakturovatelného systému využití používá následující schéma:

Název sloupce	Datový typ	Popis	Příklad
`record_id`	string	Jedinečné ID pro tento záznam	`11e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`account_id`	string	ID účtu, pro který se tato sestava vygenerovala	`23e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`workspace_id`	string	ID pracovního prostoru, ke které bylo toto použití přidruženo	`1234567890123456`
`sku_name`	string	Název skladové položky	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	string	Cloud, pro který je toto využití relevantní. Možné hodnoty jsou `AWS`, `AZURE`a `GCP`.	`AWS`, `AZURE` nebo `GCP`
`usage_start_time`	časové razítko	Počáteční čas, který je relevantní pro tento záznam využití. Informace o časovém pásmu se zaznamenávají na konci hodnoty s reprezentací `+00:00` časového pásma UTC.	`2023-01-09 10:00:00.000+00:00`
`usage_end_time`	časové razítko	Koncový čas, který je relevantní pro tento záznam využití. Informace o časovém pásmu se zaznamenávají na konci hodnoty s reprezentací `+00:00` časového pásma UTC.	`2023-01-09 11:00:00.000+00:00`
`usage_date`	datum	Datum záznamu o využití, toto pole lze použít k rychlejší agregaci podle data.	`2023-01-01`
`custom_tags`	map	Značky použité pro toto použití. Zahrnuje značky výpočetních prostředků, značky úloh, vlastní značky pracovního prostoru a značky zásad rozpočtu.	`{ “env”: “production” }`
`usage_unit`	string	Jednotkou je toto využití měřeno. Možné hodnoty zahrnují jednotky DBU.	`DBU`
`usage_quantity`	decimal	Počet jednotek spotřebovaných pro tento záznam	`259.2958`
`usage_metadata`	struct	Systémová metadata o využití, včetně ID výpočetních prostředků a úloh (pokud je k dispozici). Viz Analýza metadat využití.	`{cluster_id: null;` `instance_pool_id: null;` `notebook_id: null;` `job_id: null;` `node_type: null}`
`identity_metadata`	struct	Systémová metadata o identitách, které jsou součástí použití. Viz Analýza metadat identit.	`{run_as: example@email.com}`
`record_type`	string	Bez ohledu na to, zda je záznam původní, odvolání nebo obnovení. Hodnota není-li `ORIGINAL` záznam spojena s opravou. Viz Analýza záznamů oprav.	`ORIGINAL`
`ingestion_date`	datum	Datum, kdy se záznam ingestoval do `usage` tabulky	`2024-01-01`
`billing_origin_product`	string	Produkt, který pochází z používání. Některé produkty se můžou účtovat jako různé skladové položky. Možné hodnoty najdete v tématu Zobrazení informací o produktu přidruženém k využití.	`JOBS`
`product_features`	struct	Podrobnosti o použitých funkcích produktu	Možné hodnoty najdete v tématu Funkce produktu.
`usage_type`	string	Typ využití přiřazený k produktu nebo úloze pro účely fakturace. Možné hodnoty jsou `COMPUTE_TIME`, , `STORAGE_SPACE`, `NETWORK_BYTESAPI_OPERATION`, `TOKEN`, nebo `GPU_TIME`.	`STORAGE_SPACE`

Analýza metadat využití

Hodnoty, které usage_metadata vám řeknou o prostředcích zahrnutých v záznamu využití.

Hodnota	Datový typ	Popis
`cluster_id`	string	ID clusteru přidruženého k záznamu využití
`warehouse_id`	string	ID SQL Warehouse přidruženého k záznamu využití
`instance_pool_id`	string	ID fondu instancí přidruženého k záznamu využití
`node_type`	string	Typ instance výpočetního prostředku
`job_id`	string	ID úlohy přidružené k záznamu využití Vrátí hodnotu pouze pro využití výpočetních prostředků bez serveru nebo úloh, jinak vrátí `null`hodnotu .
`job_run_id`	string	ID spuštění úlohy přidružené k záznamu využití. Vrátí hodnotu pouze pro využití výpočetních prostředků bez serveru nebo úloh, jinak vrátí `null`hodnotu .
`job_name`	string	Uživatelské jméno úlohy přidružené k záznamu využití. Vrátí hodnotu pouze pro úlohy spuštěné na bezserverovém výpočetním prostředí, jinak vrátí `null`hodnotu .
`notebook_id`	string	ID poznámkového bloku přidruženého k použití Vrátí hodnotu pouze pro bezserverové výpočetní prostředky pro využití poznámkového bloku, jinak vrátí `null`hodnotu .
`notebook_path`	string	Cesta k úložišti pracovního prostoru poznámkového bloku přidruženého k využití Vrátí hodnotu pouze pro bezserverové výpočetní prostředky pro využití poznámkového bloku, jinak vrátí `null`hodnotu .
`dlt_pipeline_id`	string	ID kanálu Delta Live Tables přidruženého k záznamu využití
`dlt_update_id`	string	ID aktualizace kanálu Delta Live Tables přidružené k záznamu využití
`dlt_maintenance_id`	string	ID úloh údržby kanálu Delta Live Tables přidružených k záznamu využití
`run_name`	string	Jedinečný identifikátor vyladění základního modelu přidruženého k záznamu využití
`endpoint_name`	string	Název modelu obsluhující koncový bod nebo koncový bod vektorového vyhledávání přidružený k záznamu využití
`endpoint_id`	string	ID modelu obsluhující koncový bod nebo koncový bod vektorového vyhledávání přidružený k záznamu využití
`central_clean_room_id`	string	ID centrální čisté místnosti přidružené k záznamu o využití
`metastore_id`	string	ID úložiště metadat přidruženého k záznamu použití.

Analýza metadat identit

Sloupec identity_metadata vám může pomoct zjistit, kdo je zodpovědný za bezserverový fakturační záznam. Sloupec obsahuje run_as hodnotu, která přiřazují použití identitě. Identita zaznamenaná v identity_metadata.run_as závislosti na produktu přidruženém k využití.

Informace o identity_metadata.run_as chování najdete v následující tabulce:

Typ úlohy	Identita `run_as`
Výpočetní úlohy	Uživatel nebo instanční objekt definovaný v `run_as` nastavení. Ve výchozím nastavení se úlohy spouštějí jako identita vlastníka úlohy, ale správci ho můžou změnit na jiného uživatele nebo instančního objektu.
Bezserverové výpočetní prostředky pro úlohy	Uživatel nebo instanční objekt definovaný v `run_as` nastavení. Ve výchozím nastavení se úlohy spouštějí jako identita vlastníka úlohy, ale správci ho můžou změnit na jiného uživatele nebo instančního objektu.
Výpočetní prostředí bez serveru pro poznámkové bloky	Uživatel, který spustil příkazy poznámkového bloku (konkrétně uživatel, který vytvořil relaci poznámkového bloku). U sdílených poznámkových bloků to zahrnuje použití jinými uživateli, kteří sdílejí stejnou relaci poznámkového bloku.
Kanály Delta Live Tables	Uživatel, jehož oprávnění se používají ke spuštění kanálu Delta Live Tables. To se dá změnit převodem vlastnictví kanálu.
Vyladění základního modelu	Uživatel nebo instanční objekt, který inicioval spuštění trénování s vyladěním.

Analýza záznamů oprav

Tabulka billing.usage podporuje opravy. K opravám dochází, když je jakékoli pole záznamu o využití nesprávné a musí být opraveno.

Když dojde k opravě, Azure Databricks přidá do tabulky dva nové záznamy. Záznam odvolání neguje původní nesprávný záznam a potom záznam opětovného obnovení obsahuje opravené informace. Záznamy oprav se identifikují pomocí record_type pole:

RETRACTION: Slouží k negovat původní nesprávné použití. Všechna pole jsou shodná se záznamem ORIGINAL s výjimkou usage_quantityzáporné hodnoty, která zruší původní množství využití. Pokud bylo 259.4356například množství využití původního záznamu , pak by záznam odvolání měl množství -259.4356využití .
RESTATEMENT: Záznam, který obsahuje správná pole a množství využití.

Například následující dotaz vrátí správné hodinové množství využití související s , job_idi když byly provedeny opravy. Agregací množství využití neguje záznam odvolání původního záznamu a vrátí se pouze hodnoty restatementu.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Poznámka:

Pro opravy, u kterých by původní záznam o využití neměl být zapsán, může oprava přidat pouze záznam odvolání a žádný záznam o opětovném obnovení.

Zobrazení informací o produktu přidruženém k využití

Některé produkty Databricks se účtují ve stejné sdílené skladové položce. Abychom vám pomohli odlišit využití, billing_origin_product poskytují sloupce product_features lepší přehled o konkrétním produktu a funkcích přidružených k použití.

Sloupec billing_origin_product zobrazuje produkt Databricks přidružený k záznamu využití. Mezi tyto hodnoty patří:

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING

Sloupec product_features je objekt obsahující informace o použitých konkrétních funkcích produktu a obsahuje následující páry klíč/hodnota:

jobs_tier: hodnoty zahrnují LIGHT, CLASSICnebo null
sql_tier: hodnoty zahrnují CLASSIC, PROnebo null
dlt_tier: hodnoty zahrnují CORE, PRO, ADVANCED, nebo null
is_serverless: hodnoty zahrnují true nebo falsenebo nebo null
is_photon: hodnoty zahrnují true nebo falsenebo nebo null
serving_type: hodnoty zahrnují MODEL, , GPU_MODELFOUNDATION_MODEL, , FEATUREnebonull

Vzorové dotazy

K zodpovězení běžných dotazů týkajících se fakturovatelného využití můžete použít následující ukázkové dotazy:

Jaký je denní trend spotřeby DBU?
Kolik jednotek DBU každého produktu bylo během tohoto měsíce použito?
Které úlohy spotřebovaly nejvíce jednotek DBU?
Kolik využití lze přiřadit prostředkům s určitou značkou?
Ukažte mi skladové položky, ve kterých roste využití
Jaký je trend využití výpočetních prostředků pro všechny účely (Photon)?
Jaká je spotřeba DBU materializovaného zobrazení nebo tabulky streamování?
Jaká je spotřeba DBU bezserverového kanálu DLT?

Jaký je denní trend spotřeby DBU?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Kolik jednotek DBU každého produktu bylo během tohoto měsíce použito?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Které úlohy spotřebovaly nejvíce jednotek DBU?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Kolik využití lze přiřadit prostředkům s konkrétní značkou?

Náklady můžete rozdělit různými způsoby. Tento příklad ukazuje, jak rozdělit náklady podle vlastní značky. Nezapomeňte v dotazu nahradit klíč a hodnotu vlastní značky.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Ukažte mi produkty, ve kterých roste využití

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Jaký je trend využití výpočetních prostředků pro všechny účely (Photon)?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Jaká je spotřeba DBU materializovaného zobrazení nebo tabulky streamování?

Pokud chcete získat využití a skladovou položku DBU pro konkrétní materializované zobrazení nebo streamovací tabulku, odešlete dotaz do fakturovatelné systémové tabulky pro záznamy, kde usage_metadata.dlt_pipeline_id je nastaveno ID kanálu přidruženého k materializovanému zobrazení nebo streamovací tabulce. ID kanálu najdete na kartě Podrobnosti v Průzkumníku katalogu při prohlížení materializovaného zobrazení nebo tabulky streamování. Pokud chcete volitelně omezit spotřebu podle data, zadejte počáteční datum, koncové datum nebo rozsah dat. Následující dotaz načte využití DBU pro kanál s ID 00732f83-cd59-4c76-ac0d-57958532ab5b a počátečním datem 2023-05-30využití:

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

Jaká je spotřeba DBU bezserverového kanálu DLT?

Pokud chcete získat využití a skladovou položku DBU pro bezserverový kanál DLT, odešlete dotaz do tabulky fakturovatelného systému využití pro záznamy, kde usage_metadata.dlt_pipeline_id je nastaveno ID kanálu. ID kanálu najdete na kartě Podrobnosti kanálu při prohlížení kanálu v uživatelském rozhraní Delta Live Tables. Pokud chcete volitelně omezit spotřebu podle data, zadejte počáteční datum, koncové datum nebo rozsah dat. Následující dotaz načte využití DBU z prosince 2023 pro kanál s ID 00732f83-cd59-4c76-ac0d-57958532ab5b.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL

Sdílet prostřednictvím