Tabela odniesienia dla rozliczanego użycia systemu
Ten artykuł zawiera omówienie tabeli systemu użycia rozliczanego, w tym schematu i przykładowych zapytań. W przypadku tabel systemowych rozliczane dane użycia konta są scentralizowane i kierowane do wszystkich regionów, dzięki czemu można wyświetlić globalne użycie konta niezależnie od regionu, w którym jest obszar roboczy.
Aby uzyskać informacje na temat używania tej tabeli do monitorowania kosztów i przykładowych zapytań, zobacz Monitorowanie kosztów przy użyciu tabel systemowych.
ścieżka tabeli: ta tabela systemowa znajduje się w system.billing.usage.
Schemat tabeli użycia rozliczanego
Tabela systemu użycia rozliczanego używa następującego schematu:
| Nazwa kolumny | Typ danych | opis | Przykład |
|---|---|---|---|
record_id |
string | Unikatowy identyfikator dla tego rekordu użycia | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
string | Identyfikator konta, dla którego został wygenerowany ten raport | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
string | Identyfikator obszaru roboczego, z którego zostało skojarzone to użycie | 1234567890123456 |
sku_name |
string | Nazwa jednostki SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
string | W chmurze to użycie jest istotne. Możliwe wartości to AWS, AZUREi GCP. |
AWS, AZURE lub GCP |
usage_start_time |
timestamp | Godzina rozpoczęcia istotna dla tego rekordu użycia. Informacje o strefie czasowej są rejestrowane na końcu wartości z +00:00 reprezentującą strefę czasową UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
timestamp | Godzina zakończenia istotna dla tego rekordu użycia. Informacje o strefie czasowej są rejestrowane na końcu wartości z +00:00 reprezentującą strefę czasową UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
data | Data rekordu użycia, to pole może służyć do szybszej agregacji według daty | 2023-01-01 |
custom_tags |
map | Tagi zastosowane do tego użycia. Obejmuje tagi zasobów obliczeniowych, tagi zadań, tagi niestandardowe obszaru roboczego i tagi zasad budżetu. | { “env”: “production” } |
usage_unit |
string | Jednostka, w ramach których to użycie jest mierzone. Możliwe wartości obejmują jednostki DBU. | DBU |
usage_quantity |
decimal | Liczba jednostek użytych dla tego rekordu. | 259.2958 |
usage_metadata |
struktura | Metadane dostarczone przez system dotyczące użycia, w tym identyfikatory zasobów obliczeniowych i zadań (jeśli dotyczy). Zobacz Dokumentacja metadanych użycia. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
struktura | Metadane udostępniane przez system dotyczące tożsamości związanych z użyciem. Zobacz |
{"run_as": example@email.com,"created_by":null} |
record_type |
string | Niezależnie od tego, czy rekord jest oryginalny, wycofywanie, czy też zmiana. Wartość jest ORIGINAL , chyba że rekord jest powiązany z korektą. Zobacz odniesienie do rodzaju rekordu. |
ORIGINAL |
ingestion_date |
data | Data dodania rekordu do tabeli usage. |
2024-01-01 |
billing_origin_product |
string | Produkt, który pochodzi z użycia. Niektóre produkty mogą być rozliczane jako różne jednostki SKU. Aby uzyskać możliwe wartości, zobacz odniesienie do produktu początkowego rozliczeń . | JOBS |
product_features |
struktura | Szczegółowe informacje o używanych funkcjach produktu. | Aby dowiedzieć się, jakie są możliwe wartości, zobacz Funkcje produktu. |
usage_type |
string | Typ użycia przypisany do produktu lub obciążenia na potrzeby rozliczeń. Możliwe wartości to COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, API_OPERATION, TOKENlub GPU_TIME. |
STORAGE_SPACE |
Dokumentacja dotycząca metadanych użycia
Wartości w usage_metadata informują o obiektach i zasobach zaangażowanych w rekord użycia.
| Wartość | Typ danych | opis |
|---|---|---|
cluster_id |
string | Identyfikator klastra skojarzonego z rekordem użycia |
warehouse_id |
string | Identyfikator usługi SQL Warehouse skojarzonej z rekordem użycia |
instance_pool_id |
string | Identyfikator puli wystąpień skojarzonej z rekordem użycia |
node_type |
string | Typ wystąpienia zasobu obliczeniowego |
job_id |
string | Identyfikator zadania skojarzonego z rekordem użycia.
Zwraca tylko wartość dla bezserwerowego użycia zasobów obliczeniowych lub obliczeniowych zadań. W przeciwnym razie zwraca wartość null. |
job_run_id |
string | Identyfikator przebiegu zadania skojarzonego z rekordem użycia.
Zwraca tylko wartość dla bezserwerowego użycia zasobów obliczeniowych lub obliczeniowych zadań. W przeciwnym razie zwraca wartość null. |
job_name |
string | Nadana przez użytkownika nazwa zadania skojarzonego z rekordem użycia.
Zwraca tylko wartość dla zadań uruchamianych w obliczeniach bezserwerowych. W przeciwnym razie zwraca wartość null. |
notebook_id |
string | Identyfikator notesu skojarzonego z użyciem.
Zwraca tylko wartość bezserwerowych obliczeń dla użycia notesu. W przeciwnym razie zwraca wartość null. |
notebook_path |
string | Ścieżka magazynu obszaru roboczego notesu skojarzonego z użyciem.
Zwraca tylko wartość bezserwerowych obliczeń dla użycia notesu. W przeciwnym razie zwraca wartość null. |
dlt_pipeline_id |
string | ID potoku Delta Live Tables skojarzonego z rekordem użycia |
dlt_update_id |
string | Identyfikator aktualizacji potoku Delta Live Tables powiązanej z rekordem użycia |
dlt_maintenance_id |
string | Identyfikator zadań konserwacji potoku delta Live Tables skojarzonych z rekordem użycia |
run_name |
string | Unikatowy identyfikator skierowany do użytkownika dla dostrajania Modelu Podstawowego, powiązany z rekordem użycia |
endpoint_name |
string | Nazwa modelu obsługującego punkt końcowy lub punkt końcowy wyszukiwania wektorów skojarzony z rekordem użycia |
endpoint_id |
string | Identyfikator modelu obsługującego punkt końcowy lub punkt końcowy wyszukiwania wektorów skojarzony z rekordem użycia |
central_clean_room_id |
string | Identyfikator centralnego czystego pomieszczenia skojarzonego z rekordem użycia |
metastore_id |
string | Identyfikator magazynu metadanych skojarzonego z rekordem użycia. |
app_id |
string | Identyfikator aplikacji skojarzonej z rekordem użycia. |
app_name |
string | Nadana przez użytkownika nazwa aplikacji skojarzonej z rekordem użycia. |
Odniesienie do metadanych tożsamości
Kolumna identity_metadata może pomóc określić, kto jest odpowiedzialny za bezserwerowy rekord rozliczeniowy. Kolumna zawiera wartość run_as, która przypisuje użycie identyfikatorowi.
Ponadto użycie przypisane do usługi Databricks Apps rejestruje wartość w polu identity_metadata.created_by. Ta wartość jest wypełniana pocztą e-mail użytkownika, który utworzył aplikację.
Tożsamość zarejestrowana w pliku identity_metadata.run_as zależy od produktu skojarzonego z użyciem. Proszę odnieść się do poniższej tabeli w celu zapoznania się z zachowaniem identity_metadata.run_as.
| Typ obciążenia | Tożsamość run_as |
|---|---|
| Obliczenia zadań | Użytkownik lub jednostka usługi zdefiniowana w ustawieniu run_as . Domyślnie zadania są uruchamiane jako tożsamość właściciela zadania, ale administratorzy mogą zmienić to na innego użytkownika lub jednostki usługi. |
| Bezserwerowe obliczenia dla zadań | Użytkownik lub jednostka usługi zdefiniowana w ustawieniu run_as . Domyślnie zadania są uruchamiane jako tożsamość właściciela zadania, ale administratorzy mogą zmienić to na innego użytkownika lub jednostki usługi. |
| Bezserwerowe obliczenia dla notesów | Użytkownik, który uruchomił polecenia notesu (w szczególności użytkownika, który utworzył sesję notesu). W przypadku notesów udostępnionych obejmuje to użycie przez innych użytkowników współużytkowanych w tej samej sesji notesu. |
| Rurociągi Delta Live Tables | Użytkownik, którego uprawnienia są używane do uruchamiania potoku Delta Live Tables. Można to zmienić, przenosząc własność potoku. |
| Dostrajanie modelu podstawowego | Użytkownik lub jednostka usługi, która zainicjowała przebieg trenowania dostrajania. |
| Optymalizacja predykcyjna | Jednostka usługi należącej do usługi Databricks, która uruchamia operacje optymalizacji predykcyjnej. |
| Monitorowanie usługi Lakehouse | Użytkownik, który utworzył monitor. |
Odniesienie do typu rekordu
Tabela billing.usage obsługuje poprawki. Poprawki występują, gdy dowolne pole rekordu użycia jest nieprawidłowe i należy je naprawić.
Gdy wystąpi korekta, usługa Azure Databricks dodaje do tabeli dwa nowe rekordy. Rekord wycofywania neguje oryginalny nieprawidłowy rekord, a następnie rekord ponownego przechowywania zawiera poprawione informacje. Rekordy poprawek są identyfikowane przy użyciu record_type pola:
-
RETRACTION: służy do negowania oryginalnego nieprawidłowego użycia. Wszystkie pola są identyczne z rekordemORIGINALz wyjątkiemusage_quantitywartości ujemnej, która anuluje oryginalną ilość użycia. Jeśli na przykład ilość użycia oryginalnego rekordu to259.4356, rekord wycofywania będzie miał ilość-259.4356użycia . -
RESTATEMENT: Rekord zawierający poprawne pola i ilość użycia.
Na przykład następujące zapytanie zwraca poprawną ilość użycia godzinowego powiązaną z wartością job_id, nawet jeśli zostały wprowadzone poprawki. Agregując wielkość zużycia, zapis anulujący neguje oryginalny zapis i zwracane są tylko wartości korekty.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Uwaga
W przypadku poprawek, w których oryginalny rekord użycia nie powinien być zapisywany, korekta może dodać tylko rekord wycofania, bez rekordu zmiany.
referencja produktu źródła rozliczeń
Niektóre produkty usługi Databricks są rozliczane w ramach tej samej udostępnionej jednostki SKU. Aby ułatwić odróżnienie użycia, kolumny billing_origin_product i product_features zapewniają lepszy wgląd w konkretny produkt i funkcje skojarzone z użyciem.
W kolumnie billing_origin_product jest wyświetlany produkt usługi Databricks skojarzony z rekordem użycia. Wartości obejmują:
JOBSDLTSQLALL_PURPOSEMODEL_SERVINGINTERACTIVEDEFAULT_STORAGEVECTOR_SEARCHLAKEHOUSE_MONITORINGPREDICTIVE_OPTIMIZATIONONLINE_TABLESFOUNDATION_MODEL_TRAININGAGENT_EVALUATIONFINE_GRAIN_ACCESS_CONTROLAPPS: koszty związane z kompilowaniem i uruchamianiem usługi Databricks Apps
Odniesienie do cech produktu
Kolumna product_features jest obiektem zawierającym informacje o określonych używanych funkcjach produktu i zawiera następujące pary klucz/wartość:
-
jobs_tier: wartości obejmująLIGHT,CLASSIClubnull -
sql_tier: wartości obejmująCLASSIC,PROlubnull -
dlt_tier: wartości obejmująCORE,PRO,ADVANCEDlubnull -
is_serverless: wartości obejmujątruelubfalselubnull -
is_photon: wartości obejmujątruelubfalselubnull -
serving_type: wartości obejmująMODEL,GPU_MODEL,FOUNDATION_MODEL,FEATURElubnull