청구 가능한 사용량 시스템 table 참조
이 문서에서는 table 및 예제 쿼리를 포함하여 청구 가능한 사용 시스템 schema대한 개요를 제공합니다. 시스템 tables사용하면 계정의 청구 가능 사용량 데이터가 중앙 집중화되고 모든 지역으로 라우팅되므로 작업 영역이 있는 지역에서 계정의 전역 사용량을 볼 수 있습니다.
이
서버리스 사용량을 분석하는 전략은 서버리스 컴퓨팅 비용 모니터링을 참조 하세요.
Table 경로: 이 시스템은 tablesystem.billing.usage
에 있습니다.
청구 가능한 사용량 tableschema
청구 가능한 사용 시스템 table은 다음 schema을 사용합니다.
Column 이름 | 데이터 형식 | 설명 | 예시 |
---|---|---|---|
record_id |
string | 이 사용 레코드의 고유 ID | 11e22ba4-87b9-4cc2 -9770-d10b894b7118 |
account_id |
string | 이 보고서가 생성된 계정의 ID입니다. | 23e22ba4-87b9-4cc2 -9770-d10b894b7118 |
workspace_id |
string | 이 사용이 연결된 작업 영역의 ID | 1234567890123456 |
sku_name |
string | SKU의 이름 | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
string | 클라우드 이 사용법은 관련이 있습니다. 가능한 values는 AWS , AZURE 및 GCP 입니다. |
AWS , AZURE 또는 GCP |
usage_start_time |
timestamp | 이 사용량 레코드와 관련된 시작 시간입니다.
Timezone 정보는 값의 끝에 +00:00 이 UTC timezone를 나타내도록 기록됩니다. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
timestamp | 이 사용량 레코드와 관련된 종료 시간입니다.
Timezone 정보는 값의 끝에 +00:00 이 UTC timezone를 나타내도록 기록됩니다. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
date | 사용 레코드의 날짜입니다. 이 필드는 날짜별 더 빠른 집계에 사용할 수 있습니다. | 2023-01-01 |
custom_tags |
map | 이 사용에 적용되는 태그입니다. 컴퓨팅 리소스 태그, 작업 태그, 작업 영역 사용자 지정 태그 및 예산 정책 태그를 포함합니다. | { “env”: “production” } |
usage_unit |
string | 이 사용량을 단위로 측정합니다. 가능한 values DBUs를 포함합니다. | DBU |
usage_quantity |
decimal | 이 레코드에 사용된 단위 수입니다. | 259.2958 |
usage_metadata |
struct | 컴퓨팅 리소스 및 작업에 대한 ID를 포함하여 사용량에 대한 시스템 제공 메타데이터(해당하는 경우). 사용량 메타데이터참조하세요. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
struct | 사용과 관련된 ID에 대한 시스템 제공 메타데이터입니다. 정체성 메타데이터를 참조하십시오. | {"run_as": example@email.com,"created_by":null} |
record_type |
string | 레코드가 원래 레코드인지, 철회인지 또는 재설계인지 여부입니다. 값은 ORIGINAL 레코드가 수정과 관련되어 있지 않은 경우입니다.
레코드 형식 참조을 보세요. |
ORIGINAL |
ingestion_date |
date | 레코드가 usage table에 입력된 날짜입니다. |
2024-01-01 |
billing_origin_product |
string | 사용에서 시작된 제품입니다. 일부 제품은 다른 SKU로 청구할 수 있습니다. 가능한 values청구 원본 제품 참조참조하세요. | JOBS |
product_features |
struct | 사용되는 특정 제품 기능에 대한 세부 정보입니다. | 가능한 values에 대해서는 제품 기능를 참조하세요. |
usage_type |
string | 청구 목적으로 제품 또는 워크로드에 기인하는 사용 유형입니다. 가능한 values에 COMPUTE_TIME , STORAGE_SPACE , NETWORK_BYTES , API_OPERATION , TOKEN 또는 GPU_TIME 이 있습니다. |
STORAGE_SPACE |
메타데이터 사용 참조
values은 usage_metadata
사용 현황 레코드와 관련된 개체 및 리소스에 대해 설명합니다.
값 | 데이터 형식 | 설명 |
---|---|---|
cluster_id |
string | 사용 레코드와 연결된 클러스터의 ID |
warehouse_id |
string | 사용 레코드와 연결된 SQL 웨어하우스의 ID |
instance_pool_id |
string | 사용 레코드와 연결된 인스턴스 풀의 ID |
node_type |
string | 컴퓨팅 리소스의 인스턴스 유형 |
job_id |
string | 사용 레코드와 연결된 작업의 ID입니다.
서버리스 컴퓨팅 또는 작업 컴퓨팅 사용량에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 null . |
job_run_id |
string | 사용 레코드와 연결된 작업 실행의 ID입니다.
서버리스 컴퓨팅 또는 작업 컴퓨팅 사용량에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 null . |
job_name |
string | 사용 레코드와 연결된 작업의 사용자 지정 이름입니다.
서버리스 컴퓨팅에서 실행되는 작업에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 null . |
notebook_id |
string | 사용과 연결된 Notebook의 ID입니다.
Notebook 사용에 대한 서버리스 컴퓨팅 값만 반환하고, 그렇지 않으면 반환됩니다 null . |
notebook_path |
string | 사용량과 연결된 Notebook의 작업 영역 스토리지 경로입니다.
Notebook 사용에 대한 서버리스 컴퓨팅 값만 반환하고, 그렇지 않으면 반환됩니다 null . |
dlt_pipeline_id |
string | 사용 레코드와 연결된 Delta Live Tables 파이프라인의 ID |
dlt_update_id |
string | Delta Live Tables 파이프라인 update의 사용 레코드 관련 ID |
dlt_maintenance_id |
string | 사용 레코드와 연결된 Delta Live Tables 파이프라인 유지 관리 작업의 ID |
run_name |
string | 사용 레코드와 연결된 기초 모델 미세 조정의 사용자에게 표시되는 고유한 identifier |
endpoint_name |
string | 사용 레코드와 연결된 엔드포인트 또는 벡터 검색 엔드포인트를 제공하는 모델의 이름입니다. |
endpoint_id |
string | 사용 레코드와 연결된 엔드포인트 또는 벡터 검색 엔드포인트를 제공하는 모델의 ID |
central_clean_room_id |
string | 사용 레코드와 연결된 중앙 정리실의 ID |
metastore_id |
string | 사용 레코드와 연결된 메타스토어의 ID입니다. |
app_id |
string | 사용 레코드와 연결된 앱의 ID입니다. |
app_name |
string | 사용 레코드와 연결된 앱의 사용자 지정 이름입니다. |
아이덴티티 메타데이터 참조
identity_metadata
column은 서버리스 청구 레코드에서 누가 책임자인지를 식별하는 데 도움이 될 수 있습니다.
column은 사용을 신원에 귀속시키는 run_as
값을 포함합니다.
또한 'Databricks Apps'에 기인하는 사용량은 identity_metadata.created_by
필드에 값을 기록합니다. 이 값은 앱을 만든 사용자의 전자 메일로 채워집니다.
기록된 identity_metadata.run_as
ID는 사용량과 연결된 제품에 따라 달라집니다.
table의 동작을 이해하기 위해 identity_metadata.run_as
을 참조하십시오.
워크로드 유형 | 의 ID run_as |
---|---|
작업 컴퓨팅 | 설정에 정의된 사용자 또는 서비스 주체입니다 run_as . 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다. |
작업용 서버리스 컴퓨팅 | 설정에 정의된 사용자 또는 서비스 주체입니다 run_as . 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다. |
Notebooks에 대한 서버리스 컴퓨팅 | Notebook 명령을 실행한 사용자(특히 Notebook 세션을 만든 사용자)입니다. 공유 전자 필기장의 경우 동일한 전자 필기장 세션을 공유하는 다른 사용자의 사용량이 포함됩니다. |
Delta Live Tables 파이프라인 | Delta Live Tables 파이프라인을 실행하는 데 사용 권한이 있는 사용자입니다. 파이프라인의 소유권을 전송하여 변경할 수 있습니다. |
파운데이션 모델 미세 조정 | 미세 조정 학습 실행을 시작한 사용자 또는 서비스 주체입니다. |
예측 최적화 | 예측 최적화 작업을 실행하는 Databricks 소유 서비스 주체입니다. |
레이크하우스 모니터링 | 모니터를 만든 사용자입니다. |
레코드 형식 참조
billing.usage
table 수정을 지원합니다. 사용 레코드의 필드가 올바르지 않으며 수정해야 하는 경우 수정이 수행됩니다.
수정이 발생하면 Azure Databricks는 table에 새 레코드 두 개를 추가합니다. 철회 레코드는 원래 잘못된 레코드를 부정한 다음 다시 게시 레코드에 수정된 정보가 포함됩니다. 수정 레코드는 다음 필드를 사용하여 record_type
식별됩니다.
-
RETRACTION
: 원래 잘못된 사용을 부정하는 데 사용됩니다. 모든 필드는 원래 사용량을 취소하는 음수 값을 제외하고ORIGINAL
레코드와 동일합니다usage_quantity
. 예를 들어 원래 레코드의 사용량 수량이면259.4356
취소 레코드의-259.4356
사용량은 다음과 같습니다. -
RESTATEMENT
: 올바른 필드 및 사용량을 포함하는 레코드입니다.
예를 들어 다음 쿼리는 수정이 수행된 경우에도 A와 job_id
관련된 올바른 시간당 사용량을 반환합니다. 사용량을 집계함으로써, 철회 레코드는 원래 레코드를 취소하고, 재진술의 values만 반환됩니다.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
참고 항목
수정 where의 경우, 원래 사용 레코드는 기록되지 않았어야 하며, 수정은 취소 기록만 추가할 수 있으며, 다시 게시 기록은 추가할 수 없습니다.
청구 발행처 제품 참조
일부 Databricks 제품은 동일한 공유 SKU로 청구됩니다. 사용 현황을 구분하기 위해 billing_origin_product
및 product_features
columns 사용량과 관련된 특정 제품 및 기능에 대한 더 많은 인사이트를 제공합니다.
billing_origin_product
column은 사용 레코드와 연관된 Databricks 제품을 표시합니다.
values에는 다음이 포함됩니다:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
: Databricks 앱 빌드 및 실행과 관련된 비용
제품 기능 참조
product_features
column 사용되는 특정 제품 기능에 대한 정보를 포함하는 개체이며 다음 키/값 쌍을 포함합니다.
-
jobs_tier
: values에는LIGHT
,CLASSIC
또는null
가 포함됩니다. -
sql_tier
: values에는CLASSIC
,PRO
또는null
가 포함됩니다. -
dlt_tier
: values에CORE
,PRO
,ADVANCED
또는null
가 포함됩니다. -
is_serverless
: values에는true
또는false
, 또는null
가 포함되어 있을 수 있습니다. -
is_photon
: values에는true
또는false
, 또는null
가 포함되어 있을 수 있습니다. -
serving_type
: values에는MODEL
,GPU_MODEL
,FOUNDATION_MODEL
,FEATURE
또는null
이 포함됩니다.
샘플 쿼리
이 문서에는 다음 예제 쿼리가 포함되어 있습니다.
- DBU 소비에서 일일 추세는 무엇인가요?
- 이번 달 내내 사용된 각 제품의 DPU는 몇 개입니까?
- DBU를 가장 많이 사용한 작업은 무엇입니까?
- 특정 태그가 있는 리소스의 사용량은 얼마인가요?
- 제품을 보여주세요 where 사용량이 증가하고 있습니다
- All Purpose Compute(Photon)의 사용량 추세는 어떤가요?
- 물리적 뷰 또는 스트리밍 table의 DBU 사용량은 무엇인가요?
- 서버리스 DLT 파이프라인의 DBU 사용량은 무엇인가요?
DBU 소비의 일일 추세는 무엇인가요?
SELECT
usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
system.billing.usage
WHERE
sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
usage_date
ORDER BY
usage_date ASC
이번 달 내내 사용된 각 제품의 DPU는 몇 개입니까?
SELECT
billing_origin_product,
usage_date,
sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
month(usage_date) = month(NOW())
AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date
DTU를 가장 많이 사용한 작업은 무엇입니까?
SELECT
usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
system.billing.usage
WHERE
usage_metadata.job_id IS NOT NULL
GROUP BY
`Job ID`
ORDER BY
`DBUs` DESC
특정 태그가 있는 리소스의 사용량은 얼마인가요?
다양한 방법으로 비용을 절감할 수 있습니다. 이 예제에서는 사용자 지정 태그로 비용을 구분하는 방법을 보여줍니다. 쿼리 parameters사용자 지정 태그의 키와 값을 입력합니다.
SELECT
sku_name,
usage_unit,
SUM(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
custom_tags [:key] = :value
GROUP BY
1,
2
제품을 보여주십시오 where 사용량이 증가하고 있습니다
SELECT
after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
(SELECT
billing_origin_product, sum(usage_quantity) as before_dbus
FROM
system.billing.usage
WHERE
usage_date BETWEEN "2023-04-01" and "2023-04-30"
GROUP BY
billing_origin_product
) as before
JOIN
(SELECT
billing_origin_product, sum(usage_quantity) as after_dbus
FROM
system.billing.usage
WHERE
usage_date
BETWEEN
"2023-05-01" and "2023-05-30"
GROUP BY
billing_origin_product
) as after
WHERE
before.billing_origin_product = after.billing_origin_product
SORT BY
growth_rate DESC
다목적 컴퓨팅(Photon)의 사용 추세는 무엇인가요?
SELECT
sku_name,
usage_date,
sum(usage_quantity) as `DBUs consumed`
FROM
system.billing.usage
WHERE
year(usage_date) = year(CURRENT_DATE)
AND
sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
usage_date > "2023-04-15"
GROUP BY
sku_name, usage_date
구체화된 뷰 또는 스트리밍 tableDBU 사용량은 얼마인가요?
특정 구체화된 뷰 또는 스트리밍 get대한 DBU 사용량 및 SKU를 table 위해 구체화된 뷰 또는 스트리밍 table연결된 파이프라인의 ID로 where 레코드 usage_metadata.dlt_pipeline_id
set 대한 청구 가능한 사용량 시스템 table 쿼리를 제출합니다. 구체화된 뷰 또는 스트리밍 를 볼 때 Catalog Explorer의 table 탭에서 파이프라인 ID를 찾을 수 있습니다.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
AND usage_start_time > :usage_start_time
GROUP BY
ALL
서버리스 DLT 파이프라인의 DBU 사용량은 무엇인가요?
서버리스 DLT 파이프라인에 대한 DBU 사용량 및 SKU를 get 파이프라인의 ID로 table 레코드 whereusage_metadata.dlt_pipeline_id
대한 청구 가능한 사용량 시스템 set 쿼리를 제출합니다. Delta Live UI에서 파이프라인을 볼 때 Tables 탭에서 파이프라인 ID를 찾을 수 있습니다. 필요에 따라 사용량을 날짜별로 limit 시작 날짜, 종료 날짜 또는 날짜 범위를 지정합니다.
SELECT
sku_name,
usage_date,
SUM(usage_quantity) AS `DBUs`
FROM
system.billing.usage
WHERE
usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
AND usage_start_time >= :usage_start_time
AND usage_end_time < :usage_end_time
GROUP BY
ALL