청구 가능한 사용량 시스템 테이블 참조

아티클
11/20/2024

이 문서에서는 스키마 및 예제 쿼리를 포함하여 청구 가능한 사용 시스템 테이블에 대한 개요를 제공합니다. 시스템 테이블을 사용하면 계정의 청구 가능 사용량 데이터가 중앙 집중화되고 모든 지역으로 라우팅되므로 작업 영역이 있는 지역에서 계정의 전역 사용량을 볼 수 있습니다.

이 테이블을 사용하여 작업 비용을 모니터링하는 방법에 대한 자세한 내용은 시스템 테이블을 사용하여 작업 비용 모니터링을 참조 하세요.

서버리스 사용량을 분석하는 전략은 서버리스 컴퓨팅 비용 모니터링을 참조 하세요.

테이블 경로: 이 시스템 테이블은 .에 있습니다 system.billing.usage.

청구 가능한 사용 테이블 스키마

청구 가능한 사용 시스템 테이블은 다음 스키마를 사용합니다.

열 이름	데이터 형식	설명	예시
`record_id`	string	이 레코드의 고유 ID	`11e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`account_id`	string	이 보고서가 생성된 계정의 ID입니다.	`23e22ba4-87b9-4cc2` `-9770-d10b894b7118`
`workspace_id`	string	이 사용이 연결된 작업 영역의 ID	`1234567890123456`
`sku_name`	string	SKU의 이름	`STANDARD_ALL_PURPOSE_COMPUTE`
`cloud`	string	클라우드 이 사용법은 관련이 있습니다. 가능한 값은 `AWS`, `AZURE` 및 `GCP` 입니다.	`AWS`, `AZURE` 또는 `GCP`
`usage_start_time`	timestamp	이 사용량 레코드와 관련된 시작 시간입니다. 표준 시간대 정보는 UTC 표준 시간대를 나타내는 값 `+00:00` 의 끝에 기록됩니다.	`2023-01-09 10:00:00.000+00:00`
`usage_end_time`	timestamp	이 사용량 레코드와 관련된 종료 시간입니다. 표준 시간대 정보는 UTC 표준 시간대를 나타내는 값 `+00:00` 의 끝에 기록됩니다.	`2023-01-09 11:00:00.000+00:00`
`usage_date`	date	사용 레코드의 날짜입니다. 이 필드는 날짜별 더 빠른 집계에 사용할 수 있습니다.	`2023-01-01`
`custom_tags`	map	이 사용에 적용되는 태그입니다. 컴퓨팅 리소스 태그, 작업 태그, 작업 영역 사용자 지정 태그 및 예산 정책 태그를 포함합니다.	`{ “env”: “production” }`
`usage_unit`	string	이 사용량을 단위로 측정합니다. 가능한 값에는 DPU가 포함됩니다.	`DBU`
`usage_quantity`	decimal	이 레코드에 사용된 단위 수입니다.	`259.2958`
`usage_metadata`	struct	컴퓨팅 리소스 및 작업에 대한 ID를 포함하여 사용량에 대한 시스템 제공 메타데이터(해당하는 경우). 사용량 메타데이터 분석을 참조하세요.	`{cluster_id: null;` `instance_pool_id: null;` `notebook_id: null;` `job_id: null;` `node_type: null}`
`identity_metadata`	struct	사용과 관련된 ID에 대한 시스템 제공 메타데이터입니다. ID 메타데이터 분석을 참조하세요.	`{run_as: example@email.com}`
`record_type`	string	레코드가 원래 레코드인지, 철회인지 또는 재설계인지 여부입니다. 값은 `ORIGINAL` 레코드가 수정과 관련되어 있지 않은 경우입니다. 수정 레코드 분석을 참조하세요.	`ORIGINAL`
`ingestion_date`	date	레코드가 테이블에 수집된 날짜입니다 `usage` .	`2024-01-01`
`billing_origin_product`	string	사용에서 시작된 제품입니다. 일부 제품은 다른 SKU로 청구할 수 있습니다. 가능한 값은 사용량과 연결된 제품에 대한 정보 보기를 참조하세요.	`JOBS`
`product_features`	struct	사용되는 특정 제품 기능에 대한 세부 정보입니다.	가능한 값은 제품 기능을 참조 하세요.
`usage_type`	string	청구 목적으로 제품 또는 워크로드에 기인하는 사용 유형입니다. 가능한 값은 `COMPUTE_TIME`, `STORAGE_SPACE`, `NETWORK_BYTES`, `API_OPERATION`, `TOKEN` 또는 `GPU_TIME`입니다.	`STORAGE_SPACE`

사용량 메타데이터 분석

이 값은 usage_metadata 사용량 레코드와 관련된 리소스에 대해 알려줍니다.

값	데이터 형식	설명
`cluster_id`	string	사용 레코드와 연결된 클러스터의 ID
`warehouse_id`	string	사용 레코드와 연결된 SQL 웨어하우스의 ID
`instance_pool_id`	string	사용 레코드와 연결된 인스턴스 풀의 ID
`node_type`	string	컴퓨팅 리소스의 인스턴스 유형
`job_id`	string	사용 레코드와 연결된 작업의 ID입니다. 서버리스 컴퓨팅 또는 작업 컴퓨팅 사용량에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 `null`.
`job_run_id`	string	사용 레코드와 연결된 작업 실행의 ID입니다. 서버리스 컴퓨팅 또는 작업 컴퓨팅 사용량에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 `null`.
`job_name`	string	사용 레코드와 연결된 작업의 사용자 지정 이름입니다. 서버리스 컴퓨팅에서 실행되는 작업에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 `null`.
`notebook_id`	string	사용과 연결된 Notebook의 ID입니다. Notebook 사용에 대한 서버리스 컴퓨팅 값만 반환하고, 그렇지 않으면 반환됩니다 `null`.
`notebook_path`	string	사용량과 연결된 Notebook의 작업 영역 스토리지 경로입니다. Notebook 사용에 대한 서버리스 컴퓨팅 값만 반환하고, 그렇지 않으면 반환됩니다 `null`.
`dlt_pipeline_id`	string	사용 레코드와 연결된 Delta Live Tables 파이프라인의 ID
`dlt_update_id`	string	사용 레코드와 연결된 Delta Live Tables 파이프라인 업데이트의 ID
`dlt_maintenance_id`	string	사용 레코드와 연결된 Delta Live Tables 파이프라인 유지 관리 작업의 ID
`run_name`	string	사용 레코드와 연결된 Foundation Model 미세 조정의 고유한 사용자 연결 식별자
`endpoint_name`	string	사용 레코드와 연결된 엔드포인트 또는 벡터 검색 엔드포인트를 제공하는 모델의 이름입니다.
`endpoint_id`	string	사용 레코드와 연결된 엔드포인트 또는 벡터 검색 엔드포인트를 제공하는 모델의 ID
`central_clean_room_id`	string	사용 레코드와 연결된 중앙 정리실의 ID

ID 메타데이터 분석

이 열은 identity_metadata 서버리스 청구 레코드를 담당하는 사용자를 식별하는 데 도움이 될 수 있습니다. 열에는 ID에 run_as 대한 사용 특성을 지정하는 값이 포함됩니다. 기록된 identity_metadata.run_as ID는 사용량과 연결된 제품에 따라 달라집니다.

동작은 다음 표를 참조하세요 identity_metadata.run_as .

워크로드 유형	의 ID `run_as`
작업 컴퓨팅	설정에 정의된 사용자 또는 서비스 주체입니다 `run_as` . 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다.
작업용 서버리스 컴퓨팅	설정에 정의된 사용자 또는 서비스 주체입니다 `run_as` . 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다.
Notebooks에 대한 서버리스 컴퓨팅	Notebook 명령을 실행한 사용자(특히 Notebook 세션을 만든 사용자)입니다. 공유 전자 필기장의 경우 동일한 전자 필기장 세션을 공유하는 다른 사용자의 사용량이 포함됩니다.
Delta Live Tables 파이프라인	Delta Live Tables 파이프라인을 실행하는 데 사용 권한이 있는 사용자입니다. 파이프라인의 소유권을 전송하여 변경할 수 있습니다.
파운데이션 모델 미세 조정	미세 조정 학습 실행을 시작한 사용자 또는 서비스 주체입니다.

수정 레코드 분석

표에서 billing.usage 수정을 지원합니다. 사용 레코드의 필드가 올바르지 않으며 수정해야 하는 경우 수정이 수행됩니다.

수정이 발생하면 Azure Databricks는 테이블에 두 개의 새 레코드를 추가합니다. 철회 레코드는 원래 잘못된 레코드를 부정한 다음 다시 게시 레코드에 수정된 정보가 포함됩니다. 수정 레코드는 다음 필드를 사용하여 record_type 식별됩니다.

RETRACTION: 원래 잘못된 사용을 부정하는 데 사용됩니다. 모든 필드는 원래 사용량을 취소하는 음수 값을 제외하고 usage_quantity레코드와 동일합니다ORIGINAL. 예를 들어 원래 레코드의 사용량 수량이면 259.4356취소 레코드의 -259.4356사용량은 다음과 같습니다.
RESTATEMENT: 올바른 필드 및 사용량을 포함하는 레코드입니다.

예를 들어 다음 쿼리는 수정이 수행된 경우에도 A와 job_id관련된 올바른 시간당 사용량을 반환합니다. 사용량을 집계하여 철회 레코드는 원래 레코드를 부정하고 다시 게시의 값만 반환됩니다.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

참고 항목

원래 사용 레코드를 작성하지 않아야 하는 수정의 경우 수정은 취소 레코드만 추가하고 다시 실행 레코드는 추가할 수 없습니다.

사용량과 관련된 제품에 대한 정보 보기

일부 Databricks 제품은 동일한 공유 SKU로 청구됩니다. 사용 현황을 구분하기 위해 열과 열은 사용 billing_origin_product 량과 product_features 관련된 특정 제품 및 기능에 대한 더 많은 인사이트를 제공합니다.

이 열에는 billing_origin_product 사용량 레코드와 연결된 Databricks 제품이 표시됩니다. 값은 다음과 같습니다.

JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING

열은 product_features 사용되는 특정 제품 기능에 대한 정보를 포함하는 개체이며 다음 키/값 쌍을 포함합니다.

jobs_tier: 값에 포함 LIGHT, CLASSIC또는 null
sql_tier: 값에 포함 CLASSIC, PRO또는 null
dlt_tier: 값에 포함 CORE, PRO, ADVANCED또는 null
is_serverless: 값 포함 true 또는 false, 또는 null
is_photon: 값 포함 true 또는 false, 또는 null
serving_type: 값에는 포함MODEL, GPU_MODEL, FOUNDATION_MODEL또는 FEATUREnull

샘플 쿼리

다음 샘플 쿼리를 사용하여 청구 가능한 사용량에 대한 일반적인 질문에 대답할 수 있습니다.

DBU 소비에서 일일 추세는 무엇인가요?
이번 달 내내 사용된 각 제품의 DPU는 몇 개입니까?
DBU를 가장 많이 사용한 작업은 무엇입니까?
특정 태그가 있는 리소스에 얼마의 사용량을 할당할 수 있습니까?
사용량이 증가하는 SKU 표시
All Purpose Compute(Photon)의 사용량 추세는 어떤가요?
구체화된 뷰나 스트리밍 테이블의 DBU 사용량은 얼마인가요?
서버리스 DLT 파이프라인의 DBU 사용량은 무엇인가요?

DBU 소비의 일일 추세는 무엇인가요?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

이번 달 내내 사용된 각 제품의 DPU는 몇 개입니까?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

DTU를 가장 많이 사용한 작업은 무엇입니까?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

특정 태그가 있는 리소스의 사용량은 얼마인가요?

다양한 방법으로 비용을 절감할 수 있습니다. 이 예제에서는 사용자 지정 태그로 비용을 구분하는 방법을 보여줍니다. 쿼리에서 사용자 지정 태그의 키와 값을 바꿔야 합니다.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

사용량이 증가하는 제품 표시

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

다목적 컴퓨팅(Photon)의 사용 추세는 무엇인가요?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

구체화된 뷰 또는 스트리밍 테이블의 DBU 사용량은 무엇인가요?

특정 구체화된 뷰 또는 스트리밍 테이블에 대한 DBU 사용량 및 SKU를 가져오려면 구체화된 뷰 또는 스트리밍 테이블과 연결된 파이프라인의 ID로 설정된 레코드 usage_metadata.dlt_pipeline_id 에 대한 청구 가능한 사용량 시스템 테이블에 쿼리를 제출합니다. 구체화된 뷰 또는 스트리밍 테이블을 볼 때 카탈로그 탐색기의 세부 정보 탭에서 파이프라인 ID를 찾을 수 있습니다. 필요에 따라 날짜를 기준으로 사용량을 제한하려면 시작 날짜, 종료 날짜 또는 날짜 범위를 지정합니다. 다음 쿼리는 ID 00732f83-cd59-4c76-ac0d-57958532ab5b 및 사용 시작 날짜 2023-05-30가 다음인 파이프라인에 대한 DBU 사용량을 검색합니다.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

서버리스 DLT 파이프라인의 DBU 사용량은 무엇인가요?

서버리스 DLT 파이프라인에 대한 DBU 사용량 및 SKU를 가져오려면 파이프라인의 ID로 설정된 레코드 usage_metadata.dlt_pipeline_id 에 대한 청구 가능한 사용 시스템 테이블에 쿼리를 제출합니다. Delta Live Tables UI에서 파이프라인을 볼 때 파이프라인 세부 정보 탭에서 파이프라인 ID를 찾을 수 있습니다. 필요에 따라 날짜를 기준으로 사용량을 제한하려면 시작 날짜, 종료 날짜 또는 날짜 범위를 지정합니다. 다음 쿼리는 ID 00732f83-cd59-4c76-ac0d-57958532ab5b가 있는 파이프라인에 대한 2023년 12월부터 DBU 사용량을 검색합니다.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL

다음을 통해 공유