다음을 통해 공유


청구 가능한 사용량 시스템 table 참조

이 문서에서는 table 및 예제 쿼리를 포함하여 청구 가능한 사용 시스템 schema대한 개요를 제공합니다. 시스템 tables사용하면 계정의 청구 가능 사용량 데이터가 중앙 집중화되고 모든 지역으로 라우팅되므로 작업 영역이 있는 지역에서 계정의 전역 사용량을 볼 수 있습니다.

을 사용하여 작업 비용을 모니터링하는 방법에 대한 정보는 시스템 에서 작업 비용 모니터링 & 성능을 참조하세요.

서버리스 사용량을 분석하는 전략은 서버리스 컴퓨팅 비용 모니터링을 참조 하세요.

Table 경로: 이 시스템은 tablesystem.billing.usage에 있습니다.

청구 가능한 사용량 tableschema

청구 가능한 사용 시스템 table은 다음 schema을 사용합니다.

Column 이름 데이터 형식 설명 예시
record_id string 이 사용 레코드의 고유 ID 11e22ba4-87b9-4cc2
-9770-d10b894b7118
account_id string 이 보고서가 생성된 계정의 ID입니다. 23e22ba4-87b9-4cc2
-9770-d10b894b7118
workspace_id string 이 사용이 연결된 작업 영역의 ID 1234567890123456
sku_name string SKU의 이름 STANDARD_ALL_PURPOSE_COMPUTE
cloud string 클라우드 이 사용법은 관련이 있습니다. 가능한 values는 AWS, AZUREGCP입니다. AWS, AZURE 또는 GCP
usage_start_time timestamp 이 사용량 레코드와 관련된 시작 시간입니다. Timezone 정보는 값의 끝에 +00:00이 UTC timezone를 나타내도록 기록됩니다. 2023-01-09 10:00:00.000+00:00
usage_end_time timestamp 이 사용량 레코드와 관련된 종료 시간입니다. Timezone 정보는 값의 끝에 +00:00이 UTC timezone를 나타내도록 기록됩니다. 2023-01-09 11:00:00.000+00:00
usage_date date 사용 레코드의 날짜입니다. 이 필드는 날짜별 더 빠른 집계에 사용할 수 있습니다. 2023-01-01
custom_tags map 이 사용에 적용되는 태그입니다. 컴퓨팅 리소스 태그, 작업 태그, 작업 영역 사용자 지정 태그 및 예산 정책 태그를 포함합니다. { “env”: “production” }
usage_unit string 이 사용량을 단위로 측정합니다. 가능한 values DBUs를 포함합니다. DBU
usage_quantity decimal 이 레코드에 사용된 단위 수입니다. 259.2958
usage_metadata struct 컴퓨팅 리소스 및 작업에 대한 ID를 포함하여 사용량에 대한 시스템 제공 메타데이터(해당하는 경우). 사용량 메타데이터참조하세요. {cluster_id: null;
instance_pool_id: null;
notebook_id: null;
job_id: null;
node_type: null}
identity_metadata struct 사용과 관련된 ID에 대한 시스템 제공 메타데이터입니다. 정체성 메타데이터를 참조하십시오. {"run_as": example@email.com,"created_by":null}
record_type string 레코드가 원래 레코드인지, 철회인지 또는 재설계인지 여부입니다. 값은 ORIGINAL 레코드가 수정과 관련되어 있지 않은 경우입니다. 레코드 형식 참조을 보세요. ORIGINAL
ingestion_date date 레코드가 usagetable에 입력된 날짜입니다. 2024-01-01
billing_origin_product string 사용에서 시작된 제품입니다. 일부 제품은 다른 SKU로 청구할 수 있습니다. 가능한 values청구 원본 제품 참조참조하세요. JOBS
product_features struct 사용되는 특정 제품 기능에 대한 세부 정보입니다. 가능한 values에 대해서는 제품 기능를 참조하세요.
usage_type string 청구 목적으로 제품 또는 워크로드에 기인하는 사용 유형입니다. 가능한 values에 COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, API_OPERATION, TOKEN또는 GPU_TIME이 있습니다. STORAGE_SPACE

메타데이터 사용 참조

values은 usage_metadata 사용 현황 레코드와 관련된 개체 및 리소스에 대해 설명합니다.

데이터 형식 설명
cluster_id string 사용 레코드와 연결된 클러스터의 ID
warehouse_id string 사용 레코드와 연결된 SQL 웨어하우스의 ID
instance_pool_id string 사용 레코드와 연결된 인스턴스 풀의 ID
node_type string 컴퓨팅 리소스의 인스턴스 유형
job_id string 사용 레코드와 연결된 작업의 ID입니다. 서버리스 컴퓨팅 또는 작업 컴퓨팅 사용량에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 null.
job_run_id string 사용 레코드와 연결된 작업 실행의 ID입니다. 서버리스 컴퓨팅 또는 작업 컴퓨팅 사용량에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 null.
job_name string 사용 레코드와 연결된 작업의 사용자 지정 이름입니다. 서버리스 컴퓨팅에서 실행되는 작업에 대한 값만 반환하고, 그렇지 않으면 반환됩니다 null.
notebook_id string 사용과 연결된 Notebook의 ID입니다. Notebook 사용에 대한 서버리스 컴퓨팅 값만 반환하고, 그렇지 않으면 반환됩니다 null.
notebook_path string 사용량과 연결된 Notebook의 작업 영역 스토리지 경로입니다. Notebook 사용에 대한 서버리스 컴퓨팅 값만 반환하고, 그렇지 않으면 반환됩니다 null.
dlt_pipeline_id string 사용 레코드와 연결된 Delta Live Tables 파이프라인의 ID
dlt_update_id string Delta Live Tables 파이프라인 update의 사용 레코드 관련 ID
dlt_maintenance_id string 사용 레코드와 연결된 Delta Live Tables 파이프라인 유지 관리 작업의 ID
run_name string 사용 레코드와 연결된 기초 모델 미세 조정의 사용자에게 표시되는 고유한 identifier
endpoint_name string 사용 레코드와 연결된 엔드포인트 또는 벡터 검색 엔드포인트를 제공하는 모델의 이름입니다.
endpoint_id string 사용 레코드와 연결된 엔드포인트 또는 벡터 검색 엔드포인트를 제공하는 모델의 ID
central_clean_room_id string 사용 레코드와 연결된 중앙 정리실의 ID
metastore_id string 사용 레코드와 연결된 메타스토어의 ID입니다.
app_id string 사용 레코드와 연결된 앱의 ID입니다.
app_name string 사용 레코드와 연결된 앱의 사용자 지정 이름입니다.

아이덴티티 메타데이터 참조

identity_metadata column은 서버리스 청구 레코드에서 누가 책임자인지를 식별하는 데 도움이 될 수 있습니다. column은 사용을 신원에 귀속시키는 run_as 값을 포함합니다.

또한 'Databricks Apps'에 기인하는 사용량은 identity_metadata.created_by 필드에 값을 기록합니다. 이 값은 앱을 만든 사용자의 전자 메일로 채워집니다.

기록된 identity_metadata.run_as ID는 사용량과 연결된 제품에 따라 달라집니다. table의 동작을 이해하기 위해 identity_metadata.run_as을 참조하십시오.

워크로드 유형 의 ID run_as
작업 컴퓨팅 설정에 정의된 사용자 또는 서비스 주체입니다 run_as . 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다.
작업용 서버리스 컴퓨팅 설정에 정의된 사용자 또는 서비스 주체입니다 run_as . 기본적으로 작업은 작업 소유자의 ID로 실행되지만 관리자는 이를 다른 사용자 또는 서비스 주체로 변경할 수 있습니다.
Notebooks에 대한 서버리스 컴퓨팅 Notebook 명령을 실행한 사용자(특히 Notebook 세션을 만든 사용자)입니다. 공유 전자 필기장의 경우 동일한 전자 필기장 세션을 공유하는 다른 사용자의 사용량이 포함됩니다.
Delta Live Tables 파이프라인 Delta Live Tables 파이프라인을 실행하는 데 사용 권한이 있는 사용자입니다. 파이프라인의 소유권을 전송하여 변경할 수 있습니다.
파운데이션 모델 미세 조정 미세 조정 학습 실행을 시작한 사용자 또는 서비스 주체입니다.
예측 최적화 예측 최적화 작업을 실행하는 Databricks 소유 서비스 주체입니다.
레이크하우스 모니터링 모니터를 만든 사용자입니다.

레코드 형식 참조

billing.usage table 수정을 지원합니다. 사용 레코드의 필드가 올바르지 않으며 수정해야 하는 경우 수정이 수행됩니다.

수정이 발생하면 Azure Databricks는 table에 새 레코드 두 개를 추가합니다. 철회 레코드는 원래 잘못된 레코드를 부정한 다음 다시 게시 레코드에 수정된 정보가 포함됩니다. 수정 레코드는 다음 필드를 사용하여 record_type 식별됩니다.

  • RETRACTION: 원래 잘못된 사용을 부정하는 데 사용됩니다. 모든 필드는 원래 사용량을 취소하는 음수 값을 제외하고 ORIGINAL레코드와 동일합니다usage_quantity. 예를 들어 원래 레코드의 사용량 수량이면 259.4356취소 레코드의 -259.4356사용량은 다음과 같습니다.
  • RESTATEMENT: 올바른 필드 및 사용량을 포함하는 레코드입니다.

예를 들어 다음 쿼리는 수정이 수행된 경우에도 A와 job_id관련된 올바른 시간당 사용량을 반환합니다. 사용량을 집계함으로써, 철회 레코드는 원래 레코드를 취소하고, 재진술의 values만 반환됩니다.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

참고 항목

수정 where의 경우, 원래 사용 레코드는 기록되지 않았어야 하며, 수정은 취소 기록만 추가할 수 있으며, 다시 게시 기록은 추가할 수 없습니다.

청구 발행처 제품 참조

일부 Databricks 제품은 동일한 공유 SKU로 청구됩니다. 사용 현황을 구분하기 위해 billing_origin_productproduct_featurescolumns 사용량과 관련된 특정 제품 및 기능에 대한 더 많은 인사이트를 제공합니다.

billing_origin_product column은 사용 레코드와 연관된 Databricks 제품을 표시합니다. values에는 다음이 포함됩니다:

  • JOBS

  • DLT

  • SQL

  • ALL_PURPOSE

  • MODEL_SERVING

  • INTERACTIVE

  • DEFAULT_STORAGE

  • VECTOR_SEARCH

  • LAKEHOUSE_MONITORING

  • PREDICTIVE_OPTIMIZATION

  • ONLINE_TABLES

  • FOUNDATION_MODEL_TRAINING

  • : Databricks 앱 빌드 및 실행과 관련된 비용

제품 기능 참조

product_features column 사용되는 특정 제품 기능에 대한 정보를 포함하는 개체이며 다음 키/값 쌍을 포함합니다.

  • jobs_tier: values에는 LIGHT, CLASSIC또는 null가 포함됩니다.
  • sql_tier: values에는 CLASSIC, PRO또는 null가 포함됩니다.
  • dlt_tier: values에 CORE, PRO, ADVANCED또는 null가 포함됩니다.
  • is_serverless: values에는 true 또는 false, 또는 null가 포함되어 있을 수 있습니다.
  • is_photon: values에는 true 또는 false, 또는 null가 포함되어 있을 수 있습니다.
  • serving_type: values에는 MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE또는 null이 포함됩니다.

샘플 쿼리

이 문서에는 다음 예제 쿼리가 포함되어 있습니다.

DBU 소비의 일일 추세는 무엇인가요?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

이번 달 내내 사용된 각 제품의 DPU는 몇 개입니까?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

DTU를 가장 많이 사용한 작업은 무엇입니까?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

특정 태그가 있는 리소스의 사용량은 얼마인가요?

다양한 방법으로 비용을 절감할 수 있습니다. 이 예제에서는 사용자 지정 태그로 비용을 구분하는 방법을 보여줍니다. 쿼리 parameters사용자 지정 태그의 키와 값을 입력합니다.

SELECT
  sku_name,
  usage_unit,
  SUM(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  custom_tags [:key] = :value
GROUP BY
  1,
  2

제품을 보여주십시오 where 사용량이 증가하고 있습니다

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

다목적 컴퓨팅(Photon)의 사용 추세는 무엇인가요?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

구체화된 뷰 또는 스트리밍 tableDBU 사용량은 얼마인가요?

특정 구체화된 뷰 또는 스트리밍 get대한 DBU 사용량 및 SKU를 table 위해 구체화된 뷰 또는 스트리밍 table연결된 파이프라인의 ID로 where 레코드 usage_metadata.dlt_pipeline_idset 대한 청구 가능한 사용량 시스템 table 쿼리를 제출합니다. 구체화된 뷰 또는 스트리밍 를 볼 때 Catalog Explorer의 table 탭에서 파이프라인 ID를 찾을 수 있습니다.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time > :usage_start_time
GROUP BY
  ALL

서버리스 DLT 파이프라인의 DBU 사용량은 무엇인가요?

서버리스 DLT 파이프라인에 대한 DBU 사용량 및 SKU를 get 파이프라인의 ID로 table 레코드 whereusage_metadata.dlt_pipeline_id 대한 청구 가능한 사용량 시스템 set 쿼리를 제출합니다. Delta Live UI에서 파이프라인을 볼 때 Tables 탭에서 파이프라인 ID를 찾을 수 있습니다. 필요에 따라 사용량을 날짜별로 limit 시작 날짜, 종료 날짜 또는 날짜 범위를 지정합니다.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = :dlt_pipeline_id
  AND usage_start_time >= :usage_start_time
  AND usage_end_time < :usage_end_time
GROUP BY
  ALL