Ссылка на таблицу учёта системы платного использования
В этой статье представлен обзор системной таблицы биллингового использования, включая структуру и примеры запросов. В системных таблицах данные об использовании вашей учетной записи централизованы и направляются во все регионы, поэтому вы можете просматривать глобальное использование вашей учетной записи из региона, в котором расположена ваша рабочая область.
Сведения об использовании этой таблицы для мониторинга затрат и примеров запросов см. в статье Мониторинг затрат с помощью системных таблиц.
пути к таблице: эта системная таблица находится в system.billing.usage
.
Схема таблицы использования с выставлением счетов
В таблице системы использования с выставлением счетов используется следующая схема:
Имя столбца | Тип данных | Описание | Пример |
---|---|---|---|
record_id |
строка | Уникальный идентификатор для этой записи о использовании | 11e22ba4-87b9-4cc2-9770-d10b894b7118 |
account_id |
строка | Идентификатор учетной записи, для который был создан отчет | 23e22ba4-87b9-4cc2-9770-d10b894b7118 |
workspace_id |
строка | Идентификатор рабочей области, с которым было связано это использование | 1234567890123456 |
sku_name |
строка | Название SKU | STANDARD_ALL_PURPOSE_COMPUTE |
cloud |
строка | Облако, связанное с этим использованием. Возможные значения: AWS , AZURE и GCP . |
AWS , AZURE или GCP |
usage_start_time |
отметка времени | Время начала, соответствующее этой записи использования. Сведения о часовом поясе записываются в конце значения с +00:00 , представляющей часовой пояс UTC. |
2023-01-09 10:00:00.000+00:00 |
usage_end_time |
метка времени | Время окончания, соответствующее этой записи об использовании. Сведения о часовом поясе записываются в конце значения с +00:00 , представляющей часовой пояс UTC. |
2023-01-09 11:00:00.000+00:00 |
usage_date |
Дата | Дата записи об использовании, это поле можно использовать для ускорения агрегирования по дате. | 2023-01-01 |
custom_tags |
карта | Пользовательские теги, связанные с записью об использовании | { “env”: “production” } |
usage_unit |
строка | Единица, в которой измеряется это использование | DBU |
usage_quantity |
десятичное число | Количество единиц, потребляемых для этой записи | 259.2958 |
usage_metadata |
struct | Предоставленные системой метаданные об использовании, включая идентификаторы для вычислительных ресурсов и заданий (если применимо). См. метаданные использования. | {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null} |
identity_metadata |
struct | Предоставленные системой метаданные об идентичностях, участвующих в процессе использования. См. метаданные удостоверений личности. | См. метаданные личности |
record_type |
строка | Указывает, является ли запись исходной, отменой или повтором. Значение равно ORIGINAL , если запись не связана с исправлением. См. тип записи. |
ORIGINAL |
ingestion_date |
Дата | Дата приема записи в таблицу usage |
2024-01-01 |
billing_origin_product |
строка | Продукт, инициировавший использование. За некоторые продукты можно выставлять счета по разным номерам SKU. Возможные значения см. в разделе Product. | JOBS |
product_features |
struct | Сведения о конкретных возможностях продукта, используемых. См. функции продуктов. | См. характеристики продукта |
usage_type |
строка | Тип использования, который относится к продукту или рабочей нагрузке для целей выставления счетов. Возможные значения: COMPUTE_TIME , STORAGE_SPACE , NETWORK_BYTES , NETWORK_HOUR , API_OPERATION , TOKEN или GPU_TIME . |
STORAGE_SPACE |
Справочник по метаданным об использовании
Значения в usage_metadata
сообщают об объектах и ресурсах, участвующих в записи использования.
Значение | Тип данных | Описание |
---|---|---|
cluster_id |
строка | Идентификатор кластера, связанного с записью об использовании |
warehouse_id |
строка | Идентификатор хранилища SQL, связанного с записью об использовании |
instance_pool_id |
строка | Идентификатор пула экземпляров, связанного с записью об использовании |
node_type |
строка | Тип экземпляра вычислительного ресурса |
job_id |
строка | Идентификатор задания, связанного с записью об использовании.
Возвращает значение только в случае использования бессерверных вычислений или вычислений для заданий; в остальных случаях возвращает null . |
job_run_id |
строка | Идентификатор выполнения задания, связанного с записью об использовании.
Возвращает значение только для бессерверных вычислительных ресурсов или использования вычислительных мощностей, в противном случае возвращает null . |
job_name |
строка | Имя задания, установленное пользователем, связанного с записью об использовании.
Возвращает значение только для заданий, выполняемых на бессерверных вычислениях, в противном случае возвращается null . |
notebook_id |
строка | Идентификатор записной книжки, связанной с использованием.
Значение возвращается только для бессерверных вычислений, связанных с использованием записных книжек, в противном случае возвращается null . |
notebook_path |
строка | Путь к хранилищу рабочей области записной книжки, связанной с использованием.
Возвращает значение для бессерверных вычислений при использовании записных книжек, в противном случае null . |
dlt_pipeline_id |
строка | Идентификатор конвейера DLT, связанного с записью об использовании |
dlt_update_id |
строка | Идентификатор обновления конвейера DLT, связанного с записью об использовании |
dlt_maintenance_id |
строка | Идентификатор задач обслуживания конвейера DLT, связанных с записью об использовании |
run_name |
строка | Уникальный идентификатор пользовательского интерфейса для тонкой настройки Фундаментальной модели, связанной с записью об использовании. |
endpoint_name |
строка | Имя конечной точки обслуживания модели или конечной точки поиска векторов, связанной с записью об использовании. |
endpoint_id |
строка | Идентификатор конечной точки обслуживания модели или конечной точки поиска по векторам, связанных с записью об использовании. |
central_clean_room_id |
строка | Идентификатор центрального чистого помещения, связанного с записью об использовании |
source_region |
строка | Регион рабочей области, связанный с её использованием. возвращает значение только для затрат, связанных с сетью. |
destination_region |
строка | Область доступа к ресурсу. возвращает значение только для затрат, связанных с сетью. |
metastore_id |
строка | Идентификатор хранилища метаданных, связанного с записью об использовании |
app_id |
строка | Идентификатор приложения, связанного с записью об использовании |
app_name |
строка | Введенное пользователем имя приложения, связанного с записью об использовании |
private_endpoint_name |
строка | Имя применимой частной конечной точки. возвращает значение только для затрат, связанных с сетью. |
Справочник по метаданным идентичности
В столбце identity_metadata
содержатся дополнительные сведения об идентификаторах, задействованных в использовании. Поле run_as
фиксирует, кто выполнял рабочую нагрузку. Поле owned_by
применяется только к использованию хранилища SQL и регистрирует пользователя или субъекта-службы, который владеет хранилищем SQL, ответственным за использование.
Кроме того, использование, приписываемое Databricks Apps, регистрирует значение в поле identity_metadata.created_by
. Это значение заполняется электронной почтой пользователя, создавшего приложение.
идентификации для запуска от имени
Запись идентификатора в identity_metadata.run_as
зависит от продукта, связанного с использованием. См. следующую таблицу поведения identity_metadata.run_as
:
Тип рабочей нагрузки | Идентичность run_as |
---|---|
Вычисления заданий | Пользователь или субъект-служба, определенный в параметре run_as . По умолчанию задания выполняются от имени владельца задания, но администраторы могут изменить это на другого пользователя или учетную запись службы. |
Бессерверные вычисления для заданий | Пользователь или субъект-служба, определенный в параметре run_as . По умолчанию задания выполняются под именем владельца задания, но администраторы могут изменить это на другого пользователя или учётную запись службы. |
Бессерверные вычисления для записных книжек | Пользователь, выполняющий команды записной книжки (в частности, пользователь, создавший сеанс записной книжки). Для общих записных книжек это включает использование другими пользователями в рамках одного сеанса записной книжки. |
Конвейеры DLT | Пользователь, разрешения которого используются для запуска конвейера DLT. Это можно изменить, передав владение конвейером. |
Тонкая настройка модели Foundation | Пользователь или субъект-служба, инициирующий выполнение обучения по тонкой настройке. |
Прогнозная оптимизация | Субъект-служба, принадлежащий Databricks, выполняющий операции прогнозной оптимизации. |
Мониторинг озерохранилища | Пользователь, создавший монитор. |
Ссылка на тип записи
Таблица billing.usage
поддерживает исправления. Исправления возникают, когда любое поле записи об использовании неправильно и должно быть исправлено.
При исправлении Azure Databricks добавляет две новые записи в таблицу. Запись отзыва отрицает исходную неправильную запись, а затем запись перепрописи содержит исправленную информацию. Записи исправления определяются по полю record_type
.
-
RETRACTION
: используется для отмены исходного неправильного использования. Все поля идентичныORIGINAL
записи, кромеusage_quantity
, отрицательного значения, которое отменяет исходное количество потребления. Например, если количество использования исходной записи было259.4356
, то отзывная запись будет иметь количество использования-259.4356
. -
RESTATEMENT
: запись, содержащая правильные поля и количество использования.
Например, следующий запрос возвращает правильное количество почасового использования, связанное с job_id
, даже если были внесены исправления. Объединяя количество использования, запись аннулирования отменяет исходную запись, и возвращаются только обновленные значения.
SELECT
usage_metadata.job_id, usage_start_time, usage_end_time,
SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0
Примечание.
Для исправлений, где исходная запись об использовании не должна была быть сделана, исправление может добавлять только запись отзыва и не добавлять запись о повторной формулировке.
Справочник по ссылке на продукт-источник выставления счетов
Некоторые продукты Databricks выставляются по одному общему номеру SKU. Чтобы отличить использование, столбцы billing_origin_product
и product_features
предоставляют дополнительные сведения о конкретном продукте и функциях, связанных с использованием.
В столбце billing_origin_product
показан продукт Databricks, связанный с записью об использовании. К ним относятся следующие значения:
JOBS
DLT
SQL
ALL_PURPOSE
MODEL_SERVING
INTERACTIVE
DEFAULT_STORAGE
VECTOR_SEARCH
LAKEHOUSE_MONITORING
PREDICTIVE_OPTIMIZATION
ONLINE_TABLES
FOUNDATION_MODEL_TRAINING
AGENT_EVALUATION
FINE_GRAIN_ACCESS_CONTROL
-
NETWORKING
. Затраты, связанные с подключением бессерверных вычислений к ресурсам через частные конечные точки. Для использованияNETWORKING
,workspace_id
— этоnull
,usage_unit
— этоhour
, аnetworking.connectivity_type
— этоPRIVATE_IP
. -
APPS
: затраты, связанные с созданием и запуском приложений Databricks
Справочник по функциям продукта
Столбец product_features
— это объект, содержащий сведения о конкретных возможностях продукта, используемых и включающий следующие пары "ключ-значение".
-
jobs_tier
: значения включаютLIGHT
,CLASSIC
илиnull
-
sql_tier
: значения включаютCLASSIC
,PRO
илиnull
-
dlt_tier
: значения включаютCORE
,PRO
,ADVANCED
илиnull
-
is_serverless
: значения включаютtrue
илиfalse
илиnull
-
is_photon
: значения включаютtrue
илиfalse
илиnull
-
serving_type
: значения включаютMODEL
,GPU_MODEL
,FOUNDATION_MODEL
,FEATURE
илиnull
-
networking.connectivity_type
: значения включаютPUBLIC_IP
иPRIVATE_IP