Поделиться через

Ссылка на таблицу учёта системы платного использования

  • Статья

В этой статье представлен обзор системной таблицы биллингового использования, включая структуру и примеры запросов. В системных таблицах данные об использовании вашей учетной записи централизованы и направляются во все регионы, поэтому вы можете просматривать глобальное использование вашей учетной записи из региона, в котором расположена ваша рабочая область.

Сведения об использовании этой таблицы для мониторинга затрат и примеров запросов см. в статье Мониторинг затрат с помощью системных таблиц.

пути к таблице: эта системная таблица находится в system.billing.usage.

Схема таблицы использования с выставлением счетов

В таблице системы использования с выставлением счетов используется следующая схема:

Имя столбца Тип данных Описание Пример
record_id строка Уникальный идентификатор для этой записи о использовании 11e22ba4-87b9-4cc2-9770-d10b894b7118
account_id строка Идентификатор учетной записи, для который был создан отчет 23e22ba4-87b9-4cc2-9770-d10b894b7118
workspace_id строка Идентификатор рабочей области, с которым было связано это использование 1234567890123456
sku_name строка Название SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud строка Облако, связанное с этим использованием. Возможные значения: AWS, AZUREи GCP. AWS, AZURE или GCP
usage_start_time отметка времени Время начала, соответствующее этой записи использования. Сведения о часовом поясе записываются в конце значения с +00:00, представляющей часовой пояс UTC. 2023-01-09 10:00:00.000+00:00
usage_end_time метка времени Время окончания, соответствующее этой записи об использовании. Сведения о часовом поясе записываются в конце значения с +00:00, представляющей часовой пояс UTC. 2023-01-09 11:00:00.000+00:00
usage_date Дата Дата записи об использовании, это поле можно использовать для ускорения агрегирования по дате. 2023-01-01
custom_tags карта Пользовательские теги, связанные с записью об использовании { “env”: “production” }
usage_unit строка Единица, в которой измеряется это использование DBU
usage_quantity десятичное число Количество единиц, потребляемых для этой записи 259.2958
usage_metadata struct Предоставленные системой метаданные об использовании, включая идентификаторы для вычислительных ресурсов и заданий (если применимо). См. метаданные использования. {cluster_id: null; instance_pool_id: null; notebook_id: null; job_id: null; node_type: null}
identity_metadata struct Предоставленные системой метаданные об идентичностях, участвующих в процессе использования. См. метаданные удостоверений личности. См. метаданные личности
record_type строка Указывает, является ли запись исходной, отменой или повтором. Значение равно ORIGINAL , если запись не связана с исправлением. См. тип записи. ORIGINAL
ingestion_date Дата Дата приема записи в таблицу usage 2024-01-01
billing_origin_product строка Продукт, инициировавший использование. За некоторые продукты можно выставлять счета по разным номерам SKU. Возможные значения см. в разделе Product. JOBS
product_features struct Сведения о конкретных возможностях продукта, используемых. См. функции продуктов. См. характеристики продукта
usage_type строка Тип использования, который относится к продукту или рабочей нагрузке для целей выставления счетов. Возможные значения: COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, NETWORK_HOUR, API_OPERATION, TOKENили GPU_TIME. STORAGE_SPACE

Справочник по метаданным об использовании

Значения в usage_metadata сообщают об объектах и ресурсах, участвующих в записи использования.

Значение Тип данных Описание
cluster_id строка Идентификатор кластера, связанного с записью об использовании
warehouse_id строка Идентификатор хранилища SQL, связанного с записью об использовании
instance_pool_id строка Идентификатор пула экземпляров, связанного с записью об использовании
node_type строка Тип экземпляра вычислительного ресурса
job_id строка Идентификатор задания, связанного с записью об использовании. Возвращает значение только в случае использования бессерверных вычислений или вычислений для заданий; в остальных случаях возвращает null.
job_run_id строка Идентификатор выполнения задания, связанного с записью об использовании. Возвращает значение только для бессерверных вычислительных ресурсов или использования вычислительных мощностей, в противном случае возвращает null.
job_name строка Имя задания, установленное пользователем, связанного с записью об использовании. Возвращает значение только для заданий, выполняемых на бессерверных вычислениях, в противном случае возвращается null.
notebook_id строка Идентификатор записной книжки, связанной с использованием. Значение возвращается только для бессерверных вычислений, связанных с использованием записных книжек, в противном случае возвращается null.
notebook_path строка Путь к хранилищу рабочей области записной книжки, связанной с использованием. Возвращает значение для бессерверных вычислений при использовании записных книжек, в противном случае null.
dlt_pipeline_id строка Идентификатор конвейера DLT, связанного с записью об использовании
dlt_update_id строка Идентификатор обновления конвейера DLT, связанного с записью об использовании
dlt_maintenance_id строка Идентификатор задач обслуживания конвейера DLT, связанных с записью об использовании
run_name строка Уникальный идентификатор пользовательского интерфейса для тонкой настройки Фундаментальной модели, связанной с записью об использовании.
endpoint_name строка Имя конечной точки обслуживания модели или конечной точки поиска векторов, связанной с записью об использовании.
endpoint_id строка Идентификатор конечной точки обслуживания модели или конечной точки поиска по векторам, связанных с записью об использовании.
central_clean_room_id строка Идентификатор центрального чистого помещения, связанного с записью об использовании
source_region строка Регион рабочей области, связанный с её использованием. возвращает значение только для затрат, связанных с сетью.
destination_region строка Область доступа к ресурсу. возвращает значение только для затрат, связанных с сетью.
metastore_id строка Идентификатор хранилища метаданных, связанного с записью об использовании
app_id строка Идентификатор приложения, связанного с записью об использовании
app_name строка Введенное пользователем имя приложения, связанного с записью об использовании
private_endpoint_name строка Имя применимой частной конечной точки. возвращает значение только для затрат, связанных с сетью.

Справочник по метаданным идентичности

В столбце identity_metadata содержатся дополнительные сведения об идентификаторах, задействованных в использовании. Поле run_as фиксирует, кто выполнял рабочую нагрузку. Поле owned_by применяется только к использованию хранилища SQL и регистрирует пользователя или субъекта-службы, который владеет хранилищем SQL, ответственным за использование.

Кроме того, использование, приписываемое Databricks Apps, регистрирует значение в поле identity_metadata.created_by. Это значение заполняется электронной почтой пользователя, создавшего приложение.

идентификации для запуска от имени

Запись идентификатора в identity_metadata.run_as зависит от продукта, связанного с использованием. См. следующую таблицу поведения identity_metadata.run_as:

Тип рабочей нагрузки Идентичность run_as
Вычисления заданий Пользователь или субъект-служба, определенный в параметре run_as . По умолчанию задания выполняются от имени владельца задания, но администраторы могут изменить это на другого пользователя или учетную запись службы.
Бессерверные вычисления для заданий Пользователь или субъект-служба, определенный в параметре run_as . По умолчанию задания выполняются под именем владельца задания, но администраторы могут изменить это на другого пользователя или учётную запись службы.
Бессерверные вычисления для записных книжек Пользователь, выполняющий команды записной книжки (в частности, пользователь, создавший сеанс записной книжки). Для общих записных книжек это включает использование другими пользователями в рамках одного сеанса записной книжки.
Конвейеры DLT Пользователь, разрешения которого используются для запуска конвейера DLT. Это можно изменить, передав владение конвейером.
Тонкая настройка модели Foundation Пользователь или субъект-служба, инициирующий выполнение обучения по тонкой настройке.
Прогнозная оптимизация Субъект-служба, принадлежащий Databricks, выполняющий операции прогнозной оптимизации.
Мониторинг озерохранилища Пользователь, создавший монитор.

Ссылка на тип записи

Таблица billing.usage поддерживает исправления. Исправления возникают, когда любое поле записи об использовании неправильно и должно быть исправлено.

При исправлении Azure Databricks добавляет две новые записи в таблицу. Запись отзыва отрицает исходную неправильную запись, а затем запись перепрописи содержит исправленную информацию. Записи исправления определяются по полю record_type.

  • RETRACTION: используется для отмены исходного неправильного использования. Все поля идентичны ORIGINAL записи, кроме usage_quantity, отрицательного значения, которое отменяет исходное количество потребления. Например, если количество использования исходной записи было 259.4356, то отзывная запись будет иметь количество использования -259.4356.
  • RESTATEMENT: запись, содержащая правильные поля и количество использования.

Например, следующий запрос возвращает правильное количество почасового использования, связанное с job_id, даже если были внесены исправления. Объединяя количество использования, запись аннулирования отменяет исходную запись, и возвращаются только обновленные значения.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Примечание.

Для исправлений, где исходная запись об использовании не должна была быть сделана, исправление может добавлять только запись отзыва и не добавлять запись о повторной формулировке.

Справочник по ссылке на продукт-источник выставления счетов

Некоторые продукты Databricks выставляются по одному общему номеру SKU. Чтобы отличить использование, столбцы billing_origin_product и product_features предоставляют дополнительные сведения о конкретном продукте и функциях, связанных с использованием.

В столбце billing_origin_product показан продукт Databricks, связанный с записью об использовании. К ним относятся следующие значения:

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • DEFAULT_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES
  • FOUNDATION_MODEL_TRAINING
  • AGENT_EVALUATION
  • FINE_GRAIN_ACCESS_CONTROL
  • NETWORKING. Затраты, связанные с подключением бессерверных вычислений к ресурсам через частные конечные точки. Для использования NETWORKING, workspace_id — это null, usage_unit — это hour, а networking.connectivity_type — это PRIVATE_IP.
  • APPS: затраты, связанные с созданием и запуском приложений Databricks

Справочник по функциям продукта

Столбец product_features — это объект, содержащий сведения о конкретных возможностях продукта, используемых и включающий следующие пары "ключ-значение".

  • jobs_tier: значения включают LIGHT, CLASSICили null
  • sql_tier: значения включают CLASSIC, PROили null
  • dlt_tier: значения включают CORE, PRO, ADVANCEDили null
  • is_serverless: значения включают true или falseили null
  • is_photon: значения включают true или falseили null
  • serving_type: значения включают MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATUREили null
  • networking.connectivity_type: значения включают PUBLIC_IP и PRIVATE_IP