Partilhar via

Referência da tabela do sistema de uso faturável

  • Artigo

Este artigo fornece uma visão geral da tabela do sistema de uso faturável, incluindo o esquema e consultas de exemplo. Com as tabelas do sistema, os dados de utilização faturáveis da sua conta são centralizados e encaminhados para todas as regiões, para que possa ver a utilização global da sua conta a partir de qualquer região em que o seu espaço de trabalho se encontre.

Para obter informações sobre como usar esta tabela para monitorizar custos de trabalho, consulte Monitorizar os custos de trabalho & desempenho com tabelas do sistema.

Para obter estratégias sobre como analisar o uso sem servidor, consulte Monitorar o custo da computação sem servidor.

Caminho da tabela: Esta tabela do sistema está localizada em system.billing.usage.

Esquema da tabela de uso faturável

A tabela do sistema de uso faturável usa o seguinte esquema:

Nome da coluna Tipo de dados Description Exemplo
record_id string ID exclusivo para este registo 11e22ba4-87b9-4cc2
-9770-d10b894b7118
account_id string ID da conta para a qual este relatório foi gerado 23e22ba4-87b9-4cc2
-9770-d10b894b7118
workspace_id string ID do espaço de trabalho ao qual esse uso foi associado 1234567890123456
sku_name string Nome do SKU STANDARD_ALL_PURPOSE_COMPUTE
cloud string Nuvem este uso é relevante para. Os valores possíveis são AWS, AZUREe GCP. AWS, AZURE ou GCP
usage_start_time carimbo de data/hora A hora de início relevante para este registo de utilização. As informações de fuso horário são registradas no final do valor com +00:00 a representação do fuso horário UTC. 2023-01-09 10:00:00.000+00:00
usage_end_time carimbo de data/hora A hora de término relevante para este registro de uso. As informações de fuso horário são registradas no final do valor com +00:00 a representação do fuso horário UTC. 2023-01-09 11:00:00.000+00:00
usage_date data Data do registo de utilização, este campo pode ser utilizado para uma agregação mais rápida por data 2023-01-01
custom_tags map Tags aplicadas a esse uso. Inclui tags de recursos de computação, tags de trabalhos, tags personalizadas de espaço de trabalho e tags de política de orçamento. { “env”: “production” }
usage_unit string Unidade em que este uso é medido. Os valores possíveis incluem DBUs. DBU
usage_quantity decimal Número de unidades consumidas para este registo. 259.2958
usage_metadata estruturar Metadados fornecidos pelo sistema sobre o uso, incluindo IDs para recursos de computação e trabalhos (se aplicável). Consulte Analisar metadados de uso. {cluster_id: null;
instance_pool_id: null;
notebook_id: null;
job_id: null;
node_type: null}
identity_metadata estruturar Metadados fornecidos pelo sistema sobre as identidades envolvidas no uso. Consulte Analisar metadados de identidade. {run_as: example@email.com}
record_type string Se o registro é original, uma retratação ou uma reformulação. O valor é ORIGINAL a menos que o registro esteja relacionado a uma correção. Consulte Analisar registros de correção. ORIGINAL
ingestion_date data Data em que o registro foi ingerido na usage tabela. 2024-01-01
billing_origin_product string O produto que originou o uso. Alguns produtos podem ser cobrados como SKUs diferentes. Para valores possíveis, consulte Exibir informações sobre o produto associado ao uso. JOBS
product_features estruturar Detalhes sobre as características específicas do produto utilizadas. Para obter os valores possíveis, consulte Recursos do produto.
usage_type string O tipo de uso atribuído ao produto ou carga de trabalho para fins de faturamento. Os valores possíveis são COMPUTE_TIME, STORAGE_SPACE, NETWORK_BYTES, API_OPERATION, TOKEN, ou GPU_TIME. STORAGE_SPACE

Analise metadados de uso

Os valores em usage_metadata informam sobre os recursos envolvidos no registro de uso.

Value Tipo de dados Description
cluster_id string ID do cluster associado ao registro de uso
warehouse_id string ID do armazém SQL associado ao registo de utilização
instance_pool_id string ID do pool de instâncias associado ao registro de uso
node_type string O tipo de instância do recurso de computação
job_id string ID do trabalho associado ao registro de uso. Retorna apenas um valor para computação sem servidor ou uso de computação de trabalhos, caso contrário, retorna null.
job_run_id string ID da execução do trabalho associada ao registro de uso. Retorna apenas um valor para computação sem servidor ou uso de computação de trabalhos, caso contrário, retorna null.
job_name string Nome dado pelo usuário do trabalho associado ao registro de uso. Retorna apenas um valor para trabalhos executados em computação sem servidor, caso contrário, retorna null.
notebook_id string ID do bloco de notas associado à utilização. Retorna apenas um valor para computação sem servidor para uso do bloco de anotações, caso contrário, retorna null.
notebook_path string Caminho de armazenamento do espaço de trabalho do bloco de anotações associado ao uso. Retorna apenas um valor para computação sem servidor para uso do bloco de anotações, caso contrário, retorna null.
dlt_pipeline_id string ID do pipeline Delta Live Tables associado ao registro de uso
dlt_update_id string ID da atualização do pipeline Delta Live Tables associada ao registro de uso
dlt_maintenance_id string ID das tarefas de manutenção do pipeline Delta Live Tables associadas ao registro de uso
run_name string Identificador exclusivo voltado para o usuário do modelo básico Ajuste fino associado ao registro de uso
endpoint_name string O nome do modelo que serve o ponto de extremidade ou o ponto de extremidade de pesquisa vetorial associado ao registro de uso
endpoint_id string ID do modelo que serve o ponto de extremidade ou o ponto de extremidade de pesquisa vetorial associado ao registro de uso
central_clean_room_id string ID da sala limpa central associada ao registo de utilização
metastore_id string ID do metastore associado ao registro de uso.

Analise metadados de identidade

A identity_metadata coluna pode ajudá-lo a identificar quem é responsável por um registro de faturamento sem servidor. A coluna inclui um run_as valor que atribui o uso a uma identidade. A identidade registada depende identity_metadata.run_as do produto associado à utilização.

Consulte a tabela a seguir para o identity_metadata.run_as comportamento:

Tipo de carga de trabalho Identidade de run_as
Computação de trabalhos O usuário ou entidade de serviço definida na run_as configuração. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para trabalhos O usuário ou entidade de serviço definida na run_as configuração. Por padrão, os trabalhos são executados como a identidade do proprietário do trabalho, mas os administradores podem alterá-lo para ser outro usuário ou entidade de serviço.
Computação sem servidor para notebooks O usuário que executou os comandos do bloco de anotações (especificamente, o usuário que criou a sessão do bloco de anotações). Para blocos de anotações compartilhados, isso inclui o uso por outros usuários que compartilham a mesma sessão de bloco de anotações.
Pipelines Delta Live Tables O usuário cujas permissões são usadas para executar o pipeline Delta Live Tables. Isso pode ser alterado transferindo a propriedade do gasoduto.
Ajuste fino do modelo de fundação O usuário ou entidade de serviço que iniciou a execução do treinamento de ajuste fino.

Analise registros de correção

A billing.usage tabela suporta correções. As correções ocorrem quando qualquer campo do registro de uso está incorreto e deve ser corrigido.

Quando ocorre uma correção, o Azure Databricks adiciona dois novos registos à tabela. Um registro de retração nega o registro incorreto original e, em seguida, um registro de reafirmação inclui as informações corrigidas. Os registos de correção são identificados através do record_type campo:

  • RETRACTION: Usado para negar o uso incorreto original. Todos os campos são idênticos ao ORIGINAL registro, exceto usage_quantity, que é um valor negativo que cancela a quantidade de uso original. Por exemplo, se a quantidade de uso do registro original fosse 259.4356, o registro de retração teria uma quantidade de uso de -259.4356.
  • RESTATEMENT: O registro que inclui os campos corretos e a quantidade de uso.

Por exemplo, a consulta a seguir retorna a quantidade de uso horário correta relacionada a um job_id, mesmo que correções tenham sido feitas. Ao agregar a quantidade de uso, o registro de retração nega o registro original e apenas os valores da reafirmação são retornados.

SELECT
  usage_metadata.job_id, usage_start_time, usage_end_time,
  SUM(usage_quantity) as usage_quantity
FROM system.billing.usage
GROUP BY ALL
HAVING usage_quantity != 0

Nota

Para correções em que o registro de uso original não deveria ter sido gravado, uma correção só pode adicionar um registro de retração e nenhum registro de redeclaração.

Exibir informações sobre o produto associado ao uso

Alguns produtos Databricks são cobrados sob a mesma SKU compartilhada. Para ajudá-lo a diferenciar o uso, as billing_origin_product colunas e product_features fornecem mais informações sobre o produto específico e os recursos associados ao uso.

A billing_origin_product coluna mostra o produto Databricks associado ao registro de uso. Os valores incluem:

  • JOBS
  • DLT
  • SQL
  • ALL_PURPOSE
  • MODEL_SERVING
  • INTERACTIVE
  • DEFAULT_STORAGE
  • VECTOR_SEARCH
  • LAKEHOUSE_MONITORING
  • PREDICTIVE_OPTIMIZATION
  • ONLINE_TABLES
  • FOUNDATION_MODEL_TRAINING

A product_features coluna é um objeto que contém informações sobre os recursos específicos do produto usados e inclui os seguintes pares chave/valor:

  • jobs_tier: os valores incluem LIGHT, CLASSICou null
  • sql_tier: os valores incluem CLASSIC, PROou null
  • dlt_tier: os valores incluem CORE, PRO, ADVANCED, ou null
  • is_serverless: os valores incluem true ou false, ou null
  • is_photon: os valores incluem true ou false, ou null
  • serving_type: os valores incluem MODEL, GPU_MODEL, FOUNDATION_MODEL, FEATURE, ou null

Consultas de amostra

Você pode usar as seguintes consultas de exemplo para responder a perguntas comuns sobre o uso faturável:

Qual é a tendência diária no consumo de DBU?

SELECT
  usage_date as `Date`, sum(usage_quantity) as `DBUs Consumed`
FROM
  system.billing.usage
WHERE
  sku_name = "STANDARD_ALL_PURPOSE_COMPUTE"
GROUP BY
  usage_date
ORDER BY
  usage_date ASC

Quantas DBUs de cada produto foram utilizadas ao longo deste mês?

SELECT
    billing_origin_product,
    usage_date,
    sum(usage_quantity) as usage_quantity
FROM system.billing.usage
WHERE
    month(usage_date) = month(NOW())
    AND year(usage_date) = year(NOW())
GROUP BY billing_origin_product, usage_date

Quais trabalhos consumiram mais DBUs?

SELECT
  usage_metadata.job_id as `Job ID`, sum(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  usage_metadata.job_id IS NOT NULL
GROUP BY
  `Job ID`
ORDER BY
  `DBUs` DESC

Quanto uso pode ser atribuído a recursos com uma tag específica?

Você pode dividir os custos de várias maneiras. Este exemplo mostra como dividir os custos por uma tag personalizada. Certifique-se de substituir a chave e o valor da tag personalizada na consulta.

SELECT
  sku_name, usage_unit, SUM(usage_quantity) as `Usage`
FROM
  system.billing.usage
WHERE
  custom_tags.{{key}} = "{{value}}"
GROUP BY 1, 2

Mostre-me os produtos onde a utilização está a crescer

SELECT
  after.billing_origin_product, before_dbus, after_dbus, ((after_dbus - before_dbus)/before_dbus * 100) AS growth_rate
FROM
  (SELECT
     billing_origin_product, sum(usage_quantity) as before_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date BETWEEN "2023-04-01" and "2023-04-30"
   GROUP BY
     billing_origin_product
  ) as before
JOIN
  (SELECT
     billing_origin_product, sum(usage_quantity) as after_dbus
   FROM
     system.billing.usage
   WHERE
     usage_date
   BETWEEN
     "2023-05-01" and "2023-05-30"
   GROUP BY
     billing_origin_product
  ) as after
WHERE
  before.billing_origin_product = after.billing_origin_product
SORT BY
  growth_rate DESC

Qual é a tendência de uso do All Purpose Compute (Photon)?

SELECT
  sku_name,
  usage_date,
  sum(usage_quantity) as `DBUs consumed`
FROM
  system.billing.usage
WHERE
  year(usage_date) = year(CURRENT_DATE)
AND
  sku_name = "ENTERPRISE_ALL_PURPOSE_COMPUTE_(PHOTON)"
AND
  usage_date > "2023-04-15"
GROUP BY
  sku_name, usage_date

Qual é o consumo de DBU de uma visualização materializada ou tabela de streaming?

Para obter o uso de DBU e SKU para uma exibição materializada específica ou tabela de streaming, envie uma consulta para a tabela do sistema de uso faturável para registros onde usage_metadata.dlt_pipeline_id está definido como a ID do pipeline associado à exibição materializada ou tabela de streaming. Você pode encontrar o ID do pipeline na guia Detalhes no Gerenciador de Catálogos ao exibir a exibição materializada ou a tabela de streaming. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data de término ou um intervalo de datas. A consulta a seguir recupera o uso da DBU para o pipeline com ID 00732f83-cd59-4c76-ac0d-57958532ab5b e uma data de início de uso de 2023-05-30:

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time > "2023-05-30"
GROUP BY
  ALL

Qual é o consumo de DBU de um pipeline DLT sem servidor?

Para obter o uso de DBU e SKU para um pipeline DLT sem servidor, envie uma consulta para a tabela do sistema de uso faturável para registros onde usage_metadata.dlt_pipeline_id está definido como a ID do pipeline. Você pode encontrar o ID do pipeline na guia Detalhes do pipeline ao visualizar um pipeline na interface do usuário Delta Live Tables. Para limitar opcionalmente o consumo por data, especifique uma data de início, uma data de término ou um intervalo de datas. A consulta a seguir recupera o uso do DBU de dezembro de 2023 para o pipeline com ID 00732f83-cd59-4c76-ac0d-57958532ab5b.

SELECT
  sku_name,
  usage_date,
  SUM(usage_quantity) AS `DBUs`
FROM
  system.billing.usage
WHERE
  usage_metadata.dlt_pipeline_id = "00732f83-cd59-4c76-ac0d-57958532ab5b"
AND
  usage_start_time >= "2023-12-01"
AND
  usage_end_time < "2024-01-01"
GROUP BY
  ALL