Função com valor de tabela cloud_files_state

Aplica-se a: SQL do Databricks Databricks Runtime 11.3 LTS e versões posteriores

Retorna o estado no nível do arquivo de um fluxo do Carregador Automático ou read_files.

Sintaxe

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumentos

• table_name: o identificador da tabela de streaming que está sendo gravada por read_files. O nome não deve incluir uma especificação temporal. Disponível no Databricks Runtime 13.3 LTS e superior.
• checkpoint: Um STRING literal. O diretório do ponto de verificação para um fluxo usando a origem do Carregador Automático. Confira O que é o Carregador Automático?.

Retornos

Retorna uma tabela com o seguinte esquema:

• path STRING NOT NULL PRIMARY KEY

  O caminho de um arquivo.

• size BIGINT NOT NULL

  O tamanho de um arquivo em bytes.

• create_time TIMESTAMP NOT NULL

  A hora em que um arquivo foi criado.

• discovery_time TIMESTAMP NOT NULL

  Importante

  Este recurso está em Versão prévia privada. Para experimentar, entre em contato com seu contato do Azure Databricks.

  A hora em que um arquivo foi descoberto.

• commit_time TIMESTAMP

  Importante

  Este recurso está em Versão prévia privada. Para experimentar, entre em contato com seu contato do Azure Databricks.

  A hora em que um arquivo foi confirmado no ponto de verificação após o processamento. NULL se o arquivo ainda não foi processado. Um arquivo pode ser processado, mas pode ser marcado como confirmado arbitrariamente depois. Marcar o arquivo como confirmado significa que o Carregador Automático não exigirá que o arquivo seja processado novamente.

• archive_time TIMESTAMP

  Importante

  Este recurso está em Versão prévia privada. Para experimentar, entre em contato com seu contato do Azure Databricks.

  A hora em que um arquivo foi arquivado. NULL se o arquivo não foi arquivado.

• source_id STRING

  A ID da origem do Carregador automático na consulta de streaming. Esse valor é '0' para fluxos que ingerem de um único local de armazenamento de objetos na nuvem.

• flow_name STRING

  Aplica-se a: Databricks SQL Databricks Runtime 13.3 e superior

  O flow_name representa um fluxo de streaming específico no Delta Live Tables que contém uma ou mais fontes de arquivos em nuvem. NULL se não table_name foi dado.

Permissões

Você precisa ter:

• O OWNER tem privilégios na tabela de streaming se estiver usando um identificador de tabela de streaming.
• O READ FILES tem privilégios no local do ponto de verificação se fornecer um ponto de verificação em um local externo.

Exemplos

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path

Artigos relacionados

• Carregar dados com o Delta Live Tables
• Função read_files com valor de tabela