cloud_files_state funzione con valori di tabella

Si applica a: Databricks SQL Databricks Runtime 11.3 LTS e versioni successive

Restituisce lo stato a livello di file di un caricatore automatico o read_files di un flusso.

Sintassi

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argomenti

• table_name: identificatore della tabella di streaming scritta da read_files. Il nome non deve includere una specifica temporale. Disponibile in Databricks Runtime 13.3 LTS e versioni successive.
• checkpoint: valore STRING letterale. Directory del checkpoint per un flusso usando l'origine del caricatore automatico. Vedere Che cos'è l’Autoloader?.

Valori restituiti

Restituisce una tabella con lo schema seguente:

• path STRING NOT NULL PRIMARY KEY

  Percorso di un file.

• size BIGINT NOT NULL

  Dimensioni di un file in byte.

• create_time TIMESTAMP NOT NULL

  Ora di creazione di un file.

• discovery_time TIMESTAMP NOT NULL

  Importante

  Questa funzionalità è in anteprima privata. Per provarla, rivolgersi al contatto di Azure Databricks.

  Ora in cui è stato individuato un file.

• commit_time TIMESTAMP

  Importante

  Questa funzionalità è in anteprima privata. Per provarla, rivolgersi al contatto di Azure Databricks.

  Ora in cui è stato eseguito il commit di un file nel checkpoint dopo l'elaborazione. NULL se il file non è ancora stato elaborato. Un file potrebbe essere elaborato, ma potrebbe essere contrassegnato come sottoposto a commit arbitrariamente in un secondo momento. Contrassegnare il file come di cui è stato eseguito il commit significa che il caricatore automatico non richiede di nuovo il file per l'elaborazione.

• archive_time TIMESTAMP

  Importante

  Questa funzionalità è in anteprima privata. Per provarla, rivolgersi al contatto di Azure Databricks.

  Ora in cui un file è stato archiviato. NULL se il file non è stato archiviato.

• source_id STRING

  ID dell'origine del caricatore automatico nella query di streaming. Questo valore è '0' per i flussi che inseriscono da un'unica posizione dell'archivio oggetti cloud.

• flow_name STRING

  Si applica a: Databricks SQL Databricks Runtime 13.3 e versioni successive

  flow_name Rappresenta un flusso di streaming specifico nelle tabelle Live Delta che contiene una o più origini file cloud. NULL se non è stato dato alcun risultato table_name .

Autorizzazioni

È necessario disporre di:

• OWNER privilegi nella tabella di streaming se si usa un identificatore di tabella di streaming.
• READ FILES privilegi nella posizione del checkpoint se si specifica un checkpoint in una posizione esterna.

Esempi

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path

Articoli correlati

• Caricare dati con tabelle live Delta
• Funzione con valori di tabella read_files