Freigeben über

cloud_files_state-Tabellenwertfunktion

  • Artikel

Gilt für: Häkchen ja Databricks SQL Häkchen bei ja Databricks Runtime 11.3 LTS und höher

Gibt den Status eines Autoloader oder read_files-Streams auf Dateiebene zurück.

Syntax

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumente

  • table_name: Der Bezeichner der Streamingtabelle, in die von read_files geschrieben wird. Der Name darf keine temporale Spezifikation enthalten. Verfügbar in Databricks Runtime 13.3 LTS und höher.
  • checkpoint: Ein STRING-Literal Das Prüfpunktverzeichnis für einen Stream, der die AutoLoader-Quelle verwendet Weitere Informationen finden Sie unter "Automatisches Laden".

Gibt zurück

Gibt eine Tabelle mit dem folgenden Schema zurück:

  • path STRING NOT NULL PRIMARY KEY

    Der Pfad einer Datei.

  • size BIGINT NOT NULL

    Die Größe einer Datei in Bytes.

  • create_time TIMESTAMP NOT NULL

    Der Zeitpunkt, zu dem eine Datei erstellt wurde.

  • discovery_time TIMESTAMP NOT NULL

    Wichtig

    Dieses Feature befindet sich in der privaten Vorschauphase. Um es auszuprobieren, wenden Sie sich an Ihren Azure Databricks-Kontakt.

    Der Zeitpunkt, zu dem eine Datei entdeckt wurde.

  • commit_time TIMESTAMP

    Wichtig

    Dieses Feature befindet sich in der privaten Vorschauphase. Um es auszuprobieren, wenden Sie sich an Ihren Azure Databricks-Kontakt.

    Der Zeitpunkt, zu dem eine Datei nach der Verarbeitung an den Prüfpunkt committet wurde. NULL, wenn die Datei noch nicht verarbeitet wurde. Eine Datei wird möglicherweise verarbeitet, kann aber später willkürlich als committet markiert werden. Wenn eine Datei als committet markiert wird, bedeutet dies, dass der AutoLoader die Datei nicht mehr zur Verarbeitung benötigt.

  • archive_time TIMESTAMP

    Wichtig

    Dieses Feature befindet sich in der privaten Vorschauphase. Um es auszuprobieren, wenden Sie sich an Ihren Azure Databricks-Kontakt.

    Der Zeitpunkt, zu dem eine Datei archiviert wurde. NULL, wenn die Datei nicht archiviert wurde.

  • source_id STRING

    Die ID der AutoLoader-Quelle in der Streamingabfrage Dieser Wert lautet '0' für Datenströme, die von einem einzelnen Speicherort für Cloudobjekte erfasst werden.

  • flow_name STRING

    Gilt für: Häkchen gesetzt ja Databricks SQL Häkchen gesetzt ja Databricks Runtime 13.3 und höher

    Dies flow_name stellt einen bestimmten Streamingfluss in Delta Live Tables dar, der eine oder mehrere Clouddateien enthält. NULL wenn kein table_name gegeben wurde.

Berechtigungen

Sie benötigen Folgendes:

  • OWNER-Berechtigungen für die Streamingtabelle bei Verwendung eines Streamingtabellenbezeichners
  • READ FILES-Berechtigungen für den Prüfpunktspeicherort, wenn ein Prüfpunkt unter einem externen Speicherort bereitgestellt wird.

Beispiele

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path