Dela via

cloud_files_state table-värdefunktion

  • Artikel

Gäller för:markerad ja Databricks SQL markerad ja Databricks Runtime 11.3 LTS och senare

Returnerar filnivåtillståndet för en automatisk inläsare eller read_files dataström.

Syntax

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argument

  • table_name: identifier för strömmande table som skrivs till av read_files. Namnet får inte innehålla någon temporal specifikation. Finns i Databricks Runtime 13.3 LTS och senare.
  • checkpoint: En STRING literal. Kontrollpunktskatalogen för en dataström med hjälp av autoinläsningskällan. Se Vad är automatisk inläsare?.

Returer

Returnerar en table med följande schema:

  • path STRING NOT NULL PRIMARY KEY

    Sökvägen till en fil.

  • size BIGINT NOT NULL

    Storleken på en fil i byte.

  • create_time TIMESTAMP NOT NULL

    Den tid då en fil skapades.

  • discovery_time TIMESTAMP NOT NULL

    Viktigt!

    Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.

    Den tid då en fil upptäcktes.

  • commit_time TIMESTAMP

    Viktigt!

    Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.

    Den tid då en fil checkades in på kontrollpunkten efter bearbetningen. NULL om filen inte har bearbetats ännu. En fil kan bearbetas, men kan markeras som bekräftad godtyckligt senare. Att markera filen som bekräftad innebär att Auto Loader inte kräver filen för bearbetning igen.

  • archive_time TIMESTAMP

    Viktigt!

    Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.

    Den tid då en fil arkiverades. NULL om filen inte har arkiverats.

  • source_id STRING

    ID:t för den automatiska inläsningskällan i strömningsfrågan. Det här värdet är '0' för strömmar som matas in från en enda plats för molnobjektarkivet.

  • flow_name STRING

    Gäller för:markerad ja Databricks SQL markerad ja Databricks Runtime 13.3 och senare

    flow_name representerar ett specifikt direktuppspelningsflöde i Delta Live Tables som innehåller en eller flera molnfilkällor. NULL om inget table_name angavs.

Behörigheter

Du måste ha:

  • OWNER behörigheter för direktuppspelning table om du använder en strömmande tableidentifier.
  • READ FILES behörigheter på kontrollpunktsplatsen om du tillhandahåller en kontrollpunkt under en extern plats.

Exempel

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path