Dela via

cloud_files_state tabellvärdesfunktion

  • Artikel

Gäller för:markerad ja Databricks SQL markerad ja Databricks Runtime 11.3 LTS och senare

Returnerar filnivåtillståndet för en Auto Loader eller read_files dataström.

Syntax

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenten

  • table_name: Identifieraren för den strömmande tabellen som skrivs till av read_files. Namnet får inte innehålla någon temporal specifikation. Finns i Databricks Runtime 13.3 LTS och senare.
  • checkpoint: Ett STRING bokstavligt uttryck. Kontrollpunktskatalogen för en dataström som använder Auto Loader-källan. Se Vad är Auto Loader?.

Returer

Returnerar en tabell med följande schema:

  • path STRING NOT NULL PRIMARY KEY

    Sökvägen till en fil.

  • size BIGINT NOT NULL

    Storleken på en fil i byte.

  • create_time TIMESTAMP NOT NULL

    Den tid då en fil skapades.

  • discovery_time TIMESTAMP NOT NULL

    Viktigt!

    Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.

    Den tid då en fil upptäcktes.

  • commit_time TIMESTAMP

    Viktigt!

    Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.

    Den tid då en fil checkades in på kontrollpunkten efter bearbetningen. NULL om filen inte har bearbetats ännu. En fil kan bearbetas, men kan godtyckligt markeras som bekräftad senare. Att markera filen som bekräftad innebär att Auto Loader inte kräver filen för bearbetning igen.

  • archive_time TIMESTAMP

    Viktigt!

    Den här funktionen är en privat förhandsversion. Hör av dig till din Azure Databricks-kontakt om du vill prova.

    Den tid då en fil arkiverades. NULL om filen inte har arkiverats.

  • source_id STRING

    ID:t för den automatiska inläsningskällan i strömningsfrågan. Det här värdet är '0' för strömmar som matas in från en enda plats för molnobjektarkivet.

  • flow_name STRING

    Gäller för:markerad ja Databricks SQL markerad ja Databricks Runtime 13.3 och senare

    flow_name representerar ett specifikt direktuppspelningsflöde i DLT som innehåller en eller flera molnfilkällor. NULL om inget table_name angavs.

Behörigheter

Du måste ha:

  • OWNER behörigheter i strömningstabellen om du använder en strömningstabellidentifierare.
  • READ FILES behörigheter på kontrollpunktsplatsen om du anger en kontrollpunkt på en extern plats.

Exempel

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path