Delen via

cloud_files_state table-waardefunctie

  • Artikel

Van toepassing op:vinkje als ja aan Databricks SQL vinkje als ja aan Databricks Runtime 11.3 LTS en hoger

Retourneert de status op bestandsniveau van een automatisch laadprogramma of read_files stroom.

Syntaxis

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenten

  • table_name: de identifier van de streaming table waar read_filesnaar schrijft. De naam mag geen tijdelijke specificatie bevatten. Beschikbaar in Databricks Runtime 13.3 LTS en hoger.
  • checkpoint: Een STRING letterlijke. De controlepuntmap voor een stream met behulp van de bron voor automatisch laden. Zie Wat is automatisch laadprogramma?

Retouren

Retourneert een table met de volgende schema:

  • path STRING NOT NULL PRIMARY KEY

    Het pad van een bestand.

  • size BIGINT NOT NULL

    De grootte van een bestand in bytes.

  • create_time TIMESTAMP NOT NULL

    Het tijdstip waarop een bestand is gemaakt.

  • discovery_time TIMESTAMP NOT NULL

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Als u het wilt proberen, neemt u contact op met uw contactpersoon voor Azure Databricks.

    Het tijdstip waarop een bestand is gedetecteerd.

  • commit_time TIMESTAMP

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Als u het wilt proberen, neemt u contact op met uw contactpersoon voor Azure Databricks.

    Het tijdstip waarop een bestand is doorgevoerd naar het controlepunt na verwerking. NULL als het bestand nog niet is verwerkt. Een bestand kan worden verwerkt, maar kan willekeurig worden gemarkeerd als doorgevoerd. Als u het bestand markeert zoals vastgelegd, betekent dit dat automatisch laden het bestand niet opnieuw nodig heeft voor verwerking.

  • archive_time TIMESTAMP

    Belangrijk

    Deze functie is beschikbaar als beperkte preview. Als u het wilt proberen, neemt u contact op met uw contactpersoon voor Azure Databricks.

    De tijd dat een bestand is gearchiveerd. NULL als het bestand niet is gearchiveerd.

  • source_id STRING

    De id van de bron voor automatisch laden in de streamingquery. Deze waarde is '0' bedoeld voor streams die worden opgenomen vanuit één locatie voor het cloudobjectarchief.

  • flow_name STRING

    Van toepassing op:vinkje als ja aan Databricks SQL vinkje als ja aan Databricks Runtime 13.3 en hoger

    De flow_name vertegenwoordigt een specifieke streamingstroom in Delta Live Tables die een of meer cloudbestandenbronnen bevat. NULL als er geen table_name gegeven werd.

Machtigingen

U moet het volgende hebben:

  • OWNER bevoegdheden op de streaming table als u een streaming-tableidentifiergebruikt.
  • READ FILES bevoegdheden op de controlepuntlocatie als u een controlepunt opgeeft onder een externe locatie.

Voorbeelden

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path