Udostępnij za pośrednictwem

cloud_files_state funkcja wartości tabeli

  • Artykuł

Dotyczy:zaznacz pole wyboru oznaczone jako tak Databricks SQL zaznacz pole wyboru oznaczone jako tak Databricks Runtime 11.3 LTS i nowsze

Zwraca stan na poziomie pliku dla Auto Loader lub read_files strumienia.

Składnia

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenty

Zwraca

Zwraca tabelę z następującym schematem:

  • path STRING NOT NULL PRIMARY KEY

    Ścieżka pliku.

  • size BIGINT NOT NULL

    Rozmiar pliku w bajtach.

  • create_time TIMESTAMP NOT NULL

    Czas utworzenia pliku.

  • discovery_time TIMESTAMP NOT NULL

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas odnalezienia pliku.

  • commit_time TIMESTAMP

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas, gdy plik został zatwierdzony do punktu kontrolnego po przetworzeniu. NULL jeśli plik nie został jeszcze przetworzony. Plik może zostać przetworzony, ale może zostać oznaczony jako zatwierdzony dowolnie później. Oznaczanie pliku jako zatwierdzone oznacza, że moduł automatycznego ładowania nie wymaga ponownego przetworzenia pliku.

  • archive_time TIMESTAMP

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas archiwizacji pliku. NULL jeśli plik nie został zarchiwizowany.

  • source_id STRING

    Identyfikator źródła modułu ładowania automatycznego w zapytaniu przesyłania strumieniowego. Ta wartość dotyczy '0' strumieni pozyskanych z jednej lokalizacji magazynu obiektów w chmurze.

  • flow_name STRING

    Dotyczy:zaznacz pole wyboru oznaczone jako tak Databricks SQL zaznacz pole wyboru oznaczone jako tak Databricks Runtime 13.3 i nowsze

    flow_name reprezentuje określony przepływ przesyłania strumieniowego w DLT, który zawiera co najmniej jedno źródło plików w chmurze. NULL jeśli table_name nie podano.

Uprawnienia

Musisz mieć następujące elementy:

  • OWNER uprawnienia w tabeli przesyłania strumieniowego, jeśli używasz identyfikatora tabeli przesyłania strumieniowego.
  • READ FILESuprawnienia w lokalizacji punktu kontrolnego, jeśli podają punkt kontrolny w lokalizacji zewnętrznej.

Przykłady

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path