Udostępnij za pośrednictwem

cloud_files_state table-wartościowa funkcja

  • Artykuł

Dotyczy:zaznacz pole wyboru oznaczone jako tak Databricks SQL zaznacz pole wyboru oznaczone jako tak Databricks Runtime 11.3 LTS i nowsze

Zwraca stan na poziomie pliku modułu ładującego read_files lub strumienia.

Składnia

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Argumenty

  • table_name: identifiertable przesyłania strumieniowego, do których zapisywane są dane w read_files. Nazwa nie może zawierać specyfikacji czasowej. Dostępne w środowisku Databricks Runtime 13.3 LTS i nowszym.
  • checkpoint STRING: literał. Katalog punktów kontrolnych dla strumienia przy użyciu źródła automatycznego modułu ładującego. Zobacz Co to jest moduł automatycznego ładowania?.

Zwraca

Zwraca table z następującymi schema:

  • path STRING NOT NULL PRIMARY KEY

    Ścieżka pliku.

  • size BIGINT NOT NULL

    Rozmiar pliku w bajtach.

  • create_time TIMESTAMP NOT NULL

    Czas utworzenia pliku.

  • discovery_time TIMESTAMP NOT NULL

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas odnalezienia pliku.

  • commit_time TIMESTAMP

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas zatwierdzenia pliku do punktu kontrolnego po przetworzeniu. NULL jeśli plik nie został jeszcze przetworzony. Plik może zostać przetworzony, ale może zostać oznaczony jako zatwierdzony dowolnie później. Oznaczanie pliku jako zatwierdzone oznacza, że moduł automatycznego ładowania nie wymaga ponownego przetworzenia pliku.

  • archive_time TIMESTAMP

    Ważne

    Ta funkcja jest dostępna w prywatnej wersji zapoznawczej. Aby ją wypróbować, skontaktuj się z osobą kontaktową usługi Azure Databricks.

    Czas archiwizacji pliku. NULL jeśli plik nie został zarchiwizowany.

  • source_id STRING

    Identyfikator źródła automatycznego modułu ładującego w zapytaniu przesyłania strumieniowego. Ta wartość dotyczy '0' strumieni pozyskanych z jednej lokalizacji magazynu obiektów w chmurze.

  • flow_name STRING

    Dotyczy:zaznacz pole wyboru oznaczone jako tak Databricks SQL zaznacz pole wyboru oznaczone jako tak Databricks Runtime 13.3 i nowsze

    flow_name reprezentuje określony przepływ przesyłania strumieniowego w usłudze Delta Live Tables, który zawiera co najmniej jedno źródło plików w chmurze. NULL jeśli nie table_name podano.

Uprawnienia

Musisz mieć następujące elementy:

  • OWNER uprawnienia do przesyłania strumieniowego na table w przypadku korzystania z tableidentifier.
  • READ FILESuprawnienia w lokalizacji punktu kontrolnego, jeśli podają punkt kontrolny w lokalizacji zewnętrznej.

Przykłady

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path