Поделиться через

Функция с табличным значением cloud_files_state

  • Статья

Область применения: флажок Databricks SQL флажок Databricks Runtime 11.3 LTS и выше

Возвращает состояние автозагрузчика или read_files потока на уровне файла.

Синтаксис

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

Аргументы

  • table_name: идентификатор потоковой таблицы, записываемой в read_files. Имя не должно содержать временную спецификацию. Доступно в Databricks Runtime 13.3 LTS и более поздних версиях.
  • checkpoint: литерал STRING . Каталог контрольной точки для потока с помощью источника автозагрузчика. См. статью об автозагрузчике.

Возвраты

Возвращает таблицу со следующей схемой:

  • path STRING NOT NULL PRIMARY KEY

    Путь к файлу.

  • size BIGINT NOT NULL

    Размер файла в байтах.

  • create_time TIMESTAMP NOT NULL

    Время создания файла.

  • discovery_time TIMESTAMP NOT NULL

    Внимание

    Доступна закрытая предварительная версия этой функции. Чтобы опробовать ее, обратитесь к своему контактному лицу Azure Databricks.

    Время обнаружения файла.

  • commit_time TIMESTAMP

    Внимание

    Доступна закрытая предварительная версия этой функции. Чтобы опробовать ее, обратитесь к своему контактному лицу Azure Databricks.

    Время фиксации файла в контрольной точке после обработки. NULL Значение , если файл еще не обработан. Файл может обрабатываться, но может быть помечен как зафиксированный произвольно позже. Пометка файла как зафиксированного означает, что автозагрузчик не требует повторной обработки файла.

  • archive_time TIMESTAMP

    Внимание

    Доступна закрытая предварительная версия этой функции. Чтобы опробовать ее, обратитесь к своему контактному лицу Azure Databricks.

    Время архивирования файла. NULL Значение , если файл не был архивирован.

  • source_id STRING

    Идентификатор источника автозагрузчика в потоковом запросе. Это значение предназначено '0' для потоков, которые передаются из одного расположения хранилища объектов облака.

  • flow_name STRING

    Область применения: флажок Databricks SQL флажок Databricks Runtime 13.3 и более поздних версий

    Представляет flow_name определенный поток потоковой передачи в разностных динамических таблицах, содержащих один или несколько источников облачных файлов. NULL Если не table_name было дано.

Разрешения

Вам нужно:

  • OWNER привилегии в таблице потоковой передачи при использовании идентификатора потоковой таблицы.
  • READ FILESпривилегии в расположении контрольной точки при предоставлении контрольной точки во внешнем расположении.

Примеры

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path