다음을 통해 공유

cloud_files_state 테이블 반환 함수

  • 아티클

적용 대상: 예로 표시된 확인 Databricks SQL 예로 표시된 확인 Databricks Runtime 11.3 LTS 이상

자동 로더 또는 read_files 스트림의 파일 수준 상태를 반환합니다.

구문

cloud_files_state( { TABLE ( table_name ) | checkpoint } )

인수

  • table_name: 에 의해 read_files기록되는 스트리밍 테이블의 식별자입니다. 이름에는 임시 사양이 포함되지 않아야 합니다. Databricks Runtime 13.3 LTS 이상에서 사용할 수 있습니다.
  • checkpoint: 리터럴입니다 STRING . 자동 로더 원본을 사용하는 스트림의 검사점 디렉터리입니다. 자동 로더란?을 참조하세요.

반품

다음 스키마가 있는 테이블을 반환합니다.

  • path STRING NOT NULL PRIMARY KEY

    파일의 경로입니다.

  • size BIGINT NOT NULL

    파일의 크기(바이트)입니다.

  • create_time TIMESTAMP NOT NULL

    파일을 만든 시간입니다.

  • discovery_time TIMESTAMP NOT NULL

    Important

    이 기능은 현재 프라이빗 미리 보기로 제공됩니다. 이를 시도하려면 Azure Databricks 담당자에게 문의하세요.

    파일이 검색된 시간입니다.

  • commit_time TIMESTAMP

    Important

    이 기능은 현재 프라이빗 미리 보기로 제공됩니다. 이를 시도하려면 Azure Databricks 담당자에게 문의하세요.

    처리 후 파일이 검사점으로 커밋된 시간입니다. NULL 파일이 아직 처리되지 않은 경우입니다. 파일이 처리될 수 있지만 나중에 임의로 커밋된 것으로 표시될 수 있습니다. 파일을 커밋된 파일로 표시하면 자동 로더에서 파일을 다시 처리할 필요가 없습니다.

  • archive_time TIMESTAMP

    Important

    이 기능은 현재 프라이빗 미리 보기로 제공됩니다. 이를 시도하려면 Azure Databricks 담당자에게 문의하세요.

    파일이 보관된 시간입니다. NULL 파일이 보관되지 않은 경우입니다.

  • source_id STRING

    스트리밍 쿼리의 자동 로더 원본 ID입니다. 이 값은 단일 클라우드 개체 저장소 위치에서 수집하는 스트림에 대한 값입니다 '0' .

  • flow_name STRING

    적용 대상: 예로 표시된 확인 Databricks SQL 예로 표시된 확인 Databricks Runtime 13.3 이상

    하나 flow_name 이상의 클라우드 파일 원본을 포함하는 Delta Live Tables의 특정 스트리밍 흐름을 나타냅니다. NULL 지정되지 않은 table_name 경우

사용 권한

다음이 필요합니다.

  • OWNER 스트리밍 테이블 식별자를 사용하는 경우 스트리밍 테이블에 대한 권한입니다.
  • READ FILES외부 위치에 검사점을 제공하는 경우 검사점 위치에 대한 권한입니다.

예제

-- Simple example from checkpoint
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint');
  /some/input/path
  /other/input/path

-- Simple example from source subdir
> SELECT path FROM CLOUD_FILES_STATE('/some/checkpoint/sources/0');
  /some/input/path
  /other/input/path

-- Simple example from streaming table
> SELECT path FROM CLOUD_FILES_STATE(TABLE(my_streaming_table));
  /some/input/path
  /other/input/path