Delta Live 테이블 속성 참조

이 문서에서는 Azure Databricks의 Delta Live Tables JSON 설정 사양 및 테이블 속성에 대한 참조를 제공합니다. 이러한 다양한 속성 및 구성 사용에 대한 자세한 내용은 다음 문서를 참조하세요.

• Delta Live Tables 파이프라인 구성
• 파이프라인 REST API

Delta Live Tables 파이프라인 구성

필드
id 유형: string 이 파이프라인의 GUID(Globally Unique Identifier)입니다. 식별자는 시스템에서 할당하며 변경할 수 없습니다.
name 유형: string 이 파이프라인에 대한 사용자 식별 이름입니다. 이 이름은 UI에서 파이프라인 작업을 식별하는 데 사용할 수 있습니다.
storage 유형: string 파이프라인 실행에 필요한 출력 데이터 및 메타데이터가 저장되는 DBFS 또는 클라우드 저장소의 위치입니다. 테이블 및 메타데이터는 이 위치의 하위 디렉터리에 저장됩니다. storage 설정을 지정하지 않으면 시스템의 기본 위치는 dbfs:/pipelines/로 지정됩니다. 파이프라인을 만든 후에는 storage 설정을 변경할 수 없습니다.
configuration 유형: object 파이프라인을 실행할 클러스터의 Spark 구성에 추가할 설정의 선택적 목록입니다. 이러한 설정은 Delta Live Tables 런타임에서 읽고 Spark 구성을 통해 파이프라인 쿼리에 사용할 수 있습니다. 요소는 key:value 쌍으로 형식을 지정해야 합니다.
libraries 유형: array of objects 파이프라인 코드 및 필수 아티팩트가 포함된 Notebook 배열입니다.
clusters 유형: array of objects 파이프라인을 실행할 클러스터의 사양 배열입니다. 지정하지 않으면 파이프라인이 파이프라인에 대한 기본 클러스터 구성을 자동으로 선택합니다.
development 유형: boolean 파이프라인을 development 또는 production 모드에서 실행할지 여부를 나타내는 플래그. 기본값은 true입니다.
notifications 유형: array of objects 파이프라인 업데이트가 완료되거나, 재시도 가능한 오류로 실패하거나, 다시 시도할 수 없는 오류로 실패하거나, 흐름이 실패했을 때 메일 알림을 위한 사양을 지정하는 선택적 개체 배열입니다.
continuous 유형: boolean 파이프라인을 계속 실행할지 여부를 나타내는 플래그입니다. 기본값은 false입니다.
target 유형: string 파이프라인 출력 데이터를 유지하기 위한 데이터베이스의 이름입니다. target 설정을 구성하면 Azure Databricks UI에서 파이프라인 출력 데이터를 보고 쿼리할 수 있습니다.
channel 유형: string 사용할 Delta Live Tables 런타임의 버전입니다. 지원되는 값은 다음과 같습니다. - preview: 런타임 버전에 대한 예정된 변경 내용으로 파이프라인을 테스트합니다. - current: 현재 런타임 버전을 사용합니다. channel 필드는 선택 사항입니다. 기본값 current. Databricks에서는 프로덕션 워크로드에 현재 런타임 버전의 사용을 권장합니다.
edition string 입력 파이프라인을 실행할 Delta Live Tables 제품 버전입니다. 이 설정을 사용하면 파이프라인의 요구 사항에 따라 최상의 제품 버전을 선택할 수 있습니다. - CORE: 스트리밍 수집 워크로드를 실행합니다. - PRO: 스트리밍 수집을 실행하고 CDC(변경 데이터 캡처) 워크로드를 실행합니다. - ADVANCED: 데이터 품질 제약 조건을 적용하기 위해 Delta Live Tables 기대치가 필요한 스트리밍 수집 워크로드, CDC 워크로드 및 워크로드를 실행합니다. edition 필드는 선택 사항입니다. 기본값 ADVANCED.
photon 유형: boolean Photon이란?을 사용하여 파이프라인을 실행할지 여부를 나타내는 플래그입니다. Photon은 Azure Databricks 고성능 Spark 엔진입니다. Photon 사용 파이프라인은 Photon이 아닌 파이프라인과 다른 비율로 청구됩니다. photon 필드는 선택 사항입니다. 기본값은 false입니다.
pipelines.maxFlowRetryAttempts 유형: int 재시도 가능 오류가 발생할 때 파이프라인 업데이트에 실패하기 전에 흐름을 다시 시도하는 최대 시도 횟수. 기본값은 2입니다. 기본적으로 재시도 가능한 오류가 발생하면 Delta Live Tables 런타임은 원래 시도를 포함해 흐름을 세 번 실행하려고 시도합니다.
pipelines.numUpdateRetryAttempts 유형: int 재시도 가능 오류가 발생할 때 업데이트가 실패하기 전에 업데이트를 다시 시도하는 최대 시도 횟수입니다. 재시도는 전체 업데이트로 실행됩니다. 기본값은 5입니다. 이 매개 변수는 프로덕션 모드에서 실행되는 트리거된 업데이트에만 적용됩니다. 파이프라인이 개발 모드에서 실행되는 경우 재시도는 없습니다.

Delta Live Tables 테이블 속성

Delta Lake에서 지원하는 테이블 속성 외에도 다음 테이블 속성을 설정할 수 있습니다.

테이블 속성
pipelines.autoOptimize.managed 기본값: true 이 테이블의 자동 최적화 예약을 활성화하거나 비활성화합니다.
pipelines.autoOptimize.zOrderCols 기본값: None 이 테이블을 z-순서로 정렬할 열 이름의 쉼표로 구분된 목록을 포함하는 선택적 문자열입니다. 예를 들어 pipelines.autoOptimize.zOrderCols = "year,month"
pipelines.reset.allowed 기본값: true 이 테이블에 대해 전체 새로 고침이 허용되는지 여부를 제어합니다.

파이프라인 트리거 간격

전체 Delta Live Tables 파이프라인 또는 데이터 세트 선언의 일부로 파이프라인 트리거 간격을 지정할 수 있습니다. 연속 파이프라인에 대한 트리거 간격 설정을 참조 하세요.

pipelines.trigger.interval

기본값은 흐름 유형에 따라 달라집니다. - 스트리밍 쿼리의 경우 5초입니다. - 모든 입력 데이터가 Delta 소스에서 온 경우 전체 쿼리에 1분이 소요됩니다. - 일부 데이터 원본이 Delta가 아닌 경우 전체 쿼리에 10분이 소요됩니다. 값은 숫자에 시간 단위를 더한 값입니다. 다음은 유효한 시간 단위입니다. - second, seconds - minute, minutes - hour, hours - day, days 값을 정의할 때 단수 단위 또는 복수 단위를 사용할 수 있습니다. 예를 들면 다음과 같습니다. - {"pipelines.trigger.interval" : "1 hour"} - {"pipelines.trigger.interval" : "10 seconds"} - {"pipelines.trigger.interval" : "30 second"} - {"pipelines.trigger.interval" : "1 minute"} - {"pipelines.trigger.interval" : "10 minutes"} - {"pipelines.trigger.interval" : "10 minute"}

사용자가 설정할 수 없는 클러스터 특성

Delta Live Tables는 클러스터 수명 주기를 관리하기 때문에 많은 클러스터 설정이 Delta Live Tables에 의해 자동으로 설정되며, 사용자가 파이프라인 구성이나 파이프라인에서 사용하는 클러스터 정책을 수동으로 설정하는 것은 불가능합니다. 다음 표에서는 이러한 설정과 이러한 설정을 수동으로 설정할 수 없는 이유를 나열합니다.

필드
cluster_name Delta Live Tables는 파이프라인 업데이트를 실행하는 데 사용되는 클러스터의 이름을 설정합니다. 이 이름은 재정의할 수 없습니다.
data_security_mode access_mode 이 값은 시스템에 의해 자동으로 설정됩니다.
spark_version Delta Live Tables 클러스터는 최신 기능을 포함하도록 지속적으로 업데이트되는 Databricks Runtime의 사용자 지정 버전에서 실행됩니다. Spark 버전은 Databricks 런타임 버전과 함께 번들로 제공되며, 재정의할 수 없습니다.
autotermination_minutes Delta Live Tables는 클러스터 자동 종료 및 재사용 논리를 관리하므로 클러스터 자동 종료 시간을 재정의할 수 없습니다.
runtime_engine 파이프라인에 Photon을 사용하도록 설정하여 이 필드를 제어할 수 있지만 이 값을 직접 설정할 수는 없습니다.
effective_spark_version 이 값은 시스템에 의해 자동으로 설정됩니다.
cluster_source 이 필드는 시스템에서 설정하며 읽기 전용입니다.
docker_image Delta Live Tables는 클러스터 수명 주기를 관리하므로 파이프라인 클러스터에서 사용자 지정 컨테이너를 사용할 수 없습니다.
workload_type 이 값은 시스템에서 설정되며 재정의할 수 없습니다.