Delta Live Tables 릴리즈 2022.40
2022년 9월 28일~10월 5일
이러한 기능과 향상된 기능은 Delta Live Tables2022.40 릴리스와 함께 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks Runtime 버전
채널:
- 현재(기본값): Databricks Runtime 11.0.7
- 미리 보기: Databricks Runtime 11.0.7
이 릴리스의 새로운 기능 및 개선 사항
파이프라인 설정에서
default
또는maintenance
이외의 클러스터 레이블을 사용하면 파이프라인을 만들거나 편집하는 동안 오류가 발생합니다. Delta Live Tables 파이프라인 클러스터 구성에 대한 자세한 내용은 Delta Live Tables 파이프라인의 컴퓨팅 구성을 참조하세요.이제 Delta Live Tables Notebook에서 직접 파이프라인을 열거나 실행할 수 있습니다. 의 Delta Live Tables 파이프라인을 notebook에서 개발하고 디버깅하세요를 참조하십시오.
이 릴리스에는 Delta Live TablesAPI 요청에 의해 반환되는 파이프라인 설정 데이터 구조의 주요 변경이 포함됩니다. 이 변경 내용은
edition
필드를 대문자 값으로 반환합니다. 이전에는 대/소문자 혼용 값으로 반환되었습니다. 반환 값의 올바른 처리를 보장하려면 API 응답에서edition
값을 읽는 클라이언트를 update 합니다. 그러나 API 요청의edition
값은 대/소문자를 구분하지 않습니다. 이 필드를 포함하여 요청을 제출하는 클라이언트는 업데이트할 필요가 없습니다.
이 릴리스의 버그 수정
이 릴리스는 update 실패 후에도 Delta Live Tables UI에서 파이프라인을
RUNNING
상태로 표시하는 버그를 수정합니다.이 update 데이터가
SEQUENCE
column동일한 값을 가진 중복DELETE
작업을 포함할 where 입력 데이터를 다시 처리할 때 APPLY_CHANGES 인터페이스 버그를 수정합니다. 이 시나리오에서는 대상 table에서NULL
values가 발생하고DeleteVersion
값이 제거됩니다. 이는 레코드를NOT-DELETED
로 표시하는 것과 같습니다. 이 변경으로 중복DELETE
연산은 멱등적으로 처리되고 항상 레코드를DELETED
로 표시합니다.이 릴리스는 다음의 기록 레코드와 동일한 columns를 포함하고 있는 이전 기록 레코드가 삭제될 때 SCD 유형 2 처리에서 행이 숨겨지는 버그를 수정합니다.
update은(는)
expect_or_fail
기대치가 있는 뷰가 기대에 실패한 경우에도RUNNING
상태로 남아있게 하는 버그를 수정합니다. 이 픽스를 적용하면 파이프라인이 실패하고FAILED
상태로 전환됩니다.