Delta Live Tables 릴리스 2022.49

2022년 12월 6일~9일

이러한 기능과 향상된 기능은 Delta Live Tables2022.49 릴리스와 함께 릴리스되었습니다.

이 릴리스에서 사용하는 Databricks Runtime 버전

채널:

• 현재(기본값): Databricks Runtime 11.0.11
• 미리 보기: Databricks Runtime 11.3.2

이 릴리스의 새로운 기능 및 개선 사항

• 이제 Databricks Git 폴더에서 Python 모듈로 파일을 가져올 수 있습니다. sys.path.append()를 사용하여 현재 리포지토리 경로 또는 지정된 리포지토리 경로에서 파일을 가져올 수 있습니다.

• 향상된 자동 크기 조정이 이제 일반 공급됩니다. 이 릴리스에서 향상된 자동 크기 조정은 UI에서 만든 새 파이프라인의 기본 자동 크기 조정 모드입니다. Databricks는 기존 클러스터 자동 크기 조정을 사용하여 향상된 자동 크기 조정을 사용하는 파이프라인을 업데이트하는 것이 좋습니다.

• 파이프라인이 연속 모드로 실행될 경우, 재시도가 가능한 오류가 발생하면 기본 재시도 횟수 limit는 이제 2가 됩니다. 원래 시도를 포함하여 모든 흐름에는 치명적이지 않은 오류가 발생할 때 세 번의 실행 시도(지수 백오프 포함)가 있습니다. 이전에는 기본값이 일괄 처리 흐름에 대해 바인딩되지 않은 재시도 및 스트리밍 흐름에 대해 다섯 번의 재시도였습니다.

• 이제 pipelines.maxFlowRetryAttempts 구성 매개 변수는 일괄 처리 및 스트리밍 흐름뿐만 아니라 연속적 또는 트리거된 파이프라인을 포함한 모든 흐름의 재시도 limit에 적용됩니다. 이전에는 pipelines.maxFlowRetryAttempts가 트리거된 모드의 모든 재시도 제한에 적용되었지만 연속 모드의 일괄 처리 흐름만 적용되었습니다. 연속 모드의 스트리밍 파이프라인에 대한 재시도는 pipelines.numStreamRetryAttempts에 의해 제어되었습니다. 기존 파이프라인의 경우 pipelines.numStreamRetryAttempts는 연속 모드의 스트리밍 흐름에 대해 계속 지원됩니다. pipelines.numStreamRetryAttempts 및 pipelines.maxFlowRetryAttempts 모두 set일 경우, pipelines.numStreamRetryAttempts가 연속 모드의 스트리밍 흐름에 우선권을 가집니다. 그렇지 않으면 pipelines.maxFlowRetryAttempts에 구성된 값이 사용됩니다. Delta Live Tables 속성 참조를 참조하세요.

이 릴리스의 버그 수정

• 이 릴리스에서는 Photon 사용 클러스터에 대한 시간당 잘못된 DBU 계산을 표시하는 버그를 수정합니다.

• 이 릴리스에서는 Unity Catalog 사용하도록 설정된 작업 영역에서 Delta Live Tables 유지 관리 작업이 실패하는 버그를 수정합니다.

• 이 릴리스는 where 버그를 수정하여, 자동 로더로 데이터를 수집하는 연속 파이프라인을 중지하거나 다시 시작할 때 파이프라인이 몇 분 동안 중단되는 문제를 해결합니다.