Delta Live Tables 릴리스 2022.37
2022년 9월 14일~22일
이러한 기능 및 개선 사항은 Delta Live Tables의 2022.37 릴리스와 함께 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks Runtime 버전
채널:
- 현재(기본값): Databricks Runtime 10.3.7
- 미리 보기: Databricks Runtime 11.0.5
이 릴리스의 새로운 기능 및 개선 사항
- 이제 시작 업데이트 API 요청은
request_id
응답 본문의 필드를 반환합니다.request_id
는 업데이트를 시작하는 원래 요청의 안정적인 식별자입니다. 업데이트가 다시 시도되거나 다시 시작되면 새 업데이트는request_id
를 상속합니다.
{
"update_id": "the ID of the update that was started",
"request_id": "The ID of the request that started this update"
}
새 requests
API 요청(GET /pipelines/{pipeline_id}/requests/{request_id}
)은 request_id
와 연결된 파이프라인 업데이트의 상태를 반환합니다. 응답에는 최신 업데이트에 대한 정보가 포함됩니다.
{
"status": "ACTIVE",
"latest_update": {
}
}
이제 Python 코드는 작업이 구체화된 뷰 또는 스트리밍 테이블에서 읽지 않는 한 외부
dlt.table()
또는dlt.view()
함수 외부에서 작업을 호출spark.sql
할 수 있습니다.이제 이벤트 로그 항목에는 이벤트 스키마의 안정성을 나타내는
maturity
속성이 포함됩니다. 가능한 값은stable
,evolving
및deprecated
입니다. Delta Live Tables 이벤트 로그에 대한 자세한 내용은 Delta Live Tables 이벤트 로그란?을 참조하세요.스트리밍 테이블에서 사용하는 원본 테이블에 호환되지 않는 변경 내용이 적용될 때 오류 메시지가 개선됩니다.
이제 파이프라인을 만들거나 편집할 때 Delta Live Tables UI에서 클러스터 정책을 선택할 수 있습니다. 이전에는 파이프라인에 대한 클러스터 정책을 설정하려면 파이프라인의 JSON 설정을 편집해야 했습니다.
파이프라인 시작 속도가 빨라졌습니다. 이 릴리스에는 파이프라인이 시작될 때
SETTING_UP_TABLES
단계를 가속화하는 향상된 기능이 포함되어 있습니다.
이 릴리스의 버그 수정
- 이 릴리스는 유휴 클러스터 인스턴스를 사용할 수 없을 때 강화된 자동 크기 조정을 방지하는 버그를 수정합니다.