Databricks Runtime 유지 관리 업데이트

이 문서에서는 지원되는 Databricks 런타임 버전에 대한 유지 관리 업데이트를 나열합니다. 기존 클러스터에 유지 관리 업데이트를 추가하려면 클러스터를 다시 시작합니다. 지원되지 않는 Databricks Runtime 버전에 대한 유지 관리 업데이트는 Databricks Runtime에 대한 유지 관리 업데이트(보관됨)를 참조하세요.

참고 항목

릴리스가 준비되었습니다. Azure Databricks 계정은 초기 릴리스 날짜 후 며칠간 업데이트하지 않을 수 있습니다.

Databricks Runtime releases

릴리스별 유지 관리 업데이트:

• Databricks Runtime 15.4
• Databricks Runtime 15.3
• Databricks Runtime 15.2
• Databricks Runtime 14.3
• Databricks Runtime 14.1
• Databricks Runtime 13.3 LTS
• Databricks Runtime 12.2 LTS
• Databricks Runtime 11.3 LTS
• Databricks Runtime 10.4 LTS
• Databricks Runtime 9.1 LTS

Databricks Runtime 15.4

Databricks Runtime 15.4 LTS를 참조하세요.

• 2024년 11월 5일
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-49867][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49443][SQL][PYTHON] to_variant_object 식을 구현하고 schema_of_variant 식이 Variant 개체에 대한 OBJECT를 인쇄하게 합니다.
  • [SPARK-49615] 버그 수정: ML 열 스키마 유효성 검사가 spark 구성 spark.sql.caseSensitive을 준수하도록 합니다.
• 2024년 10월 22일
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-49867][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49443][SQL][PYTHON] to_variant_object 식을 구현하고 schema_of_variant 식이 Variant 개체에 대한 OBJECT를 인쇄하게 합니다.
  • [SPARK-49615] 버그 수정: ML 열 스키마 유효성 검사가 spark 구성 spark.sql.caseSensitive을 준수하도록 합니다.
• 2024년 10월 10일
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49688][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49460][SQL] 후속 작업: 잠재적인 NPE 위험 해결
• 2024년 9월 25일
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • [SPARK-49492][CONNECT] 비활성 ExecutionHolder에서 다시 연결 시도됨
  • [SPARK-49458][CONNECT][PYTHON] ReattachExecute를 통해 서버 쪽 세션 ID 제공
  • [SPARK-49017][SQL] 여러 매개 변수를 사용하는 경우 Insert 문이 실패합니다.
  • [SPARK-49451] parse_json 중복 키를 허용합니다.
  • 기타 버그가 수정되었습니다.
• 2024년 9월 17일
  • [SPARK-48463][ML] 이진 변환기, 버킷타이저, 벡터 어셈블러, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor 지원 중첩된 입력 열
  • [SPARK-49409][CONNECT] CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
  • [SPARK-49526][CONNECT][HOTFIX-15.4.2] ArtifactManager에서 Windows 스타일 경로 지원
  • 되돌리기 "[SPARK-48482][PYTHON] dropDuplicates and dropDuplicatesWIthinWatermark should accept variable length args"
  • [SPARK-43242][CORE] 순서 섞기 손상 진단에서 throw 'BlockId의 예기치 않은 유형'을 수정합니다.
  • [SPARK-49366][CONNECT] 데이터 프레임 열 확인에서 Union 노드를 리프로 처리
  • [SPARK-49018][SQL] 데이터 정렬에서 제대로 작동하지 않는 approx_count_distinct 수정
  • [SPARK-49460][SQL] EmptyRelationExec에서 제거 cleanupResource()
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-49336][CONNECT] protobuf 메시지를 잘리면 중첩 수준 제한
• 2024년 8월 29일
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE을 참조하세요. 행 필터 및 열 마스크를 사용하는 방법에 대해 알아보려면 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. Unity 카탈로그 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항을 참조하세요.
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-49074][SQL] df.cache()를 사용하여 변형 수정
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: 부울 DataFrame 판독기 옵션을 일관되게 처리
  • [SPARK-48955][SQL] 15.4에 ArrayCompact 변경 내용 포함
  • [SPARK-48937][SQL] StringToMap 문자열 식에 대한 데이터 정렬 지원 추가
  • [SPARK-48929] 내부 오류 보기 수정 및 파서 예외 컨텍스트 정리
  • [SPARK-49125][SQL] CSV 쓰기에서 중복 열 이름 허용
  • [SPARK-48934][SS] applyInPandasWithState에서 시간 제한을 설정하기 위한 Python 날짜/시간 형식이 잘못 변환됨
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-48981] 데이터 정렬을 위해 pyspark에서 StringType의 simpleString 메서드 수정
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
  • [SPARK-48725][SQL] CollationAwareUTF8String.lowerCaseCodePoints를 문자열 식에 통합
  • [SPARK-48978][SQL] UTF8_LCASE용 데이터 정렬 지원에서 ASCII 빠른 경로 구현
  • [SPARK-49047][PYTHON] [CONNECT] 로깅을 위해 메시지 자르기
  • [SPARK-49146][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
  • [SPARK-48977][SQL] UTF8_LCASE 데이터 정렬에서 문자열 검색 최적화
  • [SPARK-48889][SS] testStream을 사용하여 완료하기 전에 상태 저장소 언로드
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • [SPARK-48954] try_mod()는 try_remainder()를 대체합니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 15.3

Databricks Runtime 15.3을 참조하세요.

• 2024년 11월 5일
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-49867][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
  • [SPARK-48843][15.3,15.2] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-49867][SQL] GetColumnByOrdinal을 호출할 때 인덱스가 범위를 벗어났을 때 오류 메시지 개선
  • [SPARK-48843][15.3,15.2] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • [SPARK-49688][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 분류 오류 클래스
  • 운영 체제 보안 업데이트.
• 2024년 9월 25일
  • [SPARK-49492][CONNECT] 비활성 ExecutionHolder에서 다시 연결 시도됨
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • [SPARK-49458][CONNECT][PYTHON] ReattachExecute를 통해 서버 쪽 세션 ID 제공
  • [SPARK-48719][SQL] 첫 번째 매개 변수가 null일 때의 RegrIntercept 계산 버그 RegrSlope 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49336][CONNECT] protobuf 메시지를 잘리면 중첩 수준 제한
  • [SPARK-49526][CONNECT][15.3.5] ArtifactManager에서 Windows 스타일 경로 지원
  • [SPARK-49366][CONNECT] 데이터 프레임 열 확인에서 Union 노드를 리프로 처리
  • [SPARK-43242][CORE] 순서 섞기 손상 진단에서 throw 'BlockId의 예기치 않은 유형'을 수정합니다.
  • [SPARK-49409][CONNECT] CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: 부울 DataFrame 판독기 옵션을 일관되게 처리
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-48862][PYTHON] [CONNECT] INFO 수준을 사용할 수 없는 경우 _proto_to_string 호출 방지
  • [SPARK-49146][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
• 2024년 8월 14일
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-48706][PYTHON] 상위 순서 함수의 Python UDF는 내부 오류를 발생시키지 않습니다.
  • [SPARK-48954] try_mod()는 try_remainder()를 대체합니다.
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-49047][PYTHON] [CONNECT] 로깅을 위해 메시지 자르기
  • [SPARK-48740][SQL] 누락된 창 사양 오류 조기 포착
• 2024년 8월 1일
  • [호환성이 손상되는 변경] Databricks Runtime 15.3 이상에서 VARIANT 유형을 인수 또는 반환 값으로 사용하는 Python UDF(사용자 정의 함수), UDAF(사용자 정의 집계 함수) 또는 UDTF(사용자 정의 테이블 함수)를 호출하면 예외가 발생합니다. 이 변경은 이러한 함수 중 하나에서 반환된 잘못된 값으로 인해 발생할 수 있는 문제를 방지하기 위해 수행됩니다. VARIANT 유형에 대해 자세히 알아보려면 VARIANT를 사용하여 반구조화된 데이터 저장을 참조하세요.
  • Notebook 및 작업에 대한 서버리스 컴퓨팅에서 ANSI SQL 모드는 기본값으로 사용하도록 설정됩니다. 지원되는 Spark 구성 매개 변수를 참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. Unity 카탈로그 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항을 참조하세요.
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE을 참조하세요. 행 필터 및 열 마스크를 사용하는 방법에 대해 알아보려면 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조하세요.
  • [SPARK-46957][CORE] 마이그레이션된 랜덤 보기 파일의 서비스 해제는 실행기에서 정리할 수 있어야 합니다.
  • [SPARK-48648][PYTHON] [CONNECT] SparkConnectClient.tags를 올바르게 threadlocal로 만들기
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
  • [SPARK-48713][SQL] baseObject가 바이트 배열인 경우 UnsafeRow.pointTo에 대한 인덱스 범위 확인 추가
  • [SPARK-48834][SQL] 쿼리 컴파일 중에 Python 스칼라 UDF, UDF, UDAF에 변형 입출력 사용 안 함
  • [SPARK-48934][SS] applyInPandasWithState에서 시간 제한을 설정하기 위한 Python 날짜/시간 형식이 잘못 변환됨
  • [SPARK-48705][PYTHON] pyspark로 시작할 때 worker_main 명시적으로 사용
  • [SPARK-48544][SQL] 빈 TreeNode BitSets의 메모리 압력 감소
  • [SPARK-48889][SS] testStream을 사용하여 완료하기 전에 상태 저장소 언로드
  • [SPARK-49054][SQL] 열 기본값은 current_* 함수를 지원해야 합니다.
  • [SPARK-48653][PYTHON] 잘못된 Python 데이터 원본 오류 클래스 참조 수정
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • [SPARK-48810][CONNECT] 세션 stop() API는 현재 idempotent이며 서버에서 세션을 이미 닫은 경우 실패하지 않습니다.
  • [SPARK-48873][SQL] JSON 파서에서 UnsafeRow를 사용합니다.
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 Delta 테이블 원본에 대해 캐시된 DataFrame이 무효화됩니다. 이 변경은 이제 Delta 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. DataFrame의 수명 동안 테이블 상태를 유지하는 데 .checkpoint()를 사용합니다.
  • Snowflake JDBC 드라이버가 버전 3.16.1로 업데이트되었습니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • 데이터를 읽을 때 잘못된 파티션을 무시하려면 Parquet, ORC, CSV 또는 JSON과 같은 파일 기반 데이터 원본에서 ignoreInvalidPartitionPaths 데이터 원본 옵션을 true로 설정할 수 있습니다. 예: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)`. SQL 구성 spark.sql.files.ignoreInvalidPartitionPaths를 사용할 수도 있습니다. 그러나 데이터 원본 옵션이 SQL 구성보다 우선 순위를 갖습니다. 기본값으로 이것은 false로 설정되어 있습니다.
  • [SPARK-48100][SQL] 스키마에서 선택되지 않은 중첩된 구조 필드 건너뛰기 문제 수정
  • [SPARK-47463][SQL] V2Predicate를 사용하여 부울의 반환 형식으로 식 래핑
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48286] 기존 기본 식을 사용하여 열 분석 수정 - 사용자 연결 오류 추가
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • "[SPARK-47406][SQL] MYSQLDialect에서 타임스탬프 및 날짜/시간 처리" 되돌리기
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • [SPARK-48503][14.3-15.3] [SQL] 잘못 허용되어 해당되지 않는 열에서 그룹별로 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48445][SQL] 비싼 자식이 있는 UDF를 인라인하지 마세요.
  • [SPARK-48252][SQL] 필요한 경우 CommonExpressionRef 업데이트
  • [SPARK-48273][master] [SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48566][PYTHON] UDTF analyze()가 select와 partitionColumns를 모두 사용하는 경우 잘못된 파티션 인덱스 버그 수정
  • [SPARK-48556][SQL] UNSUPPORTED_GROUPING_EXPRESSION을 가리키는 잘못된 오류 메시지 수정
  • 운영 체제 보안 업데이트.

Databricks Runtime 15.2

Databricks Runtime 15.2를 참조하세요.

• 2024년 11월 5일
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-48843][15.3,15.2] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-48843][15.3,15.2] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49688][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 25일
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • [SPARK-48719][SQL] 첫 번째 매개 변수가 null일 때 RegrSlope &RegrIntercept의 계산 버그 수정
  • [SPARK-49458][CONNECT][PYTHON] ReattachExecute를 통해 서버 쪽 세션 ID 제공
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-49492][CONNECT] 비활성 ExecutionHolder에서 다시 연결 시도됨
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49336][CONNECT] protobuf 메시지를 잘리면 중첩 수준 제한
  • [SPARK-49526][CONNECT] ArtifactManager에서 Windows 스타일 경로 지원
  • [SPARK-49366][CONNECT] 데이터 프레임 열 확인에서 Union 노드를 리프로 처리
  • [SPARK-43242][CORE] 순서 섞기 손상 진단에서 throw 'BlockId의 예기치 않은 유형'을 수정합니다.
  • [SPARK-49409][CONNECT] CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-48862][PYTHON] [CONNECT] INFO 수준을 사용할 수 없는 경우 _proto_to_string 호출 방지
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: 부울 DataFrame 판독기 옵션을 일관되게 처리
  • [SPARK-49146][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
• 2024년 8월 14일
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-48050][SS] 쿼리 시작 시 논리 계획 기록
  • [SPARK-48706][PYTHON] 상위 순서 함수의 Python UDF는 내부 오류를 발생시키지 않습니다.
  • [SPARK-48740][SQL] 누락된 창 사양 오류 조기 포착
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-49047][PYTHON] [CONNECT] 로깅을 위해 메시지 자르기
• 2024년 8월 1일
  • Notebook 및 작업에 대한 서버리스 컴퓨팅에서 ANSI SQL 모드는 기본값으로 사용하도록 설정됩니다. 지원되는 Spark 구성 매개 변수를 참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. Unity 카탈로그 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항을 참조하세요.
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE을 참조하세요. 행 필터 및 열 마스크를 사용하는 방법에 대해 알아보려면 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조하세요.
  • [SPARK-48705][PYTHON] pyspark로 시작할 때 worker_main 명시적으로 사용
  • [SPARK-48047][SQL] 빈 TreeNode 태그의 메모리 압력 감소
  • [SPARK-48810][CONNECT] 세션 stop() API는 현재 idempotent이며 서버에서 세션을 이미 닫은 경우 실패하지 않습니다.
  • [SPARK-48873][SQL] JSON 파서에서 UnsafeRow를 사용합니다.
  • [SPARK-46957][CORE] 마이그레이션된 랜덤 보기 파일의 서비스 해제는 실행기에서 정리할 수 있어야 합니다.
  • [SPARK-48889][SS] testStream을 사용하여 완료하기 전에 상태 저장소 언로드
  • [SPARK-48713][SQL] baseObject가 바이트 배열인 경우 UnsafeRow.pointTo에 대한 인덱스 범위 확인 추가
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
  • [SPARK-48544][SQL] 빈 TreeNode BitSets의 메모리 압력 감소
  • [SPARK-48934][SS] applyInPandasWithState에서 시간 제한을 설정하기 위한 Python 날짜/시간 형식이 잘못 변환됨
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 Delta 테이블 원본에 대해 캐시된 DataFrame이 무효화됩니다. 이 변경은 이제 Delta 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. DataFrame의 수명 동안 테이블 상태를 유지하는 데 .checkpoint()를 사용합니다.
  • Snowflake JDBC 드라이버가 버전 3.16.1로 업데이트되었습니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • 서버리스 Notebook 및 작업에서 ANSI SQL 모드는 기본적으로 사용하도록 설정되며 짧은 이름을 지원합니다.
  • 데이터를 읽을 때 잘못된 파티션을 무시하려면 Parquet, ORC, CSV 또는 JSON과 같은 파일 기반 데이터 원본에서 ignoreInvalidPartitionPaths 데이터 원본 옵션을 true로 설정할 수 있습니다. 예: spark.read.format(“parquet”).option(“ignoreInvalidPartitionPaths”, “true”).load(…)`. SQL 구성 spark.sql.files.ignoreInvalidPartitionPaths를 사용할 수도 있습니다. 그러나 데이터 원본 옵션이 SQL 구성보다 우선 순위를 갖습니다. 기본값으로 이것은 false로 설정되어 있습니다.
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • [SPARK-48100][SQL] 스키마에서 선택되지 않은 중첩된 구조 필드 건너뛰기 문제 수정
  • [SPARK-48286] 기존 기본 식을 사용하여 열 분석 수정 - 사용자 연결 오류 추가
  • [SPARK-48294][SQL] nestedTypeMissingElementTypeError에서 소문자 처리
  • [SPARK-48556][SQL] UNSUPPORTED_GROUPING_EXPRESSION을 가리키는 잘못된 오류 메시지 수정
  • [SPARK-48648][PYTHON] [CONNECT] SparkConnectClient.tags를 올바르게 threadlocal로 만들기
  • [SPARK-48503][SQL] 잘못 허용되어 해당되지 않는 열에서 그룹별로 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48252][SQL] 필요한 경우 CommonExpressionRef 업데이트
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48566][PYTHON] UDTF analyze()가 select와 partitionColumns를 모두 사용하는 경우 잘못된 파티션 인덱스 버그 수정
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-47463][SQL] V2Predicate를 사용하여 부울의 반환 형식으로 식 래핑
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • [SPARK-48445][SQL] 비싼 자식이 있는 UDF를 인라인하지 마세요.
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • applyInPandasWithState()는 공유 클러스터에서 사용할 수 있습니다.
  • 순위 창 최적화가 Photon TopK를 사용하여 구조체로 파티션을 잘못 처리하는 버그를 수정합니다.
  • 소수점을 포함하는 입력으로 인해 예기치 않은 예외가 발생하는 try_divide() 함수의 버그가 수정되었습니다.
  • [SPARK-48197][SQL] 잘못된 람다 함수에 대한 어설션 오류 방지
  • [SPARK-48276][PYTHON] [CONNECT] SQLExpression에 대해 누락된 __repr__ 메서드 추가
  • [SPARK-48014][SQL] EvaluatePython의 makeFromJava 오류를 사용자 연결 오류로 변경
  • [SPARK-48016][SQL] 소수점을 사용하는 경우 try_divide 함수의 버그 수정
  • [SPARK-47986][CONNECT] [PYTHON] 서버에서 기본 세션을 닫을 때 새 세션을 만들 수 없음
  • [SPARK-48173][SQL] CheckAnalysis에 전체 쿼리 계획을 확인해야 합니다.
  • [SPARK-48056][CONNECT] [PYTHON] SESSION_NOT_FOUND 오류가 발생하고 부분 응답이 수신되지 않은 경우 계획을 다시 실행
  • [SPARK-48172][SQL] JDBCDialects 백포트의 이스케이프 문제를 15.2로 수정
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • [SPARK-48288] 커넥터 캐스팅 식에 대한 원본 데이터 유형 추가
  • [SPARK-48310][PYTHON] [CONNECT] 캐시된 속성은 복사본을 반환해야 합니다.
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • [SPARK-47986][CONNECT] [PYTHON] 서버에서 기본 세션을 닫을 때 새 세션을 만들 수 없음
  • "[SPARK-47406][SQL] MYSQLDialect에서 타임스탬프 및 날짜/시간 처리" 되돌리기
  • [SPARK-47994][SQL] SQLServer에서 CASE WHEN 열 필터 푸시 다운 관련 버그 수정
  • [SPARK-47764][CORE][SQL] ShuffleCleanupMode를 기준으로 랜덤 보기 종속성 정리
  • [SPARK-47921][CONNECT] ExecuteHolder에서 ExecuteJobTag 만들기 수정
  • [SPARK-48010][SQL] resolveExpression에서 conf.resolver에 대한 반복 호출 방지
  • [SPARK-48146][SQL] With 식 자식 어설션의 집계 함수 수정
  • [SPARK-48180][SQL] TABLE arg를 사용한 UDTF 호출에서 여러 PARTITION/ORDER BY exprs 주위의 괄호를 잊은 경우 오류 개선
  • 운영 체제 보안 업데이트.

Databricks Runtime 14.3

Databricks Runtime 14.3 LTS를 참조하세요.

• 2024년 11월 5일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foreach 싱크 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [SPARK-49863][SQL] 중첩된 구조체의 null 허용 가능성을 유지하기 위해 NormalizeFloatingNumbers 수정
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • [SPARK-46632][SQL] 해당하는 삼항 식에 서로 다른 자식이 있는 경우 하위 식 제거 수정
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foreach 싱크 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49829] 스트림 스트림 조인에서 상태 저장소에 입력을 추가하는 최적화 수정(정확성 수정)
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49688][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
• 2024년 9월 25일
  • [SPARK-48810][CONNECT] 세션 stop() API는 현재 idempotent이며 서버에서 세션을 이미 닫은 경우 실패하지 않습니다.
  • [SPARK-48719][SQL] 'RegrS...
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-49492][CONNECT] 비활성 ExecutionHolder에서 다시 연결 시도됨
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49336][CONNECT] protobuf 메시지를 잘리면 중첩 수준 제한
  • [SPARK-43242][CORE] 순서 섞기 손상 진단에서 throw 'BlockId의 예기치 않은 유형'을 수정합니다.
  • [SPARK-48463][ML] 이진 변환기, 버킷타이저, 벡터 어셈블러, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor 지원 중첩된 입력 열
  • [SPARK-49526][CONNECT] ArtifactManager에서 Windows 스타일 경로 지원
  • [SPARK-49409][CONNECT] CONNECT_SESSION_PLAN_CACHE_SIZE 기본값 조정
  • [SPARK-49366][CONNECT] 데이터 프레임 열 확인에서 Union 노드를 리프로 처리
• 2024년 8월 29일
  • [SPARK-49146][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
  • [SPARK-48862][PYTHON] [CONNECT] INFO 수준을 사용할 수 없는 경우 _proto_to_string 호출 방지
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: 부울 DataFrame 판독기 옵션을 일관되게 처리
• 2024년 8월 14일
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-48706][PYTHON] 상위 순서 함수의 Python UDF는 내부 오류를 발생시키지 않습니다.
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48934][SS] applyInPandasWithState에서 시간 제한을 설정하기 위한 Python 날짜/시간 형식이 잘못 변환됨
• 2024년 8월 1일
  • 이 릴리스에는 Spark Java 인터페이스의 ColumnVector 및 ColumnarArray 클래스에 대한 버그 수정이 포함되어 있습니다. 이 수정 이전에는 이러한 클래스 중 하나의 인스턴스에 null 값이 포함되어 있을 때 ArrayIndexOutOfBoundsException이 발생하거나 잘못된 데이터가 반환될 수 있었습니다.
  • Notebook 및 작업에 대한 서버리스 컴퓨팅에서 ANSI SQL 모드는 기본값으로 사용하도록 설정됩니다. 지원되는 Spark 구성 매개 변수를 참조하세요.
  • 공유 액세스 모드로 구성된 컴퓨팅에서 Kafka 일괄 처리 읽기 및 쓰기는 이제 구조적 스트리밍에 대해 문서화된 것과 동일한 제한 사항이 적용됩니다. Unity 카탈로그 공유 액세스 모드에 대한 스트리밍 제한 사항 및 요구 사항을 참조하세요.
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE을 참조하세요. 행 필터 및 열 마스크를 사용하는 방법에 대해 알아보려면 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조하세요.
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
  • [SPARK-48889][SS] testStream을 사용하여 완료하기 전에 상태 저장소 언로드
  • [SPARK-48705][PYTHON] pyspark로 시작할 때 worker_main 명시적으로 사용
  • [SPARK-48047][SQL] 빈 TreeNode 태그의 메모리 압력 감소
  • [SPARK-48544][SQL] 빈 TreeNode BitSets의 메모리 압력 감소
  • [SPARK-46957][CORE] 마이그레이션된 랜덤 보기 파일의 서비스 해제는 실행기에서 정리할 수 있어야 합니다.
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • [SPARK-47202][PYTHON] tzinfo를 사용하여 오타가 생긴 날짜/시간 수정
  • [SPARK-47713][SQL] [CONNECT] 셀프 조인 실패 수정
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 Delta 테이블 원본에 대해 캐시된 DataFrame이 무효화됩니다. 이 변경은 이제 Delta 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. DataFrame의 수명 동안 테이블 상태를 유지하는 데 .checkpoint()를 사용합니다.
  • Snowflake JDBC 드라이버가 버전 3.16.1로 업데이트되었습니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • Notebook 및 작업에 대한 서버리스 컴퓨팅에서 ANSI SQL 모드는 기본값으로 사용하도록 설정됩니다. 지원되는 Spark 구성 매개 변수를 참조하세요.
  • 데이터를 읽을 때 잘못된 파티션을 무시하려면 Parquet, ORC, CSV 또는 JSON과 같은 파일 기반 데이터 원본에서 ignoreInvalidPartitionPaths 데이터 원본 옵션을 true로 설정할 수 있습니다. 예: spark.read.format("parquet").option("ignoreInvalidPartitionPaths", "true").load(...). SQL 구성 spark.sql.files.ignoreInvalidPartitionPaths를 사용할 수도 있습니다. 그러나 데이터 원본 옵션이 SQL 구성보다 우선 순위를 갖습니다. 기본값으로 이것은 false로 설정되어 있습니다.
  • [SPARK-48648][PYTHON] [CONNECT] SparkConnectClient.tags를 올바르게 threadlocal로 만들기
  • [SPARK-48445][SQL] 비싼 자식이 있는 UDF를 인라인하지 마세요.
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • [SPARK-48503][SQL] 잘못 허용되어 해당되지 않는 열에서 그룹별로 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48100][SQL] 스키마에서 선택되지 않은 중첩된 구조 필드 건너뛰기 문제 수정
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48252][SQL] 필요한 경우 CommonExpressionRef 업데이트
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • applyInPandasWithState()는 공유 클러스터에서 사용할 수 있습니다.
  • 순위 창 최적화가 Photon TopK를 사용하여 구조체로 파티션을 잘못 처리하는 버그를 수정합니다.
  • [SPARK-48310][PYTHON] [CONNECT] 캐시된 속성은 복사본을 반환해야 합니다.
  • [SPARK-48276][PYTHON] [CONNECT] SQLExpression에 대해 누락된 __repr__ 메서드 추가
  • [SPARK-48294][SQL] nestedTypeMissingElementTypeError에서 소문자 처리
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • (동작 변경) dbutils.widgets.getAll()은 이제 Notebook의 모든 위젯 값을 가져오는 데 지원됩니다.
  • 소수점을 포함하는 입력으로 인해 예기치 않은 예외가 발생하는 try_divide() 함수의 버그가 수정되었습니다.
  • [SPARK-48056][CONNECT] [PYTHON] SESSION_NOT_FOUND 오류가 발생하고 부분 응답이 수신되지 않은 경우 계획을 다시 실행
  • [SPARK-48146][SQL] With 식 자식 어설션의 집계 함수 수정
  • [SPARK-47986][CONNECT] [PYTHON] 서버에서 기본 세션을 닫을 때 새 세션을 만들 수 없음
  • [SPARK-48180][SQL] TABLE arg를 사용한 UDTF 호출에서 여러 PARTITION/ORDER BY exprs 주위의 괄호를 잊은 경우 오류 개선
  • [SPARK-48016][SQL] 소수점을 사용하는 경우 try_divide 함수의 버그 수정
  • [SPARK-48197][SQL] 잘못된 람다 함수에 대한 어설션 오류 방지
  • [SPARK-47994][SQL] SQLServer에서 CASE WHEN 열 필터 푸시 다운 관련 버그 수정
  • [SPARK-48173][SQL] CheckAnalysis에 전체 쿼리 계획을 확인해야 합니다.
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • (동작 변경) applyInPandas 및 mapInPandas UDF 형식은 이제 Databricks Runtime 14.3 이상을 실행하는 공유 액세스 모드 컴퓨팅에서 지원됩니다.
  • [SPARK-47739][SQL] 논리 avro 형식 등록
  • [SPARK-47941] [SS] [연결] PySpark 사용자에게 ForeachBatch 작업자 초기화 오류 전파
  • [SPARK-48010][SQL] resolveExpression에서 conf.resolver에 대한 반복 호출 방지
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreaming 캐시
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame에서 Mapype로 dict를 유추하여 DataFrame을 만들기 허용
  • [SPARK-47819][CONNECT][Cherry-pick-14.3] 실행 정리에 비동기 콜백 사용
  • [SPARK-47764][CORE][SQL] ShuffleCleanupMode를 기준으로 랜덤 보기 종속성 정리
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange가 발생할 때 매개 변수 오류가 누락되는 null groupId 수정
  • [SPARK-47839][SQL] RewriteWithExpression에서 집계 버그 수정
  • [SPARK-47371] [SQL] XML: CDATA에 있는 행 태그 무시
  • [SPARK-47895][SQL] GROUP BY ALL은 idempotent여야 합니다.
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • [SPARK-47543][CONNECT][PYTHON] Pandas DataFrame에서 MapType으로 dict를 유추하여 DataFrame 만들기 허용
  • [SPARK-47694][CONNECT] 클라이언트 쪽에서 최대 메시지 크기를 구성할 수 있도록 설정
  • [SPARK-47664][PYTHON][CONNECT][Cherry-pick-14.3] 캐시된 스키마를 사용하여 열 이름의 유효성 검사
  • [SPARK-47862][PYTHON] [CONNECT] proto 파일 생성 수정
  • "[SPARK-47543][CONNECT][PYTHON] Pandas DataFrame에서 MapType으로 dict를 유추하여 DataFrame 만들기 허용" 되돌리기
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults를 사용하도록 설정하면 "java.lang.ClassCastException"으로 JSON 구문 분석이 실패
  • [SPARK-47812][CONNECT] ForEachBatch 작업자에 대한 SparkSession의 직렬화 지원
  • [SPARK-47818][CONNECT][Cherry-pick-14.3] SparkConnectPlanner에 계획 캐시를 도입하여 분석 요청의 성능 향상
  • [SPARK-47828][CONNECT] [PYTHON] 잘못된 계획으로 DataFrameWriterV2.overwrite 실패
  • 운영 체제 보안 업데이트.
• 2024년 4월 11일
  • (동작 변경) 컴퓨팅 유형 간에 일관된 동작을 보장하기 위해 공유 클러스터의 PySpark UDF는 이제 격리되지 않고 할당된 클러스터에서 UDF의 동작과 일치합니다. 이 업데이트에는 기존 코드를 중단할 수 있는 다음과 같은 변경 내용이 포함됩니다.
    • string 반환 형식이 있는 UDF는 더 이상 비 string 값을 string 값으로 암시적으로 변환하지 않습니다. 이전에는 반환 형식 str이 있는 UDF는 반환된 값의 실제 데이터 형식과 관계없이 반환 값을 str() 함수로 래핑했습니다.
    • timestamp 반환 형식이 있는 UDF는 더 이상timezone을 사용하여 timestamp에 대한 변환을 암시적으로 적용하지 않습니다.
    • Spark 클러스터 구성 spark.databricks.sql.externalUDF.*은 공유 클러스터의 PySpark UDF에 더 이상 적용되지 않습니다.
    • Spark 클러스터 구성 spark.databricks.safespark.externalUDF.plan.limit은 더 이상 PySpark UDF에 영향을 주지 않으며 PySpark UDF에 대한 쿼리당 5UDF의 공개 미리 보기 제한을 제거합니다.
    • Spark 클러스터 구성 spark.databricks.safespark.sandbox.size.default.mib은 더 이상 공유 클러스터의 PySpark UDF에 적용되지 않습니다. 대신 시스템에서 사용 가능한 메모리가 사용됩니다. PySpark UDF의 메모리를 제한하려면 spark.databricks.pyspark.udf.isolation.memoryLimit을 100m의 최소값으로 사용합니다.
  • 이제 TimestampNTZ 데이터 형식이 액체 클러스터링이 있는 클러스터링 열로 지원됩니다. Delta 테이블에 Liquid 클러스터링 사용을 참조하세요.
  • [SPARK-47511][SQL] ID를 다시 할당하여 식으로 정규화
  • [SPARK-47509][SQL] LAMBDA 및 상위 함수에서 하위 쿼리 식 차단
  • [SPARK-46990][SQL] event-hubs에서 내보낸 빈 Avro 파일 로드 수정
  • [SPARK-47638][PS] [CONNECT] PS에서 열 이름 유효성 검사 건너뛰기
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • [SPARK-47145][SQL] V2 전략에 대한 행 데이터 원본 스캔 exec에 테이블 식별자 전달
  • [SPARK-47044][SQL] 출력을 설명하기 위해 JDBC 외부 데이터 원본에 대해 실행된 쿼리 추가
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • [SPARK-47121][CORE] StandaloneSchedulerBackend 종료 중 RejectedExecutionExceptions 방지
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • [SPARK-46999][SQL] ExpressionWithUnresolvedIdentifier는 식 트리에 다른 식을 포함해야 합니다.
  • [SPARK-47129][CONNECT][SQL] ResolveRelations 캐시 연결 계획 올바르게 만들기
  • [SPARK-47241][SQL] ExtractGenerator에 대한 규칙 순서 문제 해결
  • [SPARK-47035][SS][CONNECT] 클라이언트 쪽 수신기에 대한 프로토콜
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자가 ANY FILE에 대해 SELECT 및 MODIFY 권한을 가져야 합니다.
  • [SPARK-47071][SQL] 특수 식이 포함된 경우 With 식 인라인
  • [SPARK-47059][SQL] ALTER COLUMN v1 명령에 대한 오류 컨텍스트 연결
  • [SPARK-46993][SQL] 세션 변수에 대한 상수 폴딩 수정
  • 운영 체제 보안 업데이트.
• 2024년 1월 3일
  • [SPARK-46933] JDBCRDD를 사용하는 커넥터에 쿼리 실행 시간 메트릭을 추가합니다.
  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • [SPARK-46954] XML: BufferedReader를 사용하여 InputStreamReader 래핑합니다.
  • [SPARK-46655] DataFrame 메서드에서 쿼리 컨텍스트 포착을 건너뜁니다.
  • [SPARK-44815] 추가 RPC를 방지하기 위해 df.schema를 캐시합니다.
  • [SPARK-46952] XML: 손상된 레코드의 크기를 제한합니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • [SPARK-46736] protobuf 커넥터에서 빈 메시지 필드를 유지합니다.
  • [SPARK-45182] 체크섬에 의해 결정된 대로 부모 확정되지 않은 단계를 다시 시도하면 이전 단계에서 작업 완료를 무시합니다.
  • [SPARK-46414] prependBaseUri를 사용하여 javascript 가져오기를 렌더링합니다.
  • [SPARK-46383] TaskInfo.accumulables()의 수명을 줄여 드라이버 힙 사용량을 줄입니다.
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-46954] XML: 스키마 인덱스 조회를 최적화합니다.
  • [SPARK-46676] dropDuplicatesWithinWatermark는 계획의 정규화에 실패하지 않아야 합니다.
  • [SPARK-46644] isZero를 사용하도록 SQLMetric에서 추가 및 병합을 변경합니다.
  • [SPARK-46731] 상태 데이터 원본- 판독기별로 상태 저장소 공급자 인스턴스를 관리합니다.
  • [SPARK-46677] dataframe["*"] 해결 방법을 수정합니다.
  • [SPARK-46610] 옵션에서 키에 대한 값이 없는 경우 테이블을 만들면 예외가 throw됩니다.
  • [SPARK-46941] SizeBasedWindowFunction이 포함된 경우 최상위 K 계산에 대한 창 그룹 제한 노드를 삽입할 수 없습니다.
  • [SPARK-45433] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추를 수정합니다.
  • [SPARK-46930] Avro에서 Union 형식 필드에 대한 사용자 지정 접두사에 대한 지원을 추가합니다.
  • [SPARK-46227] 14.3으로 백포트합니다.
  • [SPARK-46822] jdbc 형식을 jdbc의 촉매 형식에 캐스팅할 때 spark.sql.legacy.charVarcharAsString을 존중합니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 14.1

Databricks Runtime 14.1을 참조하세요.

• 2024년 11월 5일
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
• 2024년 10월 22일
  • [SPARK-49782][SQL] ResolveDataFrameDropColumns 규칙은 자식 출력으로 UnresolvedAttribute를 확인합니다.
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
• 2024년 10월 10일
  • [BACKPORT][[SPARK-49474]]https://issues.apache.org/jira/browse/SPARK-49474)[SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 9월 25일
  • [SPARK-49628][SQL] ConstantFolding은 평가하기 전에 상태 저장 식을 복사해야 합니다.
  • [SPARK-43242][CORE] 순서 섞기 손상 진단에서 throw 'BlockId의 예기치 않은 유형'을 수정합니다.
  • [SPARK-48719][SQL] 'RegrS...
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49526][CONNECT] ArtifactManager에서 Windows 스타일 경로 지원
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • [SPARK-49263][CONNECT] Spark Connect Python 클라이언트: 부울 DataFrame 판독기 옵션을 일관되게 처리
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
• 2024년 8월 14일
  • [SPARK-48706][PYTHON] 상위 순서 함수의 Python UDF는 내부 오류를 발생시키지 않습니다.
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48050][SS] 쿼리 시작 시 논리 계획 기록
• 2024년 8월 1일
  • 이 릴리스에는 Spark Java 인터페이스의 ColumnVector 및 ColumnarArray 클래스에 대한 버그 수정이 포함되어 있습니다. 이 수정 이전에는 이러한 클래스 중 하나의 인스턴스에 null 값이 포함되어 있을 때 ArrayIndexOutOfBoundsException이 발생하거나 잘못된 데이터가 반환될 수 있었습니다.
  • 이제 SHOW CREATE TABLE 문의 출력에는 구체화된 뷰 또는 스트리밍 테이블에 정의된 모든 행 필터 또는 열 마스크가 포함됩니다. SHOW CREATE TABLE을 참조하세요. 행 필터 및 열 마스크를 사용하는 방법에 대해 알아보려면 행 필터 및 열 마스크를 사용하여 중요한 테이블 데이터 필터링을 참조하세요.
  • [SPARK-48705][PYTHON] pyspark로 시작할 때 worker_main 명시적으로 사용
  • [SPARK-47202][PYTHON] tzinfo를 사용하여 오타가 생긴 날짜/시간 수정
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 Delta 테이블 원본에 대해 캐시된 DataFrame이 무효화됩니다. 이 변경은 이제 Delta 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. DataFrame의 수명 동안 테이블 상태를 유지하는 데 .checkpoint()를 사용합니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48445][SQL] 비싼 자식이 있는 UDF를 인라인하지 마세요.
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • [SPARK-48503][SQL] 잘못 허용되어 해당되지 않는 열에서 그룹별로 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48100][SQL] 스키마에서 선택되지 않은 중첩된 구조 필드 건너뛰기 문제 수정
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • 순위 창 최적화가 Photon TopK를 사용하여 구조체로 파티션을 잘못 처리하는 버그를 수정합니다.
  • [SPARK-48276][PYTHON] [CONNECT] SQLExpression에 대해 누락된 __repr__ 메서드 추가
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • (동작 변경) dbutils.widgets.getAll()은 이제 Notebook의 모든 위젯 값을 가져오는 데 지원됩니다.
  • [SPARK-47994][SQL] SQLServer에서 CASE WHEN 열 필터 푸시 다운 관련 버그 수정
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • [SPARK-48173][SQL] CheckAnalysis에 전체 쿼리 계획을 확인해야 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-47371] [SQL] XML: CDATA에 있는 행 태그 무시
  • [SPARK-47895][SQL] GROUP BY ALL은 idempotent여야 합니다.
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-48044][PYTHON][CONNECT] DataFrame.isStreaming 캐시
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • [SPARK-47704][SQL] spark.sql.json.enablePartialResults를 사용하도록 설정하면 "java.lang.ClassCastException"으로 JSON 구문 분석이 실패
  • [SPARK-47828][CONNECT] [PYTHON] 잘못된 계획으로 DataFrameWriterV2.overwrite 실패
  • 운영 체제 보안 업데이트.
• 2024년 4월 11일
  • [SPARK-47638][PS] [CONNECT] PS에서 열 이름 유효성 검사 건너뛰기
  • [SPARK-38708][SQL] Hive Metastore 클라이언트를 Hive 3.1용 3.1.3으로 업그레이드
  • [SPARK-47309][SQL] [XML] 스키마 유추 단위 테스트 추가
  • [SPARK-47509][SQL] LAMBDA 및 상위 함수에서 하위 쿼리 식 차단
  • [SPARK-46990][SQL] event-hubs에서 내보낸 빈 Avro 파일 로드 수정
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • [SPARK-47305][SQL] 계획에 일괄 처리 및 스트리밍이 모두 있는 경우 PruneFilters가 LocalRelation의 isStreaming 플래그에 올바르게 태그를 지정하도록 수정
  • [SPARK-47218][SQL] XML: XML tokenizer에서 주석 처리된 행 태그 무시
  • [SPARK-47300][SQL] quoteIfNeeded가 숫자로 따옴표 식별자를 시작해야 함
  • [SPARK-47368][SQL] ParquetRowConverter에서 inferTimestampNTZ 구성 검사 제거
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • [SPARK-47322][PYTHON] [CONNECT] withColumnsRenamed 열 이름 중복 처리가 withColumnRenamed와 일치하게 만들기
  • [SPARK-47300] DecomposerSuite에 대한 수정
  • [SPARK-47218] [SQL] XML: DROPMALFORMED 모드에서 SchemaOfXml이 실패하도록 변경됨
  • [SPARK-47385] 옵션 입력을 사용하여 튜플 인코더 수정
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • [SPARK-47145][SQL] V2 전략에 대한 행 데이터 원본 스캔 exec에 테이블 식별자 전달
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • [SPARK-47129][CONNECT][SQL] ResolveRelations 캐시 연결 계획 올바르게 만들기
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • [SPARK-47044][SQL] 출력을 설명하기 위해 JDBC 외부 데이터 원본에 대해 실행된 쿼리 추가
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자가 ANY FILE에 대해 SELECT 및 MODIFY 권한을 가져야 합니다.
  • 이제 자동 로더, read_files, COPY INTO, DLT 및 DBSQL을 사용하여 XML 파일을 수집할 수 있습니다. XML 파일 지원은 스키마를 자동으로 유추 및 발전시키고, 형식 불일치로 데이터를 구출하고, XSD를 사용하여 XML의 유효성을 검사하고, from_xml, schema_of_xml 및 to_xml 같은 SQL 식을 지원할 수 있습니다. 추가 세부 정보는 XML 파일 지원을 참조하세요. 이전에 외부 spark-xml 패키지를 사용했다면 마이그레이션 참고 자료는 여기를 참조하세요.
  • [SPARK-46248][SQL] XML: ignoreCorruptFiles 및 ignoreMissingFiles 옵션 지원
  • [SPARK-47059][SQL] ALTER COLUMN v1 명령에 대한 오류 컨텍스트 연결
  • [SPARK-46954][SQL] XML: BufferedReader를 사용하여 InputStreamReader 래핑
  • [SPARK-46954][SQL] XML: 스키마 인덱스 조회 최적화
  • [SPARK-46630][SQL] XML: 쓰기에서 XML 요소 이름 유효성 검사
  • 운영 체제 보안 업데이트.
• 2024년 2월 8일
  • Unity 카탈로그 구체화된 뷰의 CDF(변경 데이터 피드) 쿼리는 지원되지 않으며 Unity 카탈로그 구체화된 뷰를 사용하여 CDF 쿼리를 실행하려고 시도하면 오류가 반환됩니다. Unity 카탈로그 스트리밍 테이블은 Databricks Runtime 14.1 이상에서 비APPLY CHANGES 테이블에 대한 CDF 쿼리를 지원합니다. CDF 쿼리는 Databricks Runtime 14.0 이하의 Unity 카탈로그 스트리밍 테이블에서 지원되지 않습니다.
  • [SPARK-46952] XML: 손상된 레코드의 크기를 제한합니다.
  • [SPARK-45182] 체크섬에 의해 결정된 대로 부모 확정되지 않은 단계를 다시 시도하면 이전 단계에서 작업 완료를 무시합니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • [SPARK-46933] JDBCRDD를 사용하는 커넥터에 쿼리 실행 시간 메트릭을 추가합니다.
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-45582] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인합니다.
  • [SPARK-46930] Avro에서 Union 형식 필드에 대한 사용자 지정 접두사에 대한 지원을 추가합니다.
  • [SPARK-46941] SizeBasedWindowFunction이 포함된 경우 최상위 K 계산에 대한 창 그룹 제한 노드를 삽입할 수 없습니다.
  • [SPARK-46396] 타임스탬프 유추는 예외를 throw해서는 안 됩니다.
  • [SPARK-46822] jdbc 형식을 jdbc의 촉매 형식에 캐스팅할 때 spark.sql.legacy.charVarcharAsString을 존중합니다.
  • [SPARK-45957] 실행 불가능한 명령에 대한 실행 계획을 생성하지 않습니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • [SPARK-46684] 인수를 제대로 전달하도록 CoGroup.applyInPandas/Arrow를 수정합니다.
  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • [SPARK-45498] 후속 작업: 이전 단계 시도에서 작업 완료를 무시합니다.
  • [SPARK-46382] XML: ignoreSurroundingSpaces에 대한 문서를 업데이트합니다.
  • [SPARK-46383] TaskInfo.accumulables()의 수명을 줄여 드라이버 힙 사용량을 줄입니다.
  • [SPARK-46382] XML: 기본값 ignoreSurroundingSpaces를 true로 설정합니다.
  • [SPARK-46677] dataframe["*"] 해결 방법을 수정합니다.
  • [SPARK-46676] dropDuplicatesWithinWatermark는 계획의 정규화에 실패하지 않아야 합니다.
  • [SPARK-46633] 길이가 0인 블록을 처리하도록 Avro 판독기를 수정합니다.
  • [SPARK-45912] XSDToSchema API 기능 향상: 클라우드 스토리지 접근성을 위해 HDFS API로 변경합니다.
  • [SPARK-46599] XML: 호환성 검사를 위해 TypeCoercion.findTightestCommonType을 사용합니다.
  • [SPARK-46382] XML: 요소 사이에 흩어져 있는 값을 캡처합니다.
  • [SPARK-46769] 타임스탬프 관련 스키마 유추를 구체화합니다.
  • [SPARK-46610] 옵션에서 키에 대한 값이 없는 경우 테이블을 만들면 예외가 throw됩니다.
  • [SPARK-45964] 촉매 패키지의 XML 및 JSON 패키지에서 비공개 sql 접근자를 제거합니다.
  • [SPARK-46769] 타임스탬프 관련 스키마 유추 상세 검색을 되돌립니다.
  • [SPARK-45962] XML에서 treatEmptyValuesAsNulls를 제거하고 대신 nullValue 옵션을 사용합니다.
  • [SPARK-46541] 셀프 조인에서 모호한 열 참조를 수정합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 17일
  • Photon 쿼리에서 반환된 설명 계획의 shuffle 노드는 브로드캐스트 조인의 일부인 순서 섞기 중에 메모리 부족 오류가 발생할 때 causedBroadcastJoinBuildOOM=true 플래그를 추가하도록 업데이트됩니다.
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46538] ALSModel.transform에서 모호한 열 참조 문제를 해결합니다.
  • [SPARK-46417] hive.getTable을 호출하고 throwException이 false인 경우 실패하지 마세요.
  • [SPARK-46484] resolveOperators 도우미 함수가 계획 ID를 유지하도록 합니다.
  • [SPARK-46153] XML: TimestampNTZType 지원을 추가합니다.
  • [SPARK-46152] XML: XML 스키마 유추에서 DecimalType 지원을 추가합니다.
  • [SPARK-46145] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
  • [SPARK-46478] 문자열에 oracle varchar(255)를 사용하도록 SPARK-43049를 되돌립니다.
  • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema가 true로 설정된 경우 특수 문자를 사용하여 스키마에서 spark.catalog.listDatabases() 문제를 해결합니다.
  • [SPARK-46337] CTESubstitution가 PLAN_ID_TAG를 유지하게 합니다.
  • [SPARK-46466] 벡터화된 parquet 판독기는 타임스탬프 ntz에 대한 재베이스를 수행해서는 안 됩니다.
  • [SPARK-46587] XML: XSD 큰 정수 전환을 수정합니다.
  • [SPARK-45814] 메모리 누수 방지를 위해 ArrowConverters.createEmptyArrowBatch call close()를 만듭니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
  • [SPARK-46602] 뷰/테이블이 없을 때 뷰 만들기에서 allowExisting를 전파합니다.
  • [SPARK-46173] 날짜 구문 분석 중 trimAll 호출을 건너뜁니다.
  • [SPARK-46355] XML: 읽기 완료 시 InputStreamReader를 닫습니다.
  • [SPARK-46600] SqlConf와 SqlApiConf 간에 공유 코드를 SqlApiConfHelper로 이동합니다.
  • [SPARK-46261] DataFrame.withColumnsRenamed는 dict/map 순서를 유지해야 합니다.
  • [SPARK-46056] Parquet 벡터화된 읽기 NPE를 byteArrayDecimalType 기본값으로 수정합니다.
  • [SPARK-46260] DataFrame.withColumnsRenamed는 받아쓰기 순서를 준수해야 합니다.
  • [SPARK-46250] test_parity_listener를 안정화합니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46609] PartitioningPreservingUnaryExecNode에서 지수 폭발을 방지합니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
• 2023년 12월 14일
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업의 이스케이프된 밑줄이 잘못 처리되고 와일드카드로 해석되는 문제를 해결했습니다.
  • [SPARK-45509] Spark Connect에 대한 df 열 참조 동작을 수정합니다.
  • [SPARK-45844] XML에 대한 대/소문자 구분을 구현합니다.
  • [SPARK-46141] spark.sql.legacy.ctePrecedencePolicy의 기본값을 CORRECTED로 변경합니다.
  • [SPARK-46028] Column.__getitem__가 입력 열을 수락하게 만듭니다.
  • [SPARK-46255] 복합 형식 -> 문자열 변환을 지원합니다.
  • [SPARK-45655] CollectMetrics의 AggregateFunctions 내에서 비결정적 식을 허용합니다.
  • [SPARK-45433] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추를 수정합니다.
  • [SPARK-45316] 새 매개 변수 ignoreCorruptFiles/ignoreMissingFiles를 HadoopRDD 및 NewHadoopRDD에 추가합니다.
  • [SPARK-45852] 로깅하는 동안 재귀 오류를 정상적으로 처리합니다.
  • [SPARK-45920] 서수별 그룹은 idempotent여야 합니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업에서 이스케이프된 밑줄이 와일드카드로 잘못 해석되는 문제를 해결했습니다.
  • 자동 로더 또는 스트리밍 테이블을 사용하여 CSV 데이터를 수집할 때 이제 큰 CSV 파일을 분할할 수 있으며 스키마 유추 및 데이터 처리 중에 병렬로 처리할 수 있습니다.
  • [SPARK-45892] validateSchemaOutput 및 validateExprIdUniqueness 분리를 위해 최적화 프로그램 계획 유효성 검사를 리팩터링합니다.
  • [SPARK-45620] Python UDF와 관련된 API는 이제 camelCase를 사용합니다.
  • [SPARK-44790] Python, Spark Connect 및 SQL에 대한 to_xml 구현 및 바인딩이 추가되었습니다.
  • [SPARK-45770] Dataframe.drop에 대해 DataFrameDropColumns를 사용하는 열 해결이 수정되었습니다.
  • [SPARK-45859] UDF 개체를 ml.functions 지연으로 만들었습니다.
  • [SPARK-45730] ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-44784] SBT 테스트를 격리된 환경에서 실행하도록 만들었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 10일
  • [SPARK-45545] SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45250] 동적 할당이 해제된 경우 yarn 클러스터에 대한 단계 수준 작업 리소스 프로필에 대한 지원이 추가되었습니다.
  • [SPARK-44753] PySpark SQL에 대한 XML DataFrame 판독기 및 기록기가 추가되었습니다.
  • [SPARK-45396] PySpark.ml.connect 모듈에 대한 문서 항목을 추가했습니다.
  • [SPARK-45584] TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45541] SSLFactory가 추가되었습니다.
  • [SPARK-45577] 명명된 인수에서 폴딩된 값을 전달하도록 UserDefinedPythonTableFunctionAnalyzeRunner가 수정되었습니다.
  • [SPARK-45562] 'rowTag'를 필수 옵션으로 만들었습니다.
  • [SPARK-45427] SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-43380] Avro 읽기의 속도 저하가 수정되었습니다.
  • [SPARK-45430] FramelessOffsetWindowFunction는 IGNORE NULLS 및 offset > rowCount의 경우 더 이상 실패하지 않습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-45386] StorageLevel.NONE에서 0을 잘못 반환하는 문제를 해결했습니다.
  • [SPARK-44219] 최적화 재작성을 위한 규칙별 유효성 검사가 추가되었습니다.
  • [SPARK-45543] 다른 창 함수에 순위와 유사한 함수와 동일한 창 프레임이 없는 경우 InferWindowGroupLimit에서 문제가 발생하는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 9월 27일
  • [SPARK-44823] black가 23.9.1로 업데이트되고 오류 검사가 수정되었습니다.
  • [SPARK-45339] 이제 PySpark는 재시도하는 오류를 기록합니다.
  • [SPARK-42946] 변수 대체 아래에 중첩된 중요한 데이터 삭제를 되돌립니다.
  • [SPARK-44551] OSS로 동기화할 주석을 편집했습니다.
  • [SPARK-45360] Spark 세션 작성기에서 SPARK_REMOTE에서의 초기화를 지원합니다.
  • [SPARK-45279] 모든 논리 계획에 plan_id가 연결됩니다.
  • [SPARK-45425] TINYINT를 MsSqlServerDialect용 ShortType에 매핑했습니다.
  • [SPARK-45419] rocksdb sst 파일 ID를 다시 사용하지 않도록 더 큰 버전의 파일 버전 맵 항목이 제거되었습니다.
  • [SPARK-45488] rowTag 요소의 값에 대한 지원이 추가되었습니다.
  • [SPARK-42205] JsonProtocol 이벤트 로그의 Task/Stage 시작 이벤트에 대한 Accumulables 로깅이 제거되었습니다.
  • [SPARK-45426] ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • [SPARK-45256] DurationWriter는 초기 용량보다 더 많은 값을 작성할 때 실패합니다.
  • [SPARK-43380] 성능 회귀를 유발하지 않고 Avro 데이터 형식 전환 문제를 해결했습니다.
  • [SPARK-45182] 스테이지 출력이 확정되지 않은 경우 모든 스테이지 작업을 다시 시도 할 수 있도록 순서 섞기 맵 스테이지 롤백에 대한 지원이 추가되었습니다.
  • [SPARK-45399] newOption을 사용하여 XML 옵션이 추가되었습니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 13.3 LTS

Databricks Runtime 13.3 LTS를 참조하세요.

• 2024년 11월 5일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foreach 싱크 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • [SPARK-48843] BindParameters를 사용하여 무한 루프 방지
  • [BACKPORT][[SPARK-49326]]https://issues.apache.org/jira/browse/SPARK-49326)[SS] Foreach 싱크 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49905] 상태 저장 연산자에 전용 ShuffleOrigin을 사용하여 AQE에서 순서 섞기를 수정하지 않도록 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
• 2024년 9월 25일
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • [SPARK-48719][SQL] 첫 번째 매개 변수가 null일 때 RegrSlope &RegrIntercept의 계산 버그 수정
  • [SPARK-43242][CORE] 순서 섞기 손상 진단에서 throw 'BlockId의 예기치 않은 유형'을 수정합니다.
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • [SPARK-49526][CONNECT] ArtifactManager에서 Windows 스타일 경로 지원
  • [SPARK-48463][ML] 이진 변환기, 버킷타이저, 벡터 어셈블러, FeatureHasher, QuantizeDiscretizer, OnehotEncoder, StopWordsRemover, Imputer, Interactor 지원 중첩된 입력 열
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
• 2024년 8월 14일
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
• 2024년 8월 1일
  • 이 릴리스에는 Spark Java 인터페이스의 ColumnVector 및 ColumnarArray 클래스에 대한 버그 수정이 포함되어 있습니다. 이 수정 이전에는 이러한 클래스 중 하나의 인스턴스에 null 값이 포함되어 있을 때 ArrayIndexOutOfBoundsException이 발생하거나 잘못된 데이터가 반환될 수 있었습니다.
  • [SPARK-47202][PYTHON] tzinfo를 사용하여 오타가 생긴 날짜/시간 수정
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
  • [SPARK-48463] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 Delta 테이블 원본에 대해 캐시된 DataFrame이 무효화됩니다. 이 변경은 이제 Delta 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. DataFrame의 수명 동안 테이블 상태를 유지하는 데 .checkpoint()를 사용합니다.
  • 이 릴리스에는 Databricks 컨테이너 서비스에서 실행할 때 Spark UI 환경 탭이 올바르게 표시되지 않는 문제에 대한 수정 사항이 포함되어 있습니다.
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • [SPARK-48292][CORE] 되돌리기 [SPARK-39195][SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 합니다.
  • [SPARK-48503][SQL] 잘못 허용되어 해당되지 않는 열에서 그룹별로 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-48475][PYTHON] PySpark에서 _get_jvm_function 최적화합니다.
  • [SPARK-48273][SQL] PlanWithUnresolvedIdentifier의 늦은 다시 쓰기 수정
  • [SPARK-48445][SQL] 비싼 자식이 있는 UDF를 인라인하지 마세요.
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • (동작 변경) dbutils.widgets.getAll()은 이제 Notebook의 모든 위젯 값을 가져오는 데 지원됩니다.
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • [SPARK-47994][SQL] SQLServer에서 CASE WHEN 열 필터 푸시 다운 관련 버그 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-46822][SQL] jdbc 형식을 jdbc의 촉매 형식으로 캐스팅할 때 spark.sql.legacy.charVarcharAsString을 준수합니다.
  • [SPARK-47895][SQL] GROUP BY ALL은 idempotent여야 합니다.
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange가 발생할 때 매개 변수 오류가 누락되는 null groupId 수정
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • [SPARK-44653][SQL] 사소한 DataFrame이 아닌 공용 구조체는 캐싱을 중단해서는 안 됩니다.
  • 기타 버그가 수정되었습니다.
• 2024년 4월 11일
  • [SPARK-47509][SQL] LAMBDA 및 상위 함수에서 하위 쿼리 식 차단
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • [SPARK-47385] 옵션 입력을 사용하여 튜플 인코더 수정
  • [SPARK-38708][SQL] Hive Metastore 클라이언트를 Hive 3.1용 3.1.3으로 업그레이드
  • [SPARK-47200][SS] Foreach 일괄 처리 싱크 사용자 함수 오류에 대한 오류 클래스
  • [SPARK-47368][SQL] ParquetRowConverter에서 inferTimestampNTZ 구성 검사 제거
  • [SPARK-44252][SS] 새 오류 클래스 정의 및 DFS에서 로드 상태가 실패하는 경우에 적용
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-47300][SQL] quoteIfNeeded가 숫자로 따옴표 식별자를 시작해야 함
  • [SPARK-47305][SQL] 계획에 일괄 처리 및 스트리밍이 모두 있는 경우 PruneFilters가 LocalRelation의 isStreaming 플래그에 올바르게 태그를 지정하도록 수정
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47145][SQL] V2 전략에 대한 행 데이터 원본 스캔 exec에 테이블 식별자 전달
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • [SPARK-47044][SQL] 출력을 설명하기 위해 JDBC 외부 데이터 원본에 대해 실행된 쿼리 추가
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자가 ANY FILE에 대해 SELECT 및 MODIFY 권한을 가져야 합니다.
  • 운영 체제 보안 업데이트.
• 2024년 2월 8일
  • Unity 카탈로그 구체화된 뷰의 CDF(변경 데이터 피드) 쿼리는 지원되지 않으며 Unity 카탈로그 구체화된 뷰를 사용하여 CDF 쿼리를 실행하려고 시도하면 오류가 반환됩니다. Unity 카탈로그 스트리밍 테이블은 Databricks Runtime 14.1 이상에서 비APPLY CHANGES 테이블에 대한 CDF 쿼리를 지원합니다. CDF 쿼리는 Databricks Runtime 14.0 이하의 Unity 카탈로그 스트리밍 테이블에서 지원되지 않습니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • [SPARK-46933] JDBCRDD를 사용하는 커넥터에 쿼리 실행 시간 메트릭을 추가합니다.
  • [SPARK-45582] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인합니다.
  • [SPARK-46396] 타임스탬프 유추는 예외를 throw해서는 안 됩니다.
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-46941] SizeBasedWindowFunction이 포함된 경우 최상위 K 계산에 대한 창 그룹 제한 노드를 삽입할 수 없습니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • [SPARK-46610] 옵션에서 키에 대한 값이 없는 경우 테이블을 만들면 예외가 throw됩니다.
  • [SPARK-46383] TaskInfo.accumulables()의 수명을 줄여 드라이버 힙 사용량을 줄입니다.
  • [SPARK-46600] SqlConf와 SqlApiConf 간에 공유 코드를 SqlApiConfHelper로 이동합니다.
  • [SPARK-46676] dropDuplicatesWithinWatermark는 계획의 정규화에 실패하지 않아야 합니다.
  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 17일
  • Photon 쿼리에서 반환된 설명 계획의 shuffle 노드는 브로드캐스트 조인의 일부인 순서 섞기 중에 메모리 부족 오류가 발생할 때 causedBroadcastJoinBuildOOM=true 플래그를 추가하도록 업데이트됩니다.
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-46173] 날짜 구문 분석 중 trimAll 호출을 건너뜁니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46370] 열 기본값을 변경한 후 테이블에서 쿼리할 때 버그를 수정합니다.
  • [SPARK-46609] PartitioningPreservingUnaryExecNode에서 지수 폭발을 방지합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
  • [SPARK-46602] 뷰/테이블이 없을 때 뷰 만들기에서 allowExisting를 전파합니다.
  • [SPARK-46249] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하려면 인스턴스 잠금이 필요합니다.
  • [SPARK-46417] hive.getTable을 호출하고 throwException이 false인 경우 실패하지 마세요.
  • [SPARK-46538] ALSModel.transform에서 모호한 열 참조 문제를 해결합니다.
  • [SPARK-46478] 문자열에 oracle varchar(255)를 사용하도록 SPARK-43049를 되돌립니다.
  • [SPARK-46250] test_parity_listener를 안정화합니다.
  • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema가 true로 설정된 경우 특수 문자를 사용하여 스키마에서 spark.catalog.listDatabases() 문제를 해결합니다.
  • [SPARK-46056] Parquet 벡터화된 읽기 NPE를 byteArrayDecimalType 기본값으로 수정합니다.
  • [SPARK-46145] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
  • [SPARK-46466] 벡터화된 parquet 판독기는 타임스탬프 ntz에 대한 재베이스를 수행해서는 안 됩니다.
• 2023년 12월 14일
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업의 이스케이프된 밑줄이 잘못 처리되고 와일드카드로 해석되는 문제를 해결했습니다.
  • [SPARK-45920] 서수별 그룹은 idempotent여야 합니다.
  • [SPARK-44582] 정리된 경우 SMJ에서 반복기를 건너뜁니다.
  • [SPARK-45433] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추를 수정합니다.
  • [SPARK-45655] CollectMetrics의 AggregateFunctions 내에서 비결정적 식을 허용합니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • Spark-snowflake 커넥터가 2.12.0으로 업그레이드되었습니다.
  • [SPARK-44846] RemoveRedundantAggregates 뒤의 복합 그룹화 식이 제거되었습니다.
  • [SPARK-45544] TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-45892] validateSchemaOutput 및 validateExprIdUniqueness 분리를 위해 최적화 프로그램 계획 유효성 검사를 리팩터링합니다.
  • [SPARK-45730] ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-45859] UDF 개체를 ml.functions 지연으로 만들었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 10일
  • 더 나은 사용률을 달성하기 위해 속도 제한 전에 Delta Lake 스트리밍 쿼리의 파티션 필터가 푸시다운됩니다.
  • Unity 카탈로그 스트리밍 테이블 및 구체화된 뷰에서 데이터 피드 쿼리가 변경되어 오류 메시지가 표시됩니다.
  • [SPARK-45545] SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45584] TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45427] SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45541] SSLFactory가 추가되었습니다.
  • [SPARK-45430] FramelessOffsetWindowFunction는 IGNORE NULLS 및 offset > rowCount의 경우 더 이상 실패하지 않습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-44219] 최적화 재작성을 위한 규칙별 추가 유효성 검사가 추가되었습니다.
  • [SPARK-45543] 다른 창 함수에 순위와 유사한 함수와 동일한 창 프레임이 없는 경우 InferWindowGroupLimit에서 문제가 발생하는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 23일
  • [SPARK-45256] 초기 용량보다 더 많은 값을 쓸 때 DurationWriter가 실패하는 문제를 해결했습니다.
  • [SPARK-45419] 더 큰 버전의 파일 버전 맵 항목을 제거하여 다른 rocksdb 인스턴스에서 rocksdb sst 파일을 다시 사용하지 마세요.
  • [SPARK-45426] ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 기타 파일.
• 2023년 10월 13일
  • Snowflake-jdbc 종속성이 3.13.29에서 3.13.33으로 업그레이드되었습니다.
  • array_insert 함수는 양수 및 음수 인덱스에 대해 1부터 시작합니다. 이전에는 음수 인덱스의 경우 0부터 시작했습니다. 이제 인덱스 -1의 입력 배열 끝에 새 요소를 삽입합니다. 이전 동작을 복원하려면 spark.sql.legacy.negativeIndexInArrayInsert을 true로 설정합니다.
  • 자동 로더를 사용하여 CSV 스키마 유추 중에 ignoreCorruptFiles를 사용하는 경우 손상된 파일을 무시하지 않는 것과 관련된 이슈를 수정했습니다.
  • 되돌리기 [SPARK-42946].
  • [SPARK-42205] 작업 또는 스테이지 시작 이벤트에서 Accumulables 로깅을 제거하도록 JSON 프로토콜을 업데이트했습니다.
  • [SPARK-45178] 래퍼를 사용하는 대신 지원되지 않는 원본이 있는 Trigger.AvailableNow에 대해 단일 일괄 처리를 실행하는 것으로 대체합니다.
  • [SPARK-45316] 새 매개 변수 ignoreCorruptFiles 및 ignoreMissingFiles를 HadoopRDD 및 NewHadoopRDD에 추가합니다.
  • [SPARK-44740] 아티팩트에 대한 메타데이터 값이 수정되었습니다.
  • [SPARK-45360] SPARK_REMOTE에서 Spark 세션 작성기 구성을 초기화했습니다.
  • [SPARK-44551] OSS로 동기화할 주석을 편집했습니다.
  • [SPARK-45346] 이제 Parquet 스키마 유추는 스키마를 병합할 때 대/소문자를 구분하는 플래그를 적용합니다.
  • [SPARK-44658] 이제 ShuffleStatus.getMapStatus에서 Some(null)가 아닌 None을 반환합니다.
  • [SPARK-44840] 음수 인덱스에 대해 array_insert()을 1 기준으로 만들었습니다.
• 2023년 9월 14일
  • [SPARK-44873] Hive 클라이언트에서 중첩된 열을 사용하여 alter view 지원을 추가했습니다.
  • [SPARK-44878] 캐시 완료에 대한 삽입 예외를 방지하기 위해 RocksDB 쓰기 관리자에 대한 엄격한 제한을 비활성화했습니다.
• 2023년 8월 30일
  • 더 빠른 복사를 위해 dbutils cp 명령(dbutils.fs.cp)이 최적화되었습니다. 이 향상된 기능을 사용하면 파일 크기에 따라 복사 작업에 시간이 최대 100까지 단축될 수 있습니다. 이 기능은 Unity 카탈로그 볼륨 및 DBFS 탑재를 포함하여 Databricks에서 액세스할 수 있는 모든 클라우드 및 파일 시스템에서 사용할 수 있습니다.
  • [SPARK-44455] SHOW CREATE TABLE 결과에 백틱이 있는 따옴표 식별자입니다.
  • [SPARK-44763] 간격이 있는 이진 산술 연산에서 문자열을 double로 표시하는 문제를 해결했습니다.
  • [SPARK-44871] percentile_disc 동작이 수정되었습니다.
  • [SPARK-44714] 쿼리에 대한 LCA 확인의 제한이 완화됩니다.
  • [SPARK-44818] taskThread이 초기화되기 전에 실행된 보류 중인 작업 중단에 대한 경합이 수정되었습니다.
  • [SPARK-44505] DSv2용 검색에서 열 형식 지원에 대한 재정의가 추가되었습니다.
  • [SPARK-44479] 빈 구조체 형식에서의 protobuf 전환이 수정되었습니다.
  • [SPARK-44718] ColumnVector 메모리 모드 구성 기본값을 OffHeapMemoryMode 구성 값과 일치시킵니다.
  • [SPARK-42941] Python StreamingQueryListener에 대한 지원이 추가되었습니다.
  • [SPARK-44558] PySpark의 Spark Connect 로그 수준을 내보냅니다.
  • [SPARK-44464] applyInPandasWithStatePythonRunner가 첫 번째 열 값으로 Null이 있는 출력 행으로 수정되었습니다.
  • [SPARK-44643] 필드에 행이 비어 있는 경우 Row.__repr__를 수정했습니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 12.2 LTS

Databricks Runtime 12.2 LTS을 참조하세요.

• 2024년 10월 10일
  • [SPARK-49743][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
• 2024년 9월 25일
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • 기타 버그가 수정되었습니다.
• 2024년 9월 17일
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • 기타 버그가 수정되었습니다.
• 2024년 8월 14일
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-49056][SQL] ErrorClassesJsonReader가 null을 제대로 처리할 수 없음
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-48463][ML] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • 운영 체제 보안 업데이트.
• 2024년 8월 1일
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
• 2024년 8월 1일
  • 필요한 보안 패치를 적용하기 위해 Databricks Runtime 12.2 LTS의 Python 버전이 3.9.5에서 3.9.19로 업그레이드됩니다.
• 2024년 7월 11일
  • (동작 변경) 이제 원본 테이블을 덮어쓰면 Delta 테이블 원본에 대해 캐시된 DataFrame이 무효화됩니다. 이 변경은 이제 Delta 테이블의 모든 상태 변경 내용이 캐시된 결과를 무효화한다는 것을 의미합니다. DataFrame의 수명 동안 테이블 상태를 유지하는 데 .checkpoint()를 사용합니다.
  • [SPARK-48481][SQL] [SS] 스트리밍 데이터 세트에 OptimizeOneRowPlan을 적용하지 마세요.
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • [SPARK-42741][SQL] 리터럴이 null인 경우 이진 비교에서 캐스팅 래핑 해제 안 함
  • [SPARK-48445][SQL] 비싼 자식이 있는 UDF를 인라인하지 마세요.
  • [SPARK-48503][SQL] 잘못 허용되어 해당되지 않는 열에서 그룹별로 잘못된 스칼라 하위 쿼리 수정
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • [SPARK-48277] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • 기타 버그가 수정되었습니다.
• 2024년 5월 21일
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-44251][SQL] 완전 외부 USING 조인의 병합된 조인 키에서 null 허용을 올바르게 설정
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • [SPARK-47956][SQL] 해결되지 않은 LCA 참조에 대한 온전성 검사
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange가 발생할 때 매개 변수 오류가 누락되는 null groupId 수정
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • 운영 체제 보안 업데이트.
• 2024년 4월 11일
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • [SPARK-47305][SQL] 계획에 일괄 처리 및 스트리밍이 모두 있는 경우 PruneFilters가 LocalRelation의 isStreaming 플래그에 올바르게 태그를 지정하도록 수정
  • [SPARK-44252][SS] 새 오류 클래스 정의 및 DFS에서 로드 상태가 실패하는 경우에 적용
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-47200][SS] Foreach 일괄 처리 싱크 사용자 함수 오류에 대한 오류 클래스
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47176][SQL] ResolveAllExpressionsUpWithPruning 도우미 함수 있음
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 이제 정의된 위치로 스키마를 만들려면 사용자가 ANY FILE에 대해 SELECT 및 MODIFY 권한을 가져야 합니다.
  • [SPARK-45582][SS] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인
  • 운영 체제 보안 업데이트.
• 2024년 2월 13일
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • [SPARK-46763] 중복 특성에 대한 ReplaceDeduplicateWithAggregate의 어설션 오류를 수정합니다.
  • 운영 체제 보안 업데이트.
• 2023년 12월 25일
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-39440] 이벤트 타임라인을 사용 중지하는 구성을 추가합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
  • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema가 true로 설정된 경우 특수 문자를 사용하여 스키마에서 spark.catalog.listDatabases() 문제를 해결합니다.
  • [SPARK-46417] hive.getTable을 호출하고 throwException이 false인 경우 실패하지 마세요.
  • [SPARK-43067] Kafka 커넥터에서 오류 클래스 리소스 파일의 위치를 수정합니다.
  • [SPARK-46249] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하려면 인스턴스 잠금이 필요합니다.
  • [SPARK-46602] 뷰/테이블이 없을 때 뷰 만들기에서 allowExisting를 전파합니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-46145] spark.catalog.listTables는 테이블 또는 뷰를 찾을 수 없을 때 예외를 throw하지 않습니다.
  • [SPARK-46538] ALSModel.transform에서 모호한 열 참조 문제를 해결합니다.
  • [SPARK-42852] EquivalentExpressions에서 NamedLambdaVariable 관련 변경 내용을 되돌립니다.
• 2023년 12월 14일
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업의 이스케이프된 밑줄이 잘못 처리되고 와일드카드로 해석되는 문제를 해결했습니다.
  • [SPARK-44582] 정리된 경우 SMJ에서 반복기를 건너뜁니다.
  • [SPARK-45920] 서수별 그룹은 idempotent여야 합니다.
  • [SPARK-45655] CollectMetrics의 AggregateFunctions 내에서 비결정적 식을 허용합니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업에서 이스케이프된 밑줄이 와일드카드로 잘못 해석되는 문제를 해결했습니다.
  • [SPARK-42205] Stage 및 Task 시작 이벤트의 accumulables 로깅을 제거했습니다.
  • [SPARK-44846] RemoveRedundantAggregates 뒤의 복합 그룹화 식이 제거되었습니다.
  • [SPARK-43718] USING 조인의 키에 대한 null 허용 여부가 수정되었습니다.
  • [SPARK-45544] TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-43973] 이제 구조적 스트리밍 UI가 실패한 쿼리를 올바르게 표시합니다.
  • [SPARK-45730] ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-45859] UDF 개체를 ml.functions 지연으로 만들었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 14일
  • 더 나은 사용률을 달성하기 위해 속도 제한 전에 Delta Lake 스트리밍 쿼리의 파티션 필터가 푸시다운됩니다.
  • [SPARK-45545] SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45427] SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45584] TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45541] SSLFactory가 추가되었습니다.
  • [SPARK-45430] FramelessOffsetWindowFunction는 IGNORE NULLS 및 offset > rowCount의 경우 더 이상 실패하지 않습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 24일
  • [SPARK-45426] ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 기타 파일.
• 2023년 10월 13일
  • Snowflake-jdbc 종속성이 3.13.29에서 3.13.33으로 업그레이드되었습니다.
  • [SPARK-42553] 간격 후에 하나 이상의 시간 단위를 확인합니다.
  • [SPARK-45346] Parquet 스키마 유추는 스키마를 병합할 때 대/소문자를 구분하는 플래그를 적용합니다.
  • [SPARK-45178] 래퍼를 사용하는 대신 지원되지 않는 원본이 있는 Trigger.AvailableNow에 대해 단일 일괄 처리를 실행하는 것으로 대체합니다.
  • [SPARK-45084] StateOperatorProgress가 정확하고 적절한 순서 섞기 파티션 번호를 사용합니다.
• 2023년 9월 12일
  • [SPARK-44873] Hive 클라이언트에서 중첩된 열에 대한 alter view 지원이 추가되었습니다.
  • [SPARK-44718] ColumnVector 메모리 모드 구성 기본값을 OffHeapMemoryMode 구성 값과 일치시킵니다.
  • [SPARK-43799] PySpark Protobuf API에 설명자 이진 옵션이 추가되었습니다.
  • 기타 파일.
• 2023년 8월 30일
  • [SPARK-44485] TreeNode.generateTreeString를 최적화합니다.
  • [SPARK-44818] taskThread이 초기화되기 전에 실행된 보류 중인 작업 중단에 대한 경합이 수정되었습니다.
  • [SPARK-44871][11.3-13.0] percentile_disc 동작이 수정되었습니다.
  • [SPARK-44714] 쿼리에 대한 LCA 확인의 제한이 완화되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 8월 15일
  • [SPARK-44504] 유지 관리 작업은 중지 오류 발생시 로드된 공급자를 정리합니다.
  • [SPARK-44464] applyInPandasWithStatePythonRunner가 첫 번째 열 값으로 Null이 있는 출력 행으로 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 7월 29일
  • 다른 외부 또는 관리되는 스토리지 위치와 충돌하는 스토리지 위치 경로를 호출할 때 dbutils.fs.ls()에서 INVALID_PARAMETER_VALUE.LOCATION_OVERLAP가 반환되는 문제를 수정했습니다.
  • [SPARK-44199] CacheManager가 더 이상 불필요하게 fileIndex를 새로 고치지 않습니다.
  • 운영 체제 보안 업데이트.
• 2023년 7월 24일
  • [SPARK-44337] Any.getDefaultInstance로 설정되어 구문 분석 오류가 발생하는 필드가 있는 문제를 해결했습니다.
  • [SPARK-44136] StateManager가 FlatMapGroupsWithStateExec에서 드라이버 대신 실행기에서 구체화되는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 23일
  • 운영 체제 보안 업데이트.
• 2023년 6월 15일
  • approx_count_distinct를 광자화했습니다.
  • Snowflake-jdbc 라이브러리는 보안 문제를 해결하기 위해 3.13.29로 업그레이드됩니다.
  • [SPARK-43779] ParseToDate이 이제 주 스레드에서 EvalMode를 로드합니다.
  • [SPARK-43156][SPARK-43098] decorrelateInnerQuery이 비활성화된 스칼라 하위 쿼리 수 오류 테스트를 확장합니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 2일
  • failOnUnknownFields 모드의 JSON 파서는 DROPMALFORMED 모드에서 레코드를 삭제하고 FAILFAST 모드에서 바로 실패합니다.
  • SHALLOW CLONE Iceberg 및 Parquet을 사용하여 증분 업데이트의 성능을 향상시킵니다.
  • 제공된 스키마에 유추 파티션이 포함되지 않은 경우 다른 원본 파일 형식이 일치하지 않는 자동 로더의 문제가 해결되었습니다. 이 문제로 인해 유추된 파티션 스키마에 열이 없는 파일을 읽을 때 예기치 않은 오류가 발생할 수 있습니다.
  • [SPARK-43404] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 대한 sst 파일 재사용을 건너뜁니다.
  • [SPARK-43413][11.3-13.0] IN 하위 쿼리 ListQuery null 허용 여부가 수정되었습니다.
  • [SPARK-43522] 배열 인덱스를 사용하여 구조체 열 이름을 만드는 문제가 수정되었습니다.
  • [SPARK-43541] 식 및 누락된 열을 확인할 때 모든 Project 태그를 전파합니다.
  • [SPARK-43527] PySpark에서 catalog.listCatalogs가 수정되었습니다.
  • [SPARK-43123] 내부 필드 메타데이터는 더 이상 카탈로그로 유출되지 않습니다.
  • [SPARK-43340] 이벤트 로그에서 누락된 스택 추적 필드가 수정되었습니다.
  • [SPARK-42444] DataFrame.drop에서 이제 중복된 열을 올바르게 처리합니다.
  • [SPARK-42937] PlanSubqueries이 이제 InSubqueryExec#shouldBroadcast을 true로 설정합니다.
  • [SPARK-43286] 임의 IV를 생성하도록 aes_encrypt CBC 모드가 업데이트 되었습니다.
  • [SPARK-43378] deserializeFromChunkedBuffer에서 스트림 개체를 제대로 닫습니다.
• 2023년 5월 17일
  • Parquet 검사는 일괄 처리 크기를 동적으로 조정하여 매우 구조화된 파일을 검색할 때 OOM에 대해 강력해졌습니다. 파일 메타데이터는 일괄 처리 크기를 선제적으로 낮추기 위해 분석되며, 작업 재시도 시 최종 안전망으로 다시 낮아집니다.
  • failOnNewColumns 스키마 진화 모드에서 failOnUnknownFields 옵션 또는 자동 로더를 사용하여 Avro 파일을 읽은 경우 파일을 읽을 수 없다는 오류를 throw하는 대신 데이터 형식이 다른 열을 null로 읽습니다. 이러한 읽기는 이제 실패하고 사용자에게 rescuedDataColumn 옵션을 사용하도록 권장합니다.
  • 이제 자동 로더가 다음을 수행합니다.
  • • Integer, Short, Byte 데이터 형식 중 하나가 제공되면 올바르게 읽고 더 이상 이러한 형식을 구조하지 않지만, Avro 파일은 다른 두 형식 중 하나를 제안합니다.
  • • 날짜 또는 타임스탬프 형식으로 읽기 간격 형식을 방지하여 날짜가 손상되지 않도록 합니다.
  • • 정밀도가 낮은 읽기 Decimal 형식을 방지합니다.
  • [SPARK-43172] Spark Connect 클라이언트에서 호스트 및 토큰을 노출합니다.
  • [SPARK-43293] __qualified_access_only는 일반 열에서 무시됩니다.
  • [SPARK-43098] 스칼라 하위 쿼리를 절별로 그룹화 할 때 수정 COUNT 버그가 수정되었습니다.
  • [SPARK-43085] 여러 부분으로 구성된 테이블 이름에 대한 열 DEFAULT 할당을 지원합니다.
  • [SPARK-43190] ListQuery.childOutput은 이제 보조 출력과 일치합니다.
  • [SPARK-43192] 사용자 에이전트 문자 집합 유효성 검사가 제거되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 4월 25일
  • failOnNewColumns 스키마 진화 모드에서 failOnUnknownFields 옵션 또는 자동 로더를 사용하여 Parquet 파일을 읽은 경우 파일을 읽을 수 없다는 오류를 throw하는 대신 데이터 형식이 다른 열을 null로 읽습니다. 이러한 읽기는 이제 실패하고 사용자에게 rescuedDataColumn 옵션을 사용하도록 권장합니다.
  • 이제 자동 로더가 올바르게 읽고 이러한 데이터 형식 중 하나가 제공되면 Integer, Short, Byte 형식을 더 이상 복구 하지 않습니다. Parquet 파일은 다른 두 형식 중 하나를 제안합니다. 이전에 구조된 데이터 열을 사용하도록 설정했을 때 데이터 형식이 일치하지 않으면 열이 읽을 수 있더라도 저장됩니다.
  • [SPARK-43009] Any 상수로 sql()가 매개 변수화
  • [SPARK-42406] 필드를 삭제하여 Protobuf 재귀 필드 종료
  • [SPARK-43038] aes_encrypt()/aes_decrypt()의 CBC 모드 지원
  • [SPARK-42971] 작업자가 workdir 이벤트를 처리할 때 appDirs이 null인 경우 WorkDirCleanup를 인쇄하도록 변경
  • [SPARK-43018] 타임스탬프 리터럴을 사용하여 INSERT 명령에 대한 버그 수정
  • 운영 체제 보안 업데이트.
• 2023년 4월 11일
  • SYNC 명령에서 레거시 데이터 원본 서식을 지원합니다.
  • 리포지토리 외부의 Notebook에서 %autoreload 동작의 문제를 해결합니다.
  • 중첩된 JSON 개체의 스키마에서 새 열이 검색될 때 자동 로더 스키마 진화가 무한 장애 루프로 전환될 수 있는 문제가 수정되었습니다.
  • [SPARK-42928] resolvePersistentFunction를 동기화합니다.
  • [SPARK-42936] 자식 집계를 통해 절을 직접 해결할 수 있는 경우의 LCan 문제를 해결합니다.
  • [SPARK-42967] 스테이지가 취소된 후 작업이 시작되는 경우 SparkListenerTaskStart.stageAttemptId 수정.
  • 운영 체제 보안 업데이트.
• 2023년 3월 29일

  • 이제 Databricks SQL은 테이블 생성 시 또는 나중에 Delta Lake 테이블 열에 대한 기본값 지정을 지원합니다. 이후INSERT, UPDATE, DELETE, MERGE 명령은 명시적 DEFAULT 키워드를 사용하여 열의 기본값을 참조할 수 있습니다. 또한 INSERT 할당에 대상 테이블보다 적은 열의 명시적 목록이 있는 경우 해당 열 기본값은 나머지 열(또는 기본값이 지정되지 않은 경우 NULL)으로 대체됩니다.

    예시:

    CREATE TABLE t (first INT, second DATE DEFAULT CURRENT_DATE());
    INSERT INTO t VALUES (0, DEFAULT);
    INSERT INTO t VALUES (1, DEFAULT);
    SELECT first, second FROM t;
    > 0, 2023-03-28
    1, 2023-03-28z
    

  • 이제 자동 로더는 Trigger.AvailableNow 스트림에 대해 하나 이상의 동기 RocksDB 로그 정리를 시작하여 빠른 실행 자동 로더 스트림에 대한 검사점을 정기적으로 정리할 수 있도록 합니다. 이로 인해 일부 스트림이 종료되기까지 시간이 더 오래 걸릴 수 있지만 스토리지 비용을 절감하고 향후 실행 시 자동 로더 환경을 개선할 수 있습니다.

  • 이제 델타 테이블을 수정하고 DeltaTable.addFeatureSupport(feature_name)을 사용하여 테이블 기능에 지원을 추가할 수 있습니다.

  • [SPARK-42794] 구조 스트리밍에서 RocksDB 상태 저장소를 획득하기 위해 lockAcquireTimeoutMs을 2분으로 늘림

  • [SPARK-42521] 대상 테이블보다 적은 열의 사용자 지정 목록을 사용하는 INSERTs에 NULLs 추가

  • [SPARK-42702][SPARK-42623] 하위 쿼리 및 CTE에서 매개 변수가 있는 쿼리 지원

  • [SPARK-42668] HDFSStateStoreProvider 중단에서 압축 스트림을 닫는 동안 예외 catch

  • [SPARK-42403] JsonProtocol은 null JSON 문자열을 처리해야 함

• 2023년 3월 8일
  • 고객에게 더 많은 컨텍스트를 제공하기 위해 "구성을 초기화하지 못했습니다"라는 오류 메시지가 개선되었습니다.
  • 테이블 속성을 사용하여 델타 테이블에 기능을 추가하기 위한 용어 변경이 있습니다. 기본 구문은 이제 'delta.feature.featureName'='enabled' 대신 'delta.feature.featureName'='supported'입니다. 이전 버전과의 호환성을 위해 'delta.feature.featureName'='enabled' 사용이 여전히 작동하며 계속 작동합니다.
  • 이 릴리스부터 기본 판독기 및 기록기 버전과 기본적으로 지원되는 테이블 기능을 포함하는 프로토콜 관련 Spark 구성을 무시하기 위해 테이블을 추가 테이블 속성 delta.ignoreProtocolDefaults으로 만들거나 바꿀 수 있습니다.
  • [SPARK-42070] Mask 함수 인수의 기본값을 -1에서 NULL로 변경
  • [SPARK-41793] 큰 소수점에서 범위 절로 정의된 창 프레임의 잘못된 결과
  • [SPARK-42484] UnsafeRowUtils 더 나은 오류 메시지
  • [SPARK-42516] 보기를 만드는 동안 항상 세션 표준 시간대 구성 캡처
  • [SPARK-42635] TimestampAdd 식 수정.
  • [SPARK-42622] 값에서 대체 비활성화
  • [SPARK-42534] DB2Dialect Limit 절 수정
  • [SPARK-42121] 기본 제공 테이블 반환 함수 posexplode, posexplode_outer, json_tuple, 스택 추가
  • [SPARK-42045] ANSI SQL 모드: Round/Bround에서 small/small/significant 정수 오버플로에 대한 오류를 반환해야 함
  • 운영 체제 보안 업데이트.

Databricks Runtime 11.3 LTS

Databricks Runtime 11.3 LTS를 참조하세요.

• 2024년 10월 10일
  • 기타 버그가 수정되었습니다.
• 2024년 9월 25일
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • 기타 버그가 수정되었습니다.
• 2024년 9월 17일
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
• 2024년 8월 14일
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-48463][ML] 중첩된 입력 열을 지원하는 StringIndexer 만들기
  • 운영 체제 보안 업데이트.
• 2024년 8월 1일
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
• 2024년 8월 1일
  • 필요한 보안 패치를 적용하기 위해 Databricks Runtime 11.3 LTS의 Python 버전이 3.9.5에서 3.9.19로 업그레이드됩니다.
• 2024년 7월 11일
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • [SPARK-47070] 하위 쿼리 다시 쓰기 후 잘못된 집계 수정
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange가 발생할 때 매개 변수 오류가 누락되는 null groupId 수정
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • [SPARK-44251][SQL] 완전 외부 USING 조인의 병합된 조인 키에서 null 허용을 올바르게 설정
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • 운영 체제 보안 업데이트.
• 2024년 4월 11일
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • [SPARK-44252][SS] 새 오류 클래스 정의 및 DFS에서 로드 상태가 실패하는 경우에 적용
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • [SPARK-47200][SS] Foreach 일괄 처리 싱크 사용자 함수 오류에 대한 오류 클래스
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47167][SQL] JDBC 익명 관계에 대해 구체적 클래스 추가
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • [SPARK-45582][SS] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인
• 2024년 2월 13일
  • [SPARK-46794] LogicalRDD 제약 조건에서 하위 쿼리를 제거합니다.
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • 운영 체제 보안 업데이트.
• 2023년 12월 25일
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-46602] 뷰/테이블이 없을 때 뷰 만들기에서 allowExisting를 전파합니다.
  • [SPARK-46394] spark.sql.legacy.keepCommandOutputSchema가 true로 설정된 경우 특수 문자를 사용하여 스키마에서 spark.catalog.listDatabases() 문제를 해결합니다.
  • [SPARK-46538] ALSModel.transform에서 모호한 열 참조 문제를 해결합니다.
  • [SPARK-39440] 이벤트 타임라인을 사용 중지하는 구성을 추가합니다.
  • [SPARK-46249] 백그라운드 작업과의 경합을 방지하기 위해 RocksDB 메트릭을 획득하려면 인스턴스 잠금이 필요합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
• 2023년 12월 14일
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업의 이스케이프된 밑줄이 잘못 처리되고 와일드카드로 해석되는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • JDBC 또는 ODBC 클라이언트에서 시작된 getColumns 작업에서 이스케이프된 밑줄이 와일드카드로 잘못 해석되는 문제를 해결했습니다.
  • [SPARK-43973] 이제 구조적 스트리밍 UI가 실패한 쿼리를 올바르게 표시합니다.
  • [SPARK-45730] ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-45544] TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-45859] UDF 개체를 ml.functions 지연으로 만들었습니다.
  • [SPARK-43718] USING 조인의 키에 대한 null 허용 여부가 수정되었습니다.
  • [SPARK-44846] RemoveRedundantAggregates 뒤의 복합 그룹화 식이 제거되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 14일
  • 더 나은 사용률을 달성하기 위해 속도 제한 전에 Delta Lake 스트리밍 쿼리의 파티션 필터가 푸시다운됩니다.
  • [SPARK-42205] 작업 및 스테이지 시작 이벤트의 accumulables 로깅을 제거했습니다.
  • [SPARK-45545] SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • 되돌리기 [SPARK-33861].
  • [SPARK-45541] SSLFactory가 추가되었습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-45584] TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45430] FramelessOffsetWindowFunction는 IGNORE NULLS 및 offset > rowCount의 경우 더 이상 실패하지 않습니다.
  • [SPARK-45427] SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 24일
  • [SPARK-45426] ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 기타 파일.
• 2023년 10월 13일
  • Snowflake-jdbc 종속성이 3.13.29에서 3.13.33으로 업그레이드되었습니다.
  • [SPARK-45178] 래퍼를 사용하는 대신 지원되지 않는 원본이 있는 Trigger.AvailableNow에 대해 단일 일괄 처리를 실행하는 것으로 대체합니다.
  • [SPARK-45084] StateOperatorProgress가 정확하고 적절한 순서 섞기 파티션 번호를 사용합니다.
  • [SPARK-45346] 이제 Parquet 스키마 유추는 스키마를 병합할 때 대/소문자를 구분하는 플래그를 적용합니다.
  • 운영 체제 보안 업데이트.
• 2023년 9월 10일
  • 기타 파일.
• 2023년 8월 30일
  • [SPARK-44818] taskThread이 초기화되기 전에 실행된 보류 중인 작업 중단에 대한 경합이 수정되었습니다.
  • [SPARK-44871][11.3-13.0] percentile_disc 동작이 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 8월 15일
  • [SPARK-44485] TreeNode.generateTreeString를 최적화합니다.
  • [SPARK-44504] 유지 관리 작업은 중지 오류 발생시 로드된 공급자를 정리합니다.
  • [SPARK-44464] applyInPandasWithStatePythonRunner가 첫 번째 열 값으로 Null이 있는 출력 행으로 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 7월 27일
  • 다른 외부 또는 관리되는 스토리지 위치와 충돌하는 스토리지 위치 경로를 호출할 때 dbutils.fs.ls()에서 INVALID_PARAMETER_VALUE.LOCATION_OVERLAP가 반환되는 문제를 수정했습니다.
  • [SPARK-44199] CacheManager가 더 이상 불필요하게 fileIndex를 새로 고치지 않습니다.
  • 운영 체제 보안 업데이트.
• 2023년 7월 24일
  • [SPARK-44136] StateManager가 FlatMapGroupsWithStateExec의 드라이버 대신 실행기에서 구체화될 수 있는 문제를 해결했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 23일
  • 운영 체제 보안 업데이트.
• 2023년 6월 15일
  • approx_count_distinct를 광자화했습니다.
  • Snowflake-jdbc 라이브러리는 보안 문제를 해결하기 위해 3.13.29로 업그레이드됩니다.
  • [SPARK-43779] ParseToDate이 이제 주 스레드에서 EvalMode를 로드합니다.
  • [SPARK-40862] RewriteCorrelatedScalarSubquery에서 집계되지 않은 하위 쿼리 지원
  • [SPARK-43156][SPARK-43098] decorrelateInnerQuery이 비활성화된 스칼라 하위 쿼리 수 버그 테스트를 확장합니다.
  • [SPARK-43098] 스칼라 하위 쿼리에 group by 절이 있는 경우 정확성 COUNT 버그 수정
  • 운영 체제 보안 업데이트.
• 2023년 6월 2일
  • failOnUnknownFields 모드의 JSON 파서는 DROPMALFORMED 모드에서 레코드를 삭제하고 FAILFAST 모드에서 바로 실패합니다.
  • SHALLOW CLONE Iceberg 및 Parquet을 사용하여 증분 업데이트의 성능을 향상시킵니다.
  • 제공된 스키마에 유추 파티션이 포함되지 않은 경우 다른 원본 파일 형식이 일치하지 않는 자동 로더의 문제가 해결되었습니다. 이 문제로 인해 유추된 파티션 스키마에 열이 없는 파일을 읽을 때 예기치 않은 오류가 발생할 수 있습니다.
  • [SPARK-43404] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 대한 sst 파일 재사용을 건너뜁니다.
  • [SPARK-43527] PySpark에서 catalog.listCatalogs가 수정되었습니다.
  • [SPARK-43413][11.3-13.0] IN 하위 쿼리 ListQuery null 허용 여부가 수정되었습니다.
  • [SPARK-43340] 이벤트 로그에서 누락된 스택 추적 필드가 수정되었습니다.

Databricks Runtime 10.4 LTS

Databricks Runtime 10.4 LTS를 참조하세요.

• 2024년 11월 5일
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • 운영 체제 보안 업데이트.
• 2024년 9월 25일
  • [SPARK-46601] [CORE] handleStatusMessage에서 로그 오류 수정
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 17일
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
• 2024년 8월 14일
  • [SPARK-48597][SQL] 논리 계획의 텍스트 표현에서 isStreaming 속성에 대한 표식 소개
  • [SPARK-48941][SPARK-48970] 백포트 ML 기록기/판독기 수정
  • [SPARK-48463][ML] 중첩된 입력 열을 지원하는 StringIndexer 만들기
• 2024년 8월 1일
  • [SPARK-48896] [SPARK-48909] [SPARK-48883] 백포트 spark ML 기록기 수정
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • [SPARK-48383][SS] Kafka의 startOffset 옵션에서 일치하지 않는 파티션에 대해 오류 개선
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-48018][SS] KafkaException.couldNotReadOffsetRange가 발생할 때 매개 변수 오류가 누락되는 null groupId 수정
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • [SPARK-44251][SQL] 완전 외부 USING 조인의 병합된 조인 키에서 null 허용을 올바르게 설정
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • 운영 체제 보안 업데이트.
• 2024년 4월 11일
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • [SPARK-47135][SS] Kafka 데이터 손실 예외에 대한 오류 클래스 구현
  • [SPARK-44252][SS] 새 오류 클래스 정의 및 DFS에서 로드 상태가 실패하는 경우에 적용
  • [SPARK-47200][SS] Foreach 일괄 처리 싱크 사용자 함수 오류에 대한 오류 클래스
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • [SPARK-47125][SQL] Univocity가 구문 분석을 트리거하지 않으면 null 반환
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • [SPARK-45582][SS] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인
  • 운영 체제 보안 업데이트.
• 2024년 2월 13일
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • 운영 체제 보안 업데이트.
• 2023년 12월 25일
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-46538] ALSModel.transform에서 모호한 열 참조 문제를 해결합니다.
  • [SPARK-39440] 이벤트 타임라인을 사용 중지하는 구성을 추가합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
• 2023년 12월 14일
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • [SPARK-45544] TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-45859] UDF 개체를 ml.functions 지연으로 만들었습니다.
  • [SPARK-43718] USING 조인의 키에 대한 null 허용 여부가 수정되었습니다.
  • [SPARK-45730] ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • [SPARK-42205] 작업 및 스테이지 시작 이벤트의 accumulables 로깅을 제거했습니다.
  • [SPARK-44846] RemoveRedundantAggregates 뒤의 복합 그룹화 식이 제거되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 14일
  • [SPARK-45541] SSLFactory가 추가되었습니다.
  • [SPARK-45545] SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45427] SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-45584] TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • 되돌리기 [SPARK-33861].
  • 운영 체제 보안 업데이트.
• 2023년 10월 24일
  • [SPARK-45426] ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 13일
  • [SPARK-45084] StateOperatorProgress가 정확하고 적절한 순서 섞기 파티션 번호를 사용합니다.
  • [SPARK-45178] 래퍼를 사용하는 대신 지원되지 않는 원본이 있는 Trigger.AvailableNow에 대해 단일 일괄 처리를 실행하는 것으로 대체합니다.
  • 운영 체제 보안 업데이트.
• 2023년 9월 10일
  • 기타 파일.
• 2023년 8월 30일
  • [SPARK-44818] taskThread이 초기화되기 전에 실행된 보류 중인 작업 중단에 대한 경합이 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 8월 15일
  • [SPARK-44504] 유지 관리 작업은 중지 오류 발생시 로드된 공급자를 정리합니다.
  • [SPARK-43973] 이제 구조적 스트리밍 UI가 실패한 쿼리를 올바르게 표시합니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 23일
  • 운영 체제 보안 업데이트.
• 2023년 6월 15일
  • Snowflake-jdbc 라이브러리는 보안 문제를 해결하기 위해 3.13.29로 업그레이드됩니다.
  • [SPARK-43098] 스칼라 하위 쿼리에 group by 절이 있는 경우 정확성 COUNT 버그 수정
  • [SPARK-40862] RewriteCorrelatedScalarSubquery에서 집계되지 않은 하위 쿼리 지원
  • [SPARK-43156][SPARK-43098] decorrelateInnerQuery이 비활성화된 스칼라 하위 쿼리 수 테스트를 확장합니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 2일
  • failOnUnknownFields 모드의 JSON 파서는 DROPMALFORMED 모드에서 레코드를 삭제하고 FAILFAST 모드에서 바로 실패합니다.
  • UnknownFieldException를 방지하기 위해 JSON에서 복구된 데이터를 구문 분석하는 문제를 해결했습니다.
  • 제공된 스키마에 유추 파티션이 포함되지 않은 경우 다른 원본 파일 형식이 일치하지 않는 자동 로더의 문제가 해결되었습니다. 이 문제로 인해 유추된 파티션 스키마에 열이 없는 파일을 읽을 때 예기치 않은 오류가 발생할 수 있습니다.
  • [SPARK-43404] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 대한 sst 파일 재사용을 건너뜁니다.
  • [SPARK-43413] IN 하위 쿼리 ListQuery null 허용 여부가 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 5월 17일
  • Parquet 검사는 일괄 처리 크기를 동적으로 조정하여 매우 구조화된 파일을 검색할 때 OOM에 대해 강력해졌습니다. 파일 메타데이터는 일괄 처리 크기를 선제적으로 낮추기 위해 분석되며, 작업 재시도 시 최종 안전망으로 다시 낮아집니다.
  • [SPARK-41520] AND_OR 트리 패턴을 분할하여 AND과 OR를 구분합니다.
  • [SPARK-43190] ListQuery.childOutput은 이제 보조 출력과 일치합니다.
  • 운영 체제 보안 업데이트.
• 2023년 4월 25일
  • [SPARK-42928] resolvePersistentFunction를 동기화합니다.
  • 운영 체제 보안 업데이트.
• 2023년 4월 11일
  • 중첩된 JSON 개체의 스키마에서 새 열이 검색될 때 자동 로더 스키마 진화가 무한 장애 루프로 전환될 수 있는 문제가 수정되었습니다.
  • [SPARK-42937] PlanSubqueries이 이제 InSubqueryExec#shouldBroadcast을 true로 설정합니다.
  • [SPARK-42967] 스테이지가 취소된 후 작업이 시작될 때 SparkListenerTaskStart.stageAttemptId를 수정합니다.
• 2023년 3월 29일
  • [SPARK-42668] HDFSStateStoreProvider 중단에서 압축 스트림을 닫는 동안 예외 catch
  • [SPARK-42635] … 수정
  • 운영 체제 보안 업데이트.
• 2023년 3월 14일
  • [SPARK-41162] 집계를 사용하여 셀프 조인에 대한 안티 및 세미 조인 수정
  • [SPARK-33206] 작은 인덱스 파일에 대한 순서 섞기 인덱스 캐시 가중치 계산 수정
  • [SPARK-42484] UnsafeRowUtils 오류 메시지 개선
  • 기타 파일.
• 2023년 2월 28일
  • yyyy-MM-dd date_format에 대해 생성된 열을 지원합니다. 이 변경은 생성된 열의 date_format으로 yyyy-MM-dd에 대한 파티션 정리를 지원합니다.
  • 이제 사용자는 Databricks Runtime 9.1 LTS 이상을 사용하여 판독기 버전 3 및 기록기 버전 7이 필요한 특정 델타 테이블을 읽고 쓸 수 있습니다. 성공하려면 테이블 프로토콜에 나열된 테이블 기능이 현재 버전의 Databricks Runtime에서 지원되어야 합니다.
  • yyyy-MM-dd date_format에 대해 생성된 열을 지원합니다. 이 변경은 생성된 열의 date_format으로 yyyy-MM-dd에 대한 파티션 정리를 지원합니다.
  • 운영 체제 보안 업데이트.
• 2023년 2월 16일
  • [SPARK-30220] 필터 노드 외부의 Exists/In 하위 쿼리 사용 설정
  • 운영 체제 보안 업데이트.
• 2023년 1월 31일
  • JDBC 테이블의 테이블 형식은 이제 기본적으로 EXTERNAL입니다.
• 2023년 1월 18일
  • 열 이름에 공백 또는 세미콜론과 같은 잘못된 캐릭터가 포함된 경우 Azure Synapse 커넥터는 설명을 포함하는 오류 메시지를 반환합니다. 이러한 경우 다음 메시지가 반환됩니다. Azure Synapse Analytics failed to run the JDBC query produced by the connector. Check column names do not include not valid characters such as ';' or white space
  • [SPARK-38277] RocksDB 상태 저장소 커밋 후 쓰기 일괄 처리 지우기
  • [SPARK-41199] DSv1 스트리밍 원본 및 DSv2 스트리밍 원본이 공동으로 사용되는 경우 메트릭 문제 해결
  • [SPARK-41198] CTE 및 DSv1 스트리밍 원본이 있는 스트리밍 쿼리의 메트릭을 수정합니다.
  • [SPARK-41339] 단순히 지우는 대신 RocksDB 쓰기 일괄 처리를 닫고 다시 생성합니다.
  • [SPARK-41732] SessionWindowing 규칙에 트리 패턴 기반 정리를 적용합니다.
  • 운영 체제 보안 업데이트.
• 2022년 11월 29일
  • 사용자는 Redshift 커넥터를 사용하여 데이터를 작성할 때 선행 및 후행 공백의 동작을 구성할 수 있습니다. 공백 처리를 제어하기 위해 다음 옵션이 추가되었습니다.
    • true로 설정하면 csvignoreleadingwhitespace는 tempformat이 CSV 또는 CSV GZIP로 설정된 경우 쓰기 중 값에서 선행 공백을 제거합니다. 구성을 false로 설정하면 공백이 유지됩니다. 기본적으로 값은 true입니다.
    • true로 설정하면 csvignoretrailingwhitespace는 tempformat이 CSV 또는 CSV GZIP로 설정된 경우 쓰기 중 값에서 후행 공백을 제거합니다. 구성을 false로 설정하면 공백이 유지됩니다. 기본적으로 값은 true입니다.
  • 모든 열이 문자열(cloudFiles.inferColumnTypes가 false로 설정되거나 설정되지 않음)으로 남아 있고 JSON에 중첩된 개체가 포함된 경우 자동 로더에서 JSON 구문 분석 문제가 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2022년 11월 15일
  • Apache commons-text를 1.10.0으로 업그레이드했습니다.
  • [SPARK-40646] 구조체, 맵 및 배열에 대한 JSON 구문 분석이 수정되었으므로 레코드의 일부가 스키마와 일치하지 않는 경우 null을 반환하는 대신 나머지 레코드를 올바르게 구문 분석할 수 있습니다. 향상된 동작을 옵트인하려면 spark.sql.json.enablePartialResults를 true로 설정합니다. 플래그는 원래 동작을 유지하기 위해 기본적으로 비활성화됩니다.
  • [SPARK-40292] 중첩된 구조체에서 배열이 참조될 때 arrays_zip 함수의 열 이름 수정
  • 운영 체제 보안 업데이트.
• 2022년 11월 1일
  • Delta 테이블에 _change_type라는 사용자 정의 열이 있지만 해당 테이블에서 데이터 피드 변경이 비활성화된 경우 MERGE를 실행할 때 해당 열의 데이터가 NULL 값으로 잘못 채워지는 문제를 해결했습니다.
  • allowOverwrites가 사용하도록 설정된 경우 동일한 마이크로 일괄 처리에서 파일을 복제할 수 있는 자동 로더 문제를 해결했습니다.
  • [SPARK-40697] 외부 데이터 파일을 커버하는 읽기 쪽 char 패딩 추가
  • [SPARK-40596] ExecutorDecommissionInfo의 메시지로 ExecutorDecommission 채우기
  • 운영 체제 보안 업데이트.
• 2022년 10월 18일
  • 운영 체제 보안 업데이트.
• 2022년 10월 5일
  • [SPARK-40468] _corrupt_record가 선택될 때 CSV에서 열 삭제 수정.
  • 운영 체제 보안 업데이트.
• 2022년 9월 22일
  • 사용자는 spark.conf.set(spark.databricks.io.listKeysWithPrefix.azure.enabled, true)를 설정하여 ADLS Gen2에서 자동 로더에 대한 기본 제공 목록을 다시 사용하도록 설정할 수 있습니다. 기본 제공 목록은 이전에 성능 문제로 인해 꺼졌지만 고객의 스토리지 비용이 증가했을 수 있습니다.
  • [SPARK-40315] ArrayBasedMapData의 리터럴에 해시코드() 추가
  • [SPARK-40213] 라틴어-1 문자에 대한 ASCII 값 변환 지원
  • [SPARK-40380] 계획에 직렬화할 수 없는 리터럴이 포함되지 않도록 InvokeLike의 상수 폴딩 수정
  • [SPARK-38404] 중첩된 CTE가 외부 CTE를 참조할 때 CTE 해상도 개선
  • [SPARK-40089] 일부 10진수 형식에 대한 정렬 수정
  • [SPARK-39887] RemoveRedundantAliases는 프로젝션 노드의 출력을 고유하게 만드는 별칭을 유지해야 함
• 2022년 9월 6일
  • [SPARK-40235] Executor.updateDependencies()에서 동기화되는 대신 인터럽트 가능한 잠금을 사용합니다.
  • [SPARK-40218] GROUPING SETS는 그룹화 열을 유지해야 합니다.
  • [SPARK-39976] ArrayIntersect에서 왼쪽 식의 null을 올바르게 처리해야 합니다.
  • [SPARK-40053] Python 런타임 환경이 필요한 동적 취소 사례에 assume을 추가합니다.
  • [SPARK-35542] 수정: 매개 변수 splitsArray, inputCols 및 outputCols가 있는 여러 열에 대해 만들어진 버킷타이저를 저장 후 로드할 수 없습니다.
  • [SPARK-40079] 빈 입력 사례에 대한 Imputer inputCols 유효성 검사를 추가합니다.
• 2022년 8월 24일
  • [SPARK-39983] 드라이버에서 직렬화되지 않은 브로드캐스트 관계를 캐시하지 않습니다.
  • [SPARK-39775] Avro 스키마를 구문 분석할 때 기본값 유효성 검사 사용 안 합니다.
  • [SPARK-39962] 그룹 특성이 비어 있는 경우 프로젝션 적용
  • [SPARK-37643] charVarcharAsString이 true이면 for char datatype 조건자 쿼리에서 rpadding 규칙을 건너뛰어야 합니다.
  • 운영 체제 보안 업데이트.
• 2022년 8월 9일
  • [SPARK-39847] 호출자 스레드가 중단된 경우 RocksDBLoader.loadLibrary()에서 경합 상태 수정
  • [SPARK-39731] CORRECTED 시간 파서 정책을 사용하여 날짜를 “yyyyMMdd” 형식으로 구문 분석할 때 CSV 및 JSON 데이터 원본의 문제 해결
  • 운영 체제 보안 업데이트.
• 2022년 7월 27일
  • [SPARK-39625] Dataset.as(StructType)를 추가합니다.
  • [SPARK-39689] CSV 데이터 원본에서 2자 lineSep를 지원합니다.
  • [SPARK-39104] InMemoryRelation#isCachedColumnBuffersLoaded는 스레드로부터 안전해야 합니다.
  • [SPARK-39570] 인라인 테이블은 별칭이 있는 식을 허용해야 합니다.
  • [SPARK-39702] 공유 byteRawChannel을 사용하여 TransportCipher$EncryptedMessage의 메모리 오버헤드 줄입니다.
  • [SPARK-39575] AvroDeserializer에서 ByteBuffer#get 다음에 ByteBuffer#rewind를 추가합니다.
  • [SPARK-39476] Long에서 Float/Double로 또는 정수에서 Float로 캐스팅할 때 래핑 해제 캐스트 최적화를 사용 안 합니다.
  • [SPARK-38868] 외부 조인을 최적화할 때 필터 조건자에서 예외를 전파하지 않습니다.
  • 운영 체제 보안 업데이트.
• 2022년 7월 20일
  • 원본이 비결정적일 때 Delta MERGE 작업 결과를 일관되게 만듭니다.
  • [SPARK-39355] 단일 열은 따옴표를 사용하여 UnresolvedAttribute를 구성합니다.
  • [SPARK-39548] 창 절 쿼리가 있는 CreateView 명령에서 잘못된 창 정의를 찾을 수 없음 문제가 발생합니다.
  • [SPARK-39419] 비교자가 null을 반환할 때 예외를 throw하도록 ArraySort를 수정합니다.
  • Azure에서 디렉터리 목록에 대해 자동 로더가 기본 제공 클라우드 API를 사용하는 것을 비활성화했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 7월 5일
  • [SPARK-39376] NATURAL/USING JOIN에서 하위 쿼리 별칭의 별 확장에서 중복 열 숨기기
  • 운영 체제 보안 업데이트.
• 2022년 6월 15일
  • [SPARK-39283] TaskMemoryManager와 UnsafeExternalSorter.SpillableIterator 간의 교착 상태를 수정합니다.
  • [SPARK-39285] Spark는 파일을 읽을 때 필드 이름을 확인하지 않아야 합니다.
  • [SPARK-34096] 오프셋 창에서 null을 무시하는 nth_value의 성능을 개선합니다.
  • [SPARK-36718] CollapseProject에서 isExtractOnly 확인을 수정합니다.
• 2022년 6월 2일
  • [SPARK-39093] 연월 간격 또는 일시 간격을 정수로 나눌 때 코드 생성 컴파일 오류를 방지합니다.
  • [SPARK-38990] date_trunc/trunc 형식을 바인딩된 참조로 평가할 때 NullPointerException을 방지합니다.
  • 운영 체제 보안 업데이트.
• 2022년 5월 18일
  • 자동 로더에서 잠재적인 기본 제공 메모리 누수를 수정합니다.
  • [SPARK-38918] 중첩 열 정리는 현재 관계에 속하지 않는 특성을 필터링합니다.
  • [SPARK-37593] G1GC 및 ON_HEAP이 사용되는 경우 LONG_ARRAY_OFFSET으로 기본 페이지 크기를 축소합니다.
  • [SPARK-39084] 작업 완료 시 반복기를 중지하도록 TaskContext를 사용하여 df.rdd.isEmpty()를 수정합니다.
  • [SPARK-32268] injectBloomFilter에 ColumnPruning을 추가합니다.
  • [SPARK-38974] 목록 함수에서 지정된 데이터베이스 이름으로 등록된 함수를 필터링합니다.
  • [SPARK-38931] 첫 번째 검사점에서 알 수 없는 수의 키를 사용하여 RocksDBFileManager에 대한 루트 dfs 디렉터리를 만듭니다.
  • 운영 체제 보안 업데이트.
• 2022년 4월 19일
  • Java AWS SDK를 버전 1.11.655에서 1.12.1899로 업그레이드했습니다.
  • 일괄 스트리밍 작업에서 Notebook 범위 라이브러리가 작동하지 않는 문제를 해결했습니다.
  • [SPARK-38616] Catalyst TreeNode에서 SQL 쿼리 텍스트 추적
  • 운영 체제 보안 업데이트.
• 2022년 4월 6일
  • 이제 이 릴리스에서 다음 Spark SQL 함수를 사용할 수 있습니다.
    • timestampadd() 및 dateadd(): 타임스탬프 식에 지정된 단위의 시간 기간을 추가합니다.
    • timestampdiff() 및 datediff(): 지정된 단위에서 두 타임스탬프 식 사이의 시간 차이를 계산합니다.
  • Parquet-MR이 1.12.2로 업그레이드되었습니다.
  • parquet 파일의 광범위한 스키마에 대한 지원 개선
  • [SPARK-38631] Utils.unpack에서 un-tarring에 Java 기반 구현을 사용합니다.
  • [SPARK-38509][SPARK-38481] 세 가지 timestmapadd/diff 변경 내용 Cherry-pick.
  • [SPARK-38523] CSV에서 손상된 레코드 열 참조를 수정합니다.
  • [SPARK-38237] ClusteredDistribution의 전체 클러스터링 키 요구를 허용합니다.
  • [SPARK-38437] 데이터 원본에서 datetime의 Lenient serialization합니다.
  • [SPARK-38180] 상관 관계가 있는 같음 조건자에서 안전한 업캐스트 식을 허용합니다.
  • [SPARK-38155] 지원되지 않는 조건자를 사용하여 횡적 하위 쿼리에서 고유 집계를 허용 안 합니다.
  • 운영 체제 보안 업데이트.

Databricks Runtime 9.1 LTS

Databricks Runtime 9.1 LTS를 참조하세요.

• 2024년 11월 5일
  • 운영 체제 보안 업데이트.
• 2024년 10월 22일
  • 운영 체제 보안 업데이트.
• 2024년 10월 10일
  • 운영 체제 보안 업데이트.
• 2024년 9월 25일
  • [SPARK-49000][SQL] RewriteDistinctAggregates를 확장하여 t가 빈 테이블인 경우 "select count(distinct 1 from t") 수정
  • 운영 체제 보안 업데이트.
• 2024년 9월 6일
  • 운영 체제 보안 업데이트.
• 2024년 8월 29일
  • [SPARK-49065][SQL] 레거시 포맷터/파서의 재지정은 비 JVM 기본 표준 시간대를 지원해야 합니다.
• 2024년 8월 14일
• 2024년 8월 1일
  • 운영 체제 보안 업데이트.
• 2024년 7월 11일
  • 운영 체제 보안 업데이트.
• 2024년 6월 17일
  • 운영 체제 보안 업데이트.
• 2024년 5월 21일
  • [SPARK-48105][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • 운영 체제 보안 업데이트.
• 2024년 5월 9일
  • [SPARK-47973][CORE] SparkContext.stop() 및 이후 SparkContext.assertNotStopped()에 호출 사이트 기록
  • [SPARK-44251][SQL] 완전 외부 USING 조인의 병합된 조인 키에서 null 허용을 올바르게 설정
  • 운영 체제 보안 업데이트.
• 2024년 4월 25일
  • 기타 버그가 수정되었습니다.
• 2024년 4월 11일
  • 운영 체제 보안 업데이트.
• 2024년 4월 1일
  • “[SPARK-46861][CORE] DAGScheduler에서 교착 상태 방지” 되돌리기
  • 운영 체제 보안 업데이트.
• 2024년 3월 14일
  • 운영 체제 보안 업데이트.
• 2024년 2월 29일
  • MERGE 명령에서 로컬 컬렉션을 원본으로 사용하면 작업 메트릭 numSourceRows가 올바른 행 수를 두 배로 보고할 수 있는 문제가 해결되었습니다.
  • 운영 체제 보안 업데이트.
• 2024년 2월 13일
  • [SPARK-46861] DAGScheduler에서 교착 상태를 방지합니다.
  • 운영 체제 보안 업데이트.
• 2024년 1월 31일
  • 운영 체제 보안 업데이트.
• 2023년 12월 25일
  • TLSv1.3을 통해 통신할 때 대기 시간이 증가하지 않도록 하기 위해 이 유지 관리 릴리스에는 JDK 버그 JDK-8293562를 수정하기 위한 JDK 8 설치 패치가 포함되어 있습니다.
  • [SPARK-46058] privateKeyPassword에 별도의 플래그를 추가합니다.
  • [SPARK-39440] 이벤트 타임라인을 사용 중지하는 구성을 추가합니다.
  • [SPARK-46132] RPC SSL의 JKS 키에 대한 키 암호를 지원합니다.
• 2023년 12월 14일
  • 운영 체제 보안 업데이트.
• 2023년 11월 29일
  • PyArrow RCE 취약성을 수정하기 위해 새 패키지 pyarrow-hotfix를 설치했습니다.
  • [SPARK-45859] UDF 개체를 ml.functions 지연으로 만들었습니다.
  • [SPARK-45544] TransportContext에 대한 SSL 지원이 통합되었습니다.
  • [SPARK-45730] ReloadingX509TrustManagerSuite에 대한 시간 제약 조건이 개선되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 11월 14일
  • [SPARK-45545] SparkTransportConf는 생성 시 SSLOptions을 상속합니다.
  • [SPARK-45429] SSL RPC 통신을 위한 도우미 클래스가 추가되었습니다.
  • [SPARK-45427] SSLOptions 및 SparkTransportConf에 RPC SSL 설정이 추가되었습니다.
  • [SPARK-45584] TakeOrderedAndProjectExec를 사용하여 하위 쿼리 실행 실패를 수정했습니다.
  • [SPARK-45541] SSLFactory가 추가되었습니다.
  • [SPARK-42205] 작업 및 스테이지 시작 이벤트의 accumulables 로깅을 제거했습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 24일
  • [SPARK-45426] ReloadingX509TrustManager에 대한 지원이 추가되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 10월 13일
  • 운영 체제 보안 업데이트.
• 2023년 9월 10일
  • 기타 파일.
• 2023년 8월 30일
  • 운영 체제 보안 업데이트.
• 2023년 8월 15일
  • 운영 체제 보안 업데이트.
• 2023년 6월 23일
  • Snowflake-jdbc 라이브러리는 보안 문제를 해결하기 위해 3.13.29로 업그레이드됩니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 15일
  • [SPARK-43098] 스칼라 하위 쿼리에 group by 절이 있는 경우 정확성 COUNT 버그를 수정합니다.
  • [SPARK-43156][SPARK-43098] decorrelateInnerQuery이 비활성화된 스칼라 하위 쿼리 수 버그 테스트를 확장합니다.
  • [SPARK-40862] RewriteCorrelatedScalarSubquery에서 집계되지 않은 하위 쿼리를 지원합니다.
  • 운영 체제 보안 업데이트.
• 2023년 6월 2일
  • failOnUnknownFields 모드의 JSON 파서는 DROPMALFORMED 모드에서 레코드를 삭제하고 FAILFAST 모드에서 바로 실패합니다.
  • UnknownFieldException를 방지하기 위해 JSON에서 복구된 데이터를 구문 분석하는 문제를 해결했습니다.
  • 제공된 스키마에 유추 파티션이 포함되지 않은 경우 다른 원본 파일 형식이 일치하지 않는 자동 로더의 문제가 해결되었습니다. 이 문제로 인해 유추된 파티션 스키마에 열이 없는 파일을 읽을 때 예기치 않은 오류가 발생할 수 있습니다.
  • [SPARK-37520] startswith() 및 endswith() 문자열 함수 추가
  • [SPARK-43413] IN 하위 쿼리 ListQuery null 허용 여부가 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2023년 5월 17일
  • 운영 체제 보안 업데이트.
• 2023년 4월 25일
  • 운영 체제 보안 업데이트.
• 2023년 4월 11일
  • 중첩된 JSON 개체의 스키마에서 새 열이 검색될 때 자동 로더 스키마 진화가 무한 장애 루프로 전환될 수 있는 문제가 수정되었습니다.
  • [SPARK-42967] 스테이지가 취소된 후 작업이 시작될 때 SparkListenerTaskStart.stageAttemptId를 수정합니다.
• 2023년 3월 29일
  • 운영 체제 보안 업데이트.
• 2023년 3월 14일
  • [SPARK-42484] UnsafeRowUtils에 대한 오류 메시지가 개선되었습니다.
  • 기타 파일.
• 2023년 2월 28일
  • 이제 사용자는 Databricks Runtime 9.1 LTS 이상을 사용하여 판독기 버전 3 및 기록기 버전 7이 필요한 특정 델타 테이블을 읽고 쓸 수 있습니다. 성공하려면 테이블 프로토콜에 나열된 테이블 기능이 현재 버전의 Databricks Runtime에서 지원되어야 합니다.
  • 운영 체제 보안 업데이트.
• 2023년 2월 16일
  • 운영 체제 보안 업데이트.
• 2023년 1월 31일
  • JDBC 테이블의 테이블 형식은 이제 기본적으로 EXTERNAL입니다.
• 2023년 1월 18일
  • 운영 체제 보안 업데이트.
• 2022년 11월 29일
  • 모든 열이 문자열(cloudFiles.inferColumnTypes가 false로 설정되거나 설정되지 않음)으로 남아 있고 JSON에 중첩된 개체가 포함된 경우 자동 로더에서 JSON 구문 분석 문제가 수정되었습니다.
  • 운영 체제 보안 업데이트.
• 2022년 11월 15일
  • Apache commons-text를 1.10.0으로 업그레이드했습니다.
  • 운영 체제 보안 업데이트.
  • 기타 파일.
• 2022년 11월 1일
  • Delta 테이블에 _change_type라는 사용자 정의 열이 있지만 해당 테이블에서 데이터 피드 변경이 비활성화된 경우 MERGE를 실행할 때 해당 열의 데이터가 NULL 값으로 잘못 채워지는 문제를 해결했습니다.
  • allowOverwrites가 사용하도록 설정된 경우 동일한 마이크로 일괄 처리에서 파일을 복제할 수 있는 자동 로더 문제를 해결했습니다.
  • [SPARK-40596] ExecutorDecommissionInfo의 메시지로 ExecutorDecommission 채우기
  • 운영 체제 보안 업데이트.
• 2022년 10월 18일
  • 운영 체제 보안 업데이트.
• 2022년 10월 5일
  • 기타 파일.
  • 운영 체제 보안 업데이트.
• 2022년 9월 22일
  • 사용자는 spark.conf.set("spark.databricks.io.listKeysWithPrefix.azure.enabled", "true")를 설정하여 ADLS Gen2에서 자동 로더에 대한 기본 제공 목록을 다시 사용하도록 설정할 수 있습니다. 기본 제공 목록은 이전에 성능 문제로 인해 꺼졌지만 고객의 스토리지 비용이 증가했을 수 있습니다.
  • [SPARK-40315] ArrayBasedMapData의 리터럴에 해시코드() 추가
  • [SPARK-40089] 일부 10진수 형식에 대한 정렬 수정
  • [SPARK-39887] RemoveRedundantAliases는 프로젝션 노드의 출력을 고유하게 만드는 별칭을 유지해야 함
• 2022년 9월 6일
  • [SPARK-40235] Executor.updateDependencies()에서 동기화되는 대신 인터럽트 가능한 잠금 사용
  • [SPARK-35542] 수정: 매개 변수 splitsArray, inputCols 및 outputCols가 있는 여러 열에 대해 만들어진 버킷타이저를 저장 후 로드할 수 없음
  • [SPARK-40079] 빈 입력 사례에 대한 Imputer inputCols 유효성 검사 추가
• 2022년 8월 24일
  • [SPARK-39666] UnsafeProjection.create를 사용하여 ExpressionEncoder에 spark.sql.codegen.factoryMode 적용
  • [SPARK-39962] 그룹 특성이 비어 있는 경우 프로젝션 적용
  • 운영 체제 보안 업데이트.
• 2022년 8월 9일
  • 운영 체제 보안 업데이트.
• 2022년 7월 27일
  • 원본이 비결정적일 때 Delta MERGE 작업 결과를 일관되게 만듭니다.
  • [SPARK-39689] CSV 데이터 원본에서 2자 lineSep 지원
  • [SPARK-39575] AvroDeserializer에 ByteBuffer#get 후에 ByteBuffer#rewind를 추가했습니다.
  • [SPARK-37392] 촉매 최적화 프로그램의 성능 오류를 수정했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 7월 13일
  • [SPARK-39419] 비교자가 null을 반환할 때 ArraySort가 예외를 throw
  • Azure에서 디렉터리 목록에 대해 자동 로더가 기본 제공 클라우드 API를 사용하는 것을 비활성화했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 7월 5일
  • 운영 체제 보안 업데이트.
  • 기타 파일.
• 2022년 6월 15일
  • [SPARK-39283] TaskMemoryManager 및 UnsafeExternalSorter.SpillableIterator 사이의 교착 상태를 수정했습니다.
• 2022년 6월 2일
  • [SPARK-34554] ColumnarMap에서 copy() 메서드를 구현합니다.
  • 운영 체제 보안 업데이트.
• 2022년 5월 18일
  • 자동 로더에서 잠재적인 기본 제공 메모리 누수를 수정했습니다.
  • AWS SDK 버전을 1.11.655에서 1.11.678로 업그레이드합니다.
  • [SPARK-38918] 중첩 열 정리는 현재 관계에 속하지 않는 특성을 필터링함
  • [SPARK-39084] 작업 완료 시 반복기를 중지하는 TaskContext을 사용하여 df.rdd.isEmpty() 수정
  • 운영 체제 보안 업데이트.
• 2022년 4월 19일
  • 운영 체제 보안 업데이트.
  • 기타 파일.
• 2022년 4월 6일
  • [SPARK-38631] Utils.unpack에서 un-tarring에 Java 기반 구현을 사용합니다.
  • 운영 체제 보안 업데이트.
• 2022년 3월 22일
  • 테이블 액세스 제어 또는 자격 증명 통과를 사용하도록 설정한 높은 동시성 클러스터에서 Notebook의 현재 작업 디렉터리는 이제 사용자의 홈 디렉터리입니다. 이전에는 Active Directory가 /databricks/driver였습니다.
  • [SPARK-38437] 데이터 원본에서 datetime의 Lenient serialization
  • [SPARK-38180] 상관 관계가 있는 같음 조건자에서 안전한 업캐스트 식 허용
  • [SPARK-38155] 지원되지 않는 조건자를 사용하여 횡적 하위 쿼리에서 고유 집계 허용 안 함
  • [SPARK-27442] parquet에서 데이터를 읽고 쓸 때 확인 필드를 제거했습니다.
• 2022년 3월 14일
  • [SPARK-38236] create/alter table에 지정된 절대 파일 경로는 상대 경로로 처리됩니다.
  • [SPARK-34069] 로컬 속성 SPARK_JOB_INTERRUPT_ON_CANCEL이 true로 설정된 경우 작업 스레드를 중단합니다.
• 2022년 2월 23일
  • [SPARK-37859] Spark 3.1에서 JDBC로 만들어진 SQL 테이블을 Spark 3.2에서 읽을 수 없는 문제가 수정되었습니다.
• 2022년 2월 8일
  • [SPARK-27442] parquet에서 데이터를 읽고 쓸 때 확인 필드를 제거했습니다.
  • 운영 체제 보안 업데이트.
• 2022년 2월 1일
  • 운영 체제 보안 업데이트.
• 2022년 1월 26일
  • Delta 테이블의 동시 트랜잭션이 특정 드문 조건에서 직렬화할 수 없는 순서로 커밋될 수 있는 문제가 수정되었습니다.
  • ANSI SQL 언어가 사용하도록 설정된 경우 OPTIMIZE 명령이 실패할 수 있는 문제가 수정되었습니다.
• 2022년 1월 19일
  • 사소한 수정 및 보안 개선 사항.
  • 운영 체제 보안 업데이트.
• 2021년 11월 4일
  • ArrayIndexOutOfBoundsException를 사용하여 구조적 스트리밍 스트림이 실패할 수 있는 문제를 해결했습니다.
  • java.io.IOException: No FileSystem for scheme과 같은 IOException으로 쿼리 실패를 일으키거나 sparkContext.hadoopConfiguration에 대한 수정 사항이 쿼리에 적용되지 않을 수 있는 경합 상태가 수정되었습니다.
  • Delta 공유용 Apache Spark 커넥터가 0.2.0으로 업그레이드되었습니다.
• 2021년 10월 20일
  • BigQuery 커넥터가 0.18.1에서 0.22.2로 업그레이드되었습니다. 이렇게 하면 BigNumeric 형식에 대한 지원이 추가됩니다.