다음을 통해 공유

Databricks Runtime 16.0

  • 아티클

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 16.0에 대한 정보를 제공합니다.

Databricks는 2024년 11월에 이 버전을 릴리스했습니다.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

동작 변경 내용

호환성이 손상되는 변경: JDK 17이 이제 기본값입니다.

Databricks Runtime 16.0 이상에서는 기본 JDK 버전이 JDK 8에서 JDK 17로 전환됩니다. 이 변경은 JDK 8에 대한 계획된 사용 중단 및 지원 종료로 인해 수행됩니다. 이는 다음 사항에 영향을 줍니다.

  • Azure Databricks 컴퓨팅에서 실행되는 Java 코드는 Java 17과 호환되어야 합니다.
  • Notebook 또는 Azure Databricks 컴퓨팅에서 실행되는 Scala 코드는 Java 17과 호환되어야 합니다.
  • 컴퓨팅에 설치된 Java 및 Scala 라이브러리는 Java 17과 호환되어야 합니다.
  • 2.x 미만의 Apache Hive 메타스토어 클라이언트 버전입니다. Spark 구성 spark.sql.hive.metastore.version 을 2.x보다 낮은 버전으로 설정하면 Java 17과의 호환성 문제 및 Hive 메타스토어에 대한 연결 오류가 발생합니다. Databricks는 Hive를 2.0.0 이상의 버전으로 업그레이드하는 것이 좋습니다.

Java 8로 되돌려야 하는 경우 Azure Databricks 컴퓨팅을 구성할 때 Spark 환경 변수에 다음을 추가합니다.

JNAME=zulu8-ca-amd64

ARM 인스턴스를 사용하는 경우 다음을 사용합니다.

JNAME=zulu8-ca-arm64

Azure Databricks 컴퓨팅을 사용하여 JDK 버전을 지정하는 방법에 대한 자세한 내용은 JDK 17을 사용하는 클러스터 만들기를 참조하세요.

Java 8에서 코드를 마이그레이션하는 데 도움이 되는 내용은 다음 가이드를 참조하세요.

호환성이 손상되는 변경: 호스트된 RStudio는 수명이 다합니다.

이 릴리스에서 Databricks 호스팅 RStudio Server는 수명이 종료되며 Databricks Runtime 16.0 이상을 실행하는 모든 Azure Databricks 작업 영역에서 사용할 수 없습니다. 자세한 내용을 알아보고 RStudio에 대한 대안 목록을 보려면 Hosted RStudio Server 사용 중단을 참조 하세요.

호환성이 손상되는 변경: 변경 int byteshort에 대한 지원 제거 및 long 형식을 더 넓은 형식으로

Databricks Runtime 15.4.3 이상에서는 형식 확장 기능을 사용하도록 설정된 테이블에 다음 데이터 형식 변경 내용을 더 이상 적용할 수 없습니다.

  • byte, short및 int long to.decimal
  • byte, short및 int to.double

이러한 변경은 Delta 및 Iceberg 테이블에서 일관된 동작을 보장하기 위해 수행됩니다. 형식 확대에 대한 자세한 내용은 형식 확대를 참조 하세요.

중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석

이 릴리스에는 중첩된 문자 그룹화에서 부정을 사용하여 regex 패턴의 올바른 구문 분석을 지원하기 위한 변경 내용이 포함되어 있습니다. 예를 들어 [^[abc]] "'abc' 중 하나가 아닌 문자"로 구문 분석됩니다.

또한 Photon 동작이 중첩된 문자 클래스의 Spark와 일치하지 않았습니다. 중첩된 문자 클래스를 포함하는 Regex 패턴은 더 이상 Photon을 사용하지 않고 대신 Spark를 사용합니다. 중첩 문자 클래스는 대괄호 안에 대괄호를 포함하는 패턴입니다(예: [[a-c][1-3]].).

Delta Lake에서 중복 일치 검색 개선 MERGE

Databricks Runtime 15.4 LTS 이하 MERGE 에서 원본 테이블의 행이 절에 지정된 ON 조건에 따라 MERGE 대상 테이블의 동일한 행과 일치하면 작업이 실패합니다. Databricks Runtime 16.0 이상 MERGE 에서는 절에 WHEN MATCHED 지정된 조건도 고려합니다. 병합을 사용하여 Delta Lake 테이블에 Upsert를 참조 하세요.

클러스터 라이브러리 설치 방법을 더 이상 재정의할 수 없습니다.

Spark 구성은 spark.databricks.libraries.enableSparkPyPIspark.databricks.libraries.enableMavenResolutionspark.databricks.libraries.enableCRANResolutionnow 기본값 true 이며 재정의할 수 없습니다.

클러스터 범위 라이브러리 설치에 대한 기본 시간 제한 2시간

Databricks Runtime 16.0 이상에서 클러스터 범위 라이브러리 설치의 기본 시간 제한은 2시간입니다. 이 시간 제한보다 오래 걸리는 라이브러리 설치가 실패하고 설치가 종료됩니다. 클러스터를 구성할 때 Spark 구성 spark.databricks.driver.clusterLibraryInstallationTimeoutSec을 사용하여 시간 제한 기간을 변경할 수 있습니다.

DBFS에서 라이브러리 설치 및 spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed 설정이 비활성화됨

Databricks Runtime 16.0 이상에서는 DBFS에서 라이브러리를 설치할 수 없습니다. 이 변경 내용은 Databricks 작업 영역에서 라이브러리의 보안을 개선하기 위해 수행됩니다. 또한 Databricks Runtime 16.0 이상에서는 더 이상 Spark 구성 spark.databricks.driver.dbfsLibraryInstallationAllowed을 사용할 수 없습니다.

addArtifact() 이제 컴퓨팅 유형 간에 기능이 일관됩니다.

이 릴리스에서는 공유 또는 서버리스 Azure Databricks 컴퓨팅에 종속성을 추가하는 데 사용할 addArtifact(archive = True) 때 보관이 자동으로 압축 해제됩니다. 이렇게 변경하면 이러한 컴퓨팅 형식에 대한 'addArtifact(archive = True) 동작이 단일 사용자 컴퓨팅과 일치하며, 이는 이미 자동으로 압축 풀기를 지원합니다.

새로운 기능 및 향상 기능

향상된 기능으로 수정된 Python 모듈을 보다 안정적으로 다시 로드 autoreload

Databricks Runtime 16.0 이상에서 확장 업데이트 autoreload 는 작업 영역 파일에서 가져온 수정된 Python 모듈을 다시 로드하는 안전성과 안정성을 향상시킵니다. 이러한 변경 내용을 autoreload사용하면 가능하면 전체 모듈 대신 변경된 모듈의 부분만 다시 로드합니다. 또한 이제 Azure Databricks는 모듈이 autoreload 마지막 가져오기 이후 변경된 경우 확장을 사용하는 것을 자동으로 제안합니다. Python 모듈에 대한 자동 로드를 참조 하세요.

재귀 스키마에 대한 Avro 지원

이제 함수 및 avro 데이터 원본에서 from_avro 이 옵션을 사용할 recursiveFieldMaxDepth 수 있습니다. 이 옵션은 Avro 데이터 원본의 스키마 재귀에 대한 최대 깊이를 설정합니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조 하세요.

Avro용 Confluent 스키마 레지스트리에 대한 확장된 지원

이제 Azure Databricks는 Confluent 스키마 레지스트리를 사용하여 Avro 스키마 참조를 지원합니다. 외부 Confluent 스키마 레지스트리에 대한 인증을 참조 하세요.

액체 클러스터링을 사용하여 테이블에 강제 클러스터링

Databricks Runtime 16.0 이상에서는 구문을 사용하여 OPTIMIZE FULL 액체 클러스터링을 사용하도록 설정된 테이블의 모든 레코드를 강제로 클러스터링할 수 있습니다. 모든 레코드에 대한 강제 클러스터링을 참조하세요.

Python 및 Scala용 델타 API는 이제 ID 열을 지원합니다.

이제 Python 및 Scala용 델타 API를 사용하여 ID 열이 있는 테이블을 만들 수 있습니다. Delta Lake에서 ID 열 사용을 참조하세요.

단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 일반적으로 사용할 수 있습니다.

Databricks Runtime 16.0 이상에서는 단일 사용자 컴퓨팅에 대한 세분화된 액세스 제어를 일반적으로 사용할 수 있습니다. 서버리스 컴퓨팅에 사용하도록 설정된 작업 영역에서 단일 사용자 컴퓨팅과 같은 지원되는 컴퓨팅에서 쿼리가 실행되고 쿼리가 다음 개체에 액세스하는 경우 컴퓨팅 리소스는 쿼리를 서버리스 컴퓨팅에 전달하여 데이터 필터링을 실행합니다.

  • 사용자에게 권한이 없는 테이블에 대해 정의된 뷰입니다 SELECT .
  • 동적 뷰.
  • 행 필터 또는 열 마스크가 적용된 테이블입니다.
  • 구체화된 뷰 및 스트리밍 테이블.

스트리밍 쓰기 중에 액체 클러스터형 테이블 만들기

이제 구조적 스트리밍 쓰기를 사용하여 새 테이블을 만들 때 액체 클러스터링을 사용하도록 clusterBy 설정할 수 있습니다. 액체 클러스터링 사용을 참조하세요.

OPTIMIZE FULL 절 지원

Databricks Runtime 16.0은 OPTIMIZE FULL 절을 지원합니다. 이 절은 이전에 클러스터링되었을 수 있는 데이터를 포함하여 액체 클러스터링을 사용하는 테이블의 모든 레코드를 최적화합니다.

INSERT 및 테이블 참조의 WITH 옵션 사양 지원

Databricks Runtime 16.0은 데이터 원본의 INSERT 동작을 제어하는 데 사용할 수 있는 문의 테이블 참조 및 테이블 이름에 대한 옵션 사양을 지원합니다.

새 SQL 함수

Databricks Runtime 16.0에 다음 SQL 함수가 추가됩니다.

  • try_url_decode

    이 함수는 오류에 관대한 url_decode 버전입니다. 이 함수는 입력이 유효한 URL로 인코딩된 문자열이 아닌 경우 반환 NULL 합니다.

  • zeroifnull

    함수에 대한 zeroifnull() 입력 식이 NULL있으면 함수는 0을 반환합니다. 그렇지 않으면 입력 식의 값이 반환됩니다.

  • nullifzero

    입력이 0이거나 입력이 0이 아니면 해당 입력을 반환 NULL 합니다. 함수에 대한 입력 식이 nullifzero() 0이면 함수가 반환됩니다 NULL. 입력 식이 0이 아니면 입력 식의 값이 반환됩니다.

델타 테이블에 데이터를 병합할 때 자동 스키마 진화 사용

이 릴리스는 클래스의 멤버에 withSchemaEvolution() 대한 지원을 추가합니다 DeltaMergeBuilder . 작업 중에 MERGE 자동 스키마 진화를 사용하도록 설정하는 데 사용합니다withSchemaEvolution(). 예들 들어 mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}입니다.

기타 변경 사항

이제 SparkR이 더 이상 사용되지 않습니다.

Databricks Runtime 16.0 이상에서 Databricks의 SparkR은 향후 Spark 4 릴리스에서 사용 중단에 대비하여 더 이상 사용되지 않습니다. Apache Spark 사용되지 않는 SparkR 스레드를 참조하세요.

Databricks는 대신 sparklyr를 사용하는 것이 좋습니다.

Databricks Runtime 16.0은 PVC에서 지원되지 않습니다.

Databricks Runtime 16.0은 Databricks PVC(프라이빗 가상 클라우드)에서 지원되지 않습니다. 모든 PVC 릴리스에서 Databricks Runtime 15.4 이하를 사용해야 합니다.

버그 수정

이제 자동 로더가 빈 스키마를 사용하여 Avro 레코드 형식을 복구합니다.

자동 로더 record 를 사용하여 Avro 파일을 델타 테이블에 로드하는 경우 이제 빈 스키마가 있는 파일의 형식이 구조된 데이터 열에 추가됩니다. 빈 복합 데이터 형식을 델타 테이블에 수집할 수 없으므로 일부 Avro 파일을 로드하는 문제를 해결합니다. 구조된 데이터에 대한 자세한 내용은 구조된 데이터 열이란?을 참조하세요.

두 번째 오프셋이 포함된 표준 시간대를 사용하여 타임스탬프를 작성하는 동안 오류가 발생했습니다.

이 릴리스는 두 번째 오프셋이 포함된 표준 시간대를 사용하여 일부 타임스탬프에 영향을 주는 버그를 수정합니다. 이 버그로 인해 JSON, XML 또는 CSV에 쓸 때 초가 생략되어 잘못된 타임스탬프 값이 발생합니다.

이전 동작으로 돌아가려면 영향을 받는 형식 .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")중 하나에 쓸 때 다음 옵션을 사용합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • azure-core 1.30.2에서 1.31.0으로
    • azure-storage-blob 12.19.1에서 12.23.0으로
    • azure-storage-file-datalake 12.14.0에서 12.17.0으로
    • 검정 23.3.0에서 24.4.2로
    • 1.4에서 1.7.0으로 깜박임
    • boto3에서 1.34.39에서 1.34.69로
    • botocore from 1.34.39 to 1.34.69
    • 2023.7.22에서 2024.6.2로 인증
    • cffi에서 1.15.1에서 1.16.0으로
    • 8.0.4에서 8.1.7로 클릭
    • 0.1.2에서 0.2.1로 커밋
    • 1.0.5에서 1.2.0까지의 윤곽
    • 41.0.3에서 42.0.5로 암호화
    • Cython에서 0.29.32에서 3.0.11로
    • databricks-sdk 0.20.0에서 0.30.0으로
    • dbus-python에서 1.2.18에서 1.3.2로
    • filelock from 3.13.4 to 3.15.4
    • fonttools from 4.25.0 to 4.51.0
    • GitPython에서 3.1.43에서 3.1.37로
    • google-api-core 2.18.0에서 2.20.0으로
    • google-auth from 2.31.0 to 2.35.0
    • google-cloud-storage 2.17.0에서 2.18.2로
    • 1.5.0에서 1.6.0까지의 google-crc32c
    • google-resumable-media 2.7.1에서 2.7.2로
    • googleapis-common-protos 1.63.2에서 1.65.0으로
    • httplib2 from 0.20.2 to 0.20.4
    • idna from 3.4 to 3.7
    • ipykernel 6.25.1에서 6.28.0으로
    • ipython from 8.15.0 to 8.25.0
    • 0.18.1에서 0.19.1까지의 제다이
    • jmespath from 0.10.0 to 1.0.1
    • joblib에서 1.2.0에서 1.4.2로
    • jupyter_client 7.4.9에서 8.6.0으로
    • jupyter_core 5.3.0에서 5.7.2로
    • launchpadlib에서 1.10.16에서 1.11.0으로
    • lazr.restfulclient from 0.14.4 to 0.14.6
    • matplotlib 3.7.2에서 3.8.4로
    • mlflow-skinny from 2.11.4 to 2.15.1
    • more-itertools from 8.10.0 to 10.3.0
    • mypy-extensions from 0.4.3 to 1.0.0
    • nest-asyncio에서 1.5.6에서 1.6.0으로
    • numpy from 1.23.5 to 1.26.4
    • oauthlib에서 3.2.0에서 3.2.2로
    • 23.2에서 24.1로 패키징
    • patsy from 0.5.3 to 0.5.6
    • pip from 23.2.1 to 24.2
    • 5.9.0에서 5.22.0으로 플롯
    • prompt-toolkit from 3.0.36 to 3.0.43
    • 14.0.1에서 15.0.2까지의 pyarrow
    • 1.10.6에서 2.8.2로의 pydantic
    • 3.42.1에서 3.48.2로 PyGObject
    • PyJWT 2.3.0에서 2.7.0으로
    • 4.0.38에서 5.0.1까지의 pyodbc
    • python-dateutil from 2.8.2 to 2.9.0.post0
    • python-lsp-jsonrpc에서 1.1.1에서 1.1.2로
    • pytz from 2022.7 to 2024.1
    • 6.0에서 6.0.1까지의 PyYAML
    • pyzmq from 23.2.0 to 25.1.2
    • 2.31.0에서 2.32.2로 요청
    • scikit-learn from 1.3.0 to 1.4.2
    • scipy from 1.11.1 to 1.13.1
    • seaborn from 0.12.2 to 0.13.2
    • setuptools from 68.0.0 to 74.0.0
    • smmap from 5.0.1 to 5.0.0
    • sqlparse from 0.5.0 to 0.5.1
    • statsmodels 0.14.0에서 0.14.2로
    • 토네이도 6.3.2에서 6.4.1로
    • traitlets from 5.7.1 to 5.14.3
    • typing_extensions 4.10.0에서 4.11.0으로
    • ujson을 5.4.0에서 5.10.0으로
    • virtualenv 20.24.2에서 20.26.2로
    • 휠을 0.38.4에서 0.43.0으로
    • zipp from 3.11.0 to 3.17.0
  • 업그레이드된 R 라이브러리:
    • 화살표를 14.0.0.2에서 16.1.0으로
    • 1.4.1에서 1.5.0까지의 백포트
    • base from 4.3.2 to 4.4.0
    • bitops from 1.0-7 to 1.0-8
    • 1.3-28에서 1.3-30으로 부팅
    • brio from 1.1.4 to 1.1.5
    • 빗자루 1.0.5에서 1.0.6까지
    • bslib from 0.6.1 to 0.8.0
    • cachem from 1.0.8 to 1.1.0
    • 3.7.3에서 3.7.6까지의 호출자
    • cli from 3.6.2 to 3.6.3
    • clock from 0.7.0 to 0.7.1
    • 클러스터를 2.1.4에서 2.1.6으로
    • codetools from 0.2-19 to 0.2-20
    • colorspace from 2.1-0 to 2.1-1
    • 컴파일러 4.3.2에서 4.4.0으로
    • 1.5.2에서 1.5.3까지의 크레용
    • curl from 5.2.0 to 5.2.1
    • data.table from 1.15.0 to 1.15.4
    • 4.3.2에서 4.4.0까지의 데이터 세트
    • DBI 1.2.1에서 1.2.3으로
    • dbplyr에서 2.4.0에서 2.5.0으로
    • 다이제스트 0.6.34에서 0.6.36으로
    • 0.4.3에서 0.4.4로 다운라이트
    • 0.23에서 0.24.0으로 평가
    • 2.1.1에서 2.1.2로 멀리
    • fastmap from 1.1.1 to 1.2.0
    • 0.8-85에서 0.8-86으로 외화
    • fs from 1.6.3 to 1.6.4
    • 이후 1.33.1에서 1.34.0으로
    • future.apply from 1.11.1 to 1.11.2
    • gert from 2.0.1 to 2.1.0
    • ggplot2에서 3.4.4에서 3.5.1로
    • gh에서 1.4.0에서 1.4.1로
    • globals from 0.16.2 to 0.16.3
    • 그래픽 4.3.2에서 4.4.0으로
    • grDevices 4.3.2에서 4.4.0으로
    • 그리드를 4.3.2에서 4.4.0으로
    • 0.10.1에서 0.11.0으로 gt
    • 0.3.4에서 0.3.5까지 gtable
    • hardhat from 1.3.1 to 1.4.0
    • 0.10에서 0.11로 높음
    • htmltools from 0.5.7 to 0.5.8.1
    • httpuv from 1.6.14 to 1.6.15
    • httr2에서 1.0.0에서 1.0.2로
    • 0.9-14에서 0.9-15로 ipred
    • KernSmooth에서 2.23-21에서 2.23-22로
    • 1.45에서 1.48까지의 니트러
    • lattice from 0.21-8 to 0.22-5
    • 용암 1.7.3 ~ 1.8.0
    • markdown from 1.12 to 1.13
    • MASS from 7.3-60 to 7.3-60.0.1
    • 1.5-4.1에서 1.6-5까지의 행렬
    • 메서드를 4.3.2에서 4.4.0으로
    • mgcv from 1.8-42 to 1.9-1
    • mlflow에서 2.10.0에서 2.14.1로
    • munsell from 0.5.0 to 0.5.1
    • nlme from 3.1-163 to 3.1-165
    • openssl from 2.1.1 to 2.2.0
    • 4.3.2에서 4.4.0으로 병렬 처리
    • 병렬로 1.36.0에서 1.38.0으로
    • pkgbuild 1.4.3에서 1.4.4로
    • pkgdown from 2.0.7 to 2.1.0
    • pkgload from 1.3.4 to 1.4.0
    • processx from 3.8.3 to 3.8.4
    • prodlim from 2023.08.28 to 2024.06.25
    • 1.2.1에서 1.3.0으로 약속
    • ps from 1.7.6 to 1.7.7
    • ragg from 1.2.7 to 1.3.2
    • Rcpp에서 1.0.12에서 1.0.13으로
    • RcppEigen 0.3.3.9.4에서 0.3.4.0.0으로
    • reactR을 0.5.0에서 0.6.0으로
    • 1.0.9에서 1.1.0까지의 레시피
    • 원격을 2.4.2.1에서 2.5.0으로
    • reprex from 2.1.0 to 2.1.1
    • 1.1.3에서 1.1.4로의 rlang
    • rmarkdown from 2.25 to 2.27
    • roxygen2에서 7.3.1에서 7.3.2로
    • rpart from 4.1.21 to 4.1.23
    • RSQLite 2.3.5에서 2.3.7로
    • rstudioapi 0.15.0에서 0.16.0으로
    • rvest from 1.0.3 to 1.0.4
    • sass from 0.4.8 to 0.4.9
    • 도형을 1.4.6에서 1.4.6.1로
    • 1.8.0에서 1.9.1로 반짝입니다.
    • sparklyr from 1.8.4 to 1.8.6
    • 7.3-15에서 7.3-17까지의 공간
    • 4.3.2에서 4.4.0까지의 스플라인
    • 통계는 4.3.2에서 4.4.0으로
    • stats4에서 4.3.2에서 4.4.0으로
    • stringi from 1.8.3 to 1.8.4
    • 3.5-5에서 3.6-4까지의 생존
    • swagger from 3.33.1 to 5.17.14.1
    • systemfonts from 1.0.5 to 1.1.0
    • tcltk from 4.3.2 to 4.4.0
    • testthat from 3.2.1 to 3.2.1.1
    • textshaping from 0.3.7 to 0.4.0
    • 1.2.0에서 1.2.1로 tidyselect
    • tinytex from 0.49 to 0.52
    • 4.3.2에서 4.4.0까지의 도구
    • usethis from 2.2.2 to 3.0.0
    • utils from 4.3.2 to 4.4.0
    • uuid에서 1.2-0에서 1.2-1로
    • 4.4.1에서 4.4.2로 V8
    • withr from 3.0.0 to 3.0.1
    • xfun from 0.41 to 0.46
    • xopen from 1.0.0 to 1.0.1
    • yaml from 2.3.8 to 2.3.10
  • 업그레이드된 Java 라이브러리:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-cloudhsm 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-cloudsearch from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy에서 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-cognitoidentity 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync에서 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-config from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-core 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect에서 1.12.610에서 1.12.638로
    • com.amazonaws.aws-java-sdk-directory from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-ec2에서 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-ecs from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-efs from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-elasticbeanstalk from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-emr from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-glacier from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-glue 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-iam from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-importexport 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-kms from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-lambda 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-logs from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-rds from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-redshift에서 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-route53부터 1.12.610~ 1.12.638
    • com.amazonaws.aws-java-sdk-s3 from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-ses 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-sns 1.12.610 ~ 1.12.638
    • com.amazonaws.aws-java-sdk-sqs from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-ssm from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.610에서 1.12.638까지
    • com.amazonaws.aws-java-sdk-sts from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-support from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.610 to 1.12.638
    • com.amazonaws.jmespath-java에서 1.12.610에서 1.12.638로
    • com.google.protobuf.protobuf-java 2.6.1 ~ 3.25.1
    • io.airlift.aircompressor 0.25에서 0.27까지
    • io.delta.delta-sharing-client_2.12에서 1.1.3에서 1.2.0으로
    • io.netty.netty-all from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-buffer from 4.1.96.Final to 4.1.108.Final
    • 4.1.96.Final에서 4.1.108.Final까지 io.netty.netty-codec
    • 4.1.96.Final에서 4.1.108.Final까지 io.netty.netty-codec-http
    • 4.1.96.Final에서 4.1.108.Final까지 io.netty.netty-codec-http2
    • io.netty.netty-codec-socks from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-common from 4.1.96.Final to 4.1.108.Final
    • 4.1.96.Final에서 4.1.108.Final까지의 io.netty.netty-handler
    • 4.1.96.Final에서 4.1.108.Final까지의 io.netty.netty-handler-proxy
    • io.netty.netty-resolver from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-transport from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-transport-classes-epoll from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-transport-native-epoll에서 4.1.96.Final-linux-x86_64 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue에서 4.1.96.Final-osx-x86_64 4.1.108.Final-osx-x86_64
    • 4.1.96.Final에서 4.1.108.Final까지 io.netty.netty-transport-native-unix-common
    • org.apache.ivy.ivy from 2.5.1 to 2.5.2
    • org.apache.zookeeper.zookeeper from 3.6.3 to 3.9.2
    • org.apache.zookeeper.zookeeper-jute from 3.6.3 to 3.9.2
    • org.rocksdb.rocksdbjni 8.11.4에서 9.2.1로
    • org.scalactic.scalactic_2.12에서 3.2.15에서 3.2.16으로
    • org.scalatest.scalatest-compatible from 3.2.15 to 3.2.16
    • org.scalatest.scalatest-core_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-diagrams_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-featurespec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-flatspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-freespec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-funspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-funsuite_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-matchers-core_2.12에서 3.2.15~ 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-propspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-refspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-shouldmatchers_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest-wordspec_2.12에서 3.2.15에서 3.2.16까지
    • org.scalatest.scalatest_2.12에서 3.2.15에서 3.2.16으로

Apache Spark

Databricks Runtime 16.0에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.4 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-49093] [DBRRM-1371] "[SC-172958][SQL] GROUP BY with MapType nes...
  • [SPARK-49898] [DBRRM-1282][SC-178410] SPARK-42204에서 이벤트 로그 작업 메트릭 누적기 로깅 플래그에 대한 설명서 및 기본값 수정
  • [SPARK-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL] GetArrayStructFields를 정리할 때 OptimizeCsvJsonExpr은 스키마 필드를 변경하지 않아야 합니다.
  • [SPARK-49816] [SC-177896][SQL] 참조된 외부 CTE 관계의 out-going-ref-count만 업데이트해야 합니다.
  • [SPARK-48939] [SC-177022][SC-172766][AVRO] 재귀 스키마 참조를 사용하여 Avro 읽기 지원
  • [SPARK-49688] [SC-177468][ES-1242349][CONNECT] 인터럽트와 실행 계획 간의 데이터 경합 수정
  • [SPARK-49771] [SC-177466][PYTHON] 출력 행이 입력 행을 초과하는 경우 Pandas Scalar Iter UDF 오류 개선
  • [SPARK-48866] [SC-170772][SQL] INVALID_PARAMETER_VALUE 오류 메시지에서 유효한 문자 집합의 힌트를 수정합니다. CHARSET
  • [SPARK-48195] [FIXFORWARD][SC-177267][CORE] SparkPlan에서 만든 RDD/브로드캐스트 저장 및 다시 사용
  • [SPARK-49585] [CONNECT] SessionHolder의 실행 맵을 operationID 집합으로 바꾸기
  • [SPARK-49211] [SC-174257][SQL] V2 카탈로그는 기본 제공 데이터 원본도 지원할 수 있습니다.
  • [SPARK-49684] 세션 복원 잠금의 수명 최소화
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Java 쪽의 구조적 로그 프레임워크
  • [SPARK-48857] [SC-170661][SQL] CSVOptions에서 문자 집합 제한
  • [SPARK-49152] [SC-173690][SQL] V2SessionCatalog는 V2Command를 사용해야 합니다.
  • [SPARK-42846] [SC-176588][SQL] 오류 조건 _LEGACY_ERROR_TEMP_2011 제거
  • [SPARK-48195] [SC-177267][CORE] SparkPlan에서 만든 RDD/브로드캐스트 저장 및 다시 사용
  • [SPARK-49630] [SC-177379][SS] 상태 데이터 원본 판독기를 사용하여 컬렉션 형식을 처리하는 평면화 옵션 추가
  • [SPARK-49699] [SC-177154][SS] 스트리밍 워크로드에 대해 PruneFilter를 사용하지 않도록 설정
  • [SPARK-48781] [SC-175282][SQL] 저장 프로시저 로드를 위한 카탈로그 API 추가
  • [SPARK-49667] [SC-177068][SQL] StringSearch를 사용하는 식을 사용하여 CS_AI 데이터 정렬기 허용 안 함
  • [SPARK-49737] [SC-177207][SQL] 복합 형식의 데이터 정렬된 열에서 버킷팅 사용 안 함
  • [SPARK-48712] [SC-169794][SQL] 빈 값 또는 UTF-8 문자 집합을 사용하여 인코딩에 대한 성능 향상
  • [SPARK-49038] [SC-173933][SQL] SQLMetric은 누적기 업데이트 이벤트에서 원시 값을 보고해야 합니다.
  • [SPARK-48541] [SC-169066][CORE] TaskReaper에 의해 종료된 실행기에 대한 새 종료 코드 추가
  • [SPARK-48774] [SC-170138][SQL] SQLImplicits에서 SparkSession 사용
  • [SPARK-49719] [SC-177139][SQL] 정수 만들기 UUID 및 SHUFFLE 수락 seed
  • [SPARK-49713] [SC-177135][PYTHON][CONNECT] 함수 count_min_sketch 가 숫자 인수를 수락하게 합니다.
  • [SPARK-47601] [SC-162499][GRAPHX] Graphx: 변수가 있는 로그를 구조적 로깅 프레임워크로 마이그레이션
  • [SPARK-49738] [SC-177219][SQL] Endswith 버그 수정
  • [SPARK-48623] [SC-170822][CORE] 구조적 로깅 마이그레이션 [3부]
  • [SPARK-49677] [SC-177148][SS] 변경 로그 파일이 커밋에 기록되고 forceSnapshot 플래그도 다시 설정되었는지 확인합니다.
  • [SPARK-49684] [SC-177040][CONNECT] 세션 및 실행 관리자에서 전역 잠금 제거
  • [SPARK-48302] [SC-168814][PYTHON] PyArrow 테이블의 지도 열에서 null 유지
  • [SPARK-48601] [SC-169025][SQL] JDBC 옵션에 대해 null 값을 설정할 때 사용자에게 친숙한 오류 메시지 제공
  • [SPARK-48635] [SC-169263][SQL] 조인 유형 오류 및 현재 조인 오류에 클래스 할당
  • [SPARK-49673] [SC-177032][CONNECT] CONNECT_GRPC_ARROW_MAX_BATCH_SIZE 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZE 증가
  • [SPARK-49693] [SC-177071][PYTHON][CONNECT] 의 문자열 표현 구체화 timedelta
  • [SPARK-49687] [SC-176901][SQL] 정렬 지연 validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][PS] 플롯을 샘플링된 데이터로 전환 Scatter
  • [SPARK-48472] [SC-169044][SQL] 데이터 정렬된 문자열을 사용하여 Reflect 식 사용
  • [SPARK-48484] [SC-167484][SQL] 수정: V2Write는 다른 작업 시도에 동일한 TaskAttemptId를 사용합니다.
  • [SPARK-48341] [SC-166560][CONNECT] 플러그 인이 해당 테스트에서 QueryTest를 사용하도록 허용
  • [SPARK-42252] [SC-168723][CORE] 추가 spark.shuffle.localDisk.file.output.buffer 및 사용 중단 spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][SS] Trigger.AvailableNow를 사용하여 FileStreamSource에 대한 파일을 이중 캐시하지 마세요.
  • [SPARK-49567] [SC-176241][PYTHON] PySpark 코드 베이스 대신 vanilla 사용 classic
  • [SPARK-48374] [SC-167596][PYTHON] 추가 PyArrow 테이블 열 형식 지원
  • [SPARK-48300] [SC-166481][SQL] Codegen 지원 from_xml
  • [SPARK-49412] [SC-177059][PS] 단일 작업에서 모든 상자 그림 메트릭 계산
  • [SPARK-49692] [SC-177031][PYTHON][CONNECT] 리터럴 날짜 및 날짜/시간의 문자열 표현 구체화
  • [SPARK-49392] [ES-1130351][SC-176705][SQL] 외부 데이터 원본에 쓰지 못하는 경우 오류를 catch합니다.
  • [SPARK-48306] [SC-166241][SQL] 오류 메시지에서 UDT 개선
  • [SPARK-44924] [SC-166379][SS] FileStreamSource 캐시된 파일에 대한 구성 추가
  • [SPARK-48176] [SC-165644][SQL] FIELD_ALREADY_EXISTS 오류 조건의 이름 조정
  • [SPARK-49691] [SC-176988][PYTHON][CONNECT] 함수 substring 는 열 이름을 허용해야 합니다.
  • [SPARK-49502] [SC-176077][CORE] SparkEnv.get.shuffleManager.unregisterShuffle에서 NPE 방지
  • [SPARK-49244] [SC-176703][SQL] 파서/인터프리터에 대한 추가 예외 개선 사항
  • [SPARK-48355] [SC-176684][SQL] CASE 문에 대한 지원
  • [SPARK-49355] [SC-175121][SQL] levenshtein 는 모든 매개 변수 형식의 collation 값이 같은지 확인해야 합니다.
  • [SPARK-49640] [SC-176953][PS] 에서 저수지 샘플링 적용 SampledPlotBase
  • [SPARK-49678] [SC-176857][CORE] 지원 spark.test.master : SparkSubmitArguments
  • [SPARK-49680] [SC-176856][PYTHON] 빌드 병렬 처리를 기본적으로 4로 제한 Sphinx
  • [SPARK-49396] 되돌리기 "[SC-176030][SQL] CaseWhen 식에 대한 Null 허용 여부 검사 수정"
  • [SPARK-48419] [SC-167443][SQL] 접을 수 있는 전파는 접이식 열 숄을 대체합니다...
  • [SPARK-49556] [SC-176757][SQL] SELECT 연산자에 대한 SQL 파이프 구문 추가
  • [SPARK-49438] [SC-175237][SQL] 식 ToAvro 의 FromAvro 예쁜 이름 수정
  • [SPARK-49659] [SC-1229924][SQL] VALUES 절 내에 스칼라 하위 쿼리에 대한 사용자 연결 오류 추가
  • [SPARK-49646] [SC-176778][SQL] parentOuterReferences에 collectedChildOuterReferences에서 다루지 않는 참조가 있는 경우 공용 구조체/집합 작업에 대한 하위 쿼리 decorrelation 수정
  • [SPARK-49354] [SC-175034][SQL] split_part 는 모든 매개 변수 형식의 collation 값이 같은지 확인해야 합니다.
  • [SPARK-49478] [SC-175914][CONNECT] ConnectProgressExecutionListener에서 null 메트릭 처리
  • [SPARK-48358] [SC-176374][SQL] REPEAT 문 지원
  • [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable은 PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][SQL] TVF collations() 소개 및 명령 제거 SHOW COLLATIONS
  • [SPARK-49261] [SC-176589][SQL] 집계 식의 리터럴을 그룹별 식으로 대체하지 마세요.
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace는 사용자 지정 세션 카탈로그를 준수해야 합니다.
  • [SPARK-49594] [SC-176569][SS] StateSchemaV3 파일을 쓰기 위해 columnFamilies가 추가되었는지 또는 제거되었는지 확인 추가
  • [SPARK-49578] [SC-176385][SQL] CAST_INVALID_INPUT 및 CAST_OVERFLOW ANSI 구성 제안 제거
  • [SPARK-48882] [SC-174256][SS] 스트리밍 출력 모드 관련 오류 클래스에 이름 할당
  • [SPARK-49155] [SC-176506][SQL][SS] 더 적절한 매개 변수 형식을 사용하여 생성 GenericArrayData
  • [SPARK-49519] [SC-176388][SQL] FileScanBuilder를 생성할 때 테이블 및 관계의 병합 옵션
  • [SPARK-49591] [SC-176587][SQL] 변형 추가에 논리 형식 열 추가
  • [SPARK-49596] [SC-176423][SQL] 의 성능 향상 FormatString
  • [SPARK-49525] [SC-176044][SS][CONNECT] 서버 쪽 스트리밍 쿼리 ListenerBus 수신기에 대한 사소한 로그 개선
  • [SPARK-49583] [SC-176272][SQL] 잘못된 초 분수 패턴에 대한 오류 하위 조건 SECONDS_FRACTION 정의
  • [SPARK-49536] [SC-176242] Python 스트리밍 데이터 원본 레코드 프리페치의 오류 처리
  • [SPARK-49443] [SC-176273][SQL][PYTHON] to_variant_object 식을 구현하고 schema_of_variant 식이 Variant 개체에 대한 OBJECT를 인쇄하게 합니다.
  • [SPARK-49544] [SASP-3990][SC-176557][CONNECT] SparkConnectExecutionManager의 거친 잠금을 ConcurrentMap으로 바꾸기
  • [SPARK-49548] [SASP-3990][SC-176556][CONNECT] SparkConnectSessionManager의 거친 잠금을 ConcurrentMap으로 바꾸기
  • [SPARK-49551] [SC-176218][SS] replayChangelog에 대한 RocksDB 로그 개선
  • [SPARK-49595] [SC-176396][CONNECT][SQL] Spark Connect Scala 클라이언트에서 수정 DataFrame.unpivot/melt
  • [SPARK-49006] [SC-176162] OperatorStateMetadataV2 및 StateSchemaV3 파일에 대한 제거 구현
  • [SPARK-49600] [SC-176426][PYTHON] 에서 -related logic 제거 Python 3.6 and oldertry_simplify_traceback
  • [SPARK-49303] [SC-176013][SS] transformWithStateInPandas API에서 ValueState용 TTL 구현
  • [SPARK-49191] [SC-176243][SS] 상태 데이터 원본 판독기가 있는 transformWithState 맵 상태 변수 읽기 지원 추가
  • [SPARK-49593] [SC-176371][SS] 오류가 표시되면 DB 닫기에서 호출자에게 RocksDB 예외 throw
  • [SPARK-49334] [SC-174803][SQL] str_to_map 는 모든 매개 변수 형식의 collation 값이 같은지 확인해야 합니다.
  • [SPARK-42204] [SC-176126][CORE] 이벤트 로그에서 TaskMetrics 내부 누적기의 중복 로깅을 사용하지 않도록 설정하는 옵션 추가
  • [SPARK-49575] [SC-176256][SS] acquiredThreadInfo가 null이 아닌 경우에만 잠금 릴리스에 대한 로깅 추가
  • [SPARK-49539] [SC-176250][SS] 내부 col 패밀리 시작 식별자를 다른 식별자로 업데이트
  • [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning은 HashPartitioningLike를 상속해야 합니다.
  • [SPARK-49396] [SC-176030][SQL] CaseWhen 식에 대한 Null 허용 여부 검사 수정
  • [SPARK-49476] [SC-175700][SQL] base64 함수의 null 허용 여부 수정
  • [SPARK-47262] [SC-174829][SQL] parquet 변환에 대한 오류 조건에 이름 할당
  • [SPARK-47247] [SC-158349][SQL] 파티션을 분해 조인과 결합할 때 더 작은 대상 크기 사용
  • [SPARK-49501] [SC-176166][SQL] 테이블 위치의 이중 이스케이프 수정
  • [SPARK-49083] [SC-173214][CONNECT] from_xml 및 from_json 기본적으로 json 스키마로 작업하도록 허용
  • [SPARK-49043] [SC-174673][SQL] 데이터 정렬된 문자열을 포함하는 맵에서 해석된 코드 경로 그룹 수정
  • [SPARK-48986] [SC-172265][CONNECT][SQL] ColumnNode 중간 표현 추가
  • [SPARK-49326] [SC-176016][SS] Foreach 싱크 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-48348] [SC-175950][SPARK-48376][SQL] 소개 LEAVE 및 ITERATE 문
  • [SPARK-49523] [SC-175949][CONNECT] 테스트를 위해 연결 서버가 나올 때까지 최대 대기 시간 늘리기
  • [SPARK-49000] [BEHAVE-105][ES-1194747][SQL] RewriteDistinctAggregates - DBR 버전 16.x를 확장하여 t가 빈 테이블인 경우 "t에서 select count(distinct 1)"를 수정합니다.
  • [SPARK-49311] [SC-175038][SQL] 큰 'interval second' 값을 소수로 캐스팅할 수 있도록 합니다.
  • [SPARK-49200] [SC-173699][SQL] null 형식 비코드 생성 순서 지정 예외 수정
  • [SPARK-49467] [SC-176051][SS] 상태 데이터 원본 판독기 및 목록 상태에 대한 지원 추가
  • [SPARK-47307] [SC-170891][SQL] 필요에 따라 base64 문자열 청크에 구성 추가
  • [SPARK-49391] [SC-176032][PS] 상자 그림에서 울타리로부터의 거리별 이상값 선택
  • [SPARK-49445] [SC-175845][UI] UI의 진행률 표시줄에서 도구 설명 표시 지원
  • [SPARK-49451] [SC-175702] parse_json 중복 키를 허용합니다.
  • [SPARK-49275] [SC-175701][SQL] xpath 식의 반환 형식 nullness 수정
  • [SPARK-49021] [SC-175578][SS] 상태 데이터 원본 판독기가 있는 transformWithState 값 상태 변수 읽기 지원 추가
  • [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS] FlatMapGroupsWithState 사용자 함수 오류에 대한 분류 오류 클래스
  • [SPARK-49408] [SC-175932][SQL] ProjectingInternalRow에서 IndexedSeq 사용
  • [SPARK-49509] [SC-175853][CORE] 대신 사용 Platform.allocateDirectBufferByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][PS] 프레임 상자 플롯이 전단지/이상값을 제대로 렌더링합니다.
  • [SPARK-49002] [SC-172846][SQL] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY에서 잘못된 위치를 일관되게 처리
  • [SPARK-49480] [SC-175699][CORE] 에서 NullPointerException 수정 SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][PYTHON] pandas udf 잘못된 반환 형식 오류 메시지 개선
  • [SPARK-48693] [SC-169492][SQL] Invoke 및 StaticInvoke의 toString 간소화 및 통합
  • [SPARK-49441] [SC-175716][ML] StringIndexer 실행기에서 배열 정렬
  • [SPARK-49347] [SC-175004][R] SparkR 사용 중단
  • [SPARK-49357] [SC-175227][CONNECT][PYTHON] 깊이 중첩된 protobuf 메시지를 세로로 자립니다.
  • [SPARK-41982] [SC-120604][SQL] 문자열 형식의 파티션은 숫자 형식으로 처리해서는 안 됩니다.
  • [SPARK-48776] [SC-170452][BEHAVE-72] json, xml 및 csv에 대한 타임스탬프 서식 수정
  • [SPARK-49223] [SC-174800][ML] 기본 제공 함수를 사용하여 StringIndexer.countByValue 간소화
  • [SPARK-49016] 되돌리기 "[SC-174663][SQL] 손상된 레코드 열만 포함하고 이름을 "에 할당하는 _LEGACY_ERROR_TEMP_1285경우 원시 CSV 파일의 해당 쿼리가 허용되지 않는 동작 복원
  • [SPARK-49041] [SC-172392][PYTHON][CONNECT] 잘못된 subset 경우 적절한 오류 dropDuplicates 발생
  • [SPARK-49050] [SC-175235] 가상 열 패밀리를 사용하여 TWS에서 deleteIfExists 연산자 사용
  • [SPARK-49216] [SC-173919][CORE]구조적 로깅 conf가 꺼져 있을 때 명시적으로 LogEntry가 생성된 메시지 컨텍스트를 기록하지 않도록 수정
  • [SPARK-49252] [SC-175596][CORE] 만들기TaskSetExcludeList 및 HeathTracker 독립
  • [SPARK-49352] [SC-174971][SQL] 동일한 식에 중복 배열 변환 방지
  • [SPARK-42307] [SC-173863][SQL] 오류 _LEGACY_ERROR_TEMP_2232 이름 할당
  • [SPARK-49197] [SC-173732][CORE] 모듈에서 launcher 출력 수정 Spark Command
  • [SPARK-48913] [SC-173934][SQL] IndentingXMLStreamWriter 구현
  • [SPARK-49306] [SC-175363][PYTHON][SQL] 'zeroifnull' 및 'nullifzero'에 대한 SQL 함수 별칭 만들기
  • [SPARK-48344] [SQL] SQL 스크립팅 실행(Spark Connect 포함)
  • [SPARK-49402] [SC-175122][PYTHON] PySpark 설명서에서 바인더 통합 수정
  • [SPARK-49017] [SC-174664][SQL] 여러 매개 변수를 사용하는 경우 Insert 문이 실패합니다.
  • [SPARK-49318] [SC-174733][SQL] 오류 환경을 개선하기 위해 검사 분석이 끝날 때까지 LCA에서 우선 순위가 낮은 오류를 선점합니다.
  • [SPARK-49016] [SC-174663][SQL] 손상된 레코드 열만 포함하고 이름을 할당할 때만 원시 CSV 파일의 쿼리가 허용되지 않는 동작 복원 _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][PYTHON] 인 및 인에 percentile_approx 대한 accuracy 형식 힌트 수정approx_percentile
  • [SPARK-49131] [SC-174666][SS] TransformWithState는 지연 반복기를 사용하는 경우에도 암시적 그룹화 키를 올바르게 설정해야 합니다.
  • [SPARK-49301] [SC-174795][SS] Python 작업자에게 전달된 청크 화살표 데이터
  • [SPARK-49039] [SC-174651][UI] 단계 탭에 실행기 메트릭이 로드될 때 다시 설정 확인란
  • [SPARK-48428] [SC-169806][SQL]: NestedColumnAliasing에서 IllegalStateException 수정
  • [SPARK-49353] [SC-174830][SQL] 인코딩/디코딩과 UTF-32 관련된 문서 업데이트
  • [SPARK-48613] [SC-170966][SQL] SPJ: 파티션 키보다 한 쪽 자동 순서 섞기 + 조인 키 감소 지원
  • [SPARK-47473] [SC-160450][BEHAVE-127][SQL] postgres INFINITY 타임스탬프를 변환하는 정확성 문제 해결
  • [SPARK-49142] [SC-173658][CONNECT][PYTHON] proto를 문자열 성능 비용으로 되돌리기 위한 후속 작업
  • [SPARK-49300] [SC-175008][CORE] tokenRenewalInterval이 설정되지 않은 경우 Hadoop 위임 토큰 누수 문제를 해결합니다.
  • [SPARK-49367] [SC-175012][PS] 여러 열에 대한 KDE 계산 병렬화(그림 백 엔드)
  • [SPARK-49365] [SC-175011][PS] hist 플롯에서 버킷 집계 간소화
  • [SPARK-49372] [SC-175003][SS] 후속 사용을 방지하기 위해 latestSnapshot이 가까이에서 없음으로 설정되어 있는지 확인합니다.
  • [SPARK-49341] [SC-174785] 의 찬성 제거 connector/dockerApache Spark Operator
  • [SPARK-49344] [SC-174894][PS] Spark의 Pandas API 지원 json_normalize
  • [SPARK-49306] [SC-174794][SQL] 새 SQL 함수 'zeroifnull' 및 'nullifzero'를 만듭니다.
  • [SPARK-48796] [SC-174668][SS] 다시 시작할 때 VCF에 대한 RocksDBCheckpointMetadata에서 열 패밀리 ID 로드
  • [SPARK-49342] [SC-174899][SQL] TO_AVRO SQL 함수 'jsonFormatSchema' 인수 선택 사항으로 설정
  • [SPARK-48628] [SC-174695][CORE] 작업 최대 힙 온/오프 힙 메모리 메트릭 추가
  • [SPARK-47407] [SC-159379][BEHAVE-126][SQL] NullType에 대한 java.sql.Types.NULL 맵 지원
  • [SPARK-48628] [SC-173407][CORE] 작업 최대 힙 온/오프 힙 메모리 메트릭 추가
  • [SPARK-49166] [SC-173987][SQL] 상관 관계가 지정된 하위 쿼리에서 OFFSET 지원
  • [SPARK-49269] [SC-174676][SQL] AstBuilder에서 VALUES() 목록을 열심히 평가합니다.
  • [SPARK-49281] [SC-174782][SQL] 복사 비용을 방지하기 위해 getBytesUnsafe를 사용하여 parquet 이진 getBytes를 최적화합니다.
  • [SPARK-49113] [SC-174734] 번역 버그에 대해 어설션하지 마세요. 예외를 자동으로 삼킨다
  • [SPARK-49098] [SC-173253][SQL] INSERT에 대한 쓰기 옵션 추가
  • [SPARK-48638] [SC-174694][팔로우][CONNECT] ExecutionInfo에 대한 설명서 수정
  • [SPARK-49250] [ES-1222826][SQL] CheckAnalysis에서 중첩된 UnresolvedWindowExpression에 대한 오류 메시지 개선
  • [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark 기본 구현 및 ValueState 지원
  • [SPARK-48966] [SC-174329][SQL] UDTF 호출에서 해결되지 않은 열 참조가 잘못되어 오류 메시지 개선
  • [SPARK-46590] [SC-154115][SQL] 예기치 않은 파티션 indeces로 병합 실패 수정
  • [SPARK-49235] [SC-174159][SQL] 전체 트리를 트래버스하지 않도록 ResolveInlineTables 규칙 리팩터링
  • [SPARK-49060] [SC-173107][CONNECT] SQL-Connect 이진 호환성 검사에 대한 Mima 규칙 정리
  • [SPARK-48762] [SC-172525][SQL] Python용 clusterBy DataFrameWriter API 소개
  • [SPARK-49207] [SC-173852][SQL] SplitPart 및 StringSplitSQL에서 일대다 사례 매핑 수정
  • [SPARK-49204] [SC-173850][SQL] StringInstr 및 StringLocate에서 서로게이트 쌍 처리 수정
  • [SPARK-36680] [SC-170640][SQL] Spark SQL에 대한 동적 테이블 옵션 지원
  • [SPARK-49204] [SC-173849][SQL] SubstringIndex에서 서로게이트 쌍 처리 수정
  • [SPARK-49204] [SC-173848][SQL] StringTrim에서 서로게이트 쌍 처리 수정
  • [SPARK-48967] [SC-173993]OPTIMIZE_INSERT_INTO_VALUES_PARSER 대한 SparkConfigOwnershipSuite 테스트 정방향 수정
  • [SPARK-49204] [SC-173851][SQL] StringReplace에서 서로게이트 쌍 처리 수정
  • [SPARK-48967] [SC-173993][SQL][16.x] "INSERT INTO... VALUES" 문
  • [SPARK-49099] 되돌리기 "[SC-173229][SQL] CatalogManager.setCurrent...
  • [SPARK-48347] [SC-173812][SQL] WHILE 문 지원
  • [SPARK-49128] [SC-173344][CORE] 사용자 지정 기록 서버 UI 타이틀 지원
  • [SPARK-49146] [SC-173825][SS] 추가 모드 스트리밍 쿼리에서 누락된 워터마크와 관련된 어설션 오류를 오류 프레임워크로 이동
  • [SPARK-45787] [SC-172197][SQL] 클러스터링 열에 대한 Catalog.listColumns 지원
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace는 사용자 지정 세션 카탈로그를 준수해야 합니다.
  • [SPARK-49138] [SC-173483][SQL] 여러 식의 CollationTypeCast 수정
  • [SPARK-49163] [SC-173666][SQL] 깨진 parquet 파티션 데이터 결과에 따라 테이블을 만들려고 시도하면 사용자 관련 오류가 반환됩니다.
  • [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Spark SQL을 사용하여 그림 다시 표시 hist
  • [SPARK-49188] [SC-173682][SQL] 문자열 배열 배열에서 호출된 concat_ws 내부 오류
  • [SPARK-49137] [SC-173677][SQL] 부울 조건이 if statement 잘못된 경우 예외가 throw되어야 합니다.
  • [SPARK-49193] [SC-173672][SQL] RowSetUtils.toColumnBasedSet의 성능 향상
  • [SPARK-49078] [SC-173078][SQL] v2 테이블의 열 구문 표시 지원
  • [SPARK-49141] [SC-173388][SQL] 변형을 Hive 호환되지 않는 데이터 형식으로 표시
  • [SPARK-49059] [체리 픽][15.x][SC-172528][CONNECT] 테스트 패키지로 이동 SessionHolder.forTesting(...)
  • [SPARK-49111] [SC-173661][SQL] WithProjectAndFilter를 DataSourceV2Strategy의 도우미 개체로 이동
  • [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Spark SQL을 사용하여 그림 다시 표시 kde
  • [SPARK-49178] [SC-173673][SQL] Scala 2.12에서 Spark 3.5를 사용할 때 성능과 일치하도록 성능 Row#getSeq 최적화
  • [SPARK-49093] [SC-172958][SQL] 복소수 형식 내에 중첩된 MapType을 사용하는 GROUP BY
  • [SPARK-49142] [SC-173469][CONNECT][PYTHON] 디버그할 낮은 Spark Connect 클라이언트 로그 수준
  • [SPARK-48761] [SC-172048][SQL] Scala용 clusterBy DataFrameWriter API 소개
  • [SPARK-48346] [SC-173083][SQL] SQL 스크립트의 IF ELSE 문 지원
  • [SPARK-48338] [SC-173112][SQL] 파서/인터프리터에서 throw된 예외 개선
  • [SPARK-48658] [SC-169474][SQL] 인코딩/디코딩 함수는 매핑할 수 없는 문자에 대해 mojibake 대신 코딩 오류를 보고합니다.
  • [SPARK-49071] [SC-172954][SQL] ArraySortLike 특성 제거
  • [SPARK-49107] 되돌리기 "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS Supports RoutineType""
  • [SPARK-49070] [SC-172907][SS][SQL] 잘못된 쿼리 계획을 생성하기 위해 TransformWithStateExec.initialState를 잘못 다시 작성했습니다.
  • [SPARK-49114] [SC-173217] 하위 범주는 상태 저장소 오류를 로드할 수 없습니다.
  • [SPARK-49107] 되돌리기 "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS 은 RoutineType을 지원합니다."
  • [SPARK-49048] [SC-173223][SS] 지정된 일괄 처리 ID에서 관련 연산자 메타데이터 읽기에 대한 지원 추가
  • [SPARK-49094] [SC-173049][SQL] mergeSchema off를 사용하여 hive orc impl에 대해 ignoreCorruptFiles가 작동하지 않는 문제를 해결합니다.
  • [SPARK-49108] [SC-173102][예제] REST API 추가 submit_pi.sh 예제
  • [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS 는 RoutineType을 지원합니다.
  • [SPARK-48997] [SC-172484][SS] 유지 관리 스레드 풀 스레드 오류에 대한 개별 언로드 구현
  • [SPARK-49063] [SC-173094][SQL] ScalarSubqueries를 사용하여 간 수정
  • [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Variant 사양에서 간격 형식에 대한 지원 추가
  • [SPARK-49074] [BEHAVE-110][SC-172815][SQL] 다음을 사용하여 변형 수정 df.cache()
  • [SPARK-49003] [SC-172613][SQL] 데이터 정렬을 인식하도록 해석된 코드 경로 해시 수정
  • [SPARK-48740] [SC-172430][SQL] 누락된 창 사양 오류 조기 catch
  • [SPARK-48999] [SC-172245][SS] PythonStreamingDataSourceSimpleSuite 나누기
  • [SPARK-49031] [SC-172602] OperatorStateMetadataV2를 사용하여 TransformWithStateExec 연산자에 대한 유효성 검사 구현
  • [SPARK-49053] [SC-172494][PYTHON][ML] 모델 저장/로드 도우미 함수에서 Spark 세션을 수락합니다.
  • [SPARK-49032] [Backport][15.x][SS] 메타데이터 테이블 항목에 스키마 경로 추가, 예상 버전 확인 및 연산자 메타데이터 형식 v2에 대한 연산자 메타데이터 관련 테스트 추가
  • [SPARK-49034] [SC-172306][CORE] REST 제출 API에서 서버 쪽 sparkProperties 교체 지원
  • [SPARK-48931] [SC-171895][SS] 상태 저장소 유지 관리 작업에 대한 클라우드 저장소 목록 API 비용 절감
  • [SPARK-48849] [SC-172068][SS]TransformWithStateExec 연산자에 대한 OperatorStateMetadataV2 만들기
  • [SPARK-49013] [SC-172322] scala의 지도 및 배열 형식에 대한 collationsMap의 키 변경
  • [SPARK-48414] [SC-171884][PYTHON] Python의 호환성이 손상되는 변경 수정 fromJson
  • [SPARK-48910] [SC-171001][SQL] HashSet/HashMap을 사용하여 PreprocessTableCreation에서 선형 검색 방지
  • [SPARK-49007] [SC-172204][CORE] 사용자 지정 제목을 지원하도록 개선 MasterPage
  • [SPARK-49009] [SC-172263][SQL][PYTHON] 열 API 및 함수가 열거형을 수락하게 만들기
  • [SPARK-49033] [SC-172303][CORE] REST 제출 API에서 서버 쪽 environmentVariables 교체 지원
  • [SPARK-48363] [SC-166470][SQL] 에서 일부 중복 코드 정리 from_xml
  • [SPARK-46743] [SC-170867][SQL][BEHAVE-84] ScalarSubqery가 빈 관계인 경우 접힌 후 버그 수 계산
  • [SPARK-49040] [SC-172351][SQL] 문서 수정 sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ML] SparkSession을 사용하여 메타 알고리즘 저장/로드 모델
  • [SPARK-48959] [SC-171708][SQL] NoSuchNamespaceException 예외 처리를 복원하도록 확장 NoSuchDatabaseException
  • [SPARK-48996] [SC-172130][SQL][PYTHON] 열에 대한 및 또는 열의 bare 리터럴 허용
  • [SPARK-48990] [SC-171936] #101759 대한 후속 작업 - 테스트 수정
  • [SPARK-48338] [SC-171912][SQL] 변수 선언 확인
  • [SPARK-48990] [SC-171936][SQL] 통합 변수 관련 SQL 구문 키워드
  • [SPARK-48988] [SC-171915][ML] Spark 세션을 사용하여 핸들 메타데이터 만들기 DefaultParamsReader/Writer
  • [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] 대신 사용 SparkSession.implicitsSQLContext.implicits
  • [SPARK-48760] [SC-170870][SQL] CatalogV2Util.applyClusterByChanges 수정
  • [SPARK-48928] [SC-171956] 로컬 검사점 RDD에서 .unpersist() 호출에 대한 로그 경고
  • [SPARK-48760] [SC-170139][SQL] ALTER TABLE 소개... 클러스터링 열을 변경하는 CLUSTER BY SQL 구문
  • [SPARK-48844] "[SC-170669][SQL] 경로가 비어 있을 때 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 대신 INVALID_EMPTY_LOCATION 사용" 되돌리기
  • [SPARK-48833] [SC-171914][SQL][VARIANT] 에서 변형 지원 InMemoryTableScan
  • [SPARK-48975] [SC-171894][PROTOBUF] 에서 불필요한 ScalaReflectionLock 정의 제거 protobuf
  • [SPARK-48970] [SC-171800][PYTHON][ML] Spark ML 판독기/기록기에서 SparkSession.getActiveSession을 사용하지 마세요.
  • [SPARK-48844] [SC-170669][SQL] 경로가 비어 있는 경우 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY 대신 INVALID_EMPTY_LOCATION 사용
  • [SPARK-48714] [SC-170136] PySpark 및 UC에서 실패한 df.mergeInto 테스트 수정
  • [SPARK-48957] [SC-171797][SS] hdfs 및 rocksdb 공급자에 대한 상태 저장소 부하에서 하위 분류 오류 클래스 반환
  • [SPARK-48891] [Backport][15x][SC-171677][SS] StateSchemaCompatibilityChecker를 리팩터링하여 모든 상태 스키마 형식 통합
  • [SPARK-48972] [SC-171795][PYTHON] 함수에서 리터럴 문자열 처리 통합
  • [SPARK-48388] [SC-171337][SQL] SQL 스크립트에 대한 SET 문 동작 수정
  • [SPARK-48743] [SC-170552][SQL][SS] mergingSessionIterator는 getStruct가 null을 반환할 때 더 잘 처리해야 합니다.
  • [SPARK-48623] [15.x][SC-171322][CORE] FileAppender 로그를 구조적 로깅으로 마이그레이션
  • [SPARK-36680] [DBRRM-1123] 되돌리기 "[SC-170640][SQL] Spark SQL에 대한 동적 테이블 옵션 지원"
  • [SPARK-48841] [SC-170868][BEHAVE-83][SQL] 다음의 포함 collationName sql()Collate
  • [SPARK-48941] [SC-171703][PYTHON][ML] RDD 읽기/쓰기 API 호출을 데이터 프레임 읽기/쓰기 API로 바꿉니다.
  • [SPARK-48938] [SC-171577][PYTHON] Python UDF를 등록할 때 오류 메시지 개선
  • [SPARK-48350] [SC-171040][SQL] Sql 스크립팅에 대한 사용자 지정 예외 소개
  • [SPARK-48907] [SC-171158][SQL] 에서 값 explicitTypes 수정 COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][PYTHON] 을 사용하여 regex 함수 간소화 lit
  • [SPARK-48944] [SC-171576][CONNECT] Connect Server에서 JSON 형식 스키마 처리 통합
  • [SPARK-48836] [SC-171569] SQL 스키마를 상태 스키마/메타데이터와 통합
  • [SPARK-48946] [SC-171504][SQL] 세션이 null인 경우 편집 방법의 NPE
  • [SPARK-48921] [SC-171412][SQL] MergeInto에 대해 하위 쿼리의 ScalaUDF 인코더를 확인해야 합니다.
  • [SPARK-45155] [SC-171048][CONNECT] Spark Connect JVM/Scala 클라이언트에 대한 API 문서 추가
  • [SPARK-48900] [SC-171319] 및 에 대한 cancelJobGroup 필드 추가 reasoncancelJobsWithTag
  • [SPARK-48865] [SC-171154][SQL] try_url_decode 함수 추가
  • [SPARK-48851] [SC-170767][SQL] 값을 SCHEMA_NOT_FOUND 다음으로 변경합니다.namespacecatalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Spark Connect에서 UDAF toColumn API 지원
  • [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] 지원 StructType 스키마 만들기 from_xml
  • [SPARK-48930] [SC-171304][CORE] 패턴을 포함하여 accesskey 수정 awsAccessKeyId
  • [SPARK-48909] [SC-171080][ML][MLLIB] 메타데이터를 작성할 때 SparkContext를 통해 SparkSession 사용
  • [SPARK-48883] [SC-171133][ML][R] RDD 읽기/쓰기 API 호출을 데이터 프레임 읽기/쓰기 API로 바꿉니다.
  • [SPARK-48924] [SC-171313][PS] pandas와 유사한 make_interval 도우미 함수 추가
  • [SPARK-48884] [SC-171051][PYTHON] 사용되지 않는 도우미 함수 제거 PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][SQL] 공용 구조체 다중 명령을 함께 열심히 실행
  • [SPARK-48896] [SC-171079][ML][MLLIB] 메타데이터를 작성할 때 다시 분할 방지
  • [SPARK-48892] [SC-171127][ML] 행별 매개 변수 읽기 방지 Tokenizer
  • [SPARK-48927] [SC-171227][CORE] 에 캐시된 RDD 수 표시 StoragePage
  • [SPARK-48886] [15.x][Backport][SC-171039][SS] 더 쉽게 진화할 수 있도록 changelog v2에 버전 정보 추가
  • [SPARK-48903] [SC-171136][SS] 원격 로드 시 RocksDB 마지막 스냅샷 버전을 올바르게 설정
  • [SPARK-48742] [SC-170538][SS] RocksDB용 가상 열 패밀리
  • [SPARK-48726] [15.x][SC-170753][SS] StateSchemaV3 파일 형식을 만들고 TransformWithStateExec 연산자에 대해 작성합니다.
  • [SPARK-48794] [SC-170882][CONNECT][15.x] Spark Connect에 대한 df.mergeInto 지원(Scala 및 Python)
  • [SPARK-48714] [SC-170136][PYTHON] PySpark에서 구현 DataFrame.mergeInto
  • [SPARK-48772] [SC-170642][SS][SQL] 상태 데이터 원본 변경 피드 판독기 모드
  • [SPARK-48666] [SC-170887][SQL] PythonUDF가 포함된 경우 필터를 푸시다운하지 마세요.
  • [SPARK-48845] [SC-170889][SQL] 제네릭UDF가 자식의 예외를 catch합니다.
  • [SPARK-48880] [SC-170974][CORE] 드라이버 플러그 인을 초기화하지 못하는 경우 NullPointerException throw 방지
  • [SPARK-48888] [Backport][15x][SC-170973][SS] changelog ops 크기에 따라 스냅샷 만들기 제거
  • [SPARK-48871] [SC-170876] 에서 INVALID_NON_DETERMINISTIC_EXPRESSIONS 유효성 검사를 수정합니다.
  • [SPARK-48883] [SC-170894][ML][R] RDD 읽기/쓰기 API 호출을 데이터 프레임 읽기/쓰기 API로 바꿉니다.
  • [SPARK-36680] [SC-170640][SQL] Spark SQL에 대한 동적 테이블 옵션 지원
  • [SPARK-48804] [SC-170558][SQL] 출력 커밋자 클래스 구성에 대한 classIsLoadable &OutputCommitter.isAssignableFrom 검사 추가
  • [SPARK-46738] [SC-170791][PYTHON] 문서 테스트 그룹을 다시 사용할 수 있습니다.
  • [SPARK-48858] [SC-170756][PYTHON] 사용되지 않는 setDaemon in의 Thread 메서드 호출 제거 log_communication.py
  • [SPARK-48639] [SC-169801][CONNECT][PYTHON] RelationCommon에 원본 추가
  • [SPARK-48863] [SC-170770][ES-1133940][SQL] "spark.sql.json.enablePartialResults"를 사용하도록 설정된 JSON을 구문 분석할 때 ClassCastException 수정
  • [SPARK-48343] [SC-170450][SQL] SQL 스크립팅 인터프리터 소개
  • [SPARK-48529] [SC-170755][SQL] SQL 스크립팅의 레이블 소개
  • [SPARK-45292] 되돌리기 "[SC-151609][SQL][HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거"
  • [SPARK-48037] [SC-165330][CORE][3.5] SortShuffleWriter 수정 시 쓰기 관련 메트릭 순서 섞기가 부족하여 데이터가 부정확할 수 있습니다.
  • [SPARK-48720] [SC-170551][SQL] v1 및 v2에서 명령 ALTER TABLE ... UNSET TBLPROPERTIES ... 정렬
  • [SPARK-48485] [SC-167825][CONNECT][SS] 스트리밍 쿼리에서 interruptTag 및 interruptAll 지원
  • [SPARK-45292] [SC-151609][SQL][HIVE] IsolatedClientLoader에서 공유 클래스에서 Guava 제거
  • [SPARK-48668] [SC-169815][SQL] ALTER NAMESPACE 지원 ... v2의 UNSET 속성
  • [SPARK-47914] [SC-165313][SQL] 범위에서 분할 매개 변수 표시 안 함
  • [SPARK-48807] [SC-170643][SQL] CSV 데이터 원본에 대한 이진 지원
  • [SPARK-48220] [SC-167592][PYTHON][15.X] PyArrow Table을 createDataFrame()에 전달하도록 허용
  • [SPARK-48545] [SC-169543][SQL] to_avro 만들고 DataFrame과 일치하는 SQL 함수를 from_avro
  • [SPARK-47577] [SC-168875][SPARK-47579] 잘못된 로그 키 사용 TASK_ID 수정

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • 델타 레이크: 3.2.1

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 검정색 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 에서 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
암호화 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 더 이상 사용되지 않음 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 실행 중 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.펑툴스 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
패키징 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requests 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

설치된 R 라이브러리

R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
캐럿 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 충돌 1.2.0 cpp11 0.4.7
crayon 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
다이어그램 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
제네릭(generics) 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
주기 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
행렬 1.6-5 memoise 2.0.1 메서드 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 진행률 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
프록시 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 반응 가능 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 통계 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 Swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.52 tools 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
stax stax-api 1.0.1