다음을 통해 공유

Databricks Runtime 15.2

  • 아티클

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.2에 대한 정보를 제공합니다.

Databricks는 2024년 5월에 이 버전을 릴리스했습니다.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

동작 변경 내용

진공은 COPY INTO 메타데이터 파일을 정리합니다.

이제 기록 COPY INTO 된 테이블에서 VACUUM을 실행하면 수집된 파일 추적과 관련된 참조되지 않은 메타데이터가 정리됩니다. 의 운영 의미 체계 COPY INTO에는 영향을 주지 않습니다.

Lakehouse 페더레이션은 GA(일반 공급)

Databricks Runtime 15.2 이상 에서는 다음 데이터베이스 형식의 Lakehouse Federation 커넥터를 GA(일반 공급)로 사용할 수 있습니다.

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse(SQL Data Warehouse)
  • Databricks

이 릴리스에서 향상된 기능은 다음과 같습니다.

  • Snowflake 및 Microsoft SQL Server 커넥터에서 SSO(Single Sign-On) 인증을 지원합니다.

  • 서버리스 컴퓨팅 환경에서 SQL Server 커넥터에서 Azure Private Link를 지원합니다. 3단계: 프라이빗 엔드포인트 만들기 규칙(을)를 참고하세요.

  • 추가 푸시다운(문자열, 수학, 기타 함수)을 지원합니다.

  • 다양한 쿼리 셰이프에서 푸시다운 성공률이 향상되었습니다.

  • 추가 푸시다운 디버깅 기능:

    • EXPLAIN FORMATTED 출력에 푸시다운된 쿼리 텍스트가 표시됩니다.
    • 쿼리 프로필 UI는 푸시다운된 쿼리 텍스트, 페더레이션된 노드 식별자 및 JDBC 쿼리 실행 시간(자세한 정보 표시 모드)을 표시합니다. 시스템 생성 페더레이션 쿼리 보기를 참조 하세요.

BY POSITION 헤더 없는 CSV 파일과 함께 사용하는 COPY INTO 열 매핑

Databricks Runtime 15.2 이상에서는 헤더 없는 CSV 파일에 키워드(또는 대체 구문( col_name [ , <col_name> ... ] ))COPY INTO를 사용하여 BY POSITION 원본 열을 대상 테이블 열 매핑으로 간소화할 수 있습니다. 매개 변수를 참조하세요.

오류와 함께 Resubmitted Spark 작업이 실패할 때 메모리 사용량 감소

Databricks Runtime 15.2 이상에서는 태스크가 오류로 실패할 때 Spark TaskInfo.accumulables() 메서드의 반환 값이 Resubmitted 비어 있습니다. 이전에는 메서드가 이전에 성공한 작업 시도의 값을 반환했습니다. 이 동작 변경은 다음 소비자에게 영향을 줍니다.

  • 클래스를 EventLoggingListener 사용하는 Spark 작업입니다.
  • 사용자 지정 Spark 수신기.

이전 동작을 복원하려면 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled을 false로 설정합니다.

적응형 쿼리 실행 계획 버전 보기가 비활성화됨

메모리 사용량을 줄이기 위해 이제 Spark UI에서 AQE(적응 쿼리 실행) 계획 버전을 기본적으로 사용하지 않도록 설정합니다. Spark UI에서 AQE 계획 버전을 볼 수 있도록 하려면 spark.databricks.sql.aqe.showPlanChangesInUI.enabledtrue로 설정합니다.

Spark UI 메모리 사용량을 줄이기 위해 보존된 쿼리에 대한 제한이 낮아집니다.

Databricks Runtime 15.2 이상에서는 Azure Databricks 컴퓨팅의 Spark UI에서 사용하는 메모리를 줄이기 위해 UI에 표시되는 쿼리 수에 대한 제한이 1000에서 100으로 낮아집니다. 제한을 변경하려면 Spark 구성을 사용하여 spark.sql.ui.retainedExecutions 새 값을 설정합니다.

DESCRIBE HISTORY(이)가 이제 액체 클러스터링을 사용하는 테이블에 대한 클러스터링 열을 표시합니다.

DESCRIBE HISTORY 쿼리를 실행할 때 operationParameters 열에는 기본적으로 CREATE OR REPLACE 작업 및 OPTIMIZE 작업에 대한 clusterBy 필드가 표시됩니다. 액체 클러스터링을 사용하는 델타 테이블의 경우 clusterBy 필드는 테이블의 클러스터링 열로 채워집니다. 테이블에서 액체 클러스터링을 사용하지 않는 경우 필드는 비어 있습니다.

새로운 기능 및 향상 기능

기본 키와 외신 키에 대한 지원은 GA입니다.

Databricks 런타임의 기본 및 외장 키에 대한 지원은 일반적으로 사용할 수 있습니다. GA 릴리스에는 기본 키와 외장 키를 사용하는 데 필요한 권한에 대한 다음과 같은 변경 내용이 포함되어 있습니다.

  • 외래 키를 정의하려면 외래 키가 참조하는 기본 키를 사용하여 테이블에 대한 SELECT 권한이 있어야 합니다. 이전에는 필요했던 기본 키를 사용하여 테이블을 소유할 필요가 없습니다.
  • CASCADE 절을 사용하여 기본 키를 삭제해도 기본 키를 참조하는 외래 키를 정의하는 테이블에 대한 권한이 필요하지 않습니다. 이전에는 참조 테이블을 소유해야 했습니다.
  • 이제 제약 조건이 포함된 테이블을 삭제하려면 제약 조건을 포함하지 않는 테이블을 삭제하는 것과 동일한 권한이 필요합니다.

테이블 또는 뷰에서 기본 키와 외세 키를 사용하는 방법을 알아보려면 CONSTRAINT 절, ADD CONSTRAINT 절 및 DROP CONSTRAINT 절을 참조하세요.

Liquid 클러스터링이 일반 공급되었습니다.

이제 Liquid 클러스터링에 대한 지원은 Databricks Runtime 15.2 이상을 사용하여 일반 공급됩니다. Delta 테이블에 Liquid 클러스터링 사용을 참조하세요.

형식 확대는 공개 미리 보기로 제공됩니다.

이제 Delta Lake에서 지원하는 테이블에서 형식 확대를 사용하도록 설정할 수 있습니다. 형식 확장이 활성화된 테이블은 기본 데이터 파일을 다시 작성하지 않고 열 형식을 더 넓은 데이터 형식으로 변경할 수 있습니다. TYPE 확대를 참조하세요.

SQL 병합 구문에 추가된 스키마 진화 절

이제 SQL 병합 문에 WITH SCHEMA EVOLUTION 절을 추가하여 작업에 대한 스키마 진화를 사용하도록 설정할 수 있습니다. 병합에 대한 스키마 진화 구문을 참조하세요.

PySpark 사용자 지정 데이터 원본은 공개 미리 보기에서 사용할 수 있습니다.

PySpark DataSource는 Python(PySpark) DataSource API를 사용하여 만들 수 있습니다. 이를 통해 사용자 지정 데이터 원본에서 읽고 Python을 사용하여 Apache Spark의 사용자 지정 데이터 싱크에 쓸 수 있습니다. PySpark 사용자 지정 데이터 원본 참조

applyInPandas 및 mapInPandas는 이제 공유 액세스 모드를 사용하여 Unity 카탈로그 컴퓨팅에서 사용할 수 있습니다.

Databricks Runtime 14.3 LTS 유지 관리 릴리스의 mapInPandas 일부로, applyInPandas 이제 Databricks Runtime 14.3 이상을 실행하는 공유 액세스 모드 컴퓨팅에서 UDF 형식이 지원됩니다.

dbutils.widgets.getAll()을 사용하여 Notebook의 모든 위젯을 가져옵니다.

Notebook의 모든 위젯 값을 가져오는 데 사용합니다dbutils.widgets.getAll(). 이는 여러 위젯 값을 Spark SQL 쿼리에 전달할 때 특히 유용합니다.

진공 인벤토리 지원

이제 델타 테이블에서 VACUUM 명령을 실행할 때 고려할 파일 인벤토리를 지정할 수 있습니다. OSS 델타 문서를 참고하세요.

Zstandard 단축 기능 지원

이제 zst_compress, zstd_decompress 및 try_zstd_decompress 함수를 사용하여 BINARY 데이터를 압축 및 압축 해제할 수 있습니다.

버그 수정

이제 SQL UI의 쿼리 계획이 PhotonWriteStage(을)를 올바르게 표시합니다.

SQL UI에 표시에 쿼리 계획의 write 명령이 PhotonWriteStage연산자로 잘못 표시됩니다. 이 릴리스에서는 UI가 PhotonWriteStage(을)를 스테이지로 표시되도록 업데이트됩니다. 이는 UI 변경에만 해당하며 쿼리 실행 방식에는 영향을 주지 않습니다.

Ray 클러스터 시작 문제를 해결하기 위해 Ray가 업데이트됨

이 릴리스에는 Ray 클러스터가 Machine Learning용 Databricks 런타임으로 시작되지 않도록 하는 호환성이 손상되는 변경을 수정하는 패치된 버전의 Ray가 포함되어 있습니다. 이렇게 변경하면 Ray 기능이 15.2 이전 버전의 Databricks Runtime과 동일합니다.

Spark 3.5를 사용하여 잘못된 결과를 수정하도록 GraphFrame이 업데이트됨

이 릴리스에는 GraphFrames 및 Spark 3.5를 사용하는 일부 알고리즘에 잘못된 결과를 발생시키는 문제를 해결하기 위한 GraphFrames 패키지 업데이트가 포함되어 있습니다.

및 함수에 대한 DataFrame.sort() DataFrame.sortWithinPartitions() 수정된 오류 클래스

이 릴리스에는 인덱스 인수로 전달될 때 0 오류 클래스가 throw되도록 ZERO_INDEX 하는 PySpark DataFrame.sort() 및 DataFrame.sortWithinPartitions() 함수에 대한 업데이트가 포함되어 있습니다. 이전에는 오류 클래스 INDEX_NOT_POSITIVE 가 throw되었습니다.

ipywidgets가 8.0.4에서 7.7.2로 다운그레이드됨

Databricks Runtime 15.0에서 ipywidgets를 8.0.4로 업그레이드하여 발생하는 오류를 해결하려면 Databricks Runtime 15.2에서 ipywidgets가 7.7.2로 다운그레이드됩니다. 이전 Databricks 런타임 버전에 포함된 것과 동일한 버전입니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • 3.1.42에서 3.1.43으로 GitPython
    • google-api-core 2.17.1에서 2.18.0으로
    • google-auth from 2.28.1 to 2.29.0
    • google-cloud-storage 2.15.0에서 2.16.0으로
    • googleapis-common-protos 1.62.0에서 1.63.0으로
    • ipywidgets 8.0.4에서 7.7.2로
    • mlflow-skinny from 2.11.1 to 2.11.3
    • s3transfer from 0.10.0 to 0.10.1
    • sqlparse from 0.4.4 to 0.5.0
    • typing_extensions 4.7.1에서 4.10.0으로
  • 업그레이드된 R 라이브러리:
  • 업그레이드된 Java 라이브러리
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-cloudhsm 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-config from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-core 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect에서 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-directory from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-ec2 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-ecs from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-efs from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-elasticbeanstalk from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-emr from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-glacier from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-glue 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-iam 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-importexport 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-kms from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-lambda 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-logs from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks 1.12.390~ 1.12.610
    • com.amazonaws.aws-java-sdk-rds from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-redshift에서 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-route53부터 1.12.390~ 1.12.610
    • com.amazonaws.aws-java-sdk-s3 from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-ses 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-sns 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-sqs from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-ssm from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-sts from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-support 1.12.390~ 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.390 to 1.12.610
    • com.amazonaws.jmespath-java에서 1.12.390에서 1.12.610으로

Apache Spark

Databricks Runtime 15.2에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-47941] [SC-163568] [SS] [연결] PySpark에 대한 사용자에게 ForeachBatch 작업자 초기화 오류 전파
  • [SPARK-47412] [SC-163455][SQL] LPad/RPad에 대한 데이터 정렬 지원을 추가합니다.
  • [SPARK-47907] [SC-163408][SQL] 구성 아래에 뱅을 넣습니다.
  • [SPARK-46820] [SC-157093][PYTHON] 복원하여 오류 메시지 회귀 수정 new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]코어/MLLib/리소스 관리자: 구조적 로깅 마이그레이션
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Scala 및 Python에 variant 함수를 추가합니다.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] 마스터 UI에 페이지 추가 Environment
  • [SPARK-47805] [SC-163459][SS] MapState용 TTL 구현
  • [SPARK-47900] [SC-163326] 암시적(UTF8_BINARY) 데이터 정렬에 대한 검사 수정
  • [SPARK-47902] [SC-163316][SQL]Compute 현재 시간* 식을 접을 수 있게 만들기
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] scala 및 python에 대한 분할 함수의 열 형식 지원
  • [SPARK-47754] [SC-162144][SQL] Postgres: 다차원 배열 읽기 지원
  • [SPARK-47416] [SC-163001][SQL] CollationBenchmark #90339에 새 함수 추가
  • [SPARK-47839] [SC-163075][SQL] RewriteWithExpression에서 집계 버그 수정
  • [SPARK-47821] [SC-162967][SQL] is_variant_null 식 구현
  • [SPARK-47883] [SC-163184][SQL] RowQueue로 지연 만들기 CollectTailExec.doExecute
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect는 TIMESTAMP와 TIMESTAMP_TZ 구분합니다.
  • [SPARK-47924] [SC-163282][CORE] 에 DEBUG 로그 추가 DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] scala 2.12에서 ExpressionSet 성능 회귀 수정
  • [SPARK-47565] [SC-161786][PYTHON] PySpark 작업자 풀 충돌 복원력
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource를 pyspark-connect와 호환되도록 만들기
  • [SPARK-47887] [SC-163122][CONNECT] 사용되지 않는 가져오기 spark/connect/common.proto 제거 spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark-connect와 pyspark.worker_utils 호환되도록 만들기
  • [SPARK-47691] [SC-161760][SQL] Postgres: 쓰기 쪽에서 다차원 배열 지원
  • [SPARK-47617] [SC-162513][SQL] 데이터 정렬을 위한 TPC-DS 테스트 인프라 추가
  • [SPARK-47356] [SC-162858][SQL] ConcatWs 및 Elt에 대한 지원 추가(모든 데이터 정렬)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Pandas DataFrame에서와 같이 MapType 유추 dict 하여 DataFrame 만들기 허용
  • [SPARK-47863] [SC-162974][SQL] ICU에 대한 startsWith 및 endsWith 데이터 정렬 인식 구현 수정
  • [SPARK-47867] [SC-162966][SQL] JSON 검사에서 변형을 지원합니다.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] PySpark용 VariantVal 추가
  • [SPARK-47803] [SC-162726][SQL] 변형으로 캐스팅을 지원합니다.
  • [SPARK-47769] [SC-162841][SQL] schema_of_variant_agg 식을 추가합니다.
  • [SPARK-47420] [SC-162842][SQL] 테스트 출력 수정
  • [SPARK-47430] [SC-161178][SQL] MapType에 대한 GROUP BY 지원
  • [SPARK-47357] [SC-162751][SQL] Upper, Lower, InitCap(모든 데이터 정렬)에 대한 지원 추가
  • [SPARK-47788] [SC-162729][SS] 상태 저장 작업 스트리밍에 대해 동일한 해시 분할 확인
  • [SPARK-47776] [SC-162291][SS] 상태 저장 연산자의 키 스키마에서 이진 같지 않음 데이터 정렬을 사용할 수 없습니다.
  • [SPARK-47673] [SC-162824][SS] ListState용 TTL 구현
  • [SPARK-47818] [SC-162845][CONNECT] SparkConnectPlanner에 계획 캐시를 도입하여 분석 요청의 성능 향상
  • [SPARK-47694] [SC-162783][CONNECT] 클라이언트 쪽에서 최대 메시지 크기를 구성할 수 있도록 설정
  • [SPARK-47274] 되돌리기 "[SC-162479][PYTHON][SQL] 더 많은 usef 제공...
  • [SPARK-47616] [SC-161193][SQL] MySQL에서 Spark SQL 데이터 형식 매핑을 위한 사용자 문서 추가
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]proto 파일 생성 수정
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] 릴리스 스크립트를 pyspark-connect 릴리스로 변경
  • [SPARK-47410] [SC-162518][SQL] UTF8String 및 CollationFactory 리팩터링
  • [SPARK-47807] [SC-162505][PYTHON][ML] pyspark.ml pyspark-connect와 호환되도록 만들기
  • [SPARK-47707] [SC-161768][SQL] MySQL 커넥터/J 5.x에 대한 JSON 유형의 특수 처리
  • [SPARK-47765] 되돌리기 "[SC-162636][SQL] 구문 분석할 SET COLLATION 추가...
  • [SPARK-47081] [SC-162151][CONNECT][팔로우] 진행률 처리기의 유용성 향상
  • [SPARK-47289] [SC-161877][SQL] 확장이 설명 계획에서 확장 정보를 기록하도록 허용
  • [SPARK-47274] [SC-162479][PYTHON][SQL] PySpark DataFrame API 오류에 더 유용한 컨텍스트 제공
  • [SPARK-47765] [SC-162636][SQL] 파서 규칙에 SET 데이터 정렬 추가
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite 잘못된 계획으로 실패
  • [SPARK-47812] [SC-162696][CONNECT] ForEachBatch 작업자에 대한 SparkSession의 직렬화 지원
  • [SPARK-47253] [SC-162698][CORE] 이벤트 큐를 완전히 드레이닝하지 않고 LiveEventBus가 중지되도록 허용
  • [SPARK-47827] [SC-162625][PYTHON] 사용되지 않는 기능에 대한 누락된 경고
  • [SPARK-47733] [SC-162628][SS] 쿼리 진행률의 transformWithState 연산자 부분에 대한 사용자 지정 메트릭 추가
  • [SPARK-47784] [SC-162623][SS] TTLMode 및 TimeoutMode를 단일 TimeMode에 병합합니다.
  • [SPARK-47775] [SC-162319][SQL] 변형 사양에서 나머지 스칼라 형식을 지원합니다.
  • [SPARK-47736] [SC-162503][SQL] AbstractArrayType에 대한 지원 추가
  • [SPARK-47081] [SC-161758][CONNECT] 쿼리 실행 진행률 지원
  • [SPARK-47682] [SC-162138][SQL] variant에서 캐스트를 지원합니다.
  • [SPARK-47802] [SC-162478][SQL] 의미 구조체()에서 다시 의미로 되돌리기 *
  • [SPARK-47680] [SC-162318][SQL] variant_explode 식을 추가합니다.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression 각 codegen 모드에 대한 오류를 확인해야 합니다.
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] 다음을 사용하여 구현 SQLStringFormatterWithRelations
  • [SPARK-47693] [SC-162326][SQL] UTF8_BINARY_LCASE 데이터 정렬에 사용되는 UTF8String의 소문자 비교를 위한 최적화 추가
  • [SPARK-47541] [SC-162006][SQL] 역방향, array_join, concat, 맵 작업을 지원하는 복합 형식의 데이터 정렬된 문자열
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] mapInPandas / mapInArrow 지원 ResourceProfile 만들기
  • [SPARK-47727] [SC-161982][PYTHON] SparkSession 및 SparkContext 둘 다에 대해 SparkConf를 루트 수준으로 만들기
  • [SPARK-47406] [SC-159376][SQL] MYSQLDialect에서 TIMESTAMP 및 DATETIME 처리
  • [SPARK-47081] 되돌리기 "[SC-161758][CONNECT] 지원 쿼리 실행...
  • [SPARK-47681] [SC-162043][SQL] schema_of_variant 식을 추가합니다.
  • [SPARK-47783] [SC-162222] 일부 누락된 SQLSTATEs를 추가하여 사용할 YY000 정리...
  • [SPARK-47634] [SC-161558][SQL] 맵 키 정규화를 사용하지 않도록 설정하기 위한 레거시 지원 추가
  • [SPARK-47746] [SC-162022] RocksDBStateEncoder에서 서수 기반 범위 인코딩 구현
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec는 항상 context.session을 사용해야 합니다.
  • [SPARK-47643] [SC-161534][SS][PYTHON] Python 스트리밍 원본에 대한 pyspark 테스트 추가
  • [SPARK-47582] [SC-161943][SQL] 변수를 사용하여 Catalyst logInfo를 구조적 로깅 프레임워크로 마이그레이션
  • [SPARK-47558] [SC-162007][SS] ValueState에 대한 상태 TTL 지원
  • [SPARK-47358] [SC-160912][SQL][데이터 정렬] 올바른 데이터 형식을 반환하도록 반복 식 지원 향상
  • [SPARK-47504] [SC-162044][SQL] StringTypeCollated에 대한 AbstractDataType simpleStrings 확인
  • [SPARK-47719] 되돌리기 "[SC-161909][SQL] spark.sql.legacy.t 변경...
  • [SPARK-47657] [SC-162010][SQL] 파일 원본당 데이터 정렬 필터 푸시다운 지원 구현
  • [SPARK-47081] [SC-161758][CONNECT] 쿼리 실행 진행률 지원
  • [SPARK-47744] [SC-161999] 범위 인코더에서 음수 값 바이트에 대한 지원 추가
  • [SPARK-47713] [SC-162009][SQL][CONNECT] 자체 조인 실패 수정
  • [SPARK-47310] [SC-161930][SS] 상태 저장소의 값 부분에서 여러 값에 대한 병합 작업에 대한 마이크로 벤치마크 추가
  • [SPARK-47700] [SC-161774][SQL] treeNode를 사용하여 오류 메시지의 서식 수정
  • [SPARK-47752] [SC-161993][PS][CONNECT] pyspark.pandas를 pyspark-connect와 호환되도록 만들기
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] 구조적 로깅 프레임워크에서 logWarning/logInfo API 구현
  • [SPARK-47107] [SC-161201][SS][PYTHON] Python 스트리밍 데이터 원본에 대한 파티션 판독기 구현
  • [SPARK-47553] [SC-161772][SS] transformWithState 연산자 API에 대한 Java 지원 추가
  • [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParserPolicy 기본값을 CORRECTED로 변경
  • [SPARK-47655] [SC-161761][SS] state-v2에 대한 초기 상태 처리와 타이머 통합
  • [SPARK-47665] [SC-161550][SQL] SMALLINT를 사용하여 MYSQL에 ShortType 쓰기
  • [SPARK-47210] [SC-161777][SQL] 확정되지 않은 지원 없이 암시적 캐스팅 추가
  • [SPARK-47653] [SC-161767][SS] 음수 숫자 형식 및 범위 검사 키 인코더에 대한 지원 추가
  • [SPARK-46743] [SC-160777][SQL] 일정한 접기 후 버그 수 계산
  • [SPARK-47525] [SC-154568][SQL] 지도 특성에서 하위 쿼리 상관 관계 조인 지원
  • [SPARK-46366] [SC-151277][SQL] BETWEEN에서 WITH 식을 사용하여 중복 식 방지
  • [SPARK-47563] [SC-161183][SQL] 만들 때 지도 정규화 추가
  • [SPARK-42040] [SC-161171][SQL] SPJ: 파티션 통계를 보고하는 V2 입력 파티션에 대한 새 API 도입
  • [SPARK-47679] [SC-161549][SQL] 직접 사용 HiveConf.getConfVars 또는 Hive conf 이름
  • [SPARK-47685] [SC-161566][SQL] 형식에 대한 Stream 지원 복원 Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] 형식이 잘못된 입력에 대해 try_to_number 반환 NULL 만들기
  • [SPARK-47366] [SC-161324][PYTHON] pyspark 및 데이터 프레임 parse_json 별칭 추가
  • [SPARK-47491] [SC-161176][CORE] 먼저 클래스 경로에 jar을 디렉터리의 다른 jars 경로 앞에 추가 slf4j-api 합니다.
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty 프로젝트 CommandResults 로컬
  • [SPARK-47364] [SC-158927][CORE] 플러그 인이 단방향 메시지에 대해 회신할 때 경고 표시 PluginEndpoint
  • [SPARK-47280] [SC-158350][SQL] ORACLE TIMESTAMP WITH TIMEZONE에 대한 표준 시간대 제한 제거
  • [SPARK-47551] [SC-161542][SQL] variant_get 식을 추가합니다.
  • [SPARK-47559] [SC-161255][SQL] Variant에 대한 Codegen 지원 parse_json
  • [SPARK-47572] [SC-161351][SQL] Window partitionSpec 적용은 순서가 지정됩니다.
  • [SPARK-47546] [SC-161241][SQL] Parquet에서 Variant를 읽을 때 유효성 검사 개선
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Pandas DataFrame에서와 같이 MapType 유추 dict 하여 DataFrame 만들기 허용
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] 데이터 프레임 API에서 데이터 정렬을 사용하여 열 만들기
  • [SPARK-47641] [SC-161376][SQL] 다음을 위한 UnaryMinus 성능 향상 Abs
  • [SPARK-47631] [SC-161325][SQL] 사용하지 SQLConf.parquetOutputCommitterClass 않는 메서드 제거
  • [SPARK-47674] [SC-161504][CORE] 기본적으로 사용 spark.metrics.appStatusSource.enabled
  • [SPARK-47273] [SC-161162][SS][PYTHON] Python 데이터 스트림 기록기 인터페이스를 구현합니다.
  • [SPARK-47637] [SC-161408][SQL] 더 많은 위치에서 errorCapturingIdentifier 사용
  • [SPARK-47497] 되돌리기 "[SC-160724][SQL] to_csv 배열/구조체/맵/이진의 출력을 예쁜 문자열로 지원합니다."
  • [SPARK-47492] [SC-161316][SQL] 렉서에서 공백 규칙 확장
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] 캐시된 스키마를 사용하여 열 이름 유효성 검사
  • [SPARK-47638] [SC-161339][PS][CONNECT] PS에서 열 이름 유효성 검사 건너뛰기
  • [SPARK-47363] [SC-161247][SS] 상태 API v2에 대한 상태 판독기 구현이 없는 초기 상태입니다.
  • [SPARK-47447] [SC-160448][SQL] Parquet TimestampLTZ를 TimestampNTZ로 읽기 허용
  • [SPARK-47497] 되돌리기 "[SC-160724][SQL] to_csv 출력을 array/struct/map/binary 예쁜 문자열로 지원"
  • [SPARK-47434] [SC-160122][WEBUI] 에서 링크 수정 statisticsStreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] JSON 경로의 따옴표 붙은 문자열이 지원되어야 하나요? 문자
  • [SPARK-46915] [SC-155729][SQL] 오류 클래스 단순화 UnaryMinus Abs 및 정렬
  • [SPARK-47431] [SC-160919][SQL] 세션 수준 기본 데이터 정렬 추가
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] 열 정렬에 도우미 함수 추가
  • [SPARK-47570] [SC-161165][SS] 타이머 구현과 범위 검사 인코더 변경 내용 통합
  • [SPARK-47497] [SC-160724][SQL] to_csv 예쁜 문자열의 array/struct/map/binary 출력을 지원합니다.
  • [SPARK-47562] [SC-161166][CONNECT] 요소 리터럴 처리 plan.py
  • [SPARK-47509] [SC-160902][SQL] 람다 및 상위 함수에서 하위 쿼리 식 차단
  • [SPARK-47539] [SC-160750][SQL] 메서드 castToString 의 반환 값을 Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] 상태 저장소 공급자와 함께 사용할 범위 검색 기반 키 상태 인코더에 대한 지원 추가
  • [SPARK-47517] [SC-160642][CORE][SQL] 크기 표시에 Utils.bytesToString을 사용하는 것이 좋습니다.
  • [SPARK-47243] [SC-158059][SS] 의 패키지 이름을 수정합니다. StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Spark Connect를 사용하여 Python 데이터 원본 지원
  • [SPARK-47521] [SC-160666][CORE] 외부 스토리지에서 섞기 데이터를 읽는 동안 사용 Utils.tryWithResource
  • [SPARK-47474] [SC-160522][CORE] SPARK-47461 되돌리기 및 일부 설명 추가
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] RPC가 캐시된 스키마를 사용하여 열 이름의 유효성을 검사하지 않도록 방지
  • [SPARK-47451] [SC-160749][SQL] to_json(variant)를 지원합니다.
  • [SPARK-47528] [SC-160727][SQL] DataTypeUtils.canWrite에 UserDefinedType 지원 추가
  • [SPARK-44708] 되돌리기 "[SC-160734][PYTHON] assertDataFrameEqual을 사용하도록 test_reset_index assert_eq 마이그레이션"
  • [SPARK-47506] [SC-160740][SQL] 데이터 정렬된 데이터 형식에 대한 모든 파일 원본 형식에 지원 추가
  • [SPARK-47256] [SC-160784][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] k8s 클러스터 모드에서 spark.jars에 두 번 추가된 기본 리소스 jar 수정
  • [SPARK-47398] [SC-160572][SQL] 기능을 확장할 수 있도록 InMemoryTableScanExec에 대한 특성 추출
  • [SPARK-47479] [SC-160623][SQL] 최적화는 여러 경로 오류 로그를 사용하여 관계에 데이터를 쓸 수 없습니다.
  • [SPARK-47483] [SC-160629][SQL] 데이터 정렬된 문자열 배열에 대한 집계 및 조인 작업에 대한 지원 추가
  • [SPARK-47458] [SC-160237][CORE] 장벽 단계에 대한 최대 동시 작업 계산 문제 해결
  • [SPARK-47534] [SC-160737][SQL] 다음으로 이동 o.a.s.varianto.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Time WITHOUT TIME ZONE에 대한 일반 매핑을 TimestampNTZType에 추가
  • [SPARK-44708] [SC-160734][PYTHON] assertDataFrameEqual을 사용하도록 test_reset_index assert_eq 마이그레이션
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: 값 태그에 대한 스키마 유추 테스트 추가
  • [SPARK-47007] [SC-160630][SQL] 식 MapSort 추가
  • [SPARK-47523] [SC-160645][SQL] 사용되지 않는 다음으로 JsonParser#getCurrentName 바꾸기 JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] 지원되지 않는 구문을 MsSqlServer에 푸시하는 수정
  • [SPARK-47512] [SC-160617][SS] RocksDB 상태 저장소 인스턴스 잠금 획득/해제와 함께 사용되는 태그 작업 유형
  • [SPARK-47346] [SC-159425][PYTHON] Python Planner 작업자를 만들 때 디먼 모드를 구성할 수 있도록 설정
  • [SPARK-47446] [SC-160163][CORE] 전에 경고하기 BlockManagerremoveBlockInternal
  • [SPARK-46526] [SC-156099][SQL] 조건자가 외부 테이블만 참조하는 상관 관계가 있는 하위 쿼리에 대한 LIMIT 지원
  • [SPARK-47461] [SC-160297][CORE] 에서 private 함수 totalRunningTasksPerResourceProfile 제거 ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] 배열 작업에서 데이터 정렬된 문자열 지원
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] 요소 열 이름 처리 중 plan.py
  • [SPARK-47383] [SC-160144][CORE] 지원 spark.shutdown.timeout 구성
  • [SPARK-47342] [SC-159049]되돌리기 "[SQL] DB2 TIMESTAMP WITH 표준 시간대에 대한 TimestampNTZ 지원"
  • [SPARK-47486] [SC-160491][CONNECT] 사용되지 않는 프라이빗 ArrowDeserializers.getString 메서드 제거
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] 클라이언트 쪽 스트리밍 쿼리 수신기에 대한 클라이언트 및 서버 논리
  • [SPARK-47487] [SC-160534][SQL] AnsiTypeCoercion에서 코드 간소화
  • [SPARK-47443] [SC-160459][SQL] 데이터 정렬에 대한 창 집계 지원
  • [SPARK-47296] [SC-160457][SQL][데이터 정렬] 이진 데이터 정렬이 아닌 데이터 정렬에 대해 지원되지 않는 함수 실패
  • [SPARK-47380] [SC-160164][CONNECT] 서버 쪽에서 SparkSession이 동일한지 확인합니다.
  • [SPARK-47327] [SC-160069][SQL] 정렬 키 동시성 테스트를 CollationFactorySuite로 이동
  • [SPARK-47494] [SC-160495][문서] Spark 3.3 이후 Parquet 타임스탬프 유추의 동작 변경에 대한 마이그레이션 문서 추가
  • [SPARK-47449] [SC-160372][SS] 목록/타이머 단위 테스트 리팩터링 및 분할
  • [SPARK-46473] [SC-155663][SQL] Reuse getPartitionedFile 메서드
  • [SPARK-47423] [SC-160068][SQL] 데이터 정렬 - 데이터 정렬을 사용하여 문자열에 대한 작업 지원 설정
  • [SPARK-47439] [SC-160115][PYTHON] API 참조 페이지의 Python 데이터 원본 API 문서화
  • [SPARK-47457] [SC-160234][SQL] Hadoop 3.4 이상 처리 수정 IsolatedClientLoader.supportsHadoopShadedClient
  • [SPARK-47366] [SC-159348][SQL] parse_json 구현합니다.
  • [SPARK-46331] [SC-152982][SQL] DateTime 식 및 version() 식의 하위 집합에서 CodegenFallback 제거
  • [SPARK-47395] [SC-159404] 다른 API에 데이터 정렬 및 데이터 정렬 추가
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] 에 대한 오류 클래스 수정 DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] 클라이언트 쪽 스트리밍 쿼리 수신기용 서버 쪽 SparkConnectListenerBusListener
  • [SPARK-47324] [SC-158720][SQL] JDBC 중첩 형식에 대한 누락된 타임스탬프 변환 추가
  • [SPARK-46962] [SC-158834][SS][PYTHON] Python 스트리밍 데이터 원본 API에 대한 인터페이스를 추가하고 Python 작업자를 구현하여 Python 스트리밍 데이터 원본을 실행합니다.
  • [SPARK-45827] [SC-158498][SQL] CreatableRelationProvider로 데이터 형식 검사 이동
  • [SPARK-47342] [SC-158874][SQL] DB2 TIMESTAMP WITH 표준 시간대에 대한 TimestampNTZ 지원
  • [SPARK-47399] [SC-159378][SQL] 데이터 정렬을 사용하여 식에서 생성된 열 사용 안 함
  • [SPARK-47146] [SC-158247][CORE] 정렬 병합 조인을 수행할 때 스레드 누수 가능
  • [SPARK-46913] [SC-159149][SS] transformWithState 연산자를 사용하여 처리/이벤트 시간 기반 타이머에 대한 지원 추가
  • [SPARK-47375] [SC-159063][SQL] 에서 타임스탬프 매핑에 대한 지침 추가 JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] H2Dialect에 대한 TIMESTAMP WITH 표준 시간대 지원
  • [SPARK-45827] 되돌리기 "[SC-158498][SQL] 데이터 형식 검사를 ...로 이동...
  • [SPARK-47208] [SC-159279][CORE] 기본 오버헤드 메모리 재정의 허용
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] ORACLE TIMESTAMP WITH LOCAL TIME ZONE 지원
  • [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0 업그레이드
  • [SPARK-46906] [SC-157205][SS] 스트리밍에 대한 상태 저장 연산자 변경에 대한 확인 추가
  • [SPARK-47391] [SC-159283][SQL] JDK 8에 대한 테스트 사례 해결 방법 제거
  • [SPARK-47272] [SC-158960][SS] 상태 API v2에 대한 MapState 구현을 추가합니다.
  • [SPARK-47375] [SC-159278][문서][후속 작업] JDBC의 preferTimestampNTZ 옵션 문서에서 실수 수정
  • [SPARK-42328] [SC-157363][SQL] 오류 클래스에서 _LEGACY_ERROR_TEMP_1175 제거
  • [SPARK-47375] [SC-159261][문서][후속 작업] JDBC 문서에서 preferTimestampNTZ 옵션 설명 수정
  • [SPARK-47344] [SC-159146] 따옴 지정되지 않은 식별자에서 '-'을 catch하는 것 이상으로 INVALID_IDENTIFIER 오류를 확장하고 "IS! NULL" 외.
  • [SPARK-47340] [SC-159039][SQL] StringType 형식 이름의 "collate"를 소문자로 변경
  • [SPARK-47087] [SC-157077][SQL] 구성 값 검사에서 오류 클래스를 사용하여 Spark의 예외 발생
  • [SPARK-47327] [SC-158824][SQL] ICU 데이터 정렬기의 스레드 안전 문제 해결
  • [SPARK-47082] [SC-157058][SQL] 범위를 벗어난 오류 조건 수정
  • [SPARK-47331] [SC-158719][SS] 임의 상태 API v2용 SQL 인코더를 기반으로 하는 사례 클래스/기본 형식/POJO를 사용한 Serialization
  • [SPARK-47250] [SC-158840][SS] RocksDB 상태 공급자 및 열 패밀리 사용에 대한 추가 유효성 검사 및 NERF 변경 내용 추가
  • [SPARK-47328] [SC-158745][SQL] UCS_BASIC 데이터 정렬 이름을 UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] 지원 및 spark.driver.timeoutDriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][문서] 마이그레이션 문서 추가: Parquet 파일에 대한 TimestampNTZ 형식 유추
  • [SPARK-47309] [SC-158827][SQL][XML] 스키마 유추 단위 테스트 추가
  • [SPARK-47295] [SC-158850][SQL] 및 endsWith 함수에 대한 ICU StringSearch 추가 startsWith 됨
  • [SPARK-47343] [SC-158851][SQL] 즉시 실행 시 변수 값이 null 문자열인 경우 sqlString NPE 수정
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] 전이적 종속성 사용 protobuf
  • [SPARK-46795] [SC-154143][SQL] 다음으로 바꾸기 UnsupportedOperationException SparkUnsupportedOperationExceptionsql/core
  • [SPARK-46087] [SC-149023][PYTHON] 문서 및 개발 요구 사항에서 PySpark 종속성 동기화
  • [SPARK-47169] [SC-158848][SQL] 데이터 정렬된 열에서 버킷팅 사용 안 함
  • [SPARK-42332] [SC-153996][SQL] ComplexTypeMergingExpression에서 필요를 SparkException으로 변경
  • [SPARK-45827] [SC-158498][SQL] CreatableRelationProvider로 데이터 형식 검사 이동
  • [SPARK-47341] [SC-158825][연결] SparkConnectClientSuite에서 몇 가지 테스트의 관계로 명령 바꾸기
  • [SPARK-43255] [SC-158026][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2020 내부 오류로 바꿉
  • [SPARK-47248] [SC-158494][SQL][데이터 정렬] 향상된 문자열 함수 지원: 포함
  • [SPARK-47334] [SC-158716][SQL] 다음의 구현을 다시 사용하도록 합니다 withColumnRenamed . withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2는 푸시다운 PERCENTILE_CONT 지원하며 PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] scala가 추가되었습니다. QueryExecution.toInternalError 내에서 MatchError 처리
  • [SPARK-45827] [SC-158732][SQL] Java용 변형 싱글톤 형식 추가
  • [SPARK-47337] [SC-158743][SQL][DOCKER] DB2 Docker 이미지 버전을 11.5.8.0으로 업그레이드
  • [SPARK-47302] [SC-158609][SQL] 키워드를 식별자로 정렬
  • [SPARK-46817] [SC-154196][CORE] 명령을 추가하여 decommission 사용량 수정 spark-daemon.sh
  • [SPARK-46739] [SC-153553][SQL] 오류 클래스 추가 UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] COLLATION_ENABLED 구성 플래그 추가
  • [SPARK-46774] [SC-153925][SQL][AVRO] Avro 쓰기 작업에서 사용되지 않는 mapred.output.compress 대신 mapreduce.output.fileoutputformat.compress를 사용합니다.
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: 작업자가 다시 연결되지 않는 경우 시간 제한입니다.
  • [SPARK-46835] [SC-158355][SQL][데이터 정렬] 이진 데이터 정렬이 아닌 데이터 정렬에 대한 조인 지원
  • [SPARK-47131] [SC-158154][SQL][데이터 정렬] 문자열 함수 지원: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] JdbcDialect.compileValue의 TimestampNTZConverter에서 생성된 형식을 고려합니다.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] PySpark가 Python 경로에 없는 Python 예외 표시 안 함
  • [SPARK-47319] [SC-158599][SQL] missingInput 계산 개선
  • [SPARK-47316] [SC-158606][SQL] Postgres 배열에서 TimestampNTZ 수정
  • [SPARK-47268] [SC-158158][SQL][데이터 정렬] 데이터 정렬을 사용하여 다시 분할 지원
  • [SPARK-47191] [SC-157831][SQL] 테이블/뷰를 캐시하지 않는 경우 불필요한 관계 조회 방지
  • [SPARK-47168] [SC-158257][SQL] 기본 정렬되지 않은 문자열로 작업할 때 parquet 필터 푸시다운 사용 안 함
  • [SPARK-47236] [SC-158015][CORE] 존재하지 않는 파일 입력을 건너뛰는 수정 deleteRecursivelyUsingJavaIO
  • [SPARK-47238] [SC-158466][SQL] WSCG에서 생성된 코드를 브로드캐스트 변수로 만들어 실행기 메모리 사용량 줄이기
  • [SPARK-47249] [SC-158133][CONNECT] 실제 상태에 관계없이 모든 연결 실행이 중단된 것으로 간주되는 버그 수정
  • [SPARK-47202] [SC-157828][PYTHON] tzinfo를 사용하여 오타 호환성이 손상되는 날짜/시간 수정
  • [SPARK-46834] [SC-158139][SQL][데이터 정렬] 집계 지원
  • [SPARK-47277] [SC-158351][3.5] PySpark util 함수 assertDataFrameEqual은 DF 스트리밍을 지원하지 않아야 합니다.
  • [SPARK-47155] [SC-158473][PYTHON] 오류 클래스 문제 해결
  • [SPARK-47245] [SC-158163][SQL] INVALID_PARTITION_COLUMN_DATA_TYPE 오류 코드 개선
  • [SPARK-39771] [SC-158425][CORE] 너무 많은 수의 순서 섞기 블록을 만들 때 경고 msg Dependency 를 추가합니다.
  • [SPARK-47277] [SC-158329] PySpark util 함수 assertDataFrameEqual은 DF 스트리밍을 지원하지 않아야 합니다.
  • [SPARK-47293] [SC-158356][CORE] 하나씩 추가하지 않고 sparkSchema를 사용하여 batchSchema 빌드
  • [SPARK-46732] [SC-153517][CONNECT]하위 쿼리/브로드캐스트 스레드가 Connect의 아티팩트 관리에서 작동하게 합니다.
  • [SPARK-44746] [SC-158332][PYTHON] 입력 테이블을 허용하는 함수에 대한 Python UDTF 설명서 추가
  • [SPARK-47120] [SC-157517][SQL] Parquet 필터의 NPE에서 생성되는 하위 쿼리에서 Null 비교 푸시다운 데이터 필터
  • [SPARK-47251] [SC-158291][PYTHON] 명령에 대한 sql 인수에서 args 잘못된 형식 차단
  • [SPARK-47251] "[SC-158121][PYTHON] 명령에 대한 sql 인수에서 args 잘못된 형식 차단" 되돌리기
  • [SPARK-47015] [SC-157900][SQL] 데이터 정렬된 열에서 분할 사용 안 함
  • [SPARK-46846] [SC-154308][CORE] WorkerResourceInfo 명시적으로 확장 Serializable
  • [SPARK-46641] [SC-156314][SS] maxBytesPerTrigger 임계값 추가
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner 내부 함수를 비공개로 만들기
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate 입력과 동일한 형식을 반환합니다.
  • [SPARK-46961] [SC-158183][SS] ProcessorContext를 사용하여 핸들 저장 및 검색
  • [SPARK-46862] [SC-154548][SQL] 여러 줄 모드에서 CSV 열 정리 사용 안 함
  • [SPARK-46950] [SC-155803][CORE][SQL] 오류 클래스 맞춤 not available codec
  • [SPARK-46368] [SC-153236][CORE] REST 제출 API 지원 readyz
  • [SPARK-46806] [SC-154108][PYTHON] 인수 형식이 잘못된 경우 spark.table에 대한 오류 메시지 개선
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] 무시된 PySpark Connect 문자열 데이터 정렬 수정
  • [SPARK-46552] [SC-151366][SQL] 다음으로 바꾸기 UnsupportedOperationException SparkUnsupportedOperationExceptioncatalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] PySpark 데이터 정렬 문자열 변환 오류 수정
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] collateId protobuf 필드를 추가하여 Spark Connect 데이터 정렬 오류 수정
  • [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi를 다시 시도 가능하게 하고 ThriftServerWithSparkContextInHttpSuite의 flakiness를 수정합니다.
  • [SPARK-46696] [SC-153832][CORE] ResourceProfileManager에서 함수 호출은 변수 선언 후에 발생해야 합니다.
  • [SPARK-47214] [SC-157862][Python] 상수 NULL 인수 및 다른 형식의 인수를 구분하는 'analyze' 메서드에 대한 UDTF API 만들기
  • [SPARK-46766] [SC-153909][SQL][AVRO] AVRO 데이터 원본에 대한 ZSTD 버퍼 풀 지원
  • [SPARK-47192] [SC-157819] 일부 _LEGACY_ERROR_TEMP_0035 오류 변환
  • [SPARK-46928] [SC-157341][SS] 임의 상태 API v2에서 ListState에 대한 지원을 추가합니다.
  • [SPARK-46881] [SC-154612][CORE] 지원 spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] 지원 spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] 잘못된 parquet 압축 코덱 lz4raw를 사용하는 버그 수정
  • [SPARK-46791] [SC-154018][SQL] JavaTypeInference에서 Java 집합 지원
  • [SPARK-46332] [SC-150224][SQL] 오류 클래스로 마이그레이션 CatalogNotFoundExceptionCATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] v2의 더 넓은 형식 좁은 리터럴에서 기본값이 v1과 동일하게 동작하도록 설정
  • [SPARK-46664] [SC-153181][CORE] 작업자 및 앱이 없는 경우 신속하게 복구하도록 개선 Master
  • [SPARK-46759] [SC-153839][SQL][AVRO] avro 파일에 대한 코덱 xz 및 zstandard 지원 압축 수준

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 15.2 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • 델타 레이크: 3.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
검정색 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 암호화 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 실행 중 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 패키징 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 6 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

설치된 R 라이브러리

R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
캐럿 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 충돌 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
다이어그램 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
제네릭(generics) 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
주기 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
행렬 1.5-4.1 memoise 2.0.1 메서드 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 진행률 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
프록시 0.4-27 ps 1.76 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 반응 가능 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1