다음을 통해 공유

Databricks Runtime 15.2(EoS)

  • 아티클

메모

이 Databricks 런타임 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록참조하세요. 지원되는 모든 Databricks 런타임 버전은 Databricks 런타임 릴리스 정보 버전 및 호환성참조하세요.

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.2에 대한 정보를 제공합니다.

Databricks는 2024년 5월에 이 버전을 릴리스했습니다.

팁

지원 종료(EoS)에 도달한 Databricks 런타임 버전에 대한 릴리스 정보를 보려면 지원 종료 Databricks 런타임 릴리스 정보참조하세요. EoS Databricks 런타임 버전은 사용 중지되었으며 업데이트되지 않을 수 있습니다.

동작 변경

Vacuum COPY INTO 메타데이터 파일을 정리합니다.

VACUUM를 사용하여 작성된 table에서 COPY INTO을 실행하면 수집 파일 추적과 관련된 참조되지 않은 메타데이터가 정리됩니다. COPY INTO는 운영 의미 체계에 영향을 주지 않습니다.

레이크하우스 페더레이션은 일반적으로 사용 가능합니다.

Databricks Runtime 15.2 이상에서는 다음 데이터베이스 형식의 Lakehouse Federation 커넥터를 일반 공급(GA)합니다.

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • 눈송이
  • Microsoft SQL Server
  • Azure Synapse(SQL Data Warehouse)
  • Databricks

이 릴리스에서는 다음과 같은 향상된 기능도 소개합니다.

  • Snowflake 및 Microsoft SQL Server 커넥터에서 SSO(Single Sign-On) 인증을 지원합니다.

  • 서버리스 컴퓨팅 환경에서 SQL Server 커넥터에 대한 Azure Private Link 지원. 3단계:프라이빗 엔드포인트 규칙 만들기를 참조하세요.

  • 추가적인 푸시다운 기능(문자열, 수학 및 기타 함수)에 대한 지원을 제공합니다.

  • 다양한 쿼리 셰이프에서 푸시다운 성공률이 향상되었습니다.

  • 추가 푸시다운 디버깅 기능:

    • EXPLAIN FORMATTED 출력에는 푸시다운된 쿼리 텍스트가 표시됩니다.
    • 쿼리 프로필 UI는 푸시 다운된 쿼리 텍스트, 페더레이션된 노드 식별자 및 JDBC 쿼리 실행 시간(상세 모드)을 표시합니다. 시스템 생성 페더레이션 쿼리을 참조하십시오.

BY POSITION을 위해 column을 COPY INTO로 매핑하는 헤더 없는 CSV 파일 사용

Databricks Runtime 15.2 이상에서는 헤더가 없는 CSV 파일에 대해 BY POSITION와 함께 ( col_name [ , <col_name> ... ] ) 키워드(또는 대체 구문 COPY INTO)를 사용하여 원본 column을(를) 대상 tablecolumn 매핑으로 간소화할 수 있습니다. Parameters을 참조하세요.

Resubmitted 오류로 Spark 작업이 실패할 때 메모리 사용량 감소

Databricks Runtime 15.2 이상에서는 TaskInfo.accumulables() 오류로 작업이 실패할 때 Spark Resubmitted 메서드의 반환 값이 비어 있습니다. 이전에는 메서드가 성공적으로 완료된 태스크 시도의 values을 반환했습니다. 이 동작 변경은 다음 소비자에게 영향을 줍니다.

  • EventLoggingListener 클래스를 사용하는 Spark 작업입니다.
  • 사용자 지정 Spark 수신기.

restore 이전 동작을 setspark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabledfalse.

적응형 쿼리 실행 계획 버전 보기가 비활성화됨

메모리 사용량을 줄이기 위해 이제 Spark UI에서 AQE(적응 쿼리 실행) 계획 버전을 기본적으로 사용하지 않도록 설정합니다. Spark UI에서 AQE 계획 버전을 볼 수 있도록 하려면 set을 spark.databricks.sql.aqe.showPlanChangesInUI.enabled에서 true로 설정하세요.

유지된 쿼리에 대한 Limit 설정이 Spark UI 메모리 사용량을 줄이기 위해 낮아집니다.

Databricks Runtime 15.2 이상에서는 Azure Databricks 컴퓨팅의 Spark UI에서 사용하는 메모리를 줄이기 위해 UI에 표시되는 쿼리 수에 대한 limit 1000에서 100으로 낮아집니다. limit을 변경하려면 set Spark 구성을 사용하여 spark.sql.ui.retainedExecutions에 새 값을 입력하세요.

이제 DESCRIBE HISTORY은 액체 클러스터링을 사용하는 columns의 클러스터링 tables을 표시합니다.

DESCRIBE HISTORY 쿼리를 실행하면, 기본적으로 operationParameterscolumn가 clusterBy 및 CREATE OR REPLACE 작업에 대해서는 OPTIMIZE 필드를 표시합니다. Delta table가 액체 클러스터링을 사용하는 경우, clusterBy 필드는 table의 클러스터링 columns로 채워집니다. table 액체 클러스터링을 사용하지 않는 경우 필드는 비어 있습니다.

새로운 기능 및 개선 사항

기본 키와 외신 키에 대한 지원은 GA입니다.

Databricks 런타임의 기본 및 외장 키에 대한 지원은 일반적으로 사용할 수 있습니다. GA 릴리스에는 기본 키와 외장 키를 사용하는 데 필요한 권한에 대한 다음과 같은 변경 내용이 포함되어 있습니다.

  • 외래 키를 정의하려면 외래 키가 참조하는 기본 키가 있는 SELECT에 대해 table 권한이 있어야 합니다. 이전에 필요했던 기본 키를 사용하여 table 소유할 필요가 없습니다.
  • CASCADE 절을 사용하여 기본 키를 삭제하는 것은 기본 키를 참조하는 외래 키를 정의하는 tables에 대한 권한이 필요하지 않습니다. 이전에는 참조하는 tables소유해야 했습니다.
  • 이제 제약 조건이 포함된 table 삭제하려면 제약 조건을 포함하지 않는 tables 삭제하는 것과 동일한 권한이 필요합니다.

tables 또는 views기본 및 외세 키를 사용하는 방법을 알아보려면 CONSTRAINT 절, ADD CONSTRAINT 절및 DROP CONSTRAINT 절참조하세요.

GA는 Liquid 클러스터링입니다

이제 Liquid 클러스터링에 대한 지원은 Databricks Runtime 15.2 이상을 사용하여 일반 공급됩니다. 을(를) 참조하세요. 델타 tables에 액체 클러스터링을 사용하세요.

형식 확대 기능이 공개 미리보기로 진행 중입니다.

이제 Delta Lake에서 지원하는 tables 형식 확대를 사용하도록 설정할 수 있습니다. 형식 확장이 활성화된 Tables 기본 데이터 파일을 다시 작성하지 않고도 columns 형식을 더 넓은 데이터 형식으로 변경할 수 있습니다. 형식 확대참조하세요.

SQL 병합 구문에 추가된 Schema 진화 절

이제 WITH SCHEMA EVOLUTION 절을 SQL 병합 문에 추가하여 작업에 대한 schema 진화를 사용하도록 설정할 수 있습니다. 병합에 대한 의 진화 구문을 참조하세요.

PySpark 사용자 지정 데이터 원본은 공개 미리 보기에서 사용할 수 있습니다.

PySpark DataSource는 Python(PySpark) DataSource API를 사용하여 만들 수 있습니다. 이를 통해 사용자 지정 데이터 원본에서 읽고 Python을 사용하여 Apache Spark의 사용자 지정 데이터 싱크에 쓸 수 있습니다. PySpark 사용자 지정 데이터 원본 참조

applyInPandas 및 mapInPandas는 이제 Unity Catalog 컴퓨팅에서 공유 액세스 모드로 사용할 수 있습니다.

Databricks Runtime 14.3 LTS 유지 관리 릴리스의 일부로, 이제 Databricks Runtime 14.3 이상을 실행하는 공유 액세스 모드 컴퓨팅에서 applyInPandas 및 mapInPandas UDF 형식이 지원됩니다.

dbutils.widgets.getAll()을 사용하여 Notebook의 모든 위젯을 get

Notebook에서 을(를) 사용하여 모든 위젯 의 . 이는 Spark SQL 쿼리에 values 여러 위젯을 전달할 때 특히 유용합니다.

Vacuum 인벤토리 지원

이제 Delta VACUUM에서 table 명령을 실행할 때 고려할 파일 목록을 지정할 수 있습니다. OSS Delta 문서참조하세요.

Zstandard 압축 함수 지원

이제 zst_compress, zstd_decompress및 try_zstd_decompress 함수를 사용하여 BINARY 데이터를 압축 및 압축 해제할 수 있습니다.

버그 수정

이제 SQL UI의 쿼리 계획이 올바르게 PhotonWriteStage 표시됩니다.

SQL UI에 표시되면 쿼리 계획의 write 명령이 PhotonWriteStage 연산자로 잘못 표시되었습니다. 이 릴리스에서는 PhotonWriteStage 스테이지로 표시하도록 UI가 업데이트됩니다. 이는 UI 변경에만 해당하며 쿼리 실행 방식에는 영향을 주지 않습니다.

Ray 클러스터 시작 문제를 해결하기 위해 Ray가 업데이트됨

이 릴리스에는 Ray 클러스터가 Machine Learning용 Databricks 런타임으로 시작되지 않도록 하는 호환성이 손상되는 변경을 수정하는 패치된 버전의 Ray가 포함되어 있습니다. 이렇게 변경하면 Ray 기능이 15.2 이전 버전의 Databricks Runtime과 동일합니다.

DataFrame.sort() 및 DataFrame.sortWithinPartitions() 함수에 대한 수정된 오류 클래스

이 릴리스에는 update이(가) PySpark DataFrame.sort() 및 DataFrame.sortWithinPartitions() 함수에 추가되어 ZERO_INDEX가 인덱스 인수로 전달될 때 0 오류 클래스가 throw되도록 보장합니다. 이전에는 INDEX_NOT_POSITIVE 오류 클래스가 throw되었습니다.

ipywidgets가 8.0.4에서 7.7.2로 다운그레이드됨

Databricks Runtime 15.0에서 ipywidgets를 8.0.4로 업그레이드하여 발생하는 오류를 해결하려면 Databricks Runtime 15.2에서 ipywidgets가 7.7.2로 다운그레이드됩니다. 이전 Databricks 런타임 버전에 포함된 것과 동일한 버전입니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • 3.1.42에서 3.1.43으로 GitPython
    • google-api-core 2.17.1에서 2.18.0으로
    • google-auth 2.28.1에서 2.29.0로
    • google-cloud-storage 2.15.0에서 2.16.0으로
    • googleapis-common-protos 1.62.0에서 1.63.0으로
    • ipywidgets 8.0.4에서 7.7.2로
    • mlflow-skinny 버전 2.11.1에서 2.11.3으로 업데이트
    • s3transfer 버전 0.10.0에서 0.10.1로
    • sqlparse 버전 0.4.4에서 0.5.0으로 업그레이드
    • typing_extensions 4.7.1에서 4.10.0으로
  • 업그레이드된 R 라이브러리:
  • 업그레이드된 Java 라이브러리:
    • com.amazonaws.aws-java-sdk-autoscaling의 버전이 1.12.390에서 1.12.610으로 변경됩니다.
    • com.amazonaws.aws-java-sdk-cloudformation from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-cloudhsm 버전 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-cloudsearch 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-cloudwatch 버전 1.12.390에서 1.12.610으로 업데이트
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity 버전이 1.12.390에서 1.12.610으로 변경됩니다.
    • com.amazonaws.aws-java-sdk-cognitosync 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-config 버전 1.12.390부터 1.12.610까지
    • com.amazonaws.aws-java-sdk-core 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-datapipeline을 1.12.390에서 1.12.610으로 업데이트
    • com.amazonaws.aws-java-sdk-directconnect에서 1.12.390부터 1.12.610까지
    • com.amazonaws.aws-java-sdk-directory 버전이 1.12.390에서 1.12.610으로 변경됩니다.
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-ec2 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-ecs 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-efs 버전 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-elasticache 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-elasticbeanstalk from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 버전을 1.12.390에서 1.12.610으로 변경
    • com.amazonaws.aws-java-sdk-elastictranscoder 버전을 1.12.390에서 1.12.610으로 변경
    • com.amazonaws.aws-java-sdk-emr 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-glacier from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-glue 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-iam 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-importexport 1.12.390에서 1.12.610로
    • com.amazonaws.aws-java-sdk-kinesis from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-kms 버전 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-lambda 1.12.390에서 1.12.610까지
    • com.amazonaws.aws-java-sdk-logs 버전을 1.12.390에서 1.12.610으로 업데이트합니다.
    • com.amazonaws.aws-java-sdk-machinelearning 버전을 1.12.390에서 1.12.610으로 업데이트
    • com.amazonaws.aws-java-sdk-opsworks 버전 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-rds 버전 1.12.390에서 1.12.610으로 변경
    • com.amazonaws.aws-java-sdk-redshift 버전이 1.12.390에서 1.12.610으로 변경되었습니다.
    • com.amazonaws.aws-java-sdk-route53 1.12.390~1.12.610
    • com.amazonaws.aws-java-sdk-s3 버전이 1.12.390에서 1.12.610으로 업데이트됩니다.
    • com.amazonaws.aws-java-sdk-ses 1.12.390부터 1.12.610까지
    • com.amazonaws.aws-java-sdk-simpledb from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow 버전 1.12.390 ~ 1.12.610
    • com.amazonaws.aws-java-sdk-sns 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-sqs 버전이 1.12.390에서 1.12.610으로 업데이트되었습니다.
    • com.amazonaws.aws-java-sdk-ssm을 1.12.390에서 1.12.610으로 업데이트합니다.
    • com.amazonaws.aws-java-sdk-storagegateway 버전 1.12.390에서 1.12.610으로 업데이트됨
    • com.amazonaws.aws-java-sdk-sts 버전 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-support 1.12.390에서 1.12.610으로
    • com.amazonaws.aws-java-sdk-workspaces 1.12.390에서 1.12.610로
    • com.amazonaws.jmespath-java에서 버전 1.12.390에서 1.12.610으로 업데이트

Apache Spark

Databricks Runtime 15.2에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.1(EoS)포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-47941] [SC-163568] [SS] [연결] PySpark에 대한 사용자에게 ForeachBatch 작업자 초기화 오류 전파
  • [SPARK-47412] [SC-163455][SQL] LPad/RPad에 대한 데이터 정렬 지원을 추가합니다.
  • [SPARK-47907] [SC-163408][SQL] 설정에 느낌표 추가
  • [SPARK-46820] [SC-157093][PYTHON] new_msg 복원하여 오류 메시지 회귀 수정
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource manager: 구조적 로깅 마이그레이션
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Scala 및 Python에 변형 함수를 추가합니다.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] 마스터 UI에 Environment 페이지 추가
  • [SPARK-47805] [SC-163459][SS] MapState용 TTL 구현
  • [SPARK-47900] [SC-163326] 암시적(UTF8_BINARY) 데이터 정렬에 대한 검사 수정
  • [SPARK-47902] [SC-163316][SQL]컴퓨팅 현재 시간* 식을 접을 수 있게 만들기
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] scala 및 python에 대한 분할 함수의 Column 형식 지원
  • [SPARK-47754] [SC-162144][SQL] Postgres: 다차원 배열 읽기 지원
  • [SPARK-47416] [SC-163001][SQL] CollationBenchmark #90339에 새 함수 추가
  • [SPARK-47839] [SC-163075][SQL] RewriteWithExpression에서 집계 버그 수정
  • [SPARK-47821] [SC-162967][SQL] is_variant_null 식 구현
  • [SPARK-47883] [SC-163184][SQL] RowQueue를 사용하여 CollectTailExec.doExecute 지연
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect가 TIMESTAMP와 TIMESTAMP_TZ를 구분합니다.
  • [SPARK-47924] [SC-163282][CORE] DiskStore.moveFileToBlock 디버그 로그 추가
  • [SPARK-47897] [SC-163183][SQL][3.5] scala 2.12에서 ExpressionSet 성능 저하 문제 해결
  • [SPARK-47565] [SC-161786][PYTHON] PySpark 작업자 풀 충돌 회복력
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] pyspark.resource를 pyspark-connect와 호환되도록 만들기
  • [SPARK-47887] [SC-163122][CONNECT] Removespark/connect/common.protospark/connect/relations.proto 가져오기 사용하지 않음
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] pyspark-connect와 pyspark.worker_utils 호환되도록 만들기
  • [SPARK-47691] [SC-161760][SQL] Postgres: 쓰기 쪽에서 다차원 배열 지원
  • [SPARK-47617] [SC-162513][SQL] 데이터 정렬을 위한 TPC-DS 테스트 인프라 추가
  • [SPARK-47356] [SC-162858][SQL] ConcatWs & Elt에 대한 지원 추가(모든 데이터 정렬)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Pandas DataFrame에서 dict를 MapType로 유추하여 DataFrame 생성 가능하기 위한 작업
  • [SPARK-47863] [SC-162974][SQL] Fix startsWith & endsWith Collation-aware implementation for ICU
  • [SPARK-47867] [SC-162966][SQL] JSON 검사에서 변형을 지원합니다.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] PySpark용 VariantVal 추가
  • [SPARK-47803] [SC-162726][SQL] 변형으로의 캐스트 지원.
  • [SPARK-47769] [SC-162841][SQL] schema_of_variant_agg 식을 추가합니다.
  • [SPARK-47420] [SC-162842][SQL] 테스트 출력 수정
  • [SPARK-47430] [SC-161178][SQL] MapType에 대한 지원 GROUP BY
  • [SPARK-47357] [SC-162751][SQL] Upper, Lower, InitCap에 대한 지원 추가(모든 데이터 정렬)
  • [SPARK-47788] [SC-162729][SS] 스트리밍 상태 저장 작업에 대해 동일한 해시 분할을 보장합니다.
  • [SPARK-47776] [SC-162291][SS] 상태 저장 연산자의 키 schema에서 이진 불평등 정렬 사용 금지
  • [SPARK-47673] [SC-162824][SS] ListState용 TTL 구현
  • [SPARK-47818] [SC-162845][CONNECT] SparkConnectPlanner에 계획 캐시를 도입하여 분석 요청의 성능 향상
  • [SPARK-47694] [SC-162783][CONNECT] 클라이언트 쪽에서 최대 메시지 크기를 구성할 수 있도록 설정
  • [SPARK-47274] 되돌리기 "[SC-162479][PYTHON][SQL] 더 유용한 정보 제공...
  • [SPARK-47616] [SC-161193][SQL] MySQL에서 Spark SQL 데이터 형식 매핑을 위한 사용자 문서 추가
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT] 프로토 파일 생성 방법 수정
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] pyspark-connect를 릴리스하도록 릴리스 스크립트 변경
  • [SPARK-47410] [SC-162518][SQL] UTF8String 및 CollationFactory를 리팩터하였다.
  • [SPARK-47807] [SC-162505][PYTHON][ML] pyspark-connect와 pyspark.ml 호환되도록 만들기
  • [SPARK-47707] [SC-161768][SQL] MySQL 커넥터/J 5.x용 JSON 형식의 특수 처리
  • [SPARK-47765] 원상 복구 “[SC-162636][SQL] 구문 분석에서 SET 서열 추가...
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] 진행률 핸들러의 유용성 향상
  • [SPARK-47289] [SC-161877][SQL] 확장이 explain 계획에서 확장된 정보를 기록할 수 있도록 허용
  • [SPARK-47274] [SC-162479][PYTHON][SQL] PySpark DataFrame API 오류에 더 유용한 컨텍스트 제공
  • [SPARK-47765] [SC-162636][SQL] 파서 규칙에 SET 정렬 규칙 추가
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite 잘못된 계획으로 실패함
  • [SPARK-47812] [SC-162696][CONNECT] ForEachBatch 작업자용 SparkSession의 직렬화 지원
  • [SPARK-47253] [SC-162698][CORE] 이벤트 큐를 완전히 비우지 않고 LiveEventBus를 중지할 수 있도록 허용
  • [SPARK-47827] [SC-162625][PYTHON] 사용되지 않는 기능에 대한 경고 누락
  • [SPARK-47733] [SC-162628][SS] 쿼리 진행률의 transformWithState 연산자 부분에 대한 사용자 지정 메트릭 추가
  • [SPARK-47784] [SC-162623][SS] TTLMode 및 TimeoutMode를 단일 TimeMode로 병합합니다.
  • [SPARK-47775] [SC-162319][SQL] 변형 사양에서 나머지 스칼라 형식을 지원합니다.
  • [SPARK-47736] [SC-162503][SQL] AbstractArrayType에 대한 지원 추가
  • [SPARK-47081] [SC-161758][CONNECT] 쿼리 실행 진행률 지원
  • [SPARK-47682] [SC-162138][SQL] variant에서 캐스트를 지원합니다.
  • [SPARK-47802] [SC-162478][SQL] 의미 체계에서 의미로 다시 되돌리기(에서로) *
  • [SPARK-47680] [SC-162318][SQL] variant_explode 식을 추가합니다.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression 각 codegen 모드에 대한 오류를 확인해야 합니다.
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] SQLStringFormatter를 WithRelations 사용하여 구현
  • [SPARK-47693] [SC-162326][SQL] UTF8_BINARY_LCASE 데이터 정렬에 사용되는 UTF8String의 소문자 비교를 위한 최적화 추가
  • [SPARK-47541] [SC-162006][SQL] 복합 형식 내 정렬된 문자열에 대해 'reverse', 'array_join', 'concat', 'map' 작업 지원
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] mapInPandas / mapInArrow가 ResourceProfile을 지원하도록 만들기
  • [SPARK-47727] [SC-161982][PYTHON] SparkConf를 SparkSession 및 SparkContext 모두에 대한 루트 수준으로 만들기
  • [SPARK-47406] [SC-159376][SQL] MYSQLDialect에서 타임스탬프 및 DATETIME 처리
  • [SPARK-47081] 되돌리기 "[SC-161758][CONNECT] 쿼리 실행 지원…"
  • [SPARK-47681] [SC-162043][SQL] schema_of_variant 식을 추가합니다.
  • [SPARK-47783] [SC-162222] 일부 누락된 SQLSTATEs를 추가하고 YY000을 정리하여 사용...
  • [SPARK-47634] [SC-161558][SQL] 맵 키 정규화를 사용하지 않도록 설정하기 위한 레거시 지원 추가
  • [SPARK-47746] [SC-162022] RocksDBStateEncoder에서 서수 기반 범위 인코딩 구현
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec는 항상 context.session을 사용해야 합니다.
  • [SPARK-47643] [SC-161534][SS][PYTHON] python 스트리밍 원본에 대한 pyspark 테스트 추가
  • [SPARK-47582] [SC-161943][SQL] 구조적 로깅 프레임워크에 변수를 사용하여 Catalyst logInfo 마이그레이션
  • [SPARK-47558] [SC-162007][SS] ValueState에 대한 상태 TTL 지원
  • [SPARK-47358] [SC-160912][SQL][COLLATION] 올바른 데이터 형식을 반환하도록 반복 식 지원 개선
  • [SPARK-47504] [SC-162044][SQL] StringTypeCollated에 대한 AbstractDataType simpleStrings 해결
  • [SPARK-47719] "[SC-161909][SQL] spark.sql.legacy.t 변경" 되돌리기...
  • [SPARK-47657] [SC-162010][SQL] 파일 원본당 데이터 정렬 필터 푸시다운 지원 구현
  • [SPARK-47081] [SC-161758][CONNECT] 쿼리 실행 진행률 지원
  • [SPARK-47744] [SC-161999] 범위 인코더에서 음수 바이트에 대한 지원 추가
  • [SPARK-47713] [SC-162009][SQL][CONNECT] 자체join 오류 수정
  • [SPARK-47310] [SC-161930][SS] 상태 저장소 값 부분의 여러 values 병합 작업에 대한 마이크로 벤치마크를 추가합니다.
  • [SPARK-47700] [SC-161774][SQL] treeNode를 사용하여 오류 메시지의 서식 수정
  • [SPARK-47752] [SC-161993][PS][CONNECT] pyspark.pandas가 pyspark-connect와 호환되도록 만들기
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] 구조적 로깅 프레임워크에서 logWarning/logInfo API 구현
  • [SPARK-47107] [SC-161201][SS][PYTHON] python 스트리밍 데이터 원본에 대한 partition 판독기 구현
  • [SPARK-47553] [SC-161772][SS] transformWithState 연산자 API에 대한 Java 지원 추가
  • [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParserPolicy 기본값을 CORRECTED로 변경
  • [SPARK-47655] [SC-161761][SS] 타이머를 state-v2에 대한 초기 상태 관리와 통합합니다.
  • [SPARK-47665] [SC-161550][SQL] SMALLINT를 사용하여 MYSQL에 ShortType 쓰기
  • [SPARK-47210] [SC-161777][SQL] 확정되지 않은 지원 없이 암시적 캐스팅 추가
  • [SPARK-47653] [SC-161767][SS] 음수 숫자 형식 및 범위 검사 키 인코더에 대한 지원 추가
  • [SPARK-46743] [SC-160777][SQL] 일정한 접기 후 버그 수 계산
  • [SPARK-47525] [SC-154568][SQL] 지도 특성에 대한 하위 쿼리 상관 관계 조인 지원
  • [SPARK-46366] [SC-151277][SQL] BETWEEN에서 WITH 식을 사용하여 중복 식을 방지합니다.
  • [SPARK-47563] [SC-161183][SQL] 생성 시 지도 정규화 추가
  • [SPARK-42040] [SC-161171][SQL] SPJ: V2 입력 partition 대한 새 API를 도입하여 partition 통계 보고
  • [SPARK-47679] [SC-161549][SQL] HiveConf.getConfVars 또는 Hive conf 이름을 직접 사용
  • [SPARK-47685] [SC-161566][SQL] RestoreStream 형식에 대한 지원을 Dataset#groupBy.
  • [SPARK-47646] [SC-161352][SQL] 잘못된 입력에 대해 try_to_number가 NULL을 반환하도록 수정
  • [SPARK-47366] [SC-161324][PYTHON] pyspark 및 데이터 프레임 parse_json 별칭 추가
  • [SPARK-47491] [SC-161176][CORE] slf4j-api 디렉터리의 다른 항목 앞에 먼저 클래스 경로에 jars jar 추가
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty가 CommandResults를 로컬에서 프로젝트함
  • [SPARK-47364] [SC-158927][CORE] 플러그인이 단방향 메시지에 대해 회신할 때 PluginEndpoint 경고하도록 합니다.
  • [SPARK-47280] [SC-158350][SQL] Removetimezone ORACLE TIMESTAMP WITH TIMEZONE 제한
  • [SPARK-47551] [SC-161542][SQL] variant_get 식을 추가합니다.
  • [SPARK-47559] [SC-161255][SQL] 변형 parse_json 대한 Codegen 지원
  • [SPARK-47572] [SC-161351][SQL] partitionSpec을 Window 적용할 수 있습니다.
  • [SPARK-47546] [SC-161241][SQL] Parquet에서 Variant를 읽을 때의 유효성 검사를 개선
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Pandas DataFrame에서 dict를 MapType로 유추하여 DataFrame 생성 가능하기 위한 작업
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] 데이터 프레임 API에서 데이터 정렬을 사용하여 column 만들기
  • [SPARK-47641] [SC-161376][SQL] UnaryMinus 및 Abs 성능 향상
  • [SPARK-47631] [SC-161325][SQL] Remove 사용되지 않는 SQLConf.parquetOutputCommitterClass 메서드
  • [SPARK-47674] [SC-161504][CORE] 기본적으로 spark.metrics.appStatusSource.enabled 사용
  • [SPARK-47273] [SC-161162][SS][PYTHON]은 Python 데이터 스트림 기록기 인터페이스를 구현합니다.
  • [SPARK-47637] [SC-161408][SQL] 더 많은 위치에서 errorCapturingIdentifier 사용
  • [SPARK-47497] "되돌리기 “되돌리기 ‘[SC-160724][SQL] to_csv가 배열/구조체/맵/바이너리 출력을 예쁜 문자열로 지원하도록’”"
  • [SPARK-47492] [SC-161316][SQL] 렉서에서 공백 규칙 확대
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] column 이름을 캐시된 schema와 유효성 검사합니다.
  • [SPARK-47638] [SC-161339][PS][CONNECT] PS에서 column 이름 유효성 검사를 생략하기
  • [SPARK-47363] [SC-161247][SS] 상태 API v2에 대한 상태 판독기 구현이 없는 초기 상태입니다.
  • [SPARK-47447] [SC-160448][SQL] Parquet TimestampLTZ를 TimestampNTZ로 읽을 수 있도록 허용
  • [SPARK-47497] 되돌리기 "[SC-160724][SQL] to_csvarray/struct/map/binary 출력을 예쁜 문자열로 지원합니다."
  • [SPARK-47434] [SC-160122][WEBUI] statistics의 StreamingQueryPage 링크 수정
  • [SPARK-46761] [SC-159045][SQL] JSON 경로의 따옴표 붙은 문자열이 지원되어야 하나요? 문자
  • [SPARK-46915] [SC-155729][SQL] UnaryMinusAbs 단순화하고 오류 클래스를 맞추기
  • [SPARK-47431] [SC-160919][SQL] 세션 수준 기본 콜레이션 추가
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] columns 정렬하는 도우미 함수 추가
  • [SPARK-47570] [SC-161165][SS] 범위 검사 인코더 변경 사항을 타이머 구현과 통합.
  • [SPARK-47497] [SC-160724][SQL] to_csvarray/struct/map/binary 출력을 보기 좋은 문자열로 지원하도록 합니다.
  • [SPARK-47562] [SC-161166][CONNECT] 리터럴 처리를 별도로 분리했습니다 plan.py
  • [SPARK-47509] [SC-160902][SQL] 람다 및 상위 함수에서 하위 쿼리 식 차단
  • [SPARK-47539] [SC-160750][SQL] 메서드의 반환 값을 castToString로 설정하세요 Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] 상태 저장소 공급자와 함께 사용할 범위 검색 기반 키 상태 인코더에 대한 지원 추가
  • [SPARK-47517] [SC-160642][CORE][SQL] 크기 표시에 Utils.bytesToString을 선호합니다.
  • [SPARK-47243] [SC-158059][SS] StateMetadataSource.scala 패키지 이름 수정
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Spark Connect를 사용하여 Python 데이터 원본 지원
  • [SPARK-47521] [SC-160666][CORE] 외부 스토리지에서 셔플 데이터를 읽을 때 Utils.tryWithResource 사용
  • [SPARK-47474] [SC-160522][CORE] SPARK-47461 되돌리기 및 일부 설명 추가
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] 캐시된 column를 사용하여 schema 이름을 RPC로 검증하는 것을 피합니다.
  • [SPARK-47451] [SC-160749][SQL] to_json(variant)를 지원한다.
  • [SPARK-47528] [SC-160727][SQL] DataTypeUtils.canWrite에 UserDefinedType 지원 추가
  • [SPARK-44708] 되돌리기 "[SC-160734][PYTHON] assertDataFrameEqual을 사용하도록 test_reset_index assert_eq 마이그레이션"
  • [SPARK-47506] [SC-160740][SQL] 모든 파일 원본 형식에 대해 정렬된 데이터 유형 지원 추가
  • [SPARK-47256] [SC-160784][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] k8s 클러스터 모드에서 spark.jars에 두 번 추가된 주요 리소스 JAR 수정
  • [SPARK-47398] [SC-160572][SQL] 기능 확장을 허용하도록 InMemoryTableScanExec에 대한 특성 추출
  • [SPARK-47479] [SC-160623][SQL] Optimize 여러 경로 오류 로그가 있는 관계에 데이터를 쓸 수 없습니다.
  • [SPARK-47483] [SC-160629][SQL] 정렬된 문자열 배열의 집계 및 join 작업을 지원 추가하기
  • [SPARK-47458] [SC-160237][CORE] 장벽 단계의 최대 동시 작업 계산 문제 해결
  • [SPARK-47534] [SC-160737][SQL] o.a.s.variant 를 o.a.s.types.variant로 이동
  • [SPARK-47396] [SC-159312][SQL] 시간대 없는 시간을 TimestampNTZType으로 일반적으로 매핑 추가
  • [SPARK-44708] [SC-160734][PYTHON] test_reset_index의 assert_eq를 assertDataFrameEqual로 변경
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: 값 태그에 대한 schema 유추 테스트 추가
  • [SPARK-47007] [SC-160630][SQL] MapSort 식 추가
  • [SPARK-47523] [SC-160645][SQL] 더 이상 권장되지 않는 JsonParser#getCurrentName를 JsonParser#currentName로 대체하다
  • [SPARK-47440] [SC-160635][SQL] 지원되지 않는 구문을 MsSqlServer에 푸시하는 수정
  • [SPARK-47512] [SC-160617][SS] RocksDB 상태 저장소 인스턴스 잠금 획득/릴리스와 함께 사용되는 태그 작업 유형
  • [SPARK-47346] [SC-159425][PYTHON] Python Planner 작업자를 만들 때 디먼 모드를 구성할 수 있도록 설정
  • [SPARK-47446] [SC-160163][CORE] BlockManager 전에 removeBlockInternal 경고합니다.
  • [SPARK-46526] [SC-156099][SQL] 관련 하위 쿼리에 대한 LIMIT 지원 where 조건자는 참조 외부 table
  • [SPARK-47461] [SC-160297][CORE] RemovetotalRunningTasksPerResourceProfile 프라이빗 함수 ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] 배열 작업에서 정렬된 문자열 지원
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] columnplan.py 이름 처리 요소
  • [SPARK-47383] [SC-160144][CORE] 지원 spark.shutdown.timeout 구성
  • [SPARK-47342] [SC-159049] "[SQL] DB2 TIMESTAMP WITH TIME ZONE에 대한 TimestampNTZ 지원" 되돌리기
  • [SPARK-47486] [SC-160491][CONNECT] Remove 사용되지 않는 프라이빗 ArrowDeserializers.getString 메서드
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] 클라이언트 쪽 스트리밍 쿼리 수신기에 대한 클라이언트 & 서버 논리
  • [SPARK-47487] [SC-160534][SQL] AnsiTypeCoercion에서 코드 간소화
  • [SPARK-47443] [SC-160459][SQL] Window 데이터 정렬에 대한 집계 지원
  • [SPARK-47296] [SC-160457][SQL][COLLATION] 비 이진 데이터 정렬에 대해 지원되지 않는 함수 실패
  • [SPARK-47380] [SC-160164][CONNECT] 서버 쪽에서 SparkSession이 동일한지 확인합니다.
  • [SPARK-47327] [SC-160069][SQL] 정렬 키 동시성 테스트를 CollationFactorySuite로 이동
  • [SPARK-47494] [SC-160495][Doc] Spark 3.3 이후 Parquet 타임스탬프 유추의 동작 변경에 대한 마이그레이션 문서 추가
  • [SPARK-47449] [SC-160372][SS] 리팩터링 및 /타이머 단위 테스트 list분할
  • [SPARK-46473] [SC-155663][SQL] getPartitionedFile 메서드 다시 사용
  • [SPARK-47423] [SC-160068][SQL] 데이터 정렬 - 데이터 정렬이 있는 문자열에 대한 Set 작업 지원
  • [SPARK-47439] [SC-160115][PYTHON] Python 데이터 소스 API를 API 참조 페이지에 문서화하기
  • [SPARK-47457] [SC-160234][SQL] Hadoop 3.4 이상 처리를 위한 IsolatedClientLoader.supportsHadoopShadedClient 수정
  • [SPARK-47366] [SC-159348][SQL] parse_json 구현합니다.
  • [SPARK-46331] [SC-152982][SQL] DateTime 식 및 version() 식의 하위 집합에서 CodegenFallback 제거
  • [SPARK-47395] [SC-159404] 다른 API에 대조 및 정렬 추가
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] DataFrame.sort*에 대한 오류 클래스 수정
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] 클라이언트 측 스트리밍 쿼리 수신기를 위한 서버 측 SparkConnectListenerBusListener
  • [SPARK-47324] [SC-158720][SQL] JDBC 중첩 형식에 대한 누락된 타임스탬프 변환 추가
  • [SPARK-46962] [SC-158834][SS][PYTHON] Python 스트리밍 데이터 원본 API에 대한 인터페이스를 추가하고 Python 스트리밍 데이터 원본을 실행하는 Python 작업자 구현
  • [SPARK-45827] [SC-158498][SQL] CreatableRelationProvider로 데이터 형식 검사 이동
  • [SPARK-47342] [SC-158874][SQL] 표준 시간대를 사용하는 DB2 타임스탬프에 대한 TimestampNTZ 지원
  • [SPARK-47399] [SC-159378][SQL] 데이터 정렬이 있는 식에서 생성된 columns 사용하지 않도록 설정
  • [SPARK-47146] [SC-158247][CORE] 정렬 병합 join 수행할 때 스레드 누수 가능성
  • [SPARK-46913] [SC-159149][SS] transformWithState 연산자를 사용하여 처리/이벤트 시간 기반 타이머에 대한 지원 추가
  • [SPARK-47375] [SC-159063][SQL] JdbcDialect#getCatalystType 타임스탬프 매핑에 대한 가이드라인 추가
  • [SPARK-47394] [SC-159282][SQL] H2Dialect에 대한 TIMESTAMP WITH TIME ZONE 지원
  • [SPARK-45827] 되돌리기 "[SC-158498][SQL] 데이터 형식 검사를 ...
  • [SPARK-47208] [SC-159279][CORE] 기본 오버헤드 메모리 재정의 허용
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] 로컬 표준 시간대로 Oracle TIMESTAMP 지원
  • [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0 업그레이드
  • [SPARK-46906] [SC-157205][SS] 스트리밍에서 상태 저장 연산자 변경에 대한 확인 추가
  • [SPARK-47391] [SC-159283][SQL] Remove JDK 8에 대한 테스트 사례 해결 방법
  • [SPARK-47272] [SC-158960][SS] 상태 API v2를 위한 MapState 구현 추가
  • [SPARK-47375] [SC-159278][Doc][FollowUp] JDBC의 preferTimestampNTZ 옵션 문서에서 실수 수정
  • 오류 클래스에서 [SPARK-42328] [SC-157363][SQL] Remove _LEGACY_ERROR_TEMP_1175
  • [SPARK-47375] [SC-159261][문서][후속 조치] JDBC 문서에서 preferTimestampNTZ 옵션 설명 수정
  • [SPARK-47344] [SC-159146] 따옴 지정되지 않은 identifier '-'을 잡는 것 이상으로 INVALID_IDENTIFIER 오류를 확장하고 "IS! NULL" 외.
  • [SPARK-47340] [SC-159039][SQL] StringType 타입 이름의 "collate"를 소문자로 변경
  • [SPARK-47087] [SC-157077][SQL] 구성 값 검사에서 오류 클래스를 활용하여 Spark의 예외를 발생시킵니다.
  • [SPARK-47327] [SC-158824][SQL] ICU 데이터 정렬기의 스레드 안전 문제 해결
  • [SPARK-47082] [SC-157058][SQL] 범위를 벗어난 오류 조건 수정
  • [SPARK-47331] [SC-158719][SS] Arbitrary State API v2를 위한 SQL 인코더 기반의 사례 클래스, 기본 형식, POJO를 사용한 직렬화입니다.
  • [SPARK-47250] [SC-158840][SS] RocksDB 상태 제공자 및 column 제품군 사용에 대한 추가 유효성 검사 및 NERF 변경 사항 추가
  • [SPARK-47328] [SC-158745][SQL] UCS_BASIC 정렬 방식을 UTF8_BINARY로 변경합니다.
  • [SPARK-47207] [SC-157845][CORE] 지원 spark.driver.timeout 및 DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][문서] 마이그레이션 문서 추가: Parquet 파일의 TimestampNTZ 형식 추론
  • [SPARK-47309] [SC-158827][SQL][XML] schema 유추 단위 테스트 추가
  • [SPARK-47295] [SC-158850][SQL] startsWith 및 endsWith 함수에 대한 ICU StringSearch가 추가됨
  • [SPARK-47343] [SC-158851][SQL] sqlString 변수 값이 즉시 실행 시 null 문자열인 경우 NPE 수정
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] protobuf 전이적 종속성 사용
  • [SPARK-46795] [SC-154143][SQL] UnsupportedOperationException을(를) SparkUnsupportedOperationException으로(로) 교체 sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sync 문서 및 개발 요구 사항의 PySpark 종속성
  • [SPARK-47169] [SC-158848][SQL] 데이터 정렬된 columns 버킷팅 사용 안 함
  • [SPARK-42332] [SC-153996][SQL] ComplexTypeMergingExpression에서 SparkException으로 요구 변경
  • [SPARK-45827] [SC-158498][SQL] CreatableRelationProvider로 데이터 형식 검사 이동
  • [SPARK-47341] [SC-158825][연결] SparkConnectClientSuite의 몇 가지 테스트에서 명령을 관계로 대체하기
  • [SPARK-43255] [SC-158026][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2020을 내부 오류로 교체하기
  • [SPARK-47248] [SC-158494][SQL][COLLATION] 향상된 문자열 함수 지원: 포함
  • [SPARK-47334] [SC-158716][SQL] withColumnRenamedwithColumnsRenamed 구현을 다시 사용하도록 설정
  • [SPARK-46442] [SC-153168][SQL] DS V2는 PERCENTILE_CONT와 PERCENTILE_DISC의 푸시다운을 지원합니다.
  • [SPARK-47313] [SC-158747][SQL] QueryExecution.toInternalError 내에서 scala.MatchError 처리가 추가되었습니다.
  • [SPARK-45827] [SC-158732][SQL] Java용 변형 싱글톤 형식 추가
  • [SPARK-47337] [SC-158743][SQL][DOCKER] DB2 docker 이미지 버전을 11.5.8.0으로 업그레이드
  • [SPARK-47302] [SC-158609][SQL] Collate 키워드를 identifier
  • [SPARK-46817] [SC-154196][CORE] spark-daemon.sh 명령을 추가하여 decommission 사용량 수정
  • [SPARK-46739] [SC-153553][SQL] 오류 클래스 UNSUPPORTED_CALL 추가
  • [SPARK-47102] [SC-158253][SQL] COLLATION_ENABLED 구성 플래그 추가
  • [SPARK-46774] [SC-153925][SQL][AVRO] Avro 쓰기 작업에서 사용되지 않는 mapred.output.compress 대신 mapreduce.output.fileoutputformat.compress를 사용하십시오.
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: 작업자가 다시 연결되지 않는 경우 시간 제한입니다.
  • [SPARK-46835] [SC-158355][SQL][데이터 정렬] Join 비이진 데이터 정렬 지원
  • [SPARK-47131] [SC-158154][SQL][COLLATION] 문자열 함수 지원: 포함, 시작, 끝남
  • [SPARK-46077] [SC-157839][SQL] JdbcDialect.compileValue의 TimestampNTZConverter에서 생성된 형식을 고려합니다.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] PySpark가 Python 경로에 where Python 예외 표시 안 함
  • [SPARK-47319] [SC-158599][SQL] missingInput 계산을 개선하기
  • [SPARK-47316] [SC-158606][SQL] Postgres 배열에서 TimestampNTZ 수정
  • [SPARK-47268] [SC-158158][SQL][데이터 정렬] 데이터 정렬을 사용하여 다시 분할 지원
  • [SPARK-47191] [SC-157831][SQL] table/view를 캐시하지 않는 경우 불필요한 관계 조회 방지
  • [SPARK-47168] [SC-158257][SQL] 기본 정렬되지 않은 문자열로 작업할 때 parquet 필터 푸시다운 사용 안 함
  • [SPARK-47236] [SC-158015][CORE] 존재하지 않는 파일 입력을 건너뛰도록 deleteRecursivelyUsingJavaIO 수정
  • [SPARK-47238] [SC-158466][SQL] WSCG에서 생성된 코드를 브로드캐스트 변수로 만들어 실행기 메모리 사용량 줄이기
  • [SPARK-47249] [SC-158133][CONNECT] 모든 연결 실행이 실제 상태에 관계없이 중단된 것으로 간주될 where 버그 수정
  • [SPARK-47202] [SC-157828][PYTHON] tzinfo를 사용하여 오타 호환성이 손상되는 날짜/시간 수정
  • [SPARK-46834] [SC-158139][SQL][데이터 정렬] 집계 지원
  • [SPARK-47277] [SC-158351][3.5] PySpark util 함수 assertDataFrameEqual은 DF 스트리밍을 지원하지 않아야 합니다.
  • [SPARK-47155] [SC-158473][PYTHON] 오류 클래스 문제 해결
  • [SPARK-47245] [SC-158163][SQL] INVALID_PARTITION_COLUMN_DATA_TYPE 대한 오류 코드 개선
  • [SPARK-39771] [SC-158425][CORE] 너무 많은 수의 섞기 블록을 만들 때 Dependency 경고 메시지를 추가합니다.
  • [SPARK-47277] [SC-158329] PySpark util function assertDataFrameEqual은 DF 스트리밍을 지원하지 않아야 합니다.
  • [SPARK-47293] [SC-158356][CORE] 하나씩 추가하지 않고 sparkSchema를 사용하여 batchSchema 빌드
  • [SPARK-46732] [SC-153517][CONNECT] Connect의 아티팩트 관리를 사용하여 하위 쿼리/브로드캐스트 스레드가 작동하도록 설정
  • [SPARK-44746] [SC-158332][PYTHON] 입력 tables 허용하는 함수에 대한 Python UDTF 설명서 추가
  • [SPARK-47120] [SC-157517][SQL] 하위 쿼리에서 null 비교를 Parquet 필터로 푸시 다운할 때 NPE가 발생합니다.
  • [SPARK-47251] [SC-158291][PYTHON] args 명령의 sql 인수에서 잘못된 형식을 차단
  • [SPARK-47251] 되돌리기 "[SC-158121][PYTHON] args 명령에 대한 sql 인수에서 잘못된 형식 차단"
  • [SPARK-47015] [SC-157900][SQL] 데이터 정렬된 columns 분할 사용 안 함
  • [SPARK-46846] [SC-154308][CORE] WorkerResourceInfo가 명시적으로 Serializable를 확장하도록 합니다.
  • [SPARK-46641] [SC-156314][SS] maxBytesPerTrigger 임계값 추가
  • [SPARK-47244] [SC-158122][CONNECT] 내부 함수를 비공개로 SparkConnectPlanner
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate 입력과 같은 형식으로 반환하도록 합니다.
  • [SPARK-46961] [SC-158183][SS] ProcessorContext를 사용하여 핸들 저장 및 검색
  • [SPARK-46862] [SC-154548][SQL] 여러 줄 모드에서 CSV column 프루닝 비활성화
  • [SPARK-46950] [SC-155803][CORE][SQL] not available codec 오류 클래스 정렬
  • [SPARK-46368] [SC-153236][CORE] REST 제출 API에서 readyz 지원
  • [SPARK-46806] [SC-154108][PYTHON] spark에 대한 오류 메시지를 개선합니다. 인수 형식이 잘못된 경우table
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] 무시된 PySpark Connect 문자열 데이터 정렬 수정
  • [SPARK-46552] [SC-151366][SQL] UnsupportedOperationExceptionSparkUnsupportedOperationExceptioncatalyst 대체
  • [SPARK-47147] [SC-157842][PYTHON][SQL] PySpark 정렬된 문자열 변환 오류 수정
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] collateId protobuf 필드를 추가하여 Spark Connect 데이터 정렬 오류 수정
  • [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext의 DevelopApi를 재시도 가능하게 하고 ThriftServerWithSparkContextInHttpSuite의 불안정성을 수정
  • [SPARK-46696] [SC-153832][CORE] ResourceProfileManager에서 함수 호출은 변수 선언 후에 발생해야 합니다.
  • [SPARK-47214] [SC-157862][Python] 상수 NULL 인수 및 다른 형식의 인수를 구분하는 'analyze' 메서드용 UDTF API 만들기
  • [SPARK-46766] [SC-153909][SQL][AVRO] AVRO 데이터 원본에 대한 ZSTD 버퍼 풀 지원
  • [SPARK-47192] [SC-157819] 일부 _LEGACY_ERROR_TEMP_0035 오류 변환
  • [SPARK-46928] [SC-157341][SS] 임의 상태 API v2에서 ListState에 대한 지원을 추가합니다.
  • [SPARK-46881] [SC-154612][CORE] 지원 spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] 지원 spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] 잘못된 parquet 압축 코덱 lz4raw를 사용하는 버그 수정
  • [SPARK-46791] [SC-154018][SQL] JavaTypeInference에서 Java Set 지원
  • [SPARK-46332] [SC-150224][SQL] CatalogNotFoundException를 오류 클래스 CATALOG_NOT_FOUND로 마이그레이션
  • [SPARK-47164] [SC-157616][SQL] v2에서 더 넓은 타입의 기본값이 좁은 리터럴로 변환될 때 v1과 동일하게 작동하도록 합니다.
  • [SPARK-46664] [SC-153181][CORE] 작업자 및 앱이 없는 경우 신속하게 복구하도록 Master 개선
  • [SPARK-46759] [SC-153839][SQL][AVRO] 코덱 xz 및 zstandard는 avro 파일에 대한 압축 수준을 지원합니다.

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 릴리스된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 15.2 유지 관리 업데이트참조하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

설치된 Python 라이브러리

도서관 버전 도서관 버전 도서관 버전
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
Azure 저장소 Blob 12.19.1 azure-storage-file-datalake 12.14.0 역호출 0.2.0
검정 23.3.0 깜박이 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
클릭 8.0.4 클라우드피클 2.2.1 통신 0.1.2
contourpy 1.0.5 암호화 41.0.3 자전거 타는 사람 0.11.0
사이톤 (Cython) 0.29.32 데이터브릭스 SDK (소프트웨어 개발 키트) 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 데코레이터 5.1.1 distlib 0.3.8
진입점 0.4 실행 0.8.3 패싯 개요 1.1.1
파일 잠금 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 구글 인증 2.29.0
구글 클라우드 코어 2.4.1 구글 클라우드 스토리지 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 IDNA 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 지프니 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 열쇠고리 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-스키니 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 포장 23.2
팬더 1.5.3 parso 0.8.3 pathspec 0.10.3
희생양 0.5.3 pexpect 4.8.0 피클쉐어 0.7.5
베개 9.4.0 핍 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit (프롬프트 툴킷) 3.0.36 proto-plus 1.23.0
protobuf (프로토버프) 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil (파이썬 날짜 유틸리티 라이브러리) 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
요청 2.31.0 RSA (암호화 알고리즘) 4.9 s3transfer 0.10.1
scikit-learn (사이킷-런) 1.3.0 scipy 1.11.1 시본 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 여섯 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
스택 데이터 0.2.0 statsmodels 0.14.0 끈기 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 토네이도 6.3.2
트레잇렛츠 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 무인 업그레이드 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
바퀴 0.38.4 zipp 3.11.0

설치된 R 라이브러리

R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

도서관 버전 도서관 버전 도서관 버전
화살 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
백포트 1.4.1 기지 4.3.2 base64enc 0.1-3
bigD 0.2.0 비트 4.0.5 64비트 4.0.5
bitops 1.0-7 블롭 1.2.4 부팅 1.3-28
양조하다 1.0-10 생기 1.1.4 빗자루 1.0.5
bslib 0.6.1 cachem 1.0.8 콜러 3.7.3
캐럿 6.0-94 cellranger 1.1.0 크론 2.3-61
수업 7.3-22 cli 3.6.2 clipr 0.8.0
시계 0.7.0 클러스터 2.1.4 코드 도구 0.2-19
색 공간 2.1-0 commonmark 1.9.1 컴파일러 4.3.2
구성(config) 0.3.2 갈등을 겪는 1.2.0 cpp11 0.4.7
크레용 1.5.2 credentials 2.0.1 컬 5.2.0
데이터.table 1.15.0 데이터세트 4.3.2 DBI 1.2.1
dbplyr 2.4.0 설명 1.4.3 개발자 도구 2.4.5
다이어그램 1.6.5 diffobj 0.3.5 소화하다 0.6.34
아래로 비추는 조명 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 평가하다 0.23
fansi 1.0.6 색상 2.1.1 패스트맵 1.1.1
fontawesome 0.5.2 포켓츠 1.0.0 foreach 1.5.2
외국의 0.8-85 위조하다 0.2.0 fs 1.6.3
미래 1.33.1 future.apply 1.11.1 양치질 1.5.2
제네릭 0.1.3 게르트 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 글로벌 매개변수 0.16.2 풀 1.7.0
구글 드라이브 2.1.1 googlesheets4 1.1.1 고워 (고어 반도) 1.0.1
그래픽스 4.3.2 grDevices 4.3.2 그리드 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 안전모 1.3.1 피난처 2.5.4
하이어 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 아이디 1.0.1 ini 0.3.1
ipred 0.9-14 아이소밴드 0.2.7 반복기 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 주시주스 0.1.0
KernSmooth 2.23-21 knitr 1.45 라벨링 0.4.3
나중에 1.3.2 격자 0.21-8 용암 1.7.3
수명 주기 1.0.4 listenv 0.9.1 윤활유 1.9.3
magrittr 2.0.3 마크다운 1.12 질량 7.3-60
행렬 1.5-4.1 메모이즈 (기억화) 2.0.1 방법 4.3.2
mgcv 1.8-42 마임 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
먼셀 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 평행 4.3.2
병렬로 1.36.0 기둥 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 칭찬 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 진보 1.2.3
progressr 0.14.0 약속 1.2.1 프로토 1.0.0
대리 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 랜덤 포레스트 (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 반응 가능 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
조리법 1.0.9 재대결 2.0.0 재대결2 2.1.2
리모트 2.4.2.1 재현 가능한 예제 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
저울 1.3.0 selectr 0.4-2 세션 정보 1.2.2
모양 1.4.6 빛나는 1.8.0 소스툴스 (sourcetools) 0.1.7-1
sparklyr 1.8.4 공간적인 7.3-15 스플라인 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.2
통계4 4.3.2 스트링이 1.8.3 stringr 1.5.1
생존 3.5-5 자신감 넘치는 태도 3.33.1 시스템 3.4.2
시스템 글꼴 1.0.5 티클티케이 4.3.2 testthat 3.2.1
텍스트 조형 0.3.7 tibble (티블) 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 시간 변경 0.3.0
시간날짜 4032.109 tinytex 0.49 도구 4.3.2
tzdb 0.4.0 URL 검사기 1.0.1 사용하세요 2.2.2
utf8 1.2.4 유틸 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 왈도 0.5.2 수염 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 지퍼 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 아이디 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics 스트리밍 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo 쉐이딩 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 동급생 1.3.4
com.fasterxml.jackson.core 잭슨 주석 2.15.2
com.fasterxml.jackson.core 잭슨-코어 (jackson-core) 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine 카페인 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1
com.github.fommil.netlib 네이티브_레퍼런스-자바 1.1-네이티브
com.github.fommil.netlib 네이티브_시스템-자바 1.1
com.github.fommil.netlib 네이티브_시스템-자바 1.1-네이티브
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-네이티브
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-네이티브
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink 팅크 1.9.0
com.google.errorprone 오류가 발생하기 쉬운 주석 2.10.0
com.google.flatbuffers flatbuffers-java 23년 5월 26일
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 프로파일러 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure 애저 데이터 레이크 스토어 SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer 파라네머 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter 편안한 자바 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 구성(config) 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity 유니보시티-파서스 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
공용 파일 업로드 공용 파일 업로드 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
공용 로깅 공용 로깅 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어컴프레서 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics 메트릭스 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics 메트릭스-그래파이트 (metrics-graphite) 4.2.19
io.dropwizard.metrics 메트릭스 건강검진 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus 심플클라이언트 0.7.0
io.prometheus 심플클라이언트_공통 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 피 클 1.3
net.sf.jpam 제이팜 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 개미 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant 앤트 런처 1.10.11
org.apache.arrow 화살표 형식 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow 화살표 벡터 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc (아브로 IPC) 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons 커먼즈-크립토 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 큐레이터-클라이언트 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator 큐레이터 레시피 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop Hadoop 클라이언트 런타임 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents HTTP 클라이언트 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9 음영 처리 4.23
org.apache.yetus 청중 주석 0.13.0
org.apache.zookeeper 동물원 사육사 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty Jetty 서버 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓 API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common (웹소켓 공통) 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓-서버 9.4.52.v20230823
org.eclipse.jetty.websocket 웹소켓-서블릿 (websocket-servlet) 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2 로케이터 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap 조절판 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 스칼라테스트-호환 가능 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java (아이온-자바) 1.0.2
stax stax-api 1.0.1