다음을 통해 공유

Databricks Runtime 15.3

  • 아티클

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.3에 대한 정보를 제공합니다.

Databricks는 2024년 6월에 이 버전을 릴리스했습니다.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

새로운 기능 및 향상 기능

PySpark DataSources는 이제 스트림 읽기 및 쓰기를 지원합니다.

사용자 지정 데이터 원본에서 읽고 사용자 지정 데이터 싱크에 쓸 수 있는 PySpark DataSources는 이제 스트림 읽기 및 쓰기를 지원합니다. PySpark 사용자 지정 데이터 원본을 참조 하세요.

삭제 기능을 사용하여 열 매핑 사용 안 함

이제 DROP FEATURE(을)를 사용하여 델타 테이블에서 열 매핑을 사용하지 않도록 설정하고 테이블 프로토콜을 다운그레이드할 수 있습니다. 열 매핑 사용 안 함을 참조하세요.

공개 미리 보기의 Variant 형식 구문 및 함수

이제 Spark DataFrames 및 SQL에서 반구조화된 데이터를 형식으로 VARIANT 사용하기 위한 네이티브 Apache Spark 지원을 사용할 수 있습니다. 쿼리 변형 데이터를 참조하세요.

공개 미리 보기의 Delta Lake에 대한 변형 유형 지원

이제 Delta Lake에서 지원되는 테이블에 VARIANT(을)를 사용하여 반구조화된 데이터를 저장할 수 있습니다. Delta Lake의 이형 지원을 참조하세요.

보기에서 다양한 스키마 진화 모드 지원

이제 CREATE VIEW 및 ALTER VIEW 를 사용하면 스키마 바인딩 모드를 설정하여 뷰가 기본 개체의 스키마 변경 내용을 처리하는 방법을 향상시킬 수 있습니다. 이 기능을 사용하면 뷰가 기본 개체의 스키마 변경 내용을 허용하거나 적용할 수 있습니다. 개체 정의 수정으로 인한 쿼리 스키마의 변경 내용을 해결합니다.

observe() Spark Connect Scala 클라이언트에 추가된 메서드 지원

이제 Spark Connect Scala 클라이언트가 메서드를 Dataset.observe() 지원합니다. 이러한 메서드를 지원하면 개체 또는 ds.observe(observationObject, metrics...) 메서드를 사용하여 개체에서 관찰할 메트릭을 Dataset ds.observe("name", metrics...) 정의할 수 있습니다.

자동 로더에 대한 스트림 다시 시작 대기 시간 향상

이 릴리스에는 자동 로더에 대한 스트림 다시 시작 대기 시간을 개선하는 변경 내용이 포함되어 있습니다. 이러한 개선은 RocksDB 상태 저장소에서 상태를 비동기식으로 로드하여 구현됩니다. 이 변경으로 상태가 큰 스트림(예: 이미 수집된 파일이 많은 스트림)의 시작 시간이 향상됩니다.

DataFrame을 로 반환 pyarrow.Table

Apache Arrow pyarrow.Table 개체에 직접 DataFrame을 쓸 수 있도록 이 릴리스에는 함수가 DataFrame.toArrow() 포함됩니다. PySpark에서 화살표를 사용하는 방법에 대한 자세한 내용은 PySpark의 Apache 화살표를 참조하세요.

일부 창 함수의 성능 향상

이 출시에는 일부 Spark 창 함수, 특히 ORDER BY 절이나 window_frame 매개 변수를 포함하지 않는 함수의 성능을 향상시키는 변경 내용이 포함되어 있습니다. 이러한 경우 시스템은 쿼리를 다시 작성하여 집계 함수를 사용하여 실행할 수 있습니다. 이렇게 변경하면 부분 집계를 사용하고 실행 중인 창 함수의 오버헤드를 방지하여 쿼리를 더 빠르게 실행할 수 있습니다. Spark 구성 매개 변수 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled(은)는 이 최적화를 제어하며 기본적으로 true(으)로 설정됩니다. 이 최적화를 해제하려면 .spark.databricks.optimizer.replaceWindowsWithAggregates.enabled(을)를 false(으)로 설정합니다.

try_mod 함수에 대한 지원이 추가되었습니다.

이 릴리스에서는 PySpark try_mod() 함수에 대한 지원을 추가합니다. 이 함수는 두 숫자 값을 나누는 정수 나머지의 ANSI SQL 호환 계산을 지원합니다. divisor 인수가 0이면 try_mod() 함수는 예외를 throw하는 대신 null을 반환합니다. 이 함수 대신 mod %사용할 try_mod() 수 있습니다. 이 함수는 수수 인수가 0이고 ANSI SQL이 활성화된 경우 예외를 throw합니다.

에서 선택적 범위 매개 변수에 대한 지원 list_secrets()

이 릴리스에서는 list_secrets() 테이블 함수의 결과를 특정 범위로 제한할 수 있습니다.

버그 수정

WriteIntoDeltaCommand 이제 Spark UI의 메트릭이 올바르게 표시됩니다.

이 릴리스에는 노드에 대한 Spark UI의 SQL 탭에 표시되는 메트릭에 대한 수정 사항이 Execute WriteIntoDeltaCommand 포함되어 있습니다. 이전에는 이 노드에 대해 표시된 메트릭이 모두 0이었습니다.

groupby() Pandas API의 함수가 인수를 as_index=False 무시했습니다.

이 릴리스에는 Spark의 groupby() Pandas API에서 함수와 관련된 문제에 대한 수정 사항이 포함되어 있습니다. 이 수정 groupby() 전에 집계 열의 레이블을 다시 지정하고 인수에 as_index=False 결과 DataFrame에 그룹 키가 포함되지 않았습니다.

다른 함수의 출력을 참조하는 여러 창 함수를 사용하여 오류 구문 분석

이 릴리스는 Spark 쿼리에 여러 개의 연속 창 함수가 있을 때 발생할 수 있는 문제를 해결합니다. 여기서 창 함수는 다른 창 함수의 출력을 참조합니다. 드문 경우에서 시스템은 참조 중 하나를 삭제하여 쿼리를 평가하는 데 오류가 발생할 수 있습니다. 이 수정은 쿼리 평가를 보장하기 위해 이러한 참조를 투영합니다. 이 변경 내용은 기본적으로 설정된 Spark 구성 매개 변수 spark.databricks.optimizer.collapseWindows.projectReferences에 true 의해 제어됩니다. 이 변경을 해제하려면 .로 false설정합니다spark.databricks.optimizer.collapseWindows.projectReferences.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • filelock from 3.13.1 to 3.13.4
  • 업그레이드된 R 라이브러리:
  • 업그레이드된 Java 라이브러리
    • org.rocksdb.rocksdbjni 8.3.2에서 8.11.4로

Apache Spark

Databricks Runtime 15.3에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 15.2에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-48211] [DBRRM-1041][15.x][15.3] 되돌리기 "[SC-165552][SQL] DB2: SMALLINT를 Sho로 읽어보세요...
  • [SPARK-47904] [DBRRM-1040][BEHAVE-33][SC-163409] SPARK-47904 되돌리기: enableStableIdentifiersForUnionType을 사용할 때 Avro 스키마에서 대/소문자 유지
  • [SPARK-48288] [SC-166141] 커넥터 캐스트 식에 대한 원본 데이터 형식 추가
  • [SPARK-48175] [SC-166341][SQL][PYTHON] SER/DE에 대한 형식이 아닌 메타데이터에 데이터 정렬 정보 저장
  • [SPARK-48172] [SC-166078][SQL] JDBCDialects의 이스케이프 문제 해결
  • [SPARK-48186] [SC-165544][SQL] AbstractMapType에 대한 지원 추가
  • [SPARK-48031] [SC-166523] 스키마 바인딩에 대한 Grandfather 레거시 뷰
  • [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] 함수 추가 timestamp_add
  • [SPARK-48330] [SC-166458][SS][PYTHON] 큰 트리거 간격에 대한 Python 스트리밍 데이터 원본 시간 제한 문제 해결
  • [SPARK-48369] 되돌리기 "[SC-166494][SQL][PYTHON][CONNECT] 함수 timestamp_add추가 "
  • [SPARK-48336] [SC-166495][PS][CONNECT] Spark Connect에서 구현 ps.sql
  • [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] 함수 추가 timestamp_add
  • [SPARK-47354] [SC-165546][SQL] 변형 식에 대한 데이터 정렬 지원 추가
  • [SPARK-48161] [SC-165325][SQL] 되돌리는 PR 수정 - JSON 식에 대한 데이터 정렬 지원 추가
  • [SPARK-48031] [SC-166391] viewSchemaMode 구성 분해, SHOW CREATE TABLE 지원 추가
  • [SPARK-48268] [SC-166217][CORE] SparkContext.setCheckpointDir에 대한 구성 추가
  • [SPARK-48312] [ES-1076198][SQL] Alias.removeNonInheritableMetadata 성능 향상
  • [SPARK-48294] [SC-166205][SQL] nestedTypeMissingElementTypeError에서 소문자 처리
  • [SPARK-47254] [SC-158847][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_325[1-9]
  • [SPARK-47255] [SC-158749][SQL] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_323[6-7] 및 _LEGACY_ERROR_TEMP_324[7-9]
  • [SPARK-48310] [SC-166239][PYTHON][CONNECT] 캐시된 속성은 복사본을 반환해야 합니다.
  • [SPARK-48308] [SC-166152][코어] FileSourceStrategy에서 파티션 열 없이 데이터 스키마 가져오기 통합
  • [SPARK-48301] [SC-166143][SQL] 이름 바꾸기 CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACECREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
  • [SPARK-48287] [SC-166139][PS][CONNECT] 기본 제공 timestamp_diff 메서드 적용
  • [SPARK-47607] [SC-166129] 구조적 로깅 프레임워크에 대한 설명서 추가
  • [SPARK-48297] [SC-166136][SQL] char/varchar를 사용하여 회귀 TRANSFORM 절 수정
  • [SPARK-47045] [SC-156808][SQL] 다음으로 바꾸기 IllegalArgumentException SparkIllegalArgumentExceptionsql/api
  • [SPARK-46991] [SC-156399][SQL] 다음으로 바꾸기 IllegalArgumentException SparkIllegalArgumentExceptioncatalyst
  • [SPARK-48031] [SC-165805][SQL] 뷰 스키마 진화 지원
  • [SPARK-48276] [SC-166116][PYTHON][CONNECT] 에 대해 누락된 __repr__ 메서드를 추가합니다. SQLExpression
  • [SPARK-48278] [SC-166071][PYTHON][CONNECT] 의 문자열 표현 구체화 Cast
  • [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] 함수 추가 timestamp_diff
  • [SPARK-47798] [SC-162492][SQL] 10진수 값의 읽기 실패에 대한 오류 메시지 보강
  • [SPARK-47158] [SC-158078][SQL] 적절한 이름 할당 및 sqlState_LEGACY_ERROR_TEMP_(2134|2231)
  • [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient는 NPE로 인해 FetchFailedException이 발생할 수 있습니다.
  • [SPARK-48277] [SC-166066] ErrorClassesJsonReader.getErrorMessage에 대한 오류 메시지 개선
  • [SPARK-47545] [SC-165444][CONNECT] Scala 클라이언트에 대한 데이터 세트 observe 지원
  • [SPARK-48954] [SC-171672][SQL] 함수 추가 try_mod
  • [SPARK-43258] [SC-158151][SQL] 오류 _LEGACY_ERROR_TEMP_202 이름 할당[3,5]
  • [SPARK-48267] [SC-165903][SS] SPARK-47305를 사용하여 회귀 e2e 테스트
  • [SPARK-48263] [SC-165925] UTF8_BINARY 이외의 문자열에 대한 Collate 함수 지원
  • [SPARK-48260] [SC-165883][SQL] ParquetIOSuite의 한 테스트에서 출력 커밋자 조정 사용 안 함
  • [SPARK-47834] [SC-165645][SQL][CONNECT] 사용되지 않는 함수를 in으로 @deprecated 표시 SQLImplicits
  • [SPARK-48011] [SC-164061][코어] 새 문자열 인스턴스를 생성하지 않도록 LogKey 이름을 값으로 저장
  • [SPARK-48074] [SC-164647][코어] JSON 로깅의 가독성 향상
  • [SPARK-44953] [SC-165866][CORE] 다른 DA 지원 메커니즘과 함께 순서 섞기 추적을 사용하도록 설정하면 경고 기록
  • [SPARK-48266] [SC-165897][CONNECT] 패키지 개체 org.apache.spark.sql.connect.dsl 를 테스트 디렉터리로 이동
  • [SPARK-47847] [SC-165651][CORE] 사용 중단 spark.network.remoteReadNioBufferConversion
  • [SPARK-48171] [SC-165178][CORE] 사용되지 않는 생성자의 사용을 정리합니다. o.rocksdb.Logger
  • [SPARK-48235] [SC-165669][SQL] 모든 인수 대신 조인을 직접 전달하여 GetBroadcastBuildSide 및 getShuffleHashJoinBuildSide
  • [SPARK-48224] [SC-165648][SQL] 지도 키가 변형 형식이 되는 것을 허용하지 않습니다.
  • [SPARK-48248] [SC-165791][PYTHON] inferArrayTypeFromFirstElement의 레거시 conf를 준수하도록 중첩된 배열 수정
  • [SPARK-47409] [SC-165568][SQL] 함수/식의 StringTrim 형식에 대한 데이터 정렬 지원 추가(UTF8_BINARY 및 LCASE용)
  • [SPARK-48143] [ES-1095638][SQL] UnivocityParser와 FailureSafeParser 간의 제어 흐름에 간단한 예외 사용
  • [SPARK-48146] [SC-165668][SQL] With 식 자식 어설션의 집계 함수 수정
  • [SPARK-48161] 되돌리기 "[SC-165325][SQL] JSON 식에 대한 데이터 정렬 지원 추가"
  • [SPARK-47963] [CORE] 외부 Spark 에코시스템에서 구조적 로깅 메커니즘을 사용할 수 있도록 합니다.
  • [SPARK-48180] [SC-165632][SQL] TABLE arg를 사용하여 UDTF 호출에서 여러 PARTITION/ORDER BY exprs 주위의 괄호를 잊은 경우 오류 개선
  • [SPARK-48002] [SC-164132][PYTHON][SS] PySpark StreamingQueryListener에서 관찰된 메트릭에 대한 테스트 추가
  • [SPARK-47421] [SC-165548][SQL] URL 식에 대한 데이터 정렬 지원 추가
  • [SPARK-48161] [SC-165325][SQL] JSON 식에 대한 데이터 정렬 지원 추가
  • [SPARK-47359] [SC-164328][SQL] 데이터 정렬된 문자열을 사용하는 TRANSLATE 함수 지원
  • [SPARK-47365] [SC-165643][PYTHON] PySpark에 toArrow() DataFrame 메서드 추가
  • [SPARK-48228] [SC-165649][PYTHON][CONNECT] ApplyInXXX에서 누락된 함수 유효성 검사 구현
  • [SPARK-47986] [SC-165549][CONNECT][PYTHON] 서버에서 기본 세션을 닫을 때 새 세션을 만들 수 없음
  • [SPARK-47963] 되돌리기 "[CORE] 외부 Spark 에코시스템에서 구조적 로깅 메커니즘을 사용할 수 있도록 합니다."
  • [SPARK-47963] [CORE] 외부 Spark 에코시스템에서 구조적 로깅 메커니즘을 사용할 수 있도록 합니다.
  • [SPARK-48208] [SC-165547][SS] 제한된 메모리 사용량을 사용하는 경우 RocksDB에서 메모리 사용 메트릭 제공 건너뛰기
  • [SPARK-47566] [SC-164314][SQL] SubstringIndex 함수가 데이터 정렬된 문자열로 작동하도록 지원
  • [SPARK-47589] [SC-162127][SQL]Hive-Thriftserver: 변수를 사용하여 logError를 구조적 로깅 프레임워크로 마이그레이션
  • [SPARK-48205] [SC-165501][PYTHON] Python 데이터 원본에 대한 private[sql] 한정자 제거
  • [SPARK-48173] [SC-165181][SQL] CheckAnalysis에 전체 쿼리 계획이 표시되어야 합니다.
  • [SPARK-48197] [SC-165520][SQL] 잘못된 람다 함수에 대한 어설션 오류 방지
  • [SPARK-47318] [SC-162573][CORE] 표준 KEX 사례를 따르도록 AuthEngine 키 파생에 HKDF 라운드 추가
  • [SPARK-48184] [SC-165335][PYTHON][CONNECT] 항상 클라이언트 쪽에서 초기 Dataframe.sample 값 설정
  • [SPARK-48128] [SC-165004][SQL] BitwiseCount/bit_count 식의 경우 부울 형식 입력에 대한 codegen 구문 오류를 수정합니다.
  • [SPARK-48147] [SC-165144][SS][CONNECT] 로컬 Spark 세션이 삭제될 때 클라이언트 쪽 수신기 제거
  • [SPARK-48045] [SC-165299][PYTHON] 다중 agg-relabel을 사용하는 Pandas API groupby는 as_index=False를 무시합니다.
  • [SPARK-48191] [SC-165323][SQL] 문자열 인코딩 및 디코딩에 대해 UTF-32 지원
  • [SPARK-45352] [SC-137627][SQL] 접을 수 있는 창 파티션 제거
  • [SPARK-47297] [SC-165179][SQL] 형식 식에 대한 데이터 정렬 지원 추가
  • [SPARK-47267] [SC-165170][SQL] 해시 식에 대한 데이터 정렬 지원 추가
  • [SPARK-47965] [SC-163822][CORE] TypedConfigBuilder 및 OptionalConfigEntry에서 orNull 방지
  • [SPARK-48166] [SQL] VariantExpressionEvalUtils에서 BadRecordException을 사용자 연결 오류로 사용하지 마세요.
  • [SPARK-48105] [SC-165132][SS] 상태 저장소 언로드와 스냅샷 간의 경합 상태 수정
  • [SPARK-47922] [SC-163997][SQL] try_parse_json 식 구현
  • [SPARK-47719] [SC-161909][SQL] spark.sql.legacy.timeParse 변경...
  • [SPARK-48035] [SC-165136][SQL] 추가/곱하기와 같은 의미 체계인 try_add/try_multiply 수정
  • [SPARK-48107] [SC-164878][PYTHON] Python 배포에서 테스트 제외
  • [SPARK-46894] [SC-164447][PYTHON] PySpark 오류 조건을 독립 실행형 JSON 파일로 이동
  • [SPARK-47583] [SC-163825][CORE] SQL 코어: 변수를 사용하여 logError를 구조적 로깅 프레임워크로 마이그레이션
  • [SPARK-48064] 되돌리기 "[SC-164697][SQL] 일상적인 관련 오류 클래스에 대한 오류 메시지 업데이트"
  • [SPARK-48048] [SC-164846][CONNECT][SS] Scala에 대한 클라이언트 쪽 수신기 지원이 추가됨
  • [SPARK-48064] [SC-164697][SQL] 일상적인 관련 오류 클래스에 대한 오류 메시지 업데이트
  • [SPARK-48056] [SC-164715][CONNECT][PYTHON] SESSION_NOT_FOUND 오류가 발생하고 부분 응답이 수신되지 않은 경우 계획을 다시 실행합니다.
  • [SPARK-48124] [SC-165009][CORE] 기본적으로 Connect-Repl에 대해 구조화된 로깅 사용 안 함
  • [SPARK-47922] 되돌리기 "[SC-163997][SQL] try_parse_json 식 구현"
  • [SPARK-48065] [SC-164817][SQL] SPJ: allowJoinKeysSubsetOfPartitionKeys가 너무 엄격합니다.
  • [SPARK-48114] [SC-164956][CORE] 불필요한 작업을 방지하기 위해 템플릿 regex를 미리 컴파일합니다.
  • [SPARK-48067] [SC-164773][SQL] 변형 기본 열 수정
  • [SPARK-47922] [SC-163997][SQL] try_parse_json 식 구현
  • [SPARK-48075] [SC-164709] [SS] PySpark avro 함수에 대한 형식 검사 추가
  • [SPARK-47793] [SC-164324][SS][PYTHON] Python 스트리밍 데이터 원본에 대해 SimpleDataSourceStreamReader 구현
  • [SPARK-48081] [SC-164719] 인수가 접을 수 없거나 형식이 잘못된 경우 NTile.checkInputDataTypes()에서 ClassCastException 수정
  • [SPARK-48102] [SC-164853][SS] 스트리밍 쿼리 진행률을 보고하는 동안 원본/싱크 메트릭을 획득하기 위한 기간 추적
  • [SPARK-47671] [SC-164854][코어] log4j2.properties.template에서 구조적 로깅 사용 및 문서 업데이트
  • [SPARK-47904] [SC-163409][SQL] enableStableIdentifiersForUnionType을 사용하는 경우 Avro 스키마에서 대/소문자 유지
  • [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType DDL 문자열 구문 분석
  • [SPARK-46922] [SC-156102][CORE][SQL] 런타임 사용자 연결 오류를 래핑하지 마세요.
  • [SPARK-48047] [SC-164576][SQL] 빈 TreeNode 태그의 메모리 부족 감소
  • [SPARK-47934] [SC-164648] [CORE] URL 리디렉션에서 HistoryServer 후행 슬래시 확인
  • [SPARK-47921] [SC-163826][CONNECT] ExecuteHolder에서 ExecuteJobTag 만들기 수정
  • [SPARK-48014] [SC-164150][SQL] EvaluatePython의 makeFromJava 오류를 사용자 연결 오류로 변경
  • [SPARK-47903] [SC-163424][PYTHON] PySpark Variant 라이브러리에서 나머지 스칼라 형식에 대한 지원 추가
  • [SPARK-48068] [SC-164579][PYTHON] mypy 매개 변수가 --python-executable 있어야 함
  • [SPARK-47846] [SC-163074][SQL] from_json 식에서 Variant 형식에 대한 지원 추가
  • [SPARK-48050] [SC-164322][SS] 쿼리 시작 시 논리 계획 기록
  • [SPARK-47810] [SC-163076][SQL] 조인 조건에서 =에 해당하는 식을 <> 대체합니다.
  • [SPARK-47741] [SC-164290] 파서에서 스택 오버플로 처리 추가
  • [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame은 지원되지 않는 옵션에 대해 경고해야 합니다.
  • [SPARK-47939] [SC-164171][SQL] ExplainCommand 및 DescribeQueryCommand 내에서 ParameterizedQuery를 이동하는 새 분석기 규칙 구현
  • [SPARK-48063] [SC-164432][CORE] 기본적으로 사용 spark.stage.ignoreDecommissionFetchFailure
  • [SPARK-48016] [SC-164280][SQL] decimals를 사용하는 경우 try_divide 함수의 버그 수정
  • [SPARK-48033] [SC-164291][SQL] 기본 열에서 사용되는 식 수정 RuntimeReplaceable
  • [SPARK-48010] [SC-164051][SQL][ES-1109148] resolveExpression에서 conf.resolver에 대한 반복 호출 방지
  • [SPARK-48003] [SC-164323][SQL] hll 스케치 집계에 대한 데이터 정렬 지원 추가
  • [SPARK-47994] [SC-164175][SQL] SQLServer에서 CASE WHEN 열 필터 푸시다운으로 버그 수정
  • [SPARK-47984] [SC-163837][ML][SQL] 호출로 변경 MetricsAggregate/V2Aggregator#serialize/deserializeSparkSerDeUtils#serialize/deserialize
  • [SPARK-48042] [SC-164202][SQL] 메서드 수준에서 복사본을 만드는 대신 클래스 수준에서 표준 시간대가 있는 타임스탬프 포맷터를 사용합니다.
  • [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] 구조적 로그 마이그레이션
  • [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] 구조적 로그 마이그레이션
  • [SPARK-47567] [SC-164172][SQL] 정렬된 문자열을 사용하는 LOCATE 함수 지원
  • [SPARK-47764] [SC-163820][CORE][SQL] ShuffleCleanupMode를 기반으로 하는 정리 순서 섞기 종속성
  • [SPARK-48039] [SC-164174][PYTHON][CONNECT] 에 대한 오류 클래스 업데이트 group.apply
  • [SPARK-47414] [SC-163831][SQL] regexp 식에 대한 소문자 데이터 정렬 지원
  • [SPARK-47418] [SC-163818][SQL] 소문자 유니코드 인식 포함, startsWith 및 endsWith를 위한 수공예 구현 추가 및 UTF8_BINARY_LCASE 최적화
  • [SPARK-47580] [SC-163834][SQL] SQL 촉매: 오류 로그에서 명명되지 않은 변수 제거
  • [SPARK-47351] [SC-164008][SQL] StringToMap 및 마스크 문자열 식에 대한 데이터 정렬 지원 추가
  • [SPARK-47292] [SC-164151][SS] safeMapToJValue는 null 형식 값을 고려해야 합니다.
  • [SPARK-47476] [SC-164014][SQL] 데이터 정렬된 문자열을 사용하는 REPLACE 함수 지원
  • [SPARK-47408] [SC-164104][SQL] StringType을 사용하는 mathExpressions 수정
  • [SPARK-47350] [SC-164006][SQL] SplitPart 문자열 식에 대한 데이터 정렬 지원 추가
  • [SPARK-47692] [SC-163819][SQL] 암시적 캐스팅에서 기본 StringType 의미 수정
  • [SPARK-47094] [SC-161957][SQL] SPJ: 버킷 수가 같지 않은 경우 동적으로 다시 균형 조정
  • [SPARK-48001] [SC-164000][CORE] 사용되지 private implicit def arrayToArrayWritable 않는 항목 제거 SparkContext
  • [SPARK-47986] [SC-163999][CONNECT][PYTHON] 서버에서 기본 세션을 닫을 때 새 세션을 만들 수 없음
  • [SPARK-48019] [SC-164121] 사전 및 null을 사용하여 ColumnVector/ColumnarArray에서 잘못된 동작 수정
  • [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] 구조적 로그 마이그레이션
  • [SPARK-47999] [SC-163998][SS] HDFS 지원 상태 저장소 공급자의 상태 캐시 맵에서 스냅샷 만들기 및 항목 추가/제거에 대한 로깅 개선
  • [SPARK-47417] [SC-162872][SQL] 데이터 정렬 지원: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences
  • [SPARK-47712] [SC-161871][CONNECT] 연결 플러그 인이 데이터 세트를 만들고 처리하도록 허용
  • [SPARK-47411] [SC-163351][SQL] StringInstr 및 FindInSet 함수를 지원하여 데이터 정렬된 문자열로 작업
  • [SPARK-47360] [SC-163014][SQL] 데이터 정렬 지원: 오버레이, FormatString, Length, BitLength, OctetLength, SoundEx, Luhncheck
  • [SPARK-47413] [SC-163323][SQL] - 데이터 정렬에 대한 하위 문자열/왼쪽/오른쪽에 지원 추가
  • [SPARK-47983] [SC-163835][SQL] spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled를 내부로 강등
  • [SPARK-47964] [SC-163816][PYTHON][CONNECT] pyspark-connect에서 SQLContext 및 HiveContext 숨기기
  • [SPARK-47985] [SC-163841][PYTHON] 다음을 사용하여 함수 간소화 lit
  • [SPARK-47633] [SC-163453][SQL] 보다 일관된 정식화를 위해 오른쪽 계획 출력 LateralJoin#allAttributes 포함
  • [SPARK-47909] "[PYTHON][CONNECT] Parent DataFrame 클래스 f...
  • [SPARK-47767] [SC-163096][SQL] TakeOrderedAndProjectExec에 오프셋 값 표시
  • [SPARK-47822] [SC-162968][SQL] 해시 식이 Variant 데이터 형식을 해시하는 것을 금지합니다.
  • [SPARK-47490] [SC-160494][SS] 사용 중단 경고를 방지하기 위해 RocksDB 로거 생성자 사용 수정
  • [SPARK-47417] 되돌리기 "[SC-162872][SQL] 데이터 정렬 지원: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences"
  • [SPARK-47352] [SC-163460][SQL] Upper, Lower, InitCap 데이터 정렬 인식 수정
  • [SPARK-47909] [PYTHON][CONNECT] Spark Connect 및 Spark 클래식에 대한 부모 DataFrame 클래스
  • [SPARK-47417] [SC-162872][SQL] 데이터 정렬 지원: Ascii, Chr, Base64, UnBase64, Decode, StringDecode, Encode, ToBinary, FormatNumber, Sentences

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 15.3 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • 델타 레이크: 3.2.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
검정색 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 암호화 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 실행 중 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 패키징 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
requests 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 6 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

설치된 R 라이브러리

R 라이브러리는 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
캐럿 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 충돌 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
다이어그램 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
제네릭(generics) 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
주기 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
행렬 1.5-4.1 memoise 2.0.1 메서드 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 진행률 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
프록시 0.4-27 ps 1.76 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 반응 가능 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1