다음을 통해 공유

Databricks Runtime 14.2(EoS)

  • 아티클

참고 항목

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.2에 대한 정보를 제공합니다.

Databricks는 2023년 11월에 이 버전을 릴리스했습니다.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

새로운 기능 및 향상 기능

CACHE SELECT 이제 무시됩니다.

이제 SQL 명령은 CACHE SELECT 향상된 캐싱 알고리즘을 위해 무시됩니다. Azure Databricks에서 캐싱을 사용하여 성능 최적화를 참조하세요.

향상된 캐싱 동작

Spark 스케줄러에 의한 DiskCache 배치는 이제 더 빠른 파티션 할당, 클러스터 자동 크기 조정 중 더 나은 분산 및 보다 일관된 쿼리 실행을 제공합니다.

DML 명령의 손상된 파일 처리 수정

DML 명령 및 DELETEUPDATEMERGE INTO 더 이상 읽기 옵션 ignoreCorruptFiles 및 .ignoreMissingFiles 테이블에서 읽을 수 없는 파일이 발견되면 이러한 옵션이 지정된 경우에도 이러한 명령이 실패합니다.

이제 공유 클러스터에서 from_avro스키마 레지스트리와 함께 , to_avrofrom_protobuf및 to_protobuf Python 함수를 사용할 수 있습니다.

foreachBatch 및 StreamingListener 지원

이제 공유 클러스터에서 foreachBatch() 구조적 스트리밍과 함께 API 및 StreamingListener API를 사용할 수 있습니다. foreachBatch를 사용하여 Azure Databricks의 임의 데이터 싱크 및 모니터링 구조적 스트리밍 쿼리에 쓰기를 참조하세요.

행 수준 동시성은 일반적으로 사용 가능하며 기본적으로 켜집니다.

행 수준 동시성은 행 수준에서 변경 내용을 검색하여 동시 쓰기 작업 간의 충돌을 줄입니다. 행 수준 동시성은 분할 없이 테이블에서만 지원되며, 여기에는 액체 클러스터링이 있는 테이블이 포함됩니다. 행 수준 동시성은 삭제 벡터를 사용하도록 설정된 델타 테이블에서 기본적으로 사용하도록 설정됩니다. 행 수준 동시성과의 쓰기 충돌을 참조하세요.

델타 공유: 받는 사람은 삭제 벡터를 사용하여 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다(공개 미리 보기).

이제 델타 공유 받는 사람은 삭제 벡터를 사용하는 공유 테이블에서 일괄 처리, CDF 및 스트리밍 쿼리를 수행할 수 있습니다. Databricks Runtime 14.1에서는 일괄 처리 쿼리만 수행할 수 있습니다. 공유에 대한 삭제 벡터 또는 열 매핑이 있는 테이블 추가, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기, 삭제 벡터 또는 열 매핑을 사용하는 테이블 읽기를 참조하세요.

Unity 카탈로그 외부 테이블에 대한 단순 클론(공개 미리 보기)

이제 Unity 카탈로그 외부 테이블과 함께 단순 클론을 사용할 수 있습니다. Unity 카탈로그 테이블의 단순 복제본을 참조 하세요.

새 디스크 캐싱 할당 알고리즘

이제 Spark 스케줄러는 새 디스크 캐싱 알고리즘을 사용합니다. 이 알고리즘은 초기 및 클러스터 크기 조정 이벤트 후에 더 빠른 할당을 통해 노드 간에 디스크 사용량 및 파티션 할당을 개선합니다. 스티커 캐시 할당은 실행 간에 일관성을 향상시키고 리밸런싱 작업 중에 이동된 데이터를 줄입니다.

from_avro 스키마 레지스트리 커넥터를 사용하여 스키마 진화 지원 추가

이제 진화된 레코드가 검색되면 파이프라인을 다시 시작하도록 설정할 수 있습니다. 이전에는 커넥터에서 스키마가 from_avro 진화한 경우 새 열이 반환 null됩니다. 스트리밍 Avro 데이터 읽기 및 쓰기를 참조 하세요.

더 빠른 다중 스레드 통계 수집

CONVERT TO DELTA를 실행하거나 Iceberg 및 Parquet 테이블에서 복제할 때 작은 클러스터에서 통계 수집이 최대 10배 더 빠릅니다. Delta Lake 및 Clone Parquet 및 Iceberg 테이블로 변환을 참조하세요.

델타 파일의 DeltaSource에 있는 푸시다운 필터

더 나은 사용률을 위해 델타 테이블 스트리밍 쿼리의 파티션 필터는 이제 속도 제한 전에 델타로 푸시됩니다.

공유 클러스터에서 Scala 스칼라 사용자 정의 함수 지원(공개 미리 보기)

이제 공유 액세스 모드로 구성된 Unity 카탈로그 사용 클러스터에서 Scala 스칼라 사용자 정의 함수를 사용할 수 있습니다. 사용자 정의 스칼라 함수 - Scala를 참조하세요.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • fastjsonschema 2.18.0에서 2.19.0으로
    • filelock from 3.12.3 to 3.12.4
    • googleapis-common-protos 1.60.0에서 1.61.0까지
  • 업그레이드된 R 라이브러리:
  • 업그레이드된 Java 라이브러리:

Apache Spark

Databricks Runtime 14.2에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.1에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-45592] [DBRRM-624] "[SC-146977][SQL] InMemoryTableScanExec를 사용한 AQE의 정확성 문제" 되돌리기
  • [SPARK-45524] [DBRRM-625] 되돌리기 "[SC-146319][PYTHON][SQL] 초기 지원 f...
  • [SPARK-45433] [DBRRM-621] 되돌리기 "[SC-145163][SQL] CSV/JSON 스키마 유추 수정...
  • [SPARK-45592] [SC-146977][SQL] InMemoryTableScanExec를 사용하는 AQE의 정확성 문제
  • [SPARK-45354] 되돌리기 "[SC-143991][SQL] 함수 상향식 해결"
  • [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] 테스트 수정
  • [SPARK-45680] [CONNECT] 릴리스 세션
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Avro 읽기의 속도 저하 수정
  • [SPARK-45649] [SC-146742][SQL] 다음을 위한 준비 프레임워크 통합 OffsetWindowFunctionFrame
  • [SPARK-40820] [SC-146727][PYTHON][SQL] Json에서 StructType 만들기
  • [SPARK-45620] [SC-146225][PYTHON] CamelCase를 사용하도록 Python UDTF와 관련된 사용자 연결 API 수정
  • [SPARK-45727] [SC-146978][SS] 워터마크 전파 시뮬레이션에서 사용되지 않는 맵 제거
  • [SPARK-45723] [SC-146890][PYTHON][CONNECT] 카탈로그 메서드는 pandas 변환을 방지합니다.
  • [SPARK-45574] [SC-146106][SQL] :: 구문을 캐스팅의 약어로 추가
  • [SPARK-45670] [SC-146725][CORE][3.5] SparkSubmit는 K8s에 배포할 때 지원하지 --total-executor-cores 않습니다.
  • [SPARK-45661] [SC-146594][SQL][PYTHON] StructType, MapType 및 ArrayType에서 toNullable 추가
  • [SPARK-45524] [SC-146319][PYTHON][SQL] Python 데이터 원본 읽기 API에 대한 초기 지원
  • [SPARK-45542] [SC-145892][CORE] 다음으로 바꾸기 setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [SC-146641][SQL] SPJ: 동적 필터링 후 빈 입력 파티션 처리
  • [SPARK-45454] [SC-144846][SQL] 테이블의 기본 소유자를 current_user 설정
  • [SPARK-45554] [SC-146875][PYTHON] 에 유연한 매개 변수 도입 assertSchemaEqual
  • [SPARK-45242] [SC-143410][SQL] DataFrame ID를 사용하여 CollectMetrics의 의미 체계 유효성 검사
  • [SPARK-45674] [SC-146862][CONNECT][PYTHON] Spark Connect에서 JVM 종속 특성에 대한 오류 메시지를 개선합니다.
  • [SPARK-45646] [SC-146276][SQL] Hive 2.0 이전의 하드코딩 시간 변수 제거
  • [SPARK-43380] [SC-146726][ES-897115][SQL] Avro 읽기의 속도 저하 수정
  • [SPARK-45545] [SC-146484][CORE] SparkTransportConf를 만들 때마다 SSLOptions 전달
  • [SPARK-45641] [SC-146260][UI] AllJobsPage에 애플리케이션 시작 시간 표시
  • [SPARK-40154] [SC-146491][Python][문서] Dataframe.cache docstring의 올바른 스토리지 수준
  • [SPARK-45626] [SC-146259][SQL] _LEGACY_ERROR_TEMP_1055 REQUIRES_SINGLE_PART_NAMESPACE 변환
  • [SPARK-45507] [SC-145900][SQL] COUNT 집계를 사용하여 중첩된 상관 관계 스칼라 하위 쿼리에 대한 정확성 수정
  • [SPARK-45619] [SC-146226][CONNECT][PYTHON] 관찰된 메트릭을 Observation 개체에 적용
  • [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR] StreamingForeachBatchHelper에 대한 Scaladoc 개선
  • [SPARK-45616] [SC-146120][CORE] ThreadLocals 또는 SparkSession을 전파하지 않는 ParVector 방지
  • [SPARK-45604] [SC-146105][SQL] INT64에서 LogicalType 검사 추가 -> Parquet 벡터화된 판독기에서 DateTime 변환
  • [SPARK-44649] [SC-145891][SQL] 런타임 필터는 동등한 생성 쪽 식 전달을 지원합니다.
  • [SPARK-41674] [SC-128408][SQL] 런타임 필터는 필터 생성 쪽으로 다중 수준 순서 섞기 조인 쪽을 지원해야 합니다.
  • [SPARK-45547] [SC-146228][ML] 기본 제공 함수를 사용하여 벡터 유효성 검사
  • [SPARK-45558] [SC-145890][SS] 상태 저장 연산자를 스트리밍하기 위한 메타데이터 파일 소개
  • [SPARK-45618] [SC-146252][CORE] BaseErrorHandler 제거
  • [SPARK-45638] [SC-146251][SQL][Avro] 10진수 변환의 테스트 검사 향상
  • [SPARK-44837] [SC-146020][SQL] ALTER TABLE ALTER PARTITION 열 오류 메시지 변경
  • [SPARK-45561] [SC-146264][SQL] MySQLDialect에서 TINYINT에 대한 적절한 변환 추가
  • [SPARK-45632] [SC-146255][SQL] AQE를 사용하도록 설정할 때 테이블 캐시는 불필요한 ColumnarToRow를 방지해야 합니다.
  • [SPARK-45569] [SC-145932][SQL] 오류 _LEGACY_ERROR_TEMP_2152 이름 할당
  • [SPARK-44784] [SC-141015][CONNECT] SBT 테스트 밀폐를 만듭니다.
  • [SPARK-45452] [SC-144836][SQL] API 사용 FileSystem.listFiles 개선 InMemoryFileIndex
  • [SPARK-44735] [SC-146186][SQL] 일치하지 않는 행별로 이름이 같은 열을 삽입할 때 경고 msg 추가
  • [SPARK-45351] [SC-144791][CORE] 기본값을 ROCKSDB로 변경 spark.shuffle.service.db.backend
  • [SPARK-45553] [SC-145906][PS] 사용 중단 assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][CORE] DeterministicLevel을 DeveloperApi로 노출
  • [SPARK-45549] [SC-145895][CORE] 사용되지 numExistingExecutors 않는 항목 제거 CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][CONNECT] SparkThrowable proto 메시지에 SqlState 포함
  • [SPARK-45595] [SC-146037] 오류 메시지에 sqlstate 노출
  • [SPARK-45628] [SC-146123][ML] 다음을 위해 개선 vector_to_array.mllib.linalg.SparseVector
  • [SPARK-45009] [SC-145884][SQL][후속 작업] AQE InSubquery 테스트에 대한 조인 조건에서 decorrelation 끄기
  • [SPARK-45576] [SC-145883][CORE] ReloadingX509TrustManagerSuite에서 불필요한 디버그 로그 제거
  • [SPARK-45485] [SC-145719][CONNECT] 사용자 에이전트 개선 사항: SPARK_CONNECT_USER_AGENT env 변수 사용 및 환경별 특성 포함
  • [SPARK-45508] [SC-145513][CORE] 플랫폼이 Java 9 이상에서 클리너에 액세스할 수 있도록 "–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED"를 추가합니다.
  • [SPARK-45595] 되돌리기 "[SC-146037] 오류 메시지에 SQLSTATE 노출"
  • [SPARK-45595] [SC-146037] 오류 메시지에 SQLSTATE 노출
  • [SPARK-45112] 되돌리기 "[SC-143259][SQL] UnresolvedFunction ba 사용...
  • [SPARK-45257] [SC-143411][CORE] 기본적으로 사용 spark.eventLog.compress
  • [SPARK-45586] [SC-145899][SQL] 식 트리가 큰 계획에 대한 컴파일러 대기 시간 줄이기
  • [SPARK-45517] [SC-145691][CONNECT][14.x] 더 많은 예외 생성자를 확장하여 오류 프레임워크 매개 변수 지원
  • [SPARK-45581] [SC-145896] SQLSTATE를 필수로 만듭니다.
  • [SPARK-45427] [SC-145590][CORE] SSLOptions 및 SparkTransportConf에 RPC SSL 설정 추가
  • [SPARK-45261] [SC-143357][CORE] 코덱으로 처리 none 하도록 수정 EventLogFileWriters
  • [SPARK-45582] [SC-145897][SS] 출력 모드 스트리밍 집계 내에서 커밋을 호출한 후 저장소 인스턴스가 사용되지 않는지 확인합니다.
  • [SPARK-45562] [SC-145720][SC-144650][SQL] XML: 'rowTag'를 필수 옵션으로 만들기
  • [SPARK-45392] [SC-144362][CORE][SQL][SS] 다음으로 바꾸기 Class.newInstance()Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [SC-145163][SQL] 타임스탬프가 지정된 timestampFormat과 일치하지 않는 경우 CSV/JSON 스키마 유추 수정
  • [SPARK-45458] [SC-145011][SQL] BitwiseExpressions에서 IllegalArgumentException을 SparkIllegalArgumentException으로 변환
  • [SPARK-45564] [SC-145735][SQL] 'BloomFilterAggregate' 식을 사용하여 'DataFrameStatFunctions.bloomFilter' 단순화
  • [SPARK-45566] [SC-145777][PS] Spark에서 Pandas API에 대한 Pandas와 유사한 테스트 유틸리티 지원
  • [SPARK-45498] [SC-145509][CORE] 후속 작업: 이전 단계에서 작업 완료 무시...
  • [SPARK-45483] [SC-145152][CONNECT] connect.functions의 함수 그룹 수정
  • [SPARK-45577] [SC-145781][PYTHON] UserDefinedPythonTableFunctionAnalyzeRunner가 명명된 인수에서 접힌 값을 전달하도록 수정
  • [SPARK-45009] [SC-138223][후속 작업] AetherSQLQuerySuite에 대한 조인 조건에서 decorrelation 끄기
  • [SPARK-45415] [SC-145344] RocksDB 상태 저장소에서 "fallocate"를 선택적으로 사용하지 않도록 설정 허용
  • [SPARK-45500] [SC-145134][CORE][WEBUI] MasterPage에서 비정상적으로 완료된 드라이버 수 표시
  • [SPARK-44120] [SC-144349][PYTHON] Python 3.12 지원
  • [SPARK-45439] [SC-145589][SQL][UI] LiveStageMetrics.accumIdsToMetricType의 메모리 사용량 감소
  • [SPARK-45565] [SC-145717][UI] 스테이지 세부 정보에서 작업 목록에 대한 불필요한 JSON.stringify 및 JSON.parse 루프
  • [SPARK-45567] [SC-145718][CONNECT] org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run에서 중복 제거
  • [SPARK-45112] [SC-143259][SQL] SQL 데이터 세트 함수에서 UnresolvedFunction 기반 해상도 사용
  • [SPARK-45486] [SASP-2457][SC-145612][CONNECT] add_artifact 요청 idempotent 만들기
  • [SPARK-44913] [SC-144326][SQL] DS V2는 매직 메서드가 있는 V2 UDF 푸시다운을 지원합니다.
  • [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions 버그
  • [SPARK-45491] [SC-145622] 누락된 SQLSTATES 2/2 추가
  • [SPARK-45009] [SC-145620][SC-138223][SQL] 조인 조건에서 조건자 하위 쿼리 감소
  • [SPARK-45377] [SC-144377][CORE] NettyLogger에서 InputStream 처리
  • [SPARK-45248] [SC-143759][CORE]spark ui 서버에 대한 시간 제한 설정
  • [SPARK-44594] [SC-145611][SS] kafka 커넥터에서 중복 메서드 매개 변수 제거
  • [SPARK-45539] [SC-145621][SS] 어설션 및 로그를 추가하여 추가 모드에서 집계 쿼리 스트리밍에 워터마크 정의가 필요함을 나타냅니다.
  • [SPARK-44262] [SC-145639][SQL] JdbcDialect에 추가 dropTable 및 getInsertStatement 추가
  • [SPARK-45516] [SC-145480][CONNECT] SparkThrowable proto 메시지에 QueryContext 포함
  • [SPARK-45310] [SC-145127][CORE] 보고서 순서 섞기 블록 상태는 서비스 해제 중 순서 섞기 서비스를 준수해야 합니다.
  • [SPARK-45521] [SC-145487][ML] 다음에서 nnz를 다시 계산하지 않습니다. VectorAssembler
  • [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] current_database() 열 별칭을 current_schema()로 변경
  • [SPARK-45116] [SC-145142][SQL] JdbcDialect의 매개 변수에 대한 주석 추가 createTable
  • [SPARK-45495] [SC-145529][core] 동적 할당을 사용하지 않도록 설정한 경우 k8s 클러스터에 대한 단계 수준 작업 리소스 프로필 지원
  • [SPARK-45487] [SC-145559] SQLSTATE 및 임시 오류 수정
  • [SPARK-45505] [SC-145550][PYTHON] analyzeInPython을 리팩터링하여 재사용 가능
  • [SPARK-45132] [SC-145425][SQL] 함수 호출에 대한 IDENTIFIER 수정
  • [SPARK-45213] [SC-145020][SQL] 오류 _LEGACY_ERROR_TEMP_2151 이름 할당
  • [SPARK-45416] [SC-145126][CONNECT] 화살표 결과의 온전성 검사 일관성
  • [SPARK-45163] [SC-143386][SQL] 병합 UNSUPPORTED_VIEW_OPERATION &UNSUPPORTED_TABLE_OPERATION 및 일부 문제 해결
  • [SPARK-45421] [SC-144814][SQL] InlineCTE를 통해 AnalysisException Catch
  • [SPARK-43664] [SC-145404][CONNECT][PS] Spark Connect에서 Pandas-on-Spark 개체에 대한 ps.sql 예외를 발생합니다.
  • [SPARK-45402] [SC-145371][SQL][PYTHON] 'eval' 및 'terminate' 메서드에 대한 UDTF API를 추가하여 이전 '분석' 결과를 사용합니다.
  • [SPARK-36112] [SC-67885] [SQL] DecorrelateInnerQuery 프레임워크를 사용하여 상관 관계가 있는 EXISTS 및 IN 하위 쿼리 지원
  • [SPARK-45383] [SC-144929][SQL] 기존 테이블이 없는 시간 이동에 대한 오류 메시지 수정
  • [SPARK-43254] [SC-143318][SQL] 오류 _LEGACY_ERROR_TEMP_2018 이름 할당
  • [SPARK-45204] [SC-145167][CONNECT] SparkConnectPlanner에 선택적 ExecuteHolder 추가
  • [SPARK-45451] [SC-145144][SQL] 데이터 세트 캐시의 기본 스토리지 수준을 구성할 수 있도록 설정
  • [SPARK-45192] [SC-143194][UI] graphviz edge에 대한 지연된 lineInterpolate 매개 변수 수정
  • [SPARK-45467] [SC-145146][CORE] 다음으로 바꾸기 Proxy.getProxyClass()Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ML][CONNECT] 배열 어셈블러 기능 변환기 추가
  • [SPARK-44855] [SC-145226][CONNECT] ExecuteGrpcResponseSender를 ExecuteResponseObserver에 연결하기 위한 작은 조정
  • [SPARK-45398] [SC-144796][SQL] 식에 sql() Like 추가 ESCAPE
  • [SPARK-45494] [SC-145129][CORE][PYTHON] PythonWorkerUtils에 대한 바이트 배열을 읽고 쓰는 util 함수 소개
  • [SPARK-45464] [SC-145125][CORE] 네트워크-yarn 배포 빌드 수정
  • [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] StorageLevel에 대한 매퍼 소개
  • [SPARK-45450] [SC-145009][PYTHON] PEP8에 따라 가져오기 수정: pyspark.pandas 및 pyspark(코어)
  • [SPARK-45475] [SC-145018][SQL] JdbcUtils에서 RDD.foreachPartition 대신 DataFrame.foreachPartition 사용
  • [SPARK-45271] [SC-143778][SQL] _LEGACY_ERROR_TEMP_1113 TABLE_OPERATION 병합하고 QueryCompilationErrors에서 사용되지 않는 메서드를 삭제합니다.
  • [SPARK-45449] [SC-145013][SQL] JDBC 테이블의 캐시 무효화 문제
  • [SPARK-45473] [SC-145017][SQL] RoundBase에 대한 잘못된 오류 메시지 수정
  • [SPARK-43299] [SC-145022][SS][CONNECT] Scala 클라이언트에서 StreamingQueryException 변환
  • [SPARK-45474] [SC-145014][CORE][WEBUI] MasterPage JSON API에서 최상위 필터링 지원
  • [SPARK-45205] [SC-145012][SQL] 여러 작업이 트리거되지 않도록 반복기 메서드를 재정의하는 CommandResultExec입니다.
  • [SPARK-45472] [SC-145004][SS] RocksDB 상태 저장소는 검사점 경로의 존재를 다시 검사할 필요가 없습니다.
  • [SPARK-45470] [SC-145010][SQL] hive orc 압축 종류의 문자열 값 붙여넣기 방지
  • [SPARK-45448] [SC-144829][PYTHON] PEP8에 따라 가져오기 수정: pyspark.testing, pyspark.mllib, pyspark.resource 및 pyspark.streaming
  • [SPARK-45446] [SC-144828][PYTHON] PEP8에 따라 가져오기 수정: pyspark.errors 및 pyspark.ml
  • [SPARK-45239] [SC-144832][CONNECT] 기본 spark.connect.jvmStacktrace.maxSize 줄이기
  • [SPARK-45436] [SC-144831][PYTHON][CONNECT] 데이터 프레임 메서드는 동일한 세션을 확인합니다.
  • [SPARK-45413] [SC-144847][CORE] LevelDB 지원 준비에 대한 경고 추가
  • [SPARK-45462] [SC-144848][CORE][WEBUI] 에 표시 DurationApplicationPage
  • [SPARK-44527] [SC-144855][SQL] maxRows가 0인 경우 ScalarSubquery를 null로 바꿉니다.
  • [SPARK-45401] [SC-144854][PYTHON] UDTF 인터페이스에 새 메서드 cleanup 추가
  • [SPARK-43704] [SC-144849][CONNECT][PS] 지원 대상 MultiIndexto_series()
  • [SPARK-45424] [SC-144888][SQL] 접두사만 일치하는 경우 TimestampFormatter가 선택적 구문 분석 결과를 반환하는 문제를 해결합니다.
  • [SPARK-45441] [SC-144833][PYTHON] PythonWorkerUtils에 대한 더 많은 util 함수 소개
  • [SPARK-45412] [SC-144803][PYTHON][CONNECT] 에서 계획 및 세션의 유효성을 검사합니다. DataFrame.__init__
  • [SPARK-45408] [SC-144810][CORE] TransportConf에 RPC SSL 설정 추가
  • [SPARK-45432] [SC-144818][CORE] 사용되지 않는 Hadoop-2 LocatedFileStatus 생성자 제거
  • [SPARK-45434] [SC-144819][ML][CONNECT] LogisticRegression은 학습 레이블을 확인합니다.
  • [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] PySpark에 DataType.fromDDL 추가
  • [SPARK-45406] [SC-144793][PYTHON][CONNECT] DataFrame 생성자에서 삭제 schema
  • [SPARK-45404] [SC-144799][CORE] env 변수 지원 AWS_ENDPOINT_URL
  • [SPARK-43620] [SC-144792][CONNECT][PS] Pandas API 수정은 지원되지 않는 기능에 따라 달라집니다.
  • [SPARK-45354] [SC-143991][SQL] 함수 상향식 해결
  • [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] 아티팩트 API에 대한 재시도를 추가합니다. 오류 처리를 개선합니다([SPARK-45093]에 대한 후속 작업).
  • [SPARK-45120] [SC-142780][SPARK-45150][UI] d3을 v3에서 v7(v7.8.5)로 업그레이드하고 UI에서 api 변경 내용을 적용합니다.
  • [SPARK-44838] [SC-143983][SQL] raise_error 개선
  • [SPARK-45312] [SC-143754][SQL][UI] 실행 페이지에서 계획 svg 표시/숨기기 설정/숨기기 지원
  • [SPARK-45378] [SC-144448][CORE] ManagedBuffer에 convertToNettyForSsl 추가
  • [SPARK-44762] [SC-144338][CONNECT][CORE] SparkConnect.addJobTag 및 Connect SparkSession.addTag용 Doc
  • [SPARK-45383] 해결되지 않은 RelationTimeTravel을 정상적으로 처리
  • [SPARK-45347] [SC-144512][SQL][CONNECT] FetchErrorDetailsResponse에 SparkThrowable 포함
  • [SPARK-45012] [SC-141512][SQL] CheckAnalysis는 AnalysisException에서 인라인 계획을 throw해야 합니다.
  • [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} 계획이 잘못된 경우 예외를 발생시켜야 합니다.
  • [SPARK-45227] [SC-144233][CORE] CoarseGrainedExecutorBackend를 사용하여 미묘한 스레드 안전 문제 해결
  • [SPARK-45266] [SC-144171][PYTHON] 테이블 인수를 사용할 때 횡적 조인을 지연하도록 ResolveFunctions 분석기 규칙 리팩터링
  • [SPARK-45266] 되돌리기 "[SC-144171][PYTHON] ResolveFunctions 분석기 규칙을 리팩터링하여 테이블 인수를 사용할 때 횡적 조인 지연"
  • [SPARK-45371] [SC-144389][CONNECT] Spark Connect Scala 클라이언트의 음영 문제 해결
  • [SPARK-45057] [SC-144214][CORE] keepReadLock이 false인 경우 읽기 잠금 획득 방지
  • [SPARK-45385] [SC-144357][SQL] 사용 중단 spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][SQL] SQL 구성 제거 spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][PYTHON] 테이블 인수를 사용할 때 횡적 조인을 지연하도록 ResolveFunctions 분석기 규칙 리팩터링
  • [SPARK-45362] [SC-144198][PYTHON] Python UDTF 'eval' 메서드가 이를 소비하기 전에 PARTITION BY 식을 프로젝션합니다.
  • [SPARK-45346] [SC-143925][SQL] Parquet 스키마 유추는 스키마를 병합할 때 대/소문자 구분 플래그를 따라야 합니다.
  • [SPARK-45341] [SC-143933][CORE] java 17을 사용하여 성공적으로 실행되도록 sbt doc KVStore.java 주석의 제목 수준을 수정합니다.
  • [SPARK-45334] [SC-143914][SQL] parquetSchemaConverter에서 잘못된 주석 제거
  • [SPARK-45337] [SC-143932][CORE] Scala 2.12에 대한 검사를 제거하도록 리팩터링 AbstractCommandBuilder#getScalaVersion
  • [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame 메서드는 pandas 변환을 건너뜁니다.
  • [SPARK-43662] [SC-143923][PS][CONNECT] Spark Connect의 지원 merge_asof
  • [SPARK-44126] [SC-143751][CORE] 대상 실행기가 서비스 해제될 때 순서 섞기 마이그레이션 실패 횟수가 증가하지 않아야 합니다.
  • [SPARK-44550] [SC-119768][SQL] ANSI에서 정확성 수정 null IN (empty list) 사용
  • [SPARK-45316] [SC-143783][CORE][SQL] 에 새 매개 변수 ignoreCorruptFiles/ignoreMissingFiles HadoopRDD 추가 및 NewHadoopRDD
  • [SPARK-45093] [SC-143414][CONNECT][PYTHON] addArtifacts 쿼리에 대한 오류 보고
  • [SPARK-44756] [SC-143787][CORE] RetryingBlockTransferor가 다시 시도를 시작하지 못하면 실행기가 중단됩니다.
  • [SPARK-45333] [SC-143768][CORE] spark.eventLog.buffer.kb와 관련된 하나의 단위 실수 수정
  • [SPARK-45317] [SC-143750][SQL][CONNECT] 예외의 스택 추적에서 null 파일 이름 처리
  • [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId가 열 형식 정보를 추가합니다.
  • [SPARK-45235] [SC-143314][CONNECT][PYTHON] 다음을 통해 맵 및 배열 매개 변수를 지원합니다. sql()
  • [SPARK-45138] [SC-143309][SS] DFS에 대한 검사점 상태가 실패할 때 새 오류 클래스를 정의하고 적용합니다.
  • [SPARK-45297] [SC-143644][SQL] SPARK-31827에 추가된 dateformatter에 대한 해결 방법 제거
  • [SPARK-44345] [SC-143593][CORE] 순서 섞기 마이그레이션을 사용하는 경우 경고에 대한 낮은 unknown shuffle map output 로그 수준
  • [SPARK-44463] [SC-143251][SS][CONNECT] Steaming Python 작업자 연결에 대한 오류 처리 개선
  • [SPARK-45207] [SC-143603][SQL][CONNECT] Scala 클라이언트에 대한 오류 보강 구현
  • [SPARK-45240] [SC-143602][SQL][CONNECT] Python 클라이언트에 대한 오류 보강 구현
  • [SPARK-45216] [SC-143288][SQL] 비결정적 시드 데이터 세트 API 수정
  • [SPARK-45251] [SC-143419][CONNECT] FetchErrorDetails에 대한 client_type 필드 추가
  • [SPARK-45137] [SC-143001][CONNECT] 매개 변수가 있는 맵/배열 매개 변수 지원 sql()
  • [SPARK-45224] [SC-143257][PYTHON] 맵 및 배열을 매개 변수로 사용하여 예제 추가 sql()
  • [SPARK-44622] [SC-143205][SQL][CONNECT] FetchErrorDetails RPC 구현
  • [SPARK-45178] [SC-136089] 래퍼를 사용하는 대신 지원되지 않는 원본을 사용하여 Trigger.AvailableNow에 대한 단일 일괄 처리를 실행하도록 대체
  • [SPARK-44823] [14.x][SC-142979][PYTHON] 검은색을 23.9.1로 업데이트하고 수정 검사
  • [SPARK-45078] [SC-142954][SQL] ImplicitCastInputTypes가 작동하지 않는 수정 array_insert
  • [SPARK-44579] [SC-138428][SQL] SQLExecution에서 취소할 때 인터럽트 지원
  • [SPARK-45252] [SC-143371][CORE] 주석의 더 크거나 작음 기호를 이스케이프하여 sbt doc 성공적으로 실행합니다.
  • [SPARK-45189] [SC-142973][SQL] TableIdentifier에서 UnresolvedRelation을 만드는 데 카탈로그 필드가 포함되어야 합니다.
  • [SPARK-45229] [SC-143254][CORE][UI] MasterPage에서 SUBMITTED 상태에서 대기 중인 드라이버 수 표시
  • [SPARK-43453] 되돌리기 "[SC-143135][PS] "의 MultiIndex 경우 axis=1 concat무시 names

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 14.2 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.72.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.0.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 comm 0.1.2
contourpy 1.0.5 암호화 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
실행 중 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
filelock 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
Notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 패키징 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
6 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id 5.11 stack-data 0.2.0 statsmodels 0.13.5
tenacity 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 2023-02-10의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 캐럿 6.0-94 cellranger 1.1.0
chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 충돌 1.2.0
cpp11 0.4.4 crayon 1.5.2 credentials 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 다이어그램 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 줄임표 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 제네릭(generics) 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 행렬 1.5-4.1 memoise 2.0.1
메서드 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
spatial 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 통계 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 survival 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 textshaping 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0.45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip 2.3.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro Avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-음영 처리된 프로토부프
org.apache.orc orc-core 1.9.1-음영 처리된 프로토부프
org.apache.orc orc-mapreduce 1.9.1-음영 처리된 프로토부프
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1