다음을 통해 공유

Databricks Runtime 15.0(EoS)

  • 아티클

참고 항목

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 15.0에 대한 정보를 제공합니다.

Databricks는 2024년 3월에 이 버전을 릴리스했습니다.

호환성이 손상되는 변경

잘못된 인수 형식에 대해 PySpark spark.sql() 함수가 실패함

Databricks Runtime 15.0 이상에서 spark.sql() 함수에 전달된 명명된 또는 위치 parameters으로 args 매개 변수는 사전이거나 list여야 합니다. 다른 개체 형식이 전달되면 다음 오류가 발생합니다 PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

DBFS 루트에 라이브러리 저장은 기본적으로 사용되지 않으며 사용하지 않도록 설정됩니다.

Azure Databricks 작업 영역에서 라이브러리의 보안을 강화하기 위해 DBFS 루트에 라이브러리 파일을 저장하는 것은 기본적으로 Databricks Runtime 15.0부터 사용되지 않으며 비활성화됩니다. Databricks는 Python 라이브러리, JAR 파일, 그리고 Spark 커넥터를 포함한 모든 라이브러리를 작업 영역 파일, Unity Catalogvolumes, 또는 패키지 리포지토리에 업로드할 것을 권장합니다. 라이브러리 업로드에 대한 권장 사항을 참조 하세요.

DBFS 루트에서 라이브러리 저장을 다시 활성화하려면 아래의 Spark 구성 매개 변수 set: spark.databricks.driver.dbfsLibraryInstallationAllowed true을 사용하십시오.

기본 Python 버전이 3.10에서 3.11로 업그레이드됨

Databricks Runtime 15.0에서는 기본 Python 버전이 3.11.0입니다. 업그레이드된 Python 라이브러리의 list에 대해서는 라이브러리 업그레이드를 참조하세요.

JDK 11이 제거됨

앞에서 발표한 대로 JDK 11은 Databricks Runtime 15.0 이상에서 제거됩니다. Databricks는 Databricks Runtime 15.0 이상으로 업그레이드할 때 JDK 17로 업그레이드하는 것이 좋습니다. Java용 Databricks SDK를 참조하세요.

이제 Python REPL이 정상적으로 종료됩니다.

Databricks Runtime 15.0을 사용하면 이제 Notebook의 Python REPL 프로세스가 종료 시 정상적으로 종료됩니다. 이렇게 하면 모든 atexit 후크가 적용됩니다. 예를 들어 여러 Python Notebook 작업이 있는 워크플로에서 첫 번째 작업에 등록된 atexit 후크는 두 번째 Python Notebook 작업이 실행되기 전에 실행됩니다.

새로운 기능 및 향상 기능

*(star) 절은 이제 WHERE 절에서 지원됩니다.

이제 WHERE 절에서 star(*) 절을 사용하여 SELECTlist의 모든 columns를 참조할 수 있습니다. 예들 들어 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)입니다.

spark.sql.json.enablePartialResults 이제 구성이 기본적으로 사용하도록 설정됩니다.

이제 Spark 구성 spark.sql.json.enablePartialResults 이 기본적으로 사용하도록 설정되므로 JSON 파서가 나머지 필드를 삭제하지 않고 구조체, 맵 및 배열과 같은 복잡한 형식에 대한 구문 분석 오류를 올바르게 처리할 수 있습니다. 이 변경은 column 가지 치기를 사용한 JSON 데이터 소스의 일관성 문제를 수정합니다.

클러스터 라이브러리는 이제 requirements.txt 파일을 지원합니다.

이제 작업 영역 파일 또는 Unity Catalog 볼륨에 저장된 requirements.txt 파일을 사용하여 클러스터 라이브러리를 설치할 수 있습니다. 단일 사용자 및 공유 액세스 모드 클러스터에서 격리 공유 액세스 모드 클러스터가 없으므로 PyPI 패키지만 지원됩니다. 클러스터 라이브러리를 참조하세요.

이제 웹 터미널에서 Databricks CLI를 사용할 수 있습니다.

이제 Notebook의 웹 터미널에서 Databricks CLI를 사용할 수 있습니다. 단일 사용자 또는 격리 공유 액세스 모드가 없는 클러스터에 Notebook을 연결해야 합니다. 자세한 내용은 웹 터미널 및 Databricks CLI 사용을 참조하세요.

클러스터 구성에 기본 Python 리포지토리 추가

Databricks Runtime 15.0 이상에서는 클러스터를 구성하거나 클러스터 정책을 정의할 때, 클러스터 및 노트북 범위 라이브러리 설치에 대한 전역 pip index-url 및 extra-index-urlparameters를 설정할 수 있습니다. 이렇게 하려면 환경 변수 setDATABRICKS_PIP_INDEX_URL 및 DATABRICKS_PIP_EXTRA_INDEX_URL를 조정하십시오.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • 검정 22.6.0에서 23.3.0으로
    • boto3에서 1.24.28에서 1.34.39로
    • botocore from 1.27.96 to 1.34.39
    • 2022.12.7에서 2023.7.22로 인증
    • 39.0.1에서 41.0.3까지의 암호화
    • databricks-sdk 0.1.6에서 0.20.0으로
    • distlib에서 0.3.7에서 0.3.8로
    • googleapis-common-protos 1.62.0에서 1.63.0으로
    • grpcio에서 1.48.2에서 1.60.0으로
    • grpcio-status from 1.48.1 to 1.60.0
    • importlib-metadata from 4.6.4 to 6.0.0
    • ipykernel 6.25.0에서 6.25.1로
    • ipython에서 8.14.0에서 8.15.0으로
    • ipywidgets 7.7.2에서 8.0.4로
    • jupyter_core 5.2.0에서 5.3.0으로
    • jupyterlab-widgets from 1.0.0 to 3.0.5
    • matplotlib 3.7.0에서 3.7.2로
    • pandas from 1.5.3 to 2.0.3
    • pip from 22.3.1 to 23.2.1
    • platformdirs from 2.5.2 to 3.10.0
    • protobuf 4.24.0에서 4.24.1로
    • 8.0.0에서 14.0.1까지의 pyarrow
    • Pygments from 2.11.2 to 2.15.1
    • pyodbc from 4.0.32 to 4.0.38
    • 2.28.1에서 2.31.0으로 요청
    • s3transfer from 0.6.2 to 0.10.0
    • scikit-learn from 1.1.1 to 1.3.0
    • scipy from 1.10.0 to 1.11.1
    • setuptools from 65.6.3 to 68.0.0
    • statsmodels 0.13.5에서 0.14.0으로
    • 8.1.0에서 8.2.2로의 끈기
    • 토네이도 6.1에서 6.3.2로
    • typing_extensions 4.4.0에서 4.7.1로
    • urllib3에서 1.26.14에서 1.26.16까지
    • virtualenv 20.16.7에서 20.24.2로
    • widgetsnbextension from 3.6.1 to 4.0.5
    • zipp from 1.0.0 to 3.11.0
  • 업그레이드된 R 라이브러리:
    • 화살표를 12.0.1에서 14.0.0.2로
    • askpass from 1.1 to 1.2.0
    • base from 4.3.1 to 4.3.2
    • brew from 1.0-8 to 1.0-10
    • brio from 1.1.3 to 1.1.4
    • bslib from 0.5.0 to 0.6.1
    • cli from 3.6.1 to 3.6.2
    • commonmark from 1.9.0 to 1.9.1
    • 컴파일러 4.3.1에서 4.3.2로
    • 0.3.1에서 0.3.2로 구성
    • cpp11에서 0.4.4에서 0.4.7로
    • credentials 1.3.2에서 2.0.1로
    • curl from 5.0.1 to 5.2.0
    • 데이터.table 1.14.8에서 1.15.0으로
    • 4.3.1에서 4.3.2까지의 데이터 세트
    • DBI 1.1.3에서 1.2.1로
    • 2.3.3에서 2.4.0으로 dbplyr
    • desc from 1.4.2 to 1.4.3
    • 다이제스트 0.6.33에서 0.6.34로
    • dplyr from 1.1.2 to 1.1.4
    • e1071에서 1.7-13에서 1.7-14로
    • 0.21에서 0.23으로 평가
    • fansi from 1.0.4 to 1.0.6
    • fontawesome from 0.5.1 to 0.5.2
    • fs from 1.6.2 to 1.6.3
    • future from 1.33.0 to 1.33.1
    • future.apply 1.11.0에서 1.11.1로
    • 1.5.1에서 1.5.2로 가글
    • gert from 1.9.2 to 2.0.1
    • ggplot2에서 3.4.2에서 3.4.4로
    • glmnet from 4.1-7 to 4.1-8
    • 1.6.2에서 1.7.0으로 붙이기
    • 4.3.1에서 4.3.2로 그래픽
    • grDevices 4.3.1에서 4.3.2로
    • 4.3.1에서 4.3.2로 그리드
    • 0.3.3에서 0.3.4까지 gtable
    • hardhat from 1.3.0 to 1.3.1
    • 2.5.3에서 2.5.4로
    • htmltools from 0.5.5 to 0.5.7
    • htmlwidgets 1.6.2에서 1.6.4로
    • httpuv from 1.6.11 to 1.6.14
    • 1.4.6에서 1.4.7로 httr
    • httr2에서 0.2.3에서 1.0.0까지
    • jsonlite from 1.8.7 to 1.8.8
    • 1.43에서 1.45까지의 니트러
    • 0.4.2에서 0.4.3으로 레이블 지정
    • 이후 1.3.1에서 1.3.2로
    • 용암 1.7.2.1 ~ 1.7.3
    • 1.0.3에서 1.0.4까지의 수명 주기
    • listenv from 0.9.0 to 0.9.1
    • 1.9.2에서 1.9.3으로 윤활유
    • markdown from 1.7 to 1.12
    • 메서드를 4.3.1에서 4.3.2로
    • openssl from 2.0.6 to 2.1.1
    • 4.3.1에서 4.3.2로 병렬 처리
    • 1.4.2에서 1.4.3까지의 pkgbuild
    • pkgload from 1.3.2.1 to 1.3.4
    • plyr from 1.8.8 to 1.8.9
    • prettyunits from 1.1.1 to 1.2.0
    • pROC 1.18.4에서 1.18.5로
    • processx from 3.8.2 to 3.8.3
    • prodlim from 2023.03.31 to 2023.08.28
    • 1.2.2에서 1.2.3으로 진행
    • progressr from 0.13.0 to 0.14.0
    • 1.2.0.1에서 1.2.1로 약속
    • ps from 1.7.5 to 1.7.6
    • purrr from 1.0.1 to 1.0.2
    • ragg from 1.2.5 to 1.2.7
    • Rcpp에서 1.0.11에서 1.0.12로
    • RcppEigen 0.3.3.9.3에서 0.3.3.9.4
    • readr from 2.1.4 to 2.1.5
    • 1.0.6에서 1.0.9로의 레시피
    • 1.0.1에서 2.0.0으로 재대결
    • 원격을 2.4.2에서 2.4.2.1로
    • reprex from 2.0.2 to 2.1.0
    • 1.1.1에서 1.1.3까지의 rlang
    • rmarkdown from 2.23 to 2.25
    • RODBC 1.3-20~ 1.3-23
    • roxygen2에서 7.2.3에서 7.3.1로
    • rprojroot에서 2.0.3에서 2.0.4로
    • Rserve 1.8-11에서 1.8-13으로
    • RSQLite 2.3.1에서 2.3.5로
    • sass from 0.4.6 to 0.4.8
    • 크기가 1.2.1에서 1.3.0으로 조정됩니다.
    • 1.7.4.1에서 1.8.0으로 반짝입니다.
    • sparklyr에서 1.8.1에서 1.8.4로
    • 4.3.1에서 4.3.2까지의 스플라인
    • 통계는 4.3.1에서 4.3.2로
    • stats4에서 4.3.1에서 4.3.2로
    • stringi from 1.7.12 to 1.8.3
    • stringr from 1.5.0 to 1.5.1
    • systemfonts from 1.0.4 to 1.0.5
    • tcltk from 4.3.1 to 4.3.2
    • testthat from 3.1.10 to 3.2.1
    • textshaping from 0.3.6 to 0.3.7
    • tidyr에서 1.3.0에서 1.3.1로
    • timechange from 0.2.0 to 0.3.0
    • timeDate from 4022.108 to 4032.109
    • tinytex from 0.45 to 0.49
    • 4.3.1에서 4.3.2까지의 도구
    • utf8 from 1.2.3 to 1.2.4
    • utils from 4.3.1 to 4.3.2
    • uuid에서 1.1-0에서 1.2-0으로
    • vctrs 0.6.3에서 0.6.5로
    • vroom from 1.6.3 to 1.6.5
    • waldo from 0.5.1 to 0.5.2
    • withr from 2.5.0 to 3.0.0
    • xfun from 0.39 to 0.41
    • xml2에서 1.3.5에서 1.3.6으로
    • yaml from 2.3.7 to 2.3.8
    • zip을 2.3.0에서 2.3.1로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 from 2.15.1 to 2.16.0
    • com.google.flatbuffers.flatbuffers-java from 1.12.0 to 23.5.26
    • com.typesafe.config 1.2.1에서 1.4.3까지
    • org.apache.ant.ant를 1.9.16에서 1.10.11로
    • org.apache.ant.ant-jsch from 1.9.16 to 1.10.11
    • org.apache.ant.ant-launcher from 1.9.16 to 1.10.11
    • org.apache.arrow.arrow-format from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-memory-core 12.0.1에서 15.0.0까지
    • org.apache.arrow.arrow-memory-netty from 12.0.1 to 15.0.0
    • org.apache.arrow.arrow-vector from 12.0.1 to 15.0.0
    • org.apache.avro.avro 1.11.2에서 1.11.3으로
    • org.apache.avro.avro-ipc from 1.11.2 to 1.11.3
    • org.apache.avro.avro-mapred from 1.11.2 to 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api from 2.20.0 to 2.22.1
    • org.apache.logging.log4j.log4j-api from 2.20.0 to 2.22.1
    • org.apache.logging.log4j.log4j-core 2.20.0~ 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl from 2.20.0 to 2.22.1
    • org.postgresql.postgresql from 42.6.0 to 42.6.1

Apache Spark

Databricks Runtime 15.0에는 Apache Spark 3.5.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 14.3 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-45527] [DBRRM-805][ES-1073714] 되돌리기 "[SC-151626][CORE] 분수를 사용하여 리소스 계산"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] COLLATION_ENABLED 구성 플래그 추가
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] V1 table 캐시에 table가 있을 때 V2 table 조회를 건너뛰기
  • [SPARK-46808] [SC-154113][PYTHON] 자동 정렬 함수를 사용하여 Python에서 오류 클래스 구체화
  • [SPARK-47251] [SC-158291][PYTHON] 명령에 대한 args 인수에서 sql 잘못된 형식 차단
  • [SPARK-47251] [SC-158121][PYTHON] 명령에 대한 args 인수에서 sql 잘못된 형식 차단
  • [SPARK-47108] [SC-157204][CORE] Setderby.connection.requireAuthentication를 CLI에서 false로 명시적으로 변경
  • [SPARK-45599] [SC-157537][CORE] OpenHashSet에서 개체 같음 사용
  • [SPARK-47099] [SC-157352][SQL] ordinalNumber 사용하여 오류 클래스의 paramIndex 값을 균일하게 setUNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][CONNECT] 도우미 함수를 추출하여 MessageParameters 검색하는 중복 코드를 제거합니다.ErrorParamsGrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] ProtoUtils.abbreviate 반복되는 필드 지원
  • [SPARK-46342] [SC-150283][SQL] sql에서 바꾸기 IllegalStateExceptionSparkException.internalError
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD가 getQueryOutputSchema에서 오류를 올바르게 처리하지 않음
  • [SPARK-47189] [SC-157667][SQL] 오류 이름 및 텍스트 column 조정
  • [SPARK-45789] [SC-157101][SQL] 클러스터링 DESCRIBE TABLE 지원 columns
  • [SPARK-43256] [SC-157699][SQL] Remove 오류 클래스 _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics 입력 형식을 확인합니다.
  • [SPARK-47183] [SC-157660][PYTHON] 에 대한 오류 클래스 수정 sameSemantics
  • [SPARK-47179] [SC-157663][SQL] 더 나은 디버깅을 위해 SparkThrowableSuite의 오류 메시지 개선
  • [SPARK-46965] [SC-155791][CORE] 체크 logType 인 Utils.getLog
  • [SPARK-46832] [SC-156774][SQL] 데이터 정렬 및 데이터 정렬 식 소개
  • [SPARK-46946] [SC-155721][SQL] DynamicPruning에서 여러 필터링 키 브로드캐스트 지원
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] PySpark에 Variant 형식 정보 추가
  • [SPARK-47101] [SC-157360][SQL] 최상위 column 이름에 쉼표를 사용할 수 있도록 허용하고 HiveExternalCatalog.verifyDataSchema 중첩 형식 정의를 검사할 remove 있습니다.
  • [SPARK-47173] [SC-157571][SS][UI] 스트리밍 UI 설명에서 오타 수정
  • [SPARK-47113] [SC-157348][CORE] SPARK-35878의 S3A 엔드포인트 수정 논리 되돌리기
  • [SPARK-47130] [SC-157462][CORE] 드라이버 로그를 정리할 때 listStatus를 사용하여 블록 위치 정보 무시
  • [SPARK-43259] [SC-157368][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2024 이름 할당
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec 안전하지 않은 프로젝션을 초기화해야 합니다.
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] Scala를 사용하여 기능 패리티를 위해 spark.conf에 getAll 추가
  • [SPARK-46924] [SC-154905][CORE] 로그 UI의 Load New 수정 Master/HistoryServer 단추
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] SparkSession 기반 프로파일링 소개 spark.profile.show/dump
  • [SPARK-46812] [SC-157075][SQL][PYTHON] mapInPandas / mapInArrow 지원 ResourceProfile 만들기
  • [SPARK-46833] [SC-155866][SQL] 데이터 정렬 - 지원되는 데이터 정렬에 대한 비교 및 해시 규칙을 제공하는 CollationFactory 소개
  • [SPARK-47057] [SC-157036][PYTHON] Reeanble MyPy 데이터 테스트
  • [SPARK-46934] [SC-157084][SQL] HMS를 사용하는 특수 문자가 있는 구조체 형식에 대한 읽기/쓰기 왕복
  • [SPARK-46727] [SC-153472][SQL] classifyException() 오류 클래스의 JDBC 언어 포트
  • [SPARK-46964] [SC-155740][SQL] hllInvalidLgK 쿼리 실행 오류의 시그니처를 변경하여 정수(4번째 인수)를 사용합니다.
  • [SPARK-46949] [SC-155719][SQL] ResolveDefaultColumns를 통해 CHAR/VARCHAR 지원
  • [SPARK-46972] [SC-155888][SQL] V2SessionCatalog.createTable에서 char/varchar에 대한 비대칭 대체 수정
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] SparkSession의 dumpPerfProfiles 및 dumpMemoryProfiles 메서드 구현
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] group/cogroup applyInPandas/applyInArrow에서 v2 프로파일링 지원
  • [SPARK-47040] [SC-156773][CONNECT] Spark Connect 서버 스크립트가 대기하도록 허용
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] 집계 Pandas UDF에서 v2 프로파일링 지원
  • [SPARK-47004] [SC-156499][CONNECT] Scala 클라이언트 테스트 범위를 늘리기 위해 ClientStreamingQuerySuite에 더 많은 테스트가 추가됨
  • [SPARK-46994] [SC-156169][PYTHON] Python 데이터 원본 스트리밍 쓰기 지원을 준비하도록 PythonWrite 리팩터링
  • [SPARK-46979] [SC-156587][SS] 키 및 값 인코더를 별도로 지정하고 RocksDB 상태 저장소 공급자의 각 col 패밀리에 대한 지원을 추가합니다.
  • [SPARK-46960] [SC-155940][SS] TransformWithState 연산자를 사용하여 여러 입력 스트림 테스트
  • [SPARK-46966] [SC-156112][Python] 입력의 하위 집합을 나타내기 위해 'analyze' 메서드에 대한 UDTF API를 추가 tablecolumnsselect
  • [SPARK-46895] [SC-155950][CORE] 타이머를 단일 스레드 예약 실행기로 바꾸기
  • [SPARK-46967] [SC-155815][CORE][UI] UI에서 Thread DumpHeap Histogram 실행기 숨기기 Dead 및 Executors 숨기기
  • [SPARK-46512] [SC-155826][CORE] Optimize 정렬 및 결합이 모두 사용될 때 읽기를 섞습니다.
  • [SPARK-46958] [SC-155942][SQL] 누락된 timezone 추가하여 기본 values
  • [SPARK-46754] [SC-153830][SQL][AVRO] avro table 정의 및 작성 옵션에서 압축 코드 해결 수정
  • [SPARK-46728] [SC-154207][PYTHON] Pandas 설치를 제대로 확인합니다.
  • [SPARK-43403] [SC-154216][UI] 새 SparkUI를 로드하기 전에 HistoryServer의 이전 SparkUI가 분리되었는지 확인합니다.
  • [SPARK-39910] [SC-156203][SQL] DataSource 파일 경로 globbing 중에 파일 시스템에 경로 자격 위임
  • [SPARK-47000] [SC-156123] 되돌리기 "[SC-156123][CORE] 사용 getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] 오류 범주 및 상태를 JSON으로 이동
  • [SPARK-46997] [SC-156175][CORE] 기본적으로 사용 spark.worker.cleanup.enabled
  • [SPARK-46865] [SC-156168][SS] TransformWithState 연산자에 대한 Batch 지원 추가
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate 불필요한 setField 작업 방지
  • [SPARK-46970] [SC-155816][CORE] 다음으로 다시 쓰기 OpenHashSet#hasherpattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Remove pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] 다음에서 사용 getTotalMemorySizeWorkerArguments
  • [SPARK-46980] [SC-155914][SQL][MINOR] 데이터 프레임 엔드 투 엔드 테스트에서 내부 API를 사용하지 않도록 방지
  • [SPARK-46931] 되돌리기 "[SC-155661][PS] 구현 {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] DATA_SOURCE_NOT_FOUND 오류에 대한 오류 메시지 개선
  • [SPARK-46849] [SC-154586][SQL] CREATE TABLEcolumn 기본값에서 최적화 프로그램 실행
  • [SPARK-46911] [SC-155724][SS] StatefulProcessorHandleImpl에 deleteIfExists 연산자 추가
  • [SPARK-43273] [SQL] Parquet에 대한 압축 코덱 지원 lz4raw
  • [SPARK-47002] [SC-156223][Python] UDTF 'analyze' 메서드 'orderBy' 필드가 실수로 문자열 list 반환하는 경우 더 나은 오류 메시지를 반환합니다.
  • [SPARK-46890] [SC-155802][SQL] CSV 구문 분석의 기본 존재값과 values 및 column 가지치기를 수정하여 버그 해결
  • [SPARK-46977] [SC-155892][CORE] 한 NameNode에서 토큰을 가져오는 데 실패한 요청은 후속 토큰 요청을 건너뛰지 않아야 합니다.
  • [SPARK-46608] [SC-151806][SQL] Restore 하위 호환성의 JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] WHERE 절에서 별 절 지원
  • [SPARK-46908] [SC-155702][SQL] WHERE 절에서 별 절 지원
  • [SPARK-46852] [SC-155665][SS] 명시적 키 인코더의 사용을 Remove transformWithState 연산자에 대한 연산자에 암시적으로 전달
  • [SPARK-46864] [SC-155669][SS] 새 오류 클래스 프레임워크에 임의의 StateV2 온보딩
  • [SPARK-45807] [SC-155706][SQL] replaceView(.)를 호출한 후 뷰 반환
  • [SPARK-46899] [SC-154651][CORE] RemoveMasterWebUI API는 spark.ui.killEnabled가 false일 때POST
  • [SPARK-46868] [SC-154539][CORE] Spark 작업자 로그 UI 지원
  • [SPARK-46931] [SC-155661][PS] 도구 {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Remove 사용되지 않는 updateSparkConfigFromProperties 및 isAbsoluteURIo.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] ThreadUtils.shutdown을 사용하여 스레드 풀 닫기
  • [SPARK-46400] [SC-155658][CORE][SQL] 로컬 maven 리포지토리에 손상된 파일이 있는 경우 이 캐시를 건너뛰고 다시 시도합니다.
  • [SPARK-46932] [SC-155655] 에서 가져오기 정리 pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] 테스트 범위를 늘리기 위해 하위 쿼리 순열을 생성하는 하위 쿼리 생성기를 작성합니다.
  • [SPARK-46914] [SC-154776][UI] 기록 페이지의 요약 table 앱 이름 단축
  • [SPARK-46831] [SC-154699][SQL] 데이터 정렬 - collationId 필드를 사용하여 StringType 및 PhysicalStringType 확장
  • [SPARK-46816] [SC-154415][SS] 새로운 임의 상태 관리 연산자, 단일 valueState 유형, 여러 상태 변수 및 변경 로그 체크포인트 유무에 관계없이 RocksDBStateStoreProvider에 대한 column 패밀리에 대한 기본 지원 추가
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] 메모리 프로파일링에 대한 memory_profiler 설치하도록 지시하는 경고 추가
  • [SPARK-46927] [SC-154904][PYTHON] assertDataFrameEqual PyArrow 없이 제대로 작업
  • [SPARK-46021] [SC-148987][CORE] 작업 그룹에 속한 향후 작업 취소 지원
  • [SPARK-46747] [SC-154789][SQL] JDBC 언어에 대한 getTableExistsQuery에서 검사 방지
  • [SPARK-46904] [SC-154704][UI] 기록 UI 요약의 표시 문제 해결
  • [SPARK-46870] [SC-154541][CORE] Spark 마스터 로그 UI 지원
  • [SPARK-46893] [SC-154780][UI] UI 설명의 인라인 스크립트 Remove
  • [SPARK-46910] [SC-154760][PYTHON] PySpark 설치에서 JDK 요구 사항 제거
  • [SPARK-46907] [SC-154736][CORE] Spark 기록 서버에서 드라이버 로그 위치 표시
  • [SPARK-46902] [SC-154661][UI] 내보내지 않은 setAppLimit를 사용하기 위한 Spark 기록 서버 UI 수정
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] SparkSession 기반 메모리 프로파일러의 기본 지원
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] SimpleDateFormat을 DateTimeFormatter로 바꾸기
  • [SPARK-46875] [SC-154627][SQL] null이 mode 면 throw NullPointException 되어야 합니다 not .
  • [SPARK-46872] [SC-154543][CORE] 모듈이 아닌 것으로 복구 log-view.js
  • [SPARK-46883] [SC-154629][CORE] 지원 /json/clusterutilization API
  • [SPARK-46886] [SC-154630][CORE] 기본적으로 사용 spark.ui.prometheus.enabled
  • [SPARK-46873] [SC-154638][SS] 동일한 Spark 세션에 대해 새 StreamingQueryManager를 다시 만들지 마세요.
  • [SPARK-46829] [SC-154419][CORE] Remove SparkEnv에서ExecutorEnv 만들기
  • [SPARK-46827] [SC-154280][CORE] 기호 링크를 지원하도록 만들기 RocksDBPersistenceEngine
  • [SPARK-46903] [SC-154662][CORE] Spark 기록 서버 로그 UI 지원
  • [SPARK-46874] [SC-154646][PYTHON] Removepyspark.pandas 종속성 assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] 설정 유효성 spark.master.ui.decommission.allow.mode 검사
  • [SPARK-46850] [SC-154443][SQL] 으로 변환 _LEGACY_ERROR_TEMP_2102 UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Durationcolumn에 따라 Running Driverstable를 올바르게 정렬하도록 MasterPage 수정
  • [SPARK-46796] [SC-154279][SS] 올바른 원격 파일(metadata.zip 언급)이 RocksDB 버전 로드에 사용되는지 확인합니다.
  • [SPARK-46888] [SC-154636][CORE] 서비스 해제를 사용하지 않도록 설정된 경우 요청을 거부하는 Master 수정 /workers/kill/
  • [SPARK-46818] [SC-154422][SQL] 접을 수 없는 입력을 사용하여 Range에 대한 오류 메시지 개선
  • [SPARK-46898] [SC-154649][CONNECT] Planner에서 protobuf 함수 변환 간소화
  • [SPARK-46828] [SC-154413][SQL] 스파크 SQL 셸의 원격 모드에 대한 부적절한 검증 Remove.
  • [SPARK-46733] [SC-154274][CORE] 종료 작업으로 BlockManager를 단순화하는 것은 인터럽트 스레드에만 의존합니다.
  • [SPARK-46777] [SC-154016][SS] 일괄 처리 버전과 더 동등하도록 촉매 구조 리팩터링 StreamingDataSourceV2Relation
  • [SPARK-46515] [SC-151716] MONTHNAME 함수 추가
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion null 허용 여부를 확인해야 합니다.
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter 함수가 잘못된 입력을 throw AnalysisException 해야 합니다.
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation 동일한 캐시된 계획의 인스턴스는 의미상 동일해야 합니다.
  • [SPARK-45827] [SC-153973] Variant column 분할 허용 불가
  • [SPARK-46797] [SC-154085][CORE] 이름 바꾸기 spark.deploy.spreadOutspark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] 실행기 JVM 프로파일링 지원
  • [SPARK-46746] [SC-153557][SQL][AVRO] avro 데이터 원본 파일에 코덱 확장 연결
  • [SPARK-46698] [SC-153288][CORE] Timer를 ConsoleProgressBar에 대한 단일 스레드 예약 실행기로 바꿉다.
  • [SPARK-46629] [SC-153835] Null 허용 여부 및 주석을 선택하지 않는 STRUCT 형식 DDL 수정
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] DataFrame API 코드 정리
  • [SPARK-46769] [SC-153979][SQL] 타임스탬프 관련 schema 유추 구체화
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] 의 데이터 형식을 지정합니다 shuffle . seed
  • [SPARK-46579] [SC-151481][SQL] 오류 및 로그에서 JDBC URL 수정
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] SparkSession 기반 Python UDF 프로파일러의 기본 지원
  • [SPARK-46748] 되돌리기 "[SC-153800][CORE] Remove*sla***.sh scri...
  • [SPARK-46707] [SC-153833][SQL] 조건자 푸시다운을 개선하기 위해 식에 throw 가능한 필드가 추가됨
  • [SPARK-46519] [SC-151278][SQL] 파일에서 사용하지 않는 오류 클래스 지우 error-classes.json 기
  • [SPARK-46677] [SC-153426][SQL][CONNECT] 해결 방법 수정 dataframe["*"]
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] SparkSession에서 사소한 동작 일치를 전체 테스트 검사와 일치
  • [SPARK-46748] [SC-153800][CORE] Remove*sla***.sh 스크립트
  • [SPARK-46663] [SC-153490][PYTHON] 반복기를 사용하여 pandas UDF에 대한 메모리 프로파일러 사용 안 함
  • [SPARK-46410] [SC-150776][SQL] JdbcUtils.classifyException에 오류 클래스/하위 클래스 할당
  • [SPARK-46277] [SC-150126][PYTHON] 구성을 통해 시작 URL을 검증하기 set
  • [SPARK-46612] [SC-153536][SQL] jdbc 드라이버에서 검색된 배열 형식 문자열을 변환하지 마세요.
  • [SPARK-46254] [SC-149788][PYTHON] Remove 오래된 Python 3.8/3.7 버전 확인
  • [SPARK-46490] [SC-151335][SQL] 하위 클래스에서 SparkThrowable 오류 클래스 필요
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] 의 수명을 줄여 드라이버 힙 사용량 줄이기 TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] 자체 join에서 모호한 column 참조 수정
  • [SPARK-46381] [SC-150495][SQL] 하위 클래스를 AnalysisException 오류 클래스로 마이그레이션
  • [SPARK-46351] [SC-150335][SQL] 에서 오류 클래스 필요 AnalysisException
  • [SPARK-46220] [SC-149689][SQL] 에서 문자 집합 제한 decode()
  • [SPARK-46369] [SC-150340][CORE] MasterPage에 있는 RELAUNCHING 드라이버의 Removekill 링크
  • [SPARK-46052] [SC-153284][CORE] Remove 함수 TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] 지원함 GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] inferTimestampNTZ가 parquetReadSupport에서 사용되지 않음 Remove
  • [SPARK-46717] [SC-153423][CORE] 종료 작업으로 단순화 ReloadingX509TrustManager 는 인터럽트 스레드에만 의존합니다.
  • [SPARK-46722] [SC-153438][CONNECT] Spark Connect에서 StreamingQueryListener에 대한 이전 버전과의 호환성 검사와 관련된 테스트 추가(Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] codegen 및 non-codegen 구현을 정렬합니다. StringDecode
  • [SPARK-46258] [SC-149799][CORE] 더하다 RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] 압축을 지원하도록 개선 FileSystemPersistenceEngine
  • [SPARK-46189] [SC-149567][PS][SQL] 다양한 Pandas 집계 함수에서 동일한 형식 간의 비교 및 산술 연산을 수행하여 해석된 모드 오류를 방지합니다.
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] Option.isDefined with Option.isEmpty를 대체하여 스택 깊이 줄이기
  • [SPARK-46700] [SC-153329][CORE] 순서 섞기 디스크 유출 바이트 메트릭에 대한 마지막 분산 횟수 계산
  • [SPARK-45642] [SC-150286][CORE][SQL] 수리하다 FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] 하위 쿼리 특성을 제외하여 RemoveRedundantAlias 수정
  • [SPARK-46681] [SC-153287][CORE] 구성된 경우 ExecutorFailureTracker#maxNumExecutorFailures 계산하지 defaultMaxNumExecutorFailures 않도록 리팩터링 MAX_EXECUTOR_FAILURES
  • [SPARK-46695] [SC-153289][SQL][HIVE] 항상 hive.execution.engine을 mr로 설정
  • [SPARK-46325] [SC-150228][CONNECT]에서 ResponseValidator#wrapIterator에서 WrappedCloseableIterator을(를) 생성할 때 불필요한 재정의 함수가 있습니다 Remove.
  • [SPARK-46232] [SC-149699][PYTHON] 나머지 ValueError를 모두 PySpark 오류 프레임워크로 마이그레이션합니다.
  • [SPARK-46547] [SC-153174][SS] 유지 관리 스레드와 스트리밍 집계 연산자 간의 교착 상태를 방지하기 위해 유지 관리 작업에서 치명적이 아닌 예외를 무시합니다.
  • [SPARK-46169] [SC-149373][PS] DataFrame API에서 누락된 parameters에 대해 적절한 JIRA 번호를 할당합니다.
  • [SPARK-45857] [SC-148096][SQL] 의 하위 클래스에서 오류 클래스 적용 AnalysisException

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

유지 관리 업데이트

Databricks Runtime 15.0 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • 델타 레이크: 3.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
검정색 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
에서 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 암호화 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 실행 중 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 패키징 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 requests 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 6 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

설치된 R 라이브러리

R 라이브러리는 2023-02-10의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 boot 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
캐럿 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 충돌 1.2.0 cpp11 0.4.7
crayon 1.5.2 credentials 2.0.1 curl 5.2.0
데이터.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
다이어그램 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 줄임표 0.3.2 evaluate 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
제네릭(generics) 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
주기 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
행렬 1.5-4.1 memoise 2.0.1 메서드 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 진행률 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
프록시 0.4-27 ps 1.76 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 반응 가능 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 Swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics 메트릭 주석 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro Avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.2-셰이드-프로토부프
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1