다음을 통해 공유

Databricks Runtime 13.0(EoS)

  • 아티클

참고 항목

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.0에 대한 정보를 제공합니다.

Databricks는 2023년 4월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

H3 식은 이제 선형 지리를 지원합니다.

이제 및 h3_coverash3string 함수는 h3_coverash3 선형(linestring및multilinestring) 지리를 지원합니다. 함수는 지정된 해상도로 H3 셀의 최소 덮개 집합을 생성합니다. h3_coverash3 및 h3_coverash3string 참조하세요.

클러스터 메트릭으로 대체된 Ganglia

Databricks 런타임 버전 13 이상의 경우 Ganglia 메트릭은 Azure Databricks 클러스터 메트릭으로 대체됩니다. Databricks 런타임 버전 12 이하의 경우 Ganglia 메트릭을 계속 사용할 수 있습니다. 클러스터 메트릭에 만족할 수 없는 Ganglia 메트릭에 의존하는 워크플로가 있는 경우 Azure Databricks 계정 팀에 문의하세요. 컴퓨팅 메트릭 보기를 참조 하세요.

Spark 3.4.0 릴리스됨

이제 Apache Spark 3.4.0을 일반 공급할 수 있습니다. Spark 릴리스 3.4.0을 참조하세요.

쿼리 계획과 실행 간에 파일이 수정되면 Photon에서 오류를 반환합니다.

이제 Photon 쿼리는 쿼리 계획과 실행 간에 파일이 업데이트되면 오류를 반환합니다. 이 변경 전에 Photon은 쿼리 계획과 실행 간에 수정 시간이 변경되어 예측할 수 없는 결과가 발생할 수 있더라도 파일을 읽습니다.

예측 I/O의 새로운 기능

Photon은 이제 ROWS 및 RANGE 모드 모두에 대해 슬라이딩 프레임을 지원합니다 {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

예측 I/O 기능에 대한 추가 지원

스키마에 스칼라 열만 포함된 경우 CSV, AVRO, DataFrame 캐싱 데이터 원본에 대한 Photon 확장 지원이 지원됩니다. 맵, 구조체 및 배열과 같은 중첩 형식에 대한 지원도 확장됩니다.

Databricks 커넥터를 사용하여 다른 Databricks 작업 영역에 연결

Azure Databricks 커넥터를 사용하면 다른 작업 영역에 구성된 컴퓨팅 리소스에 연결하고 결과를 현재 Azure Databricks 작업 영역으로 반환할 수 있습니다. 이제 Azure Databricks JDBC 드라이버가 Databricks 런타임에 포함됩니다. Databricks 커넥터를 사용하여 다른 Databricks 작업 영역에 연결하는 방법을 참조 하세요.

Unity 카탈로그에서 공유 클러스터를 사용하는 구조적 스트리밍에 대한 추가 Kafka 옵션

이제 설정을 kakfa.ssl.truststore.location kafak.ssl.keystore.location 사용하고 공유 액세스 클러스터에서 구조적 스트리밍을 사용할 때 Unity 카탈로그에서 관리하는 외부 위치에 Kafka 인증서를 저장할 수 있습니다. DBFS 루트의 위치는 사용할 수 없습니다.

구조적 스트리밍을 사용하여 델타 테이블 수정 건너뛰기

이제 데이터 변경 커밋을 델타 테이블에 대한 및 작업에 대해 UPDATEMERGEDELETE 무시하는 데 사용할 skipChangeCommits 수 있습니다. ignoreChanges이제 더 이상 사용되지 않는 대체 항목입니다. 업데이트 무시 및 삭제를 참조하세요.

델타 테이블에 대한 CREATE TABLE LIKE 기능

CREATE TABLE LIKE 는 이제 델타 테이블을 사용할 때 지원됩니다.

파일 블록 시작 및 길이를 나타내는 새 메타데이터 열 필드

이제 열 file_block_start 이 있는 입력 파일에 _metadata 대해 다음과 같은 메타데이터 정보를 가져올 수 있습니다file_block_length. 자세한 내용은 파일 메타데이터 열을 참조 하세요.

새로운 H3 지리 공간적 함수

Photon을 사용하는 경우 지리 공간적 처리에 새 h3_coverash3 및 h3_coverash3string 식을 사용할 수 있습니다. H3 지리 공간적 함수를 참조하세요.

새로운 SQL 기본 제공 함수

다음 기능이 추가되었습니다.

%sql Python Notebook에서

이제 Python Notebook의 비어 %sql 있지 않은 모든 결과는 IPython의 출력 캐싱 시스템을 사용하여 _sqldf 액세스할 수 있습니다. 이렇게 하면 Python에서 DataFrame 결과의 사용이 간소화됩니다. 이전 DBR 버전에서 동작 변경이 항상 _sqldf 다시 할당되지는 않았습니다.

_sqldf는 셀이 병렬 SQL 셀 실행을 사용하여 실행된 경우 셀 결과에 다시 할당 %sql 되지 않습니다.

%pip Python을 자동으로 다시 시작하지 않습니다.

virtualEnv를 수정하는 Python Notebook 내에서 명령을 실행 %pip 한 후 Databricks는 더 이상 Python 프로세스를 자동으로 다시 시작하지 않습니다. Python 프로세스를 다시 시작하려면 .를 호출 dbutils.library.restartPython()합니다. 이 변경 %pip 으로 Databricks의 명령은 Jupyter Notebook과 유사하게 동작하며 명령과 %sh pip 일치 !pip 합니다. Databricks는 %pip 대신 !pip 또는 %sh pip.

클러스터 범위 Python 라이브러리는 루트가 아닌 사용자를 사용하여 설치됩니다.

이제 라이브러리 설치를 담당하는 루트가 아닌 사용자를 사용하여 라이브러리가 설치됩니다. init 스크립트에서 pip 설치 동작을 구성하려면 [전역 수준 파일 https://pip.pypa.io/en/stable/topics/configuration/#configuration-files)을 사용합니다.

버그 수정

  • 명령에서 %sh 다음 수정이 수행되었습니다.
    • 이제 UTF-8이 아닌 문자가 포함된 출력이 지원됩니다.
    • 이제 명령이 취소되면 하위 처리가 중단됩니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • asttokens from 2.0.5 to 2.2.1
    • 검정 22.3.0에서 22.6.0으로
    • boto3에서 1.21.32에서 1.24.28로
    • botocore from 1.24.32 to 1.27.28
    • 2021.10.8에서 2022.9.14로 인증
    • cffi를 1.15.0에서 1.15.1로
    • 3.4.8에서 37.0.1로 암호화
    • 0.29.28에서 0.29.32로의 시톤
    • 1.2.16에서 1.2.18까지의 dbus-python
    • docstring-to-markdown을 0.11에서 0.12로
    • 0.8.3에서 1.2.0으로 실행
    • facets-overview from 1.0.0 to 1.0.2
    • fastjsonschema 2.16.2에서 2.16.3으로
    • filelock from 3.9.0 to 3.10.7
    • ipykernel 6.15.3에서 6.17.1로
    • ipython에서 8.5.0에서 8.10.0으로
    • joblib에서 1.1.1에서 1.2.0으로
    • jsonschema from 4.4.0 to 4.16.0
    • jupyter-client 6.1.12에서 7.3.4로
    • kiwisolver from 1.3.2 to 1.4.2
    • matplotlib 3.5.1에서 3.5.2로
    • matplotlib-inline에서 0.1.2에서 0.1.6까지
    • nbformat from 5.3.0 to 5.5.0
    • Notebook 6.4.8에서 6.4.12로
    • pandas from 1.4.2 to 1.4.4
    • 9.0.1에서 9.2.0까지의 베개
    • pip from 21.2.4 to 22.2.2
    • platformdirs from 2.6.2 to 2.5.2
    • 5.6.0에서 5.9.0으로 그림 표시
    • prometheus-client 0.13.1 ~ 0.14.1
    • prompt-toolkit 3.0.20에서 3.0.36으로
    • psutil from 5.8.0 to 5.9.0
    • pyflakes from 2.5.0 to 3.0.1
    • PyGObject에서 3.36.0에서 3.42.1로
    • pyparsing from 3.0.4 to 3.0.9
    • 1.1.283에서 1.1.294로의 파이라이트
    • python-lsp-server 1.6.0에서 1.7.1로
    • pytz from 2021.3 to 2022.1
    • pyzmq from 22.3.0 to 23.2.0
    • 2.27.1에서 2.28.1로 요청
    • 로프를 0.22.0에서 1.7.0으로
    • s3transfer from 0.5.0 to 0.6.0
    • scikit-learn from 1.0.2 to 1.1.1
    • scipy from 1.7.3 to 1.9.1
    • setuptools from 61.2.0 to 63.4.1
    • 5.10에서 5.11까지의 ssh-import-id
    • 0.2.0에서 0.6.2까지의 스택 데이터
    • testpath from 0.5.0 to 0.6.0
    • tomli에서 1.2.2에서 2.0.1로
    • 5.1.0에서 5.4.0까지의 ujson
    • urllib3에서 1.26.9에서 1.26.11로
    • virtualenv 20.8.0에서 20.16.3으로
    • 1.0.4에서 1.0.2로의 whatthepatch
    • 휠을 0.37.0에서 0.37.1로
  • 업그레이드된 R 라이브러리:
    • 화살표를 10.0.0에서 10.0.1로
    • bit from 4.0.4 to 4.0.5
    • 빗자루 1.0.1에서 1.0.3까지
    • bslib from 0.4.1 to 0.4.2
    • chron from 2.3-58 to 2.3-59
    • cli from 3.4.1 to 3.6.0
    • colorspace from 2.0-3 to 2.1-0
    • curl from 4.3.3 to 5.0.0
    • data.table from 1.14.4 to 1.14.6
    • dbplyr에서 2.2.1에서 2.3.0으로
    • 다이제스트 0.6.30에서 0.6.31로
    • dplyr에서 1.0.10에서 1.1.0으로
    • e1071에서 1.7-12에서 1.7-13까지
    • 0.18에서 0.20으로 평가
    • fansi from 1.0.3 to 1.0.4
    • 0.4.0에서 0.5.0까지의 fontawesome
    • forcats from 0.5.2 to 1.0.0
    • fs from 1.5.2 to 1.6.1
    • future from 1.29.0 to 1.31.0
    • 1.2.1에서 1.3.0으로 가글
    • gert from 1.9.1 to 1.9.2
    • glmnet from 4.1-4 to 4.1-6
    • globals from 0.16.1 to 0.16.2
    • gower from 1.0.0 to 1.0.1
    • 0.9에서 0.10으로 높음
    • htmltools from 0.5.3 to 0.5.4
    • 1.5.4에서 1.6.1로의 htmlwidgets
    • httpuv from 1.6.6 to 1.6.8
    • isoband 0.2.6에서 0.2.7로
    • jsonlite from 1.8.3 to 1.8.4
    • 1.40에서 1.42까지의 니트러
    • 용암 1.7.0 ~ 1.7.1
    • listenv from 0.8.0 to 0.9.0
    • 1.9.0에서 1.9.1로 윤활유
    • markdown from 1.3 to 1.5
    • 0.1.9에서 0.1.10까지의 모델러
    • openssl from 2.0.4 to 2.0.5
    • 병렬로 1.32.1에서 1.34.0으로
    • 1.3.1에서 1.4.0까지의 pkgbuild
    • pkgdown from 2.0.6 to 2.0.7
    • pkgload from 1.3.1 to 1.3.2
    • plyr from 1.8.7 to 1.8.8
    • progressr from 0.11.0 to 0.13.0
    • purrr from 0.3.5 to 1.0.1
    • ragg from 1.2.4 to 1.2.5
    • Rcpp에서 1.0.9에서 1.0.10으로
    • readxl from 1.4.1 to 1.4.2
    • 1.0.3에서 1.0.4로의 레시피
    • rmarkdown from 2.18 to 2.20
    • RODBC 1.3-19~ 1.3-20
    • roxygen2에서 7.2.1에서 7.2.3으로
    • RSQLite 2.2.18에서 2.2.20으로
    • sass from 0.4.2 to 0.4.5
    • 1.7.3에서 1.7.4로 반짝입니다.
    • sourcetools from 0.1.7 to 0.1.7-1
    • sparklyr from 1.7.8 to 1.7.9
    • SparkR 3.3.2에서 3.4.0으로
    • 7.3-11에서 7.3-15로의 공간
    • stringi from 1.7.8 to 1.7.12
    • stringr from 1.4.1 to 1.5.0
    • 3.4-0에서 3.5-3까지의 생존
    • testthat from 3.1.5 to 3.1.6
    • 1.2.1에서 1.3.0까지의 tidyr
    • timechange from 0.1.1 to 0.2.0
    • timeDate from 4021.106 to 4022.108
    • tinytex from 0.42 to 0.44
    • utf8 from 1.2.2 to 1.2.3
    • vctrs 0.5.0에서 0.5.2로
    • vroom from 1.6.0 to 1.6.1
    • 0.4에서 0.4.1까지의 수염
    • xfun from 0.34 to 0.37
    • yaml from 2.3.6 to 2.3.7
  • 업그레이드된 Java 라이브러리:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-cloudformation from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-cloudfront 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-cloudhsm 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-cloudsearch from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-cloudtrail 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-codedeploy from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-cognitoidentity from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-cognitosync from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-config from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-core 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-datapipeline from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-directconnect from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-directory from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-ec2에서 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-ecs from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-efs from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-elasticache 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-elasticbeanstalk from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-elastictranscoder from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-emr from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-glacier from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-glue 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-iam from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-importexport 1.12.189에서 1.12.390으로
    • com.amazonaws.aws-java-sdk-kinesis from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-kms from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-lambda 1.12.189에서 1.12.390까지
    • com.amazonaws.aws-java-sdk-logs from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-opsworks from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-rds from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-redshift from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-route53부터 1.12.189~ 1.12.390
    • com.amazonaws.aws-java-sdk-s3 from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-ses from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-simpledb from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-simpleworkflow 1.12.189에서 1.12.390으로
    • com.amazonaws.aws-java-sdk-sns from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-sqs from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-ssm from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-storagegateway from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-sts from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-support from 1.12.189 to 1.12.390
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.189 to 1.12.390
    • com.amazonaws.jmespath-java에서 1.12.189에서 1.12.390까지
    • com.fasterxml.jackson.core.jackson-annotations from 2.13.4 to 2.14.2
    • com.fasterxml.jackson.core.jackson-core 2.13.4에서 2.14.2로
    • com.fasterxml.jackson.core.jackson-databind from 2.13.4.2 to 2.14.2
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.13.4에서 2.14.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.13.4에서 2.14.2로
    • com.fasterxml.jackson.module.jackson-module-module-paranamer from 2.13.4 to 2.14.2
    • com.fasterxml.jackson.module.jackson-module-scala_2.12에서 2.13.4에서 2.14.2로
    • com.github.luben.zstd-jni from 1.5.2-1 to 1.5.2-5
    • com.google.code.gson.gson from 2.8.6 to 2.8.9
    • com.google.crypto.tink.tink 1.6.1에서 1.7.0으로
    • com.h2database.h2 from 2.0.204 to 2.1.214
    • com.jcraft.jsch 0.1.50에서 0.1.55로
    • com.ning.compress-lzf from 1.1 to 1.1.2
    • commons-fileupload.commons-fileupload 1.3.3에서 1.5로
    • dev.ludovic.netlib.arpack 2.2.1에서 3.0.3으로
    • dev.ludovic.netlib.blas 2.2.1에서 3.0.3으로
    • dev.ludovic.netlib.lapack 2.2.1에서 3.0.3으로
    • io.delta.delta-sharing-spark_2.12에서 0.6.9에서 0.6.3으로
    • 4.1.1에서 4.2.10까지의 io.dropwizard.metrics.metrics-core
    • io.dropwizard.metrics.metrics-graphite를 4.1.1에서 4.2.10으로
    • io.dropwizard.metrics.metrics-healthchecks from 4.1.1 to 4.2.10
    • io.dropwizard.metrics.metrics-jetty9에서 4.1.1~ 4.2.10
    • 4.1.1에서 4.2.10까지의 io.dropwizard.metrics.metrics-jmx
    • io.dropwizard.metrics.metrics-json을 4.1.1에서 4.2.10으로
    • 4.1.1에서 4.2.10까지의 io.dropwizard.metrics.metrics-jvm
    • 4.1.1에서 4.2.10까지의 io.dropwizard.metrics.metrics-servlet
    • io.netty.netty-all from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-buffer from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-codec from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-common from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-handler from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-resolver from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-transport from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-transport-classes-epoll from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.74.Final to 4.1.87.Final
    • io.netty.netty-transport-native-unix-common에서 4.1.74.Final~ 4.1.87.Final
    • joda-time.joda-time from 2.10.13 to 2.12.1
    • net.razorvine.pickle from 1.2 to 1.3
    • net.snowflake.snowflake-jdbc from 3.13.29 to 3.13.22
    • org.antlr.antlr4-runtime from 4.8 to 4.9.3
    • org.apache.ant.ant를 1.9.2에서 1.9.16으로
    • org.apache.ant.ant-jsch from 1.9.2 to 1.9.16
    • org.apache.ant.ant-launcher from 1.9.2 to 1.9.16
    • org.apache.arrow.arrow-format from 7.0.0 to 11.0.0
    • org.apache.arrow.arrow-memory-core 7.0.0에서 11.0.0까지
    • org.apache.arrow.arrow-memory-netty from 7.0.0 to 11.0.0
    • org.apache.arrow.arrow-vector from 7.0.0 to 11.0.0
    • org.apache.avro.avro 1.11.0 ~ 1.11.1
    • org.apache.avro.avro-ipc from 1.11.0 to 1.11.1
    • org.apache.avro.avro-mapred from 1.11.0 to 1.11.1
    • org.apache.httpcomponents.httpclient from 4.5.13 to 4.5.14
    • org.apache.httpcomponents.httpcore from 4.4.14 to 4.4.16
    • org.apache.logging.log4j.log4j-1.2-api from 2.18.0 to 2.19.0
    • org.apache.logging.log4j.log4j-api from 2.18.0 to 2.19.0
    • org.apache.logging.log4j.log4j-core 2.18.0에서 2.19.0으로
    • org.apache.orc.orc-core 1.7.8에서 1.8.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce from 1.7.8 to 1.8.2-shaded-protobuf
    • org.apache.orc.orc-shims from 1.7.8 to 1.8.2
    • org.apache.xbean.xbean-asm9-shaded from 4.20 to 4.22
    • org.apache.zookeeper.zookeeper 3.6.2에서 3.6.3으로
    • org.apache.zookeeper.zookeeper-jute from 3.6.2 to 3.6.3
    • org.eclipse.jetty.jetty-client from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-continuation from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-http from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-io from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-jndi from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-plus from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-proxy from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-security from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-server from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlet from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-servlets from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-util-ajax from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-webapp from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.jetty-xml from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-api from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-client from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-common from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-server from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.eclipse.jetty.websocket.websocket-servlet from 9.4.46.v20220331 to 9.4.50.v20221201
    • org.hibernate.validator.hibernate-validator from 6.1.0.Final to 6.1.7.Final
    • org.mlflow.mlflow-spark 2.1.1에서 2.2.0까지
    • org.postgresql.postgresql from 42.3.3 to 42.3.8
    • org.roaringbitmap.RoaringBitmap에서 0.9.25에서 0.9.39로
    • org.roaringbitmap.shims 0.9.25 ~ 0.9.39
    • org.rocksdb.rocksdbjni 6.28.2에서 7.8.3으로
    • org.scala-lang.scala-compiler_2.12에서 2.12.14에서 2.12.15로
    • org.scala-lang.scala-library_2.12에서 2.12.14에서 2.12.15까지
    • org.scala-lang.scala-reflect_2.12에서 2.12.14에서 2.12.15까지
    • org.scalanlp.breeze-macros_2.12부터 1.2에서 2.1.0까지
    • org.scalanlp.breeze_2.12에서 1.2에서 2.1.0으로
    • org.slf4j.jcl-over-slf4j from 1.7.36 to 2.0.6
    • org.slf4j.jul-to-slf4j from 1.7.36 to 2.0.6
    • org.slf4j.slf4j-api from 1.7.36 to 2.0.6
    • org.threeten.threeten-extra from 1.5.0 to 1.7.1
    • org.wildfly.openssl.wildfly-openssl from 1.0.7.Final to 1.1.3.Final
    • org.yaml.snakeyaml from 1.24 to 1.33

Apache Spark

Databricks Runtime 13.0에는 Apache Spark 3.4.0이 포함됩니다.

Spark SQL

기능

ANSI 규정 준수

  • ANSI SQL 모드: 매핑 열에 대한 잘못된 액세스에서 항상 null을 반환합니다(SPARK-40066)
  • 큰따옴표 붙은 식별자 지원(SPARK-40585)
  • ANSI SQL 모드: Round/Bround가 정수 오버플로에 대한 오류를 반환해야 합니다(SPARK-42045)
  • ANSI 간격으로 정수 계열 캐스팅 지원(SPARK-40008)
  • ANSI 간격으로 소수점 캐스팅 지원(SPARK-40014)
  • 백분위수 함수에서 더 넓은 ANSI 간격 형식 반환(SPARK-40151)
  • 소수점까지 ANSI 간격의 캐스트 지원(SPARK-39470)
  • ANSI 모드에서 정수로 캐스팅 간격 지원(SPARK-39451)
  • 오류 클래스에 대한 SQLSTATE 사용 강화(SPARK-41994)

함수

Data Sources

  • DS v2에서 열 통계 지원(SPARK-41378)
  • DS v2의 SPJ(스토리지 분할 조인)(SPARK-37375)
  • DS v2의 행 수준 작업(SPARK-35801)
  • DS v2 검색에 대한 인터페이스에서 SupportsReportOrdering 혼합 추가(SPARK-38647)
  • CSV 스키마 유추에 대한 날짜 유추 유형(SPARK-39469)
  • DS v2 사용자 지정 메트릭 API에서 드라이버 메트릭 지원(SPARK-39635)
  • 배포 및 순서 지정은 서면으로 DS v2 함수를 지원합니다(SPARK-39607)
  • 사전 필터(SPARK-39002)를 활용할 수 있도록 StringEndsWith/Contains는 Parquet에 푸시다운을 지원합니다.
  • Spark Parquet 벡터화된 판독기에서 UDT 지원(SPARK-39086)
  • Parquet 파일에 대한 행 인덱스를 지원하도록 METADATA 열 확장(SPARK-37980)
  • parquet FIXED_LEN_BYTE_ARRAY 형식 읽기 지원(SPARK-41096)
  • 필터링 조건자 순서 최적화(SPARK-40045)
  • MSSQL JDBC를 사용하여 CTE 및 임시 테이블 쿼리 지원(SPARK-37259)
  • 데이터 원본 옵션에서 ignoreCorruptFiles 및 ignoreMissingFiles 지원(SPARK-38767)
  • WriteFiles에 v1 쓰기 끌어오기(SPARK-41407)
  • 외부 데이터 파일을 포함하도록 읽기 쪽 문자 패딩 추가(SPARK-40697)

쿼리 최적화

  • 상관 관계가 없는 스칼라 하위 쿼리 병합(SPARK-34079)
  • 기본적으로 Bloom 필터 조인 사용(SPARK-38841)
  • distinctKeys로 집계 식에서 불필요한 고유 제거(SPARK-38832)
  • 중복 제거된 CTE에 대한 조건자 푸시다운 및 열 정리 지원(SPARK-37670)
  • 집계 함수가 스트리밍된 쪽에서 중복되는 경우 외부 조인 제거(SPARK-38886)
  • 왼쪽/오른쪽 열만 선택하고 다른 쪽의 조인 키가 고유한 경우 왼쪽/오른쪽 외부 조인 제거(SPARK-39172)
  • RepartitionByExpression에 전역 정렬 최적화(SPARK-39911)
  • TransposeWindow 규칙 최적화(SPARK-38034)
  • LocalLimit를 통해 정렬 제거를 지원하도록 RemovSorts 향상(SPARK-40050)
  • 조인 조건이 비어 있는 경우 양쪽에 로컬 제한 푸시(SPARK-40040)
  • 최적화 프로그램용 PushProjectionThroughLimit 추가(SPARK-40501)
  • 조인 자식이 있는 PIVOT/UNPIVOT 지원(SPARK-41195)
  • 여러 비결정적 필터를 사용하여 열 정리 지원(SPARK-41017)
  • AQE 캐시를 사용하여 출력 분할 및 순서 개선(SPARK-41048)
  • 균형 잡힌 식 트리 조건자를 만들어 다중 유사 성능 향상(SPARK-41167)
  • RepartitionByExpression의 자식 항목인 경우 정렬 제거(SPARK-36703)
  • 완료된 쿼리 단계에서 사용 가능한 열 통계 사용(SPARK-39991)
  • WindowSpecDefinition에서 식 재사용(SPARK-41805)
  • AliasAwareOutputPartitioning 및 AliasAwareQueryOutputOrdering을 개선하여 모든 별칭을 고려합니다(SPARK-40086, SPARK-42049)
  • Python UDF를 통한 제한 푸시다운(SPARK-42115)

코드 생성 및 쿼리 실행

  • BroadcastNestedLoopJoinExec에서 defaultJoin을 병렬로 실행합니다(SPARK-40487)
  • HiveGenericUDF에 대한 Codegen 지원(SPARK-42051)
  • SinglePartition에 순서 섞기 소개(SPARK-41986)
  • DPP가 정리 쪽에 Union(SPARK-39217)을 지원합니다.

기타 주목할 만한 변경 내용

  • 자동 파티션 통계 수집 지원(SPARK-38573)
  • Thrift Server에서 오류 메시지 서식 지정(SPARK-40098)
  • 확장 API를 추가하여 캐싱 계획 정규화 수행(SPARK-41183)
  • 물리적 형식을 도입하여 Spark 형식 리팩터링(SPARK-41226)
  • OneOf 필드 지원 및 재귀 검사(SPARK-41396)
  • 열 확인 논리 중앙 집중화(SPARK-41405)
  • 계획 변경 유효성 검사 개선(SPARK-42081)
  • typesafety에 대한 SparkPath 소개(SPARK-41970)
  • 데이터 세트 API에서 임시 보기를 만들 때 db_name.view_name에 대한 예외 throw(SPARK-41090)
  • Mask 함수 인수의 기본값을 -1에서 NULL로 변경(SPARK-42070)

Spark Core

Decommission

  • 데이터 순서 섞기가 마이그레이션된 경우 서비스 해제된 실행기에서 불필요한 작업 다시 실행 방지(SPARK-41469)
  • 서비스 해제된 실행기로 인한 단계 페치 오류 무시(SPARK-40481)
  • spark.storage.decommission을 사용하도록 설정합니다. (rdd|shuffle)기본적으로 Blocks.enabled(SPARK-40198)
  • ESS를 사용하지 않도록 설정할 때 YARN 서비스 해제에 대한 지원 추가(SPARK-30835)

Scheduler

  • 스테이지 일정이 로컬 클러스터 모드를 지원합니다(SPARK-41949)
  • 동적 할당을 사용하지 않도록 설정한 경우 독립 실행형 클러스터에 대한 단계 수준 작업 리소스 프로필 지원(SPARK-39853)
  • Driver가 ExecutorExitCode(SPARK-39957)를 수신하도록 설정하기 위한 Delay onDisconnected
  • 단계 작업 메트릭을 통해 추측 개선(SPARK-32170)
  • 독립 실행형 클러스터에 대한 단계 수준 리소스 예약 지원 추가(SPARK-39062)
  • LaunchTask 메시지를 보내지 못하여 발생하는 스테이지 오류를 방지하도록 LaunchTask 프로세스 개선(SPARK-39955)

셔플

  • 푸시 기반 순서 섞기 클라이언트 쪽 읽기 메트릭 추가(SPARK-36620)
  • 푸시 기반 순서 섞기를 위한 서버 쪽 메트릭 순서 섞기(SPARK-33573)
  • db를 닫기 전에 mergedShuffleCleaner가 종료되었는지 확인합니다(SPARK-40186)
  • 순서 섞기 서비스 상태 저장소에 대한 RocksDB 지원 추가(SPARK-38888)
  • 원격/외부 순서 섞기 상태를 DB로 저장하는 데 사용되는 LevelDB 캡슐화(SPARK-38909)
  • spark.dynamicAllocation.shuffleTracking.enabled를 기본적으로 사용하도록 설정(SPARK-3984)
  • 푸시 기반 순서 섞기 서비스를 사용하여 다시 시작 유지 작업을 위해 NM 수준 DB에 상태를 저장합니다(SPARK-33236)
  • 릴리스된 실행기에 대한 순서 섞기 서비스를 사용하여 순서 섞기 블록 제거(SPARK-37618)

기타 주목할 만한 변경 내용

  • IPv6 전용 환경 지원(SPARK-39457)
  • 기본적으로 spark.kryo.unsafe 사용(SPARK-42137)
  • 클러스터 모드에서 프록시 사용자와 임의 사용자 지정 클래스 경로를 허용하지 않음(SPARK-41958)
  • 실행기가 손실된 경우 BlockManager 다시 등록 방지(SPARK-41360)
  • 단일 작업 결과가 2GB에 맞아야 하는 제한 사항 제거(SPARK-40622)
  • 사용되지 않는 spark.akka.* 구성의 지원 제거(SPARK-40401)
  • log4j의 동작과 일치하도록 기본 로깅을 stderr로 변경(SPARK-40406)
  • 결과 크기를 계산할 때 DirectTaskResult 메타데이터 제외(SPARK-40261)
  • take() 동작에서 초기 파티션 번호 사용자 지정 허용(SPARK-40211)
  • Executor.updateDependencies()에서 동기화되는 대신 인터럽트 가능한 잠금 사용(SPARK-40235)
  • 태스크 실패는 항상 작업 실패 수신기를 트리거해야 합니다(SPARK-40106)
  • 감시 또는 폴링을 선택적으로 사용하지 않도록 설정하는 기능 추가(SPARK-36462)
  • 드라이버에서 비직렬화된 브로드캐스트 관계를 캐시하지 마세요(SPARK-39983)
  • TaskMemoryManager와 UnsafeExternalSorter.SpillableIterator 간의 교착 상태 수정(SPARK-39283)
  • TaskContext에 단계의 숫자 파티션 노출(SPARK-38679)
  • 메모리 오버헤드 요소를 구성할 수 있도록 설정(SPARK-38194)
  • ShellBasedGroupsMappingProvider에서 bash -c를 사용하지 마세요(SPARK-38992)

구조적 스트리밍

주요 기능

  • 비동기 진행률 추적(SPARK-39591)
  • 구조적 스트리밍에서 Python 임의 상태 저장 처리(SPARK-40434)
  • 구조적 스트리밍의 Protobuf 지원(SPARK-40653)
  • 상태 저장 연산자의 체인을 지원하도록 늦은 레코드 필터링 수정(SPARK-40925)

기타 주목할 만한 변경 내용

  • Hadoop의 중단 가능 인터페이스를 기반으로 스트리밍 검사점 파일 관리자 소개(SPARK-40039)
  • Trigger.Once 사용 중단 및 Promote Trigger.AvailableNow(SPARK-39805)
  • 스트리밍 쿼리의 논리 계획에 카탈로그 테이블의 정보 노출(SPARK-39564)
  • 스트리밍 싱크에서 메트릭 수집 지원(SPARK-38564)
  • DStream API 사용 중단(SPARK-42075)
  • Kafka 오프셋 페치 구성의 기본값 대칭 이동(SPARK-40844)
  • PySpark의 foreachBatch 싱크에 대한 사용자 함수의 DataFrame에서 복제된 Spark 세션 제공(SPARK-41379)

Spark Connect

Python 클라이언트

Scala 클라이언트

PySpark

Spark 기반 Pandas API

기타 주목할 만한 변경 내용

  • 주요 개선 사항
    • PySpark 사용자 정의 함수에 대한 메모리 프로파일러 제공(SPARK-40281)
    • 카탈로그 API를 3 계층 네임스페이스와 호환되도록 설정(SPARK-39235)
    • PySpark의 NumPy 입력 지원(SPARK-39405)
    • PySpark 오류 개선 사항(SPARK-41597)
  • 주요 기능

MLLIB

SparkR

라이브 UI 및 기록 서버 서비스

  • 대규모 애플리케이션에 대한 향상된 Spark UI 확장성 및 드라이버 안정성(SPARK-41053)
  • spark.history.store.hybridStore.diskBackend에 대해 기본적으로 RocksDB 사용(SPARK-42277)
  • 루트 실행에서 중첩된 실행 그룹화(SPARK-41752)
  • 환경 탭에 메트릭 속성 표시(SPARK-39110)
  • 레코드가 0보다 큰 경우 StagePage 입력 크기/레코드가 표시되지 않는 수정(SPARK-34777)
  • Json4s 대신 Jackson을 사용하여 이벤트 로깅 JsonProtocol 성능 향상(SPARK-39489)
  • spark.history.fs.update.batchSize 지원(SPARK-39225)

빌드

유지 관리 업데이트

Databricks Runtime 13.0 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.6
  • R: 4.2.2
  • 델타 레이크: 2.3.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 암호화 37.0.1
cycler 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 entrypoints 0.4
실행 중 1.2.0 facets-overview 1.0.2 fastjsonschema 2.16.3
filelock 3.10.7 fonttools 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
jupyter-client 7.3.4 jupyter_core 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
Notebook 6.4.12 numpy 1.21.5 oauthlib 3.2.0
패키징 21.3 pandas 1.4.4 pandocfilters 1.5.0
parso 0.8.3 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 7.0.0
pycparser 2.21 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.2 pytz 2022.1 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.0
scikit-learn 1.1.1 scipy 1.9.1 seaborn 0.11.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 63.4.1
6 1.16.0 soupsieve 2.3.1 ssh-import-id 5.11
stack-data 0.6.2 statsmodels 0.13.2 tenacity 8.0.1
terminado 0.13.1 testpath 0.6.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.1.1 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 캐럿 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
data.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
줄임표 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 제네릭(generics) 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 행렬 1.5-1 memoise 2.0.1
메서드 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos Mesos 1.11.0-음영 처리된 프로토부프
org.apache.orc orc-core 1.8.2-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.8.2-셰이드-프로토부프
org.apache.orc orc-shims 1.8.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1