Databricks Runtime 8.3(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
다음은 Apache Spark 3.1.1에서 제공하는 Databricks Runtime 8.3 및 Databricks Runtime 8.3 Photon에 대한 릴리스 정보를 제공합니다. Databricks는 2021년 6월에 이 버전을 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.
새로운 기능 및 향상 기능
- Delta 테이블에서 생성된 열(공개 미리 보기)
- 자동 로더 기능 및 향상된 기능
- 새 프로그래매틱 API를 사용하여 Delta 테이블 만들기(공개 미리 보기)
- SQL
ANALYZE에서 Delta 테이블 크기의 올바른 계산 - RocksDBStateStore를 사용할 때의 RocksDB 성능에 대한 자세한 메트릭
- 자동 최적화 쓰기
- 조인의 한쪽만 버킷 처리된 경우 버킷 조인 사용
- Spark UDF를 정의할 때 보안 향상(공개 미리 보기)
from_avro를 사용한 쿼리의 스키마 레지스트리에 대한 요청 수 감소- ListResults가 있는 R의 여러 결과(공개 미리 보기)
Delta 테이블에서 생성된 열(공개 미리 보기)
Delta Lake는 이제 델타 테이블의 다른 열에 대해 사용자 지정 함수를 기반으로 하여 값이 자동으로 생성되는 특수한 유형의 열인 생성된 열을 지원합니다. 대부분의 기본 제공 SQL 함수를 사용하여 이러한 생성된 열의 값을 생성할 수 있습니다. 예를 들어 타임스탬프 열에서 날짜 열을 자동으로 생성할 수 있습니다(테이블을 날짜별로 분할하기 위한 경우). 테이블에 대한 모든 쓰기는 타임스탬프 열에 대한 데이터만 지정하면 됩니다. SQL, Scala, Java 또는 Python API를 사용하여 생성된 열이 있는 Delta 테이블을 만들 수 있습니다.
자세한 내용은 Delta Lake에서 생성된 열을 참조 하세요.
자동 로더 기능 및 향상된 기능
- 자동 로더의 CSV 파일에 대한 스키마 유추
- 자동 로더 스트림의 시작 시간 향상
- 자동 로더의 디렉터리 나열 시간 단축
- 자동 로더 검사점의 스토리지 오버헤드 감소
- 자동 로더에 복구된 데이터 열의 파일 경로 포함(사용 가능한 경우)
- 자동 로더가 파일 알림 모드에서 Azure Data Lake Storage Gen2의 파일 이름 바꾸기 지원
자동 로더의 CSV 파일에 대한 스키마 유추
이제 자동 로더는 CSV 파일에 대한 스키마 유추 및 진화를 지원합니다. 자동 로더는 Apache Spark의 기존 CSV 파서 외에 다음과 같은 기능을 제공합니다.
- 스키마 병합: 자동 로더는 여러 파일에서 스키마가 다른 CSV 파일(열 수, 열 순서가 다름)을 수집할 수 있습니다.
- 복구된 데이터 열: 복구된 데이터 열을 사용하여 CSV 파일에 나타날 수 있는 예기치 않은 데이터를 복구할 수 있습니다. 여기에는 올바른 데이터 형식에서 구문 분석할 수 없는 데이터, 헤더에 대/소문자가 다른 값 또는 null 값이 있는 열 또는 올바른 스키마의 일부가 아닌 추가 열이 포함됩니다.
자세한 내용은 자동 로더의 스키마 유추 및 진화 구성을 참조하세요.
자동 로더 스트림의 시작 시간 향상
이제 자동 로더 스트림은 처음 시작할 때 스트림에 대한 초기 백필을 비동기적으로 수행하므로 스트림의 시작 시간이 훨씬 단축됩니다. 따라서 특히 수백만 또는 수십억 개의 파일이 포함된 디렉터리에서 데이터를 수집해야 하는 경우 프로덕션 데이터로 코드를 신속하게 반복할 수 있습니다.
또한 자동 로더가 정확히 한 번 의미 체계를 제공하는 데 활용하는 RocksDB 파일의 다운로드 및 업로드를 병렬화했기 때문에 다시 시작되는 스트림의 부트스트랩 시간도 향상되었습니다.
자동 로더의 디렉터리 나열 시간 단축
자동 로더의 디렉터리 나열 효율이 크게 향상되었습니다. 이러한 성능 향상의 부작용은 처리할 새 데이터가 없을 때 스트림이 스토리지 시스템에 더 많은 목록 요청을 내보낼 수 있다는 것입니다. 이로 인해 목록 요청 요금이 급증할 수 있습니다. 일반적으로 Databricks에서는 프로덕션 스트리밍 파이프라인에 대해 적절한 트리거 간격을 설정할 것을 권장합니다. 구조적 스트리밍에 대한 프로덕션 고려 사항을 참조하세요.
자동 로더 검사점의 스토리지 오버헤드 감소
이제 자동 로더 스트림은 검사점 디렉터리의 부실 파일을 비동기적으로 자동으로 정리하여 검사점 디렉터리 크기가 무기한 증가하지 않도록 하고 스토리지 비용을 절감합니다.
자동 로더에 복구된 데이터 열의 파일 경로 포함(사용 가능한 경우)
복구된 데이터 열은 _file_ path라는 열에 적용할 수 있는 경우 복구된 데이터의 파일 경로를 자동으로 제공합니다. 이는 데이터 품질 문제의 근본 원인을 추적하는 데 도움이 될 수 있습니다. 데이터 스키마에 _file_path라는 열이 포함되어 있으면 이 열이 포함되지 않습니다. 필요한 경우 SQL 구성 spark.databricks.sql.rescuedDataColumn.filePath.name을 사용하여 열 이름을 바꿀 수 있습니다.
자동 로더가 파일 알림 모드에서 Azure Data Lake Storage Gen2의 파일 이름 바꾸기 지원
이제 자동 로더는 파일 알림 모드에서 실행할 때 Azure Data Lake Storage Gen2에 대한 BlobRenamed 이벤트를 지원합니다. 파일 알림을 사용하여 이름 바꾸기 작업을 통해 Azure Data Lake Storage Gen2 컨테이너에 업로드된 파일을 처리하려면 Databricks Runtime 8.3을 사용하는 자동 로더를 사용하여 새 스트림을 시작합니다. 파일이 정확히 한 번 처리되도록 하려면 파일 이름을 바꿀 원본 디렉터리를 자동 로더에서 감시하지 않는지 확인합니다.
새 프로그래매틱 API를 사용하여 Delta 테이블 만들기(공개 미리 보기)
이제 DataFrame API를 사용하지 않고 프로그래밍 방식으로(Scala, Java 및 Python 사용) 새 Delta 테이블을 만들 수 있습니다. 새 DeltaTableBuilder API와 DeltaColumnBuilder API를 사용하면 SQL CREATE TABLE을 사용하여 지정할 수 있는 모든 테이블 세부 정보를 지정할 수 있습니다.
자세한 내용은 테이블 만들기를 참조하세요.
SQL ANALYZE에서 Delta 테이블 크기의 올바른 계산
기존 분석 논리는 Delta 테이블의 테이블 크기를 잘못 계산하고 카탈로그를 잘못된 크기로 업데이트합니다. 해결 방법은 Delta 로그에서 Delta 테이블의 크기를 가져오는 것입니다.
RocksDBStateStore를 사용할 때의 RocksDB 성능에 대한 자세한 메트릭
RocksDB를 상태 저장소로 사용하도록 구조적 스트리밍 쿼리를 구성한 경우 이제 get/put 대기 시간, 압축 대기 시간, 캐시 적중 등에 대한 자세한 메트릭을 사용하여 RocksDB의 성능을 더 잘 파악할 수 있습니다. 이러한 메트릭은 스트리밍 쿼리 모니터링을 위해 StreamingQueryProgress API 및 StreamingQueryListener API를 통해 사용할 수 있습니다.
자세한 내용은 Azure Databricks에서 RocksDB 상태 저장소 구성을 참조하세요.
자동 최적화 쓰기
분할된 Delta 테이블에 대한 최적화된 쓰기는 이제 하위 쿼리가 포함된 업데이트 및 삭제 쿼리에 대해 자동으로 사용하도록 설정됩니다.
조인의 한쪽만 버킷 처리된 경우 버킷 조인 사용
새 구성 spark.databricks.sql.minBucketsForBucketedJoin은 조인의 한쪽만 버킷 처리되어 있고 버킷 수가 이 구성 값보다 작지 않은 경우 버킷 조인을 사용하도록 설정합니다. 기본적으로 이 구성 값은 기본 순서 섞기 파티션 번호(200)와 동일합니다.
Spark UDF를 정의할 때 보안 향상(공개 미리 보기)
사용자 정보 함수 current_user 및 is_member는 더 이상 Python spark.udf.register 또는 SQL create or replace temp function을 포함한 임시 함수에 의해 재정의될 수 없습니다.
from_avro를 사용한 쿼리의 스키마 레지스트리에 대한 요청 수 감소
스키마 레지스트리를 지원하는 from_avro가 포함된 쿼리가 더 이상 스키마 레지스트리 서비스에 대한 많은 요청을 생성하지 않으므로 운영 비용이 절감됩니다.
ListResults가 있는 R의 여러 결과(공개 미리 보기)
이제 Databricks R Notebook은 각 셀에서 여러 결과를 지원합니다. 이전에는 각 Notebook 셀에 대해 단일 결과만 렌더링되었습니다. 현재 R Notebook의 단일 셀 결과는 다음 순서로 표시됩니다.
- RShiny URL
- 그림
- displayHTML 출력
- 테이블
- stdout
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- koalas가 1.7.0에서 1.8.0으로 업그레이드되었습니다.
- pandas가 1.1.3에서 1.1.5로 업그레이드되었습니다.
- s3transfer가 0.3.4에서 0.3.6으로 업그레이드되었습니다.
- 업그레이드된 R 라이브러리:
- SparkR이 3.1.1에서 3.1.2로 업그레이드되었습니다.
- 업그레이드된 Java 라이브러리:
- mariadb-java-client를 2.1.2에서 2.2.5로
- parquet-column을 1.10.1-databricks6에서 1.10.1-databricks9로
- parquet-common을 1.10.1-databricks6에서 1.10.1-databricks9로
- parquet-encoding을 1.10.1-databricks6에서 1.10.1-databricks9로
- parquet-hadoop을 1.10.1-databricks6에서 1.10.1-databricks9로
- parquet-jackson을 1.10.1-databricks6에서 1.10.1-databricks9로
Apache Spark
Databricks Runtime 8.3에는 Apache Spark 3.1.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 8.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-34614] [SQL] ANSI 모드: 문자열을 부울로 캐스팅하면 구문 분석 오류에서 예외가 throw되어야 합니다.
- [SPARK-34246] [후속 작업] 정의 변경: 'findTightestCommonT...
- [SPARK-35213] [SQL] 연결된 withField 작업에서 중첩된 구조체의 올바른 순서 유지
- [SPARK-35096] [SQL] SchemaPruning은 spark.sql.caseSensitive 구성을 준수해야 함
- [SPARK-35227] [BUILD] SparkSubmit에서 park-packages에 대한 해결 프로그램을 업데이트합니다.
- [SPARK-35224] [SQL]
MutableProjectionSuite에서 버퍼 오버플로 수정 - [SPARK-34245] [CORE] 마스터가 완료 상태를 전송하지 못한 실행기를 제거하는지 확인합니다.
- [SPARK-34856] [SQL] ANSI 모드: 복잡한 형식을 문자열 형식으로 캐스팅을 허용합니다.
- [SPARK-34946] [SQL] 집계에서 지원되지 않는 상호 관련된 스칼라 하위 쿼리 차단
- [SPARK-35014] 폴딩 가능 식을 다시 쓰지 않도록 PhysicalAggregation 패턴이 수정되었습니다.
- [SPARK-34769] [SQL] AnsiTypeCoercion: 가장 가까운...
시스템 환경
- 운영 체제: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64(빌드 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R 버전 4.0.4(2021-02-15)
- Delta Lake 1.0.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| 암호화 | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
| decorator | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | koalas | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | pandas | 1.1.5 | parso | 0.7.0 |
| patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| requests | 2.24.0 | retrying | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | 6 | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tornado | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| wheel | 0.35.1 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2020-11-02)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
| base | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| boot | 1.3-27 | brew | 1.0-6 | brio | 1.1.0 |
| broom | 0.7.2 | callr | 3.5.1 | 캐럿 | 6.0-86 |
| cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
| compiler | 4.0.4 | config | 0.3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | crayon | 1.3.4 | credentials | 1.3.0 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
| datasets | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
| 줄임표 | 0.3.1 | evaluate | 0.14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | foreign | 0.8-81 | forge | 0.2.0 |
| fs | 1.5.0 | future | 1.21.0 | 제네릭(generics) | 0.1.0 |
| gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| glue | 1.4.2 | gower | 0.2.2 | graphics | 4.0.4 |
| grDevices | 4.0.4 | grid | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | knitr | 1.30 |
| labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | 주기 | 0.2.0 |
| listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| markdown | 1.1 | MASS | 7.3-53.1 | 행렬 | 1.3-2 |
| memoise | 1.1.0 | 메서드 | 4.0.4 | mgcv | 1.8-33 |
| mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
| pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| 진행률 | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
| ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
| reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
| rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
| shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | spatial | 7.3-11 | splines | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | 통계 | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| survival | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0.28 | tools | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | arrow-vector | 2.0.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-column | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 속도 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-continuation | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | shims | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |