Databricks Runtime 6.2(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2019년 12월에 이 버전을 릴리스했습니다.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 6.2에 대한 정보를 제공합니다.
새로운 기능
Delta Lake 삽입 전용 병합이 최적화되었습니다.
업데이트 절이 없는 Delta Lake 병합 작업의 성능이 최적화되었습니다. 이러한 삽입 전용 병합 작업으로 작성된 쓰기는 이제 데이터만 추가하고 기존 데이터를 수정하지 않으므로 다운스트림 스트리밍 쿼리가 추가된 데이터를 계속 읽을 수 있습니다. 이는 병합 기반 중복 제거를 더 잘 지원합니다. 일괄 처리 또는 스트리밍 ETL 작업은 삽입 전용 병합을 사용하여 중복 제거된 데이터를 테이블에 쓸 수 있고 다운스트림 스트리밍 쿼리는 중복 제거된 데이터를 계속 읽을 수 있습니다.
향상된 기능
- 열
BinaryType개 중display()개는 모든 바이트가 아닌 처음 128바이트의 base64 인코딩으로 자동으로 잘립니다. 필드가 잘린 경우 끝에"(truncated)"가 표시됩니다. - 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
사용 중단
spark.mllib 모델 중 display()는 더 이상 사용되지 않으며 다음 주요 릴리스에서 제거됩니다. Azure Databricks는 spark.ml 모델 사용을 권장합니다.
Apache Spark
Databricks Runtime 6.2에는 Apache Spark 2.4.4가 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 6.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-29875][PYTHON][SQL] Spark 2.4.x에서 더 이상 사용되지 않는 pyarrow.open_stream API를 사용하지 않도록 합니다.
- [SPARK-29001][CORE] 처리하는 데 시간이 너무 오래 걸리는 이벤트를 인쇄합니다.
- [SPARK-29850][SQL] sort-merge-join 빈 테이블은 메모리 누수가 없어야 합니다.
- [SPARK-29790][DOC] Kube API에 필요한 포트를 참고합니다.
- [SPARK-29743][SQL] 샘플은 자식 항목인 경우 needCopyResult를 true로 설정해야 합니다.
- [SPARK-29651][SQL] 간격 초 분수 구문 분석이 수정되었습니다.
- [SPARK-29604][SQL] SparkSQLEnv에서 HiveClient를 초기화하기 전에 SessionState를 강제로 초기화합니다.
- [SPARK-29637][CORE] 작업 SHS 웹 API에 설명이 추가되었습니다.
- [SPARK-26985][CORE] big endian 아키텍처의 "모든 열 중 일부 열에만 액세스"가 수정되었습니다.
- [SPARK-29498][SQL] CatalogTable에서 HiveTable로의 테이블 소유권을 변경해서는 안 됩니다.
- [SPARK-29530][SQL] SQL 구문 분석 프로세스에서 SQLConf를 스레드로부터 안전하게 만듭니다.
- [SPARK-21287][SQL] JDBCOptions에서 fetch_size>=0 요구 사항이 제거되었습니다.
- [SPARK-29081]속성의 SerializationUtils.clone 호출을 더 빠른 구현으로 바꿉니다.
- [SPARK-21492][SQL][FOLLOW UP] 데이터베이스 스타일 반복기에서 UnsafeExternalRowSorter를 재구현합니다.
- [SPARK-21492][SQL] SortMergeJoin의 메모리 누수가 수정되었습니다.
- [SPARK-29556][CORE] ErrorServlet의 오류 응답에 요청 경로를 넣지 않도록 합니다.
- [SPARK-29494][SQL] 문자열을 타임스탬프로 변환하는 동안 ArrayOutofBoundsException이 수정되었습니다.
- [SPARK-27259][CORE] FileBlock의 길이로 -1 설정을 허용합니다.
- [SPARK-29445][CORE] 4.1.39.Final에서 4.1.42.Final로 netty-all을 범프합니다.
- [SPARK-29410] commons-beanutils가 1.9.4로 업데이트되었습니다.
- [SPARK-28917][CORE] RDD 변경 가능 상태에 대한 액세스가 동기화됩니다.
- [SPARK-28476][SQL] ALTER DATABASE SET LOCATION이 지원됩니다.
- [SPARK-29048] 큰 크기의 컬렉션을 사용하여 Column.isInCollection()의 성능이 개선되었습니다.
- [SPARK-28962][SQL] 람다 함수를 필터링하기 위한 인덱스 인수가 제공됩니다.
- [SPARK-25753][CORE] BinaryFileRDD를 통해 작은 파일 읽기가 수정되었습니다.
- [SPARK-28140][MLIB][PYTHON] RowMatrix 및 IndexedRowMatrix 생성자에서 DataFrames를 허용합니다.
- [SPARK-29244][CORE] BytesToBytesMap에서 해제된 페이지가 다시 해제되지 않도록 방지합니다.
- [SPARK-29055][CORE] BlockManager에서 블록이 제거될 때 드라이버/실행기의 스토리지 메모리가 업데이트되었습니다.
- [SPARK-29186][SQL] AliasIdentifier를 prettyJson의 Json으로 변환해야 합니다.
- [SPARK-29186][SQL] AliasIdentifier를 prettyJson의 Json으로 변환해야 합니다.
- [SPARK-29247][SQL] HiveClientHive.state 구성 시 중요한 정보가 수정되었습니다.
- [SPARK-29263][SCHEDULER] 장벽 taskSet에 대해 사용 가능한 슬롯을 확인하기 전에 resourceOffers()에서 availableSlots가 업데이트되었습니다.
- [SPARK-29240][PYTHON] element_at 함수에서 PySpark 열을 지원하기 위해 Py4J 열 인스턴스를 전달합니다.
- [SPARK-29213][SQL] FilterExec에서 추가 IsNotNull 술어가 생성되었습니다.
- [SPARK-29229][SQL] IsolatedClientLoader의 추가 원격 리포지토리를 google minor로 변경합니다.
- [SPARK-28599][SQL] ThriftServerSessionPage에 대한 Duration 열 정렬이 수정되었습니다.
- [SPARK-25903][CORE] TimerTask는 ContextBarrierState에서 동기화되어야 합니다.
- [SPARK-29053][WEBUI] 일부 열에서 정렬이 작동하지 않습니다.
- [SPARK-29177][CORE] 스테이지 중단 후 좀비 작업이 수정되었습니다.
유지 관리 업데이트
Databricks Runtime 6.2 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.6 LTS
- Java: 1.8.0_232
- Scala: 2.11.12
- Python: 3.7.3
- R: R 버전 3.6.1(2019-07-05)
- Delta Lake: 0.4.0
참고 항목
Scala 2.12는 Apache Spark 2.4에서 실험 기능으로 사용할 수 있지만 Databricks Runtime 6.2에서는 지원되지 않습니다.
이 구역의 내용:
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| cffi | 1.12.2 | chardet | 3.0.4 | 암호화 | 2.6.1 |
| cycler | 0.10.0 | Cython | 0.29.6 | decorator | 4.4.0 |
| docutils | 0.14 | idna | 2.8 | ipython | 7.4.0 |
| ipython-genutils | 0.2.0 | jedi | 0.13.3 | jmespath | 0.9.4 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | parso | 0.3.4 | patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.2 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | requests | 2.21.0 |
| s3transfer | 0.2.1 | scikit-learn | 0.20.3 | scipy | 1.2.1 |
| seaborn | 0.9.0 | setuptools | 40.8.0 | six | 1.12.0 |
| ssh-import-id | 5.5 | statsmodels | 0.9.0 | traitlets | 4.3.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.24.1 | virtualenv | 16.4.1 |
| wcwidth | 0.1.7 | wheel | 0.33.1 |
설치된 R 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.5 | base | 3.6.1 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.2.0 | boot | 1.3-23 |
| brew | 1.0-6 | callr | 3.3.2 | 차량 | 3.0-4 |
| carData | 3.0-2 | 캐럿 | 6.0-84 | cellranger | 1.1.0 |
| chron | 2.3-54 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.7.0 | clisymbols | 1.2.0 | cluster | 2.1.0 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1.7 |
| compiler | 3.6.1 | config | 0.3 | covr | 3.3.2 |
| crayon | 1.3.4 | crosstalk | 1.0.0 | curl | 4.2 |
| data.table | 1.12.6 | datasets | 3.6.1 | DBI | 1.0.0 |
| dbplyr | 1.4.2 | desc | 1.2.0 | devtools | 2.2.1 |
| digest | 0.6.22 | doMC | 1.3.6 | dplyr | 0.8.3 |
| DT | 0.9 | 줄임표 | 0.3.0 | evaluate | 0.14 |
| fansi | 0.4.0 | fastmap | 1.0.1 | forcats | 0.4.0 |
| foreach | 1.4.7 | foreign | 0.8-72 | forge | 0.2.0 |
| fs | 1.3.1 | gbm | 2.1.5 | 제네릭(generics) | 0.0.2 |
| ggplot2 | 3.2.1 | gh | 1.0.1 | git2r | 0.26.1 |
| glmnet | 2.0-18 | glue | 1.3.1 | gower | 0.2.1 |
| graphics | 3.6.1 | grDevices | 3.6.1 | grid | 3.6.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.0 |
| h2o | 3.26.0.2 | haven | 2.1.1 | hms | 0.5.1 |
| htmltools | 0.4.0 | htmlwidgets | 1.5.1 | httpuv | 1.5.2 |
| httr | 1.4.1 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-9 | iterators | 1.0.12 |
| jsonlite | 1.6 | KernSmooth | 2.23-16 | labeling | 0.3 |
| later | 1.0.0 | lattice | 0.20-38 | lava | 1.6.6 |
| lazyeval | 0.2.2 | 주기 | 0.1.0 | littler | 0.3.9 |
| lme4 | 1.1-21 | lubridate | 1.7.4 | magrittr | 1.5 |
| mapproj | 1.2.6 | 맵 | 3.3.0 | maptools | 0.9-8 |
| MASS | 7.3-51.4 | 행렬 | 1.2-17 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | 메서드 | 3.6.1 | mgcv | 1.8-30 |
| mime | 0.7 | minqa | 1.2.4 | ModelMetrics | 1.2.2 |
| munsell | 0.5.0 | mvtnorm | 1.0-11 | nlme | 3.1-141 |
| nloptr | 1.2.1 | nnet | 7.3-12 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.1 | openxlsx | 4.1.2 | parallel | 3.6.1 |
| pbkrtest | 0.4-7 | pillar | 1.4.2 | pkgbuild | 1.0.6 |
| pkgconfig | 2.0.3 | pkgKitten | 0.1.5 | pkgload | 1.0.2 |
| plogr | 0.2.0 | plyr | 1.8.4 | praise | 1.0.0 |
| prettyunits | 1.0.2 | pROC | 1.15.3 | processx | 3.4.1 |
| prodlim | 2018.04.18 | 진행률 | 1.2.2 | promises | 1.1.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.3 |
| quantreg | 5.51 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.9.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.3 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.2 | RcppEigen | 0.3.3.5.0 |
| RCurl | 1.95-4.12 | readr | 1.3.1 | readxl | 1.3.1 |
| recipes | 0.1.7 | rematch | 1.0.1 | remotes | 2.1.0 |
| reshape2 | 1.4.3 | rex | 1.1.2 | rio | 0.5.16 |
| rlang | 0.4.1 | RODBC | 1.3-16 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.2 | rstudioapi | 0.10 | rversions | 2.0.0 |
| scales | 1.0.0 | sessioninfo | 1.1.1 | shiny | 1.4.0 |
| sourcetools | 0.1.7 | sp | 1.3-1 | sparklyr | 1.0.4 |
| SparkR | 2.4.5 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.6.1 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.32 | 통계 | 3.6.1 | stats4 | 3.6.1 |
| stringi | 1.4.3 | stringr | 1.4.0 | survival | 2.44-1.1 |
| sys | 3.3 | tcltk | 3.6.1 | TeachingDemos | 2.10 |
| testthat | 2.2.1 | tibble | 2.1.3 | tidyr | 1.0.0 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.1 |
| usethis | 1.5.1 | utf8 | 1.1.4 | utils | 3.6.1 |
| vctrs | 0.2.0 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.1.2 | xml2 | 1.2.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.0 | zeallot | 0.1.0 |
| zip | 2.0.4 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.42.Final |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| junit | junit | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.0 |
| net.snowflake | spark-snowflake_2.11 | 2.5.9-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks4 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks4 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | hamcrest-library | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |