Databricks Runtime 5.3(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2019년 4월에 이 버전을 릴리스했습니다.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 5.3에 대한 정보를 제공합니다.
새로운 기능
Databricks Delta
시간 이동 GA
델타 시간 이동이 일반 공급으로 전환되었습니다. 시간 이동은 타임스탬프 식에 대한 DataFrameReader 옵션과 SQL 구문을 사용하여, 타임스탬프 문자열 또는 버전을 사용하여 테이블의 스냅샷을 쿼리하는 기능을 추가합니다.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
시간 이동에는 다음과 같은 여러 사용 사례가 있습니다.
- 분석, 보고서 또는 출력(예: 기계 학습 모델의 출력)을 다시 만듭니다. 이는 규제가 적용되는 업계에서 디버깅 또는 감사를 진행하는 데 유용합니다.
- 복잡한 임시 쿼리를 작성합니다.
- 데이터의 실수를 수정합니다.
- 빠르게 변화하는 테이블을 위한 일련의 쿼리에 스냅샷 격리를 제공합니다.
Delta Lake 테이블 기록 작업을 참조하세요.
델타 공개 미리 보기로 MySQL 테이블 복제
Spark 분석 또는 데이터 과학 워크플로의 다운스트림 사용을 위해 MySQL 테이블에서 델타로 직접 데이터를 스트리밍합니다. MySQL이 다른 인스턴스에 복제하는 데 사용하는 것과 동일한 전략을 사용하여, binlog가 이후 다음과 같이 Databricks로 처리되고 스트리밍되는 업데이트를 식별하는 데 사용됩니다.
- 데이터베이스 로그에서 변경 이벤트를 읽습니다.
- Databricks에 이벤트를 스트리밍합니다.
- 델타 테이블에 동일한 순서로 씁니다.
- 원본에서 연결이 끊어져도 상태를 유지합니다.
프라이빗 미리 보기 기능
이 릴리스에는 Delta Lake에 대한 다음과 같은 프라이빗 미리 보기 기능이 포함되어 있습니다.
- Presto가 델타 테이블을 직접 쿼리할 수 있도록 해 주는 실험적 명령이 추가되었습니다.
- 자동 최적화는 델타 테이블에 대한 개별적인 쓰는 중에 파일 레이아웃을 최적화하고 작은 파일이 델타 테이블에 누적되는 것을 방지하여 빠른 쿼리 성능을 유지합니다. 이에 더해, 분할된 델타 테이블에 대한 쓰기 및 upsert는 쓰기에 도입된 적응형 섞기 덕분에 속도가 향상될 수 있습니다.
미리 보기에 참여하려면 Databricks 계정 팀에 문의하세요.
딥 러닝 워크로드에 최적화된 DBFS FUSE 폴더
이제 Azure Databricks가 최적화된 FUSE 탑재를 제공합니다. init 스크립트를 적용하지 않고도 학습 및 유추 중에 고성능으로 데이터에 액세스할 수 있습니다. dbfs:/ml에 저장되고 file:/dbfs/ml에서 로컬로 액세스할 수 있는 데이터는 이제 이 최적화된 FUSE 탑재가 지원됩니다. 기계 학습 및 딥 러닝을 위한 데이터 로드를 참조하세요.
향상된 기능
Notebook 범위의 라이브러리:
dbutils.library.installPyPI의 Extras 지원.- Azure 파일 시스템에 있는 라이브러리(
wasbs,adls,abfss포함)에 대한 Notebook 범위 라이브러리 설치 지원. - 지원되지 않는 대상에서 Notebook 범위 라이브러리에 대한 오류 메시지 개선. 예: “기계 학습용 Databricks Runtime에서는 라이브러리 유틸리티를 사용할 수 없습니다.”
서비스 주체에 계정 차원의 “스토리지 Blob 데이터 기여자” RBAC 역할을 부여하지 않고도 ADLS Gen2(Azure Data Lake Storage Gen2)에 연결.
성능 쿼리를 개선하는 Databricks Advisor의 추가 힌트:
- 파티션당 작은 파일이 많은 경우 -> 테이블을 델타로 변환하고
OPTIMIZE를 실행하세요. - 고도로 선택적인 필터가 있는 경우 -> 델타로 변환하고
ZORDER BY를 사용하세요. - Hive에서의 메타데이터 페치가 병목 상태가 되는 경우 -> 테이블을 델타로 변환하세요.
- 파티션당 작은 파일이 많은 경우 -> 테이블을 델타로 변환하고
Ubuntu가 16.04.5 LTS에서 16.04.6 LTS로 업그레이드되었습니다.
Scala 2.11이 2.11.8에서 2.11.12로 업그레이드되었습니다.
설치된 일부 Python 라이브러리가 업그레이드되었습니다.
- pip: 18.1에서 19.0.3으로
- setuptools: 40.6.3에서 40.8.0으로
- wheel: 0.32.3에서 0.33.1로
R이 3.4.4에서 3.5.2로 업그레이드되었습니다.
설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
감가 상각
- 구조적 스트리밍용 Apache Kafka 0.8 커넥터가 더 이상 지원되지 않습니다. Databricks Runtime 5.3에는 포함되어 있지만 향후 Databricks Runtime 릴리스에서 제거됩니다.
- Databricks ML 모델 내보내기는 더 이상 사용되지 않으며 Databricks Runtime 6.0에서 제거됩니다. 대신 MLeap을 사용하여 모델을 가져오거나 내보내세요.
- 구성 옵션에서
spark.databricks.pyspark.enableExecutorFsPerms가 제거되었습니다.
버그 수정
- 테이블 ACL에 대해 사용하도록 설정된 클러스터의 클러스터 전체 Python Egg 라이브러리 설치가 수정되었습니다.
- 명령이 실행되기 전에 취소가 호출되는 경우를 수정하여 Python 명령 취소를 개선했습니다.
- 테이블 ACL에서 버그가 수정되었습니다. 이제 데이터베이스 또는 카탈로그에서 개체를 나열하면 볼 수 있는 권한이 있는 개체만 표시됩니다.
Apache Spark
Databricks Runtime 5.3은 Apache Spark 2.4.0을 포함합니다. 이 릴리스에는 Databricks Runtime 5.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-27134][SQL] array_distinct 함수가 배열로 구성된 배열을 포함하는 열에서 올바르게 작동하지 않음
- [SPARK-24669][SQL] DROP DATABASE CASCADE의 경우 테이블 무효화
- [SPARK-26572][SQL] 집계 codegen 결과 평가 수정
- [SPARK-27046][DSTREAMS] 설명서에서 SPARK-19185 관련 참조 제거
- [SPARK-26449][PYTHON] DataFrame API에 변환 메서드 추가
- [SPARK-26740][SQL] Spark 3.0에 의해 쓰기된 타임스탬프/날짜 열 읽기
- [SPARK-26909][SQL] HashAggregate에서 unsafeRow.hashCode()를 해시 값으로 사용
- [SPARK-26990][SQL] FileIndex: 가능한 경우 사용자가 지정한 필드 이름 사용
- [SPARK-26851][SQL] CachedRDDBuilder에서 이중 검사 잠금 수정
- [SPARK-26864][SQL] Python UDF가 왼쪽 세미 조인 조건으로 사용된 경우 쿼리가 올바르지 않은 결과를 반환할 수 있음
- [SPARK-26887][SQL][PYTHON] 중간 데이터로 datetime64를 만드는 대신
datetime.date직접 생성 - [SPARK-26859][SQL] 벡터화되지 않은 ORC 역직렬 변환기에서 필드 작성기 인덱스 버그 수정
- [SPARK-26864][SQL] Python UDF가 조인 조건으로 사용되고 udf가 왼쪽 세미 조인의 양쪽 다리의 특성을 모두 사용하는 경우 쿼리가 올바르지 않은 결과를 반환할 수 있음
- [SPARK-24360][SPARK-26091][BACKPORT][SQL] Hive 3.1 메타스토어 지원
- [SPARK-26873][SQL] 일관된 타임스탬프를 사용하여 Hadoop 작업 ID 빌드
- [SPARK-26734][STREAMING] 큰 블록 큐를 갖는 StackOverflowError 수정
- [SPARK-26758][CORE] spark.dynamiAllocation.executorIdleTimeout 값 이후에 유휴 실행기가 종료되지 않음
- [SPARK-26751][SQL] 문이 백그라운드에서 실행되고 HiveSQLException이 아닌 예외를 throw하는 경우의 메모리 누수 수정
- [SPARK-26806][SS] EventTimeStats.merge가 0을 올바르게 처리해야 함
- [SPARK-26745][SPARK-24959][SQL] JSON 데이터 원본에서 개수 최적화 되돌리기
- [SPARK-26757][GRAPHX] 빈 가장자리/꼭짓점 RDD의 count에 대해 0 반환
- [SPARK-26726] 브로드캐스트 변수가 사용하는 메모리의 양을 UI 디스플레이에 동기화
- [SPARK-26718][SS] SS kafka rateLimit 계산의 정수 오버플로 수정
- [SPARK-26708][SQL] SQL 캐시의 캐시된 RDD와 그 실제 계획 간의 불일치로 인해 올바르지 않은 결과 발생
- [SPARK-26735][SQL] 특수 식의 계획 무결성 확인
- [SPARK-26619][SQL] SerializeFromObject에서 사용되지 않는 직렬 변환기 정리
- [SPARK-26379][SS] 더미 TimeZoneId를 사용하여 CurrentBatchTimestamp의 UnresolvedException 방지
- [SPARK-26495][SQL] SelectedField 추출기 간소화
- [SPARK-26379][SS] 스트리밍 쿼리에 current_timestamp/current_date를 추가할 때 발생하는 문제 수정
- [SPARK-26709][SQL] OptimizeMetadataOnlyQuery가 빈 레코드를 올바르게 처리하지 않음
- [SPARK-26680][SQL] 조건이 적절한 경우 적극적으로 inputVars 생성
- [SPARK-26682][SQL] Hadoop에 대해 attemptNumber 대신 taskAttemptID 사용
- [SPARK-26706][SQL] ByteType의 illegalNumericPrecedence 수정
- [SPARK-26228][MLLIB] Gramian 행렬을 계산할 때 발생하는 OOM 문제
- [SPARK-26665][CORE] BlockTransferService.fetchBlockSync가 영원히 중단될 수 있는 버그 수정
- [SPARK-26549][PYSPARK] Python 작업자 재사용이 지연 반복 가능 범위를 병렬화하는 데 효과를 갖지 않는 문제 수정
- [SPARK-26351][MLLIB] mllib 평가 메트릭의 문서 및 사소한 수정 사항 업데이트
- [SPARK-26450]프로젝션의 모든 열에 대한 스키마 맵 다시 빌드 방지
- [SPARK-26638][PYSPARK][ML] Pyspark 벡터 클래스가 단항 부정에 대해 항상 오류를 반환
- [SPARK-26633][REPL] ExecutorClassLoader.getResourceAsStream 추가
- [SPARK-26629][SS] 하나의 파일 스트림에 대해 데이터를 갖지 않는 일괄 처리에 대한 쿼리 + 다시 시작에서 여러 파일 스트림의 오류 수정
- [SPARK-25992][PYTHON] 문서 SparkContext를 다중 처리를 위해 공유할 수 없음
- [SPARK-26615][CORE] 코어 단위 테스트에서 전송 서버/클라이언트 리소스 누수 수정
- [SPARK-26350][SS] Kafka 소비자의 그룹 ID 재정의 허용
- [SPARK-26538][SQL] postgres 숫자 배열의 기본 정밀도 및 배율 설정
- [SPARK-26586][SS] 스트림이 예기치 않은 구성으로 실행되도록 하는 경합 상태 수정
- [SPARK-26551][SQL] 하나의 복합 필드를 선택하고 다른 필드에 null 조건자가 없는 경우의 스키마 정리 오류 수정
- [SPARK-26576][SQL] 분할된 테이블에 브로드캐스트 힌트가 적용되지 않음
- [SPARK-26571][SQL] Hive Serde 매핑을 Parquet 및 Orc 파형일 식의 정식 이름으로 업데이트
- [SPARK-26267][SS] Kafka(2.4)에서 올바르지 않은 오프셋이 감지된 경우 다시 시도
- [SPARK-26559][ML][PYSPARK] ML 이미지가 1.9 미만의 numpy 버전에서 작동하지 않음
- [SPARK-26078][SQL] IN 하위 쿼리의 중복 제거 셀프 조인 특성
유지 관리 업데이트
Databricks Runtime 5.3 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
- R: R 버전 3.5.2(2018-12-20)
- GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
- Tesla 드라이버 375.66
- CUDA 9.0
- cuDNN 7.0
참고 항목
Scala 2.12는 Apache Spark 2.4에서 지원되지만 Databricks Runtime 5.3에서는 지원되지 않습니다.
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 암호화 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 미래 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.0.3 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.1 |
| wsgiref | 0.1.2 |
설치된 R 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.0 |
| backports | 1.1.3 | base | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.1.1 | 차량 | 3.0-2 |
| carData | 3.0-2 | 캐럿 | 6.0-81 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.0.1 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.7-1 |
| codetools | 0.2-16 | colorspace | 1.4-0 | commonmark | 1.7 |
| compiler | 3.5.2 | config | 0.3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | datasets | 3.5.2 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | 줄임표 | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.6 | gbm | 2.1.5 |
| 제네릭(generics) | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | glue | 1.3.0 |
| gower | 0.1.2 | graphics | 3.5.2 | grDevices | 3.5.2 |
| grid | 3.5.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.2.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.1 |
| littler | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | 맵 | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | 행렬 | 1.2-15 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | 메서드 | 3.5.2 |
| mgcv | 1.8-27 | mime | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | openxlsx | 4.1.0 |
| parallel | 3.5.2 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.13.0 |
| processx | 3.2.1 | prodlim | 2018.04.18 | 진행률 | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.3.1 |
| readxl | 1.3.0 | recipes | 0.1.4 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.5.2 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.5.2 | stats4 | 3.5.2 |
| stringi | 1.3.1 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.0 | tcltk | 3.5.2 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.5.2 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.5.2 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 수집기 | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |