Databricks Runtime 7.3 LTS(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2020년 9월에 이 버전을 릴리스했습니다. 2020년 10월에 LTS(장기 지원)로 선언되었습니다.
다음은 Apache Spark 3.0에서 제공하는 Databricks Runtime 7.3 LTS에 대한 릴리스 정보를 제공합니다.
Databricks Runtime 6.x에서 마이그레이션에 대한 도움말은 Databricks Runtime 7.x 마이그레이션 가이드(EoS)를 참조하세요.
새로운 기능
Delta Lake 기능 및 향상된 기능
이 릴리스에서 제공하는 Delta Lake 기능 및 향상된 기능은 다음과 같습니다.
이 섹션의 내용
- Delta Lake 성능 최적화로 오버헤드 크게 감소
- 이제 메트릭 복제 사용 가능
- Delta Lake
MERGE INTO개선 사항 - Delta Lake 구조적 스트리밍 원본의 초기 위치 지정
Delta Lake 성능 최적화로 오버헤드 크게 감소
이 릴리스에서는 Delta Lake 작업의 오버헤드를 수 초에서 수십 밀리초로 줄이는 최적화 컬렉션을 사용할 수 있습니다. 이러한 최적화를 사용하도록 설정하려면 Delta 테이블을 쓰고 읽는 모든 클러스터를 Databricks Runtime 7.3 LTS 이상으로 업그레이드해야 합니다.
자세한 내용 및 주의 사항은 낮은 대기 시간 쿼리에 대한 향상된 검사점을 참조하세요.
이제 메트릭 복제 사용 가능
복제 작업 메트릭은 이제 기록되며 DESCRIBE HISTORY를 실행할 때 볼 수 있습니다. 자세한 내용은 설명 세부 정보를 사용하여 Delta Lake 테이블 세부 정보 검토를 참조하세요.
Delta Lake MERGE INTO 개선 사항
- 병합은 이제 모든
MATCHED수 및NOT MATCHED절을 지원합니다. - 일치하는 행을 무조건 삭제하는 병합 쿼리는 더 이상 여러 일치 항목에서 오류를 throw하지 않습니다.
Delta Lake 구조적 스트리밍 원본의 초기 위치 지정
이제 Delta Lake 구조적 스트리밍 커넥터는 전체 테이블을 처리하지 않고 스트리밍 쿼리의 시작점을 지정하는 startingVersion 및 startingTimestamp 옵션을 지원합니다. 자세한 내용은 초기 위치 지정을 참조하세요.
적응 쿼리 실행
AQE(적응 쿼리 실행)는 수집된 런타임 통계에 따라 실행 중에 쿼리 계획을 동적으로 조정하는 쿼리 재최적화 프레임워크입니다. AQE는 Databricks Runtime 7.3 LTS에서 기본적으로 사용하도록 설정됩니다. 이제 모든 AQE 기능을 사용해 볼 수 있습니다. 자세한 내용은 적응 쿼리 실행을 참조하세요.
향상된 기능
자동 로더
- 이제 디렉터리 목록 모드에서 Azure Data Lake Storage Gen1 지원
- 파일 형식이
text또는binaryFile인 경우 더 이상 스키마를 제공할 필요가 없습니다. 두 파일 형식에는 고정 스키마가 있으므로 자동 로더는 자동으로 고정 스키마를 사용할 수 있습니다.
새 Azure Synapse Analytics 커넥터 열 길이 제어
이제 새 매개 변수 maxbinlength를 사용하여 BinaryType 열의 열 길이를 제어할 수 있습니다. 이 매개 변수는 VARBINARY(maxbinlength)로 변환됩니다.
이전(구성할 수 없는) 기본값은 VARBINARY(MAX)로 이진 열과 기본 인덱싱 체계를 사용하여 테이블을 만들 경우 이슈를 발생시키는 것이었습니다. 특히 기본 columnstore 인덱스가 문자열 및 이진 열에서 MAX를 지원하지 않아 테이블 만들기를 실패했습니다.
pandas에서 Spark DataFrame으로의 변환 간소화
다음과 같은 향상된 기능을 사용하도록 설정하려면 Spark 구성 spark.databricks.execution.pandasZeroConfConversion.enabled을 설정합니다.
createDataFrame(pandas_df)는 Azure Databricks에 최적화되었습니다.- 변환을 효율적으로 수행할 수 없거나 불가능하면 경고가 표시됩니다.
toPandas() 호출의 새로운 maxResultSize 설정
새 구성 설정(spark.databricks.driver.localMaxResultSize)을 사용하면 df.toPandas() 호출에 대해 maxResultSize를 제어할 수 있습니다. 제한은 일시적으로 max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize)로 변경됩니다. 구성 설정의 기본값은 실제 메모리 크기를 4로 나눈 값입니다.
df.toPandas() 결과 크기가 spark.driver.maxResultSize보다 크고 spark.databricks.driver.localMaxResultSize보다 작으면 경고가 표시됩니다.
이 구성 설정은 df.toPandas() 호출에서 만든 DataFrames에만 영향을 줍니다.
참고 항목
spark.databricks.driver.localMaxResultSize는 spark.databricks.execution.pandasZeroConfConversion.enabled가 true인 경우에만 적용됩니다.
pandas 및 PySpark UDF의 디버깅 기능
Azure Databricks Notebook에서 pandas 또는 PySpark UDF가 실패하면 이제 코드가 실패한 줄 번호와 근본 원인에 대한 정보가 오류 메시지에 포함됩니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- koalas가 1.1.0에서 1.2.0으로 업그레이드되었습니다.
- pyarrow가 0.15.1에서 1.0.1로 업그레이드되었습니다.
- 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
- OpenJDK 8 빌드가 Ubuntu OpenJDK 8에서 Zulu OpenJDK 8로 변경되었습니다.
Apache Spark
Databricks Runtime 7.3 LTS에는 Apache Spark 3.0.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 7.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-32302] [SPARK-28169] [SQL] 조인/파티션을 통해 분리 조건자를 부분적으로 푸시다운합니다.
- [SPARK-32337] [SQL] AQE 계획 트리 문자열에 초기 계획 표시
- [SPARK-30662] HasBlockSize에 대한 API 변경 내용 다시 배치
- [SPARK-32620] [SQL] DPP를 사용할 때 numPartitions 메트릭 초기화
- [SPARK-32646] [SQL] ORC 조건자 푸시다운은 대/소문자를 구분하지 않는 분석과 함께 작동해야 함
- [SPARK-32676] [ML] KMeans/BiKMeans에서 이중 캐싱 수정
- [SPARK-32092] [ML][PYSPARK] foldCol 관련 코드 제거
- [SPARK-32594] [SQL]
get()재정의DaysWritable에서 율리우스일 사용 - [SPARK-32608] [SQL] 스크립트 변환 ROW FORMAT DELIMIT 값은 값의 형식을 지정해야 함
- [SPARK-32092] [ML][PYSPARK] CrossValidatorModel.copy(), read() 및 write()에서 복사되지 않는 매개 변수 수정
- [SPARK-32672] [SQL] 부울 비트 집합 압축에서 데이터 손상 수정
- [SPARK-32663] [CORE] 풀링된 TransportClients의 개별 닫기 방지(풀을 통해 닫혀야 함)
- [SPARK-32621] [SQL] path’ 옵션이 CSV/JSON 데이터 원본에서 스키마를 유추하는 동안 이슈를 일으킬 수 있음
- [SPARK-28863] [SQL] 물리적 계획을 다시 사용하지 말 것
- [SPARK-32608] [SQL] 스크립트 변환 ROW FORMAT DELIMIT 값은 값의 형식을 지정해야 함
- [SPARK-28863] [SQL] V1FallbackWriters의 재분석 방지를 위해 AlreadyPlanned 도입
- [SPARK-32451] [R] Apache Arrow 1.0.0 지원
- [SPARK-32652] [SQL] RowEncoder에 대한 ObjectSerializerPruning 실패
- [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks는 모든 종류의 리소스를 고려해야 함
- [SPARK-32559] [SQL] UTF8String.toInt/toLong에서 ASCII가 아닌 문자를 올바르게 처리하지 못하는 트리밍 논리 수정
- [SPARK-32625] [SQL] 인터프리터 모드로 되돌아가는 경우 로그 오류 메시지
- [SPARK-32543] [R] SparkR에서 arrow::as_tibble usage 제거
- [SPARK-31703] [SQL] 빅 엔디안 플랫폼에서 Parquet RLE float/double을 잘못 읽음
- [SPARK-32586] [SQL] ansi를 사용할 때 NumberFormatException 오류 메시지 수정
- [SPARK-32456] [SS] 구조적 스트리밍에 대한 집계로 가정하여 Distinct 확인
- [SPARK-32576] [SQL] PostgreSQL
bpchar형식 및 문자 형식 배열 지원 - [SPARK-32559] [SQL] UTF8String.toInt/toLong에서 ASCII가 아닌 문자를 올바르게 처리하지 못하는 트리밍 논리 수정
- [SPARK-32560] [SQL] InsertIntoHiveTable.processInsert에서 예외 메시지 개선
- [SPARK-32546] [SQL] Hive 테이블에서 직접 테이블 이름 가져오기
- [SPARK-32529] [CORE] 애플리케이션 상태 변경으로 인해 중단된 기록 서버 로그 검사 수정
- [SPARK-32003] [CORE] 외부 순서 섞기 서비스를 사용하는 경우 실행기가 손실된 후 페치 실패 시 실행기 출력 등록 취소
- [SPARK-32160] [CORE][PYSPARK] 실행기에서 SparkContext 허용/허용하지 않음을 전환하도록 구성 이름 변경
- [SPARK-32160] [CORE][PYSPARK] 실행기에서 SparkContext를 만들기 위해 허용/허용하지 않음을 전환하는 구성 추가
- [SPARK-32083] [SQL] AQE는 SinglePartition에 대한 파티션을 병합하지 않아야 함
- [SPARK-32509] [SQL] 정규화에서 사용되지 않는 DPP True 필터 무시
- [SPARK-32332] [SQL] 열 형식 교환 지원
- [SPARK-32227] Spark 3.0.0을 사용하여 load-spark-env.cmd에서 회귀 버그 수정
- [SPARK-32478] [R][SQL] Arrow 벡터화와 간격으로 스키마 불일치를 표시하는 오류 메시지
- [SPARK-32030] [SQL] SQL 파서의 MERGE INTO에서 무제한 MATCHED 및 NOT MATCHED 절 지원
- [SPARK-32175] [CORE] ExecutorPlugin의 초기화와 하트비트 스레드 시작 사이의 순서 수정
- [SPARK-32283] [CORE] Kryo는 여러 사용자 등록자를 지원해야 함
- [SPARK-32424] [SQL] f 오버플로가 발생하는 경우 타임스탬프 구문 분석의 자동 데이터 변경 수정
- [SPARK-32430] [SQL] SparkSessionExtensions를 확장하여 AQE 쿼리 단계 준비에 규칙 삽입
- [SPARK-32310] [ML][PYSPARK] ML 매개 변수 기본값 패리티
- [SPARK-32237] [SQL] CTE에서 힌트 해결
- [SPARK-32280] [SPARK-32372] [SQL] ResolveReferences.dedupRight는 충돌 계획의 상위 노드에 대한 특성만 다시 작성해야 합니다.
- [SPARK-32364] [SQL] originalMap 및 문서를 반환하는 toMap 추가
- [SPARK-32364] [SQL] DataFrameReader/Writer 옵션에 CaseInsensitiveMap 사용
- [SPARK-32377] [SQL] CaseInsensitiveMap은 추가를 위해 결정적이어야 함
- [SPARK-32365] [SQL] regexp_extract의 음수 인덱스 경계 조건 추가
- [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup 및 basePath는 대/소문자를 구분하지 않아야 함
- [SPARK-32344] [SQL] 고유 집계에서 평가할 수 없는 expr이 FIRST/LAST ignoreNullsExpr로 설정됨
- [SPARK-32234] [SQL] orc 테이블을 선택할 때 Spark sql 명령이 실패
유지 관리 업데이트
Databricks Runtime 7.3 LTS 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
- Scala: 2.12.10
- Python: 3.7.5
- R: R 버전 3.6.3(2020-02-29)
- Delta Lake 0.7.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | 암호화 | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | decorator | 4.4.1 | docutils | 0.15.2 |
| entrypoints | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.14.1 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koalas | 1.2.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.5.2 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlets | 4.3.3 |
| unattended-upgrades | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wheel | 0.34.2 |
설치된 R 라이브러리
R 라이브러리는 2020-07-14년 Microsoft CRAN 스냅샷에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| boot | 1.3-25 | brew | 1.0-6 | broom | 0.7.0 |
| callr | 3.4.3 | 캐럿 | 6.0-86 | cellranger | 1.1.0 |
| chron | 2.3-55 | class | 7.3-17 | cli | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| colorspace | 1.4-1 | commonmark | 1.7 | compiler | 3.6.3 |
| config | 0.3 | covr | 3.5.0 | crayon | 1.3.4 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| datasets | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| desc | 1.2.0 | devtools | 2.3.0 | digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | 줄임표 | 0.3.1 |
| evaluate | 0.14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| foreign | 0.8-76 | forge | 0.2.0 | fs | 1.4.2 |
| 제네릭(generics) | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globals | 0.12.5 |
| glue | 1.4.1 | gower | 0.2.2 | graphics | 3.6.3 |
| grDevices | 3.6.3 | grid | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | iterators | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | knitr | 1.29 |
| labeling | 0.3 | later | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | 주기 | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| MASS | 7.3-52 | 행렬 | 1.2-18 | memoise | 1.1.0 |
| 메서드 | 3.6.3 | mgcv | 1.8-32 | mime | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | pillar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | 진행률 | 1.2.2 | promises | 1.1.1 |
| proto | 1.0.0 | ps | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl | 1.3.1 |
| recipes | 0.1.13 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.1.1 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.5 | scales | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | shape | 1.4.4 | shiny | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| spatial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | 통계 | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | survival | 3.1-12 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.24 | tools | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.8.3 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | arrow-memory | 0.15.1 |
| org.apache.arrow | arrow-vector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 속도 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |