Databricks Runtime 7.4(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2020년 11월에 이 버전을 릴리스했습니다.
다음 릴리스 정보는 Apache Spark 3.0에서 제공하는 Databricks Runtime 7.4에 대한 정보를 제공합니다.
새로운 기능
이 구역의 내용:
- Delta Lake 기능 및 향상된 기능
- 자동 로더에서 이제 파일 알림 리소스 설정을 관리자에게 위임하도록 지원함
- 새
USAGE권한을 통해 관리자가 데이터 액세스 권한을 더 효율적으로 제어할 수 있음 - 이제 DBFS FUSE가 통과 사용 클러스터에 사용하도록 설정됨
Delta Lake 기능 및 향상된 기능
이 릴리스에서 제공하는 Delta Lake 기능 및 향상된 기능은 다음과 같습니다.
- 새 API를 사용하면 Delta Lake에서 테이블에 추가된 데이터가 제약 조건을 충족하는지 확인할 수 있음
- 새 API를 사용하면 델타 테이블을 이전 버전의 테이블로 롤백할 수 있음
- 새 시작 버전을 사용하면 Delta Lake 스트리밍 원본의 최신 변경 내용만 반환할 수 있음
OPTIMIZE의 안정성 향상
새 API를 사용하면 Delta Lake에서 테이블에 추가된 데이터가 제약 조건을 충족하는지 확인할 수 있음
Delta Lake는 이제 CHECK 제약 조건을 지원합니다. 제공되면 Delta Lake에서 테이블에 추가된 데이터가 지정된 식을 충족하는지 자동으로 확인합니다.
CHECK 제약 조건을 추가하려면 ALTER TABLE ADD CONSTRAINTS 명령을 사용합니다. 자세한 내용은 Azure Databricks의 제약 조건를 참조하세요.
새 API를 사용하면 델타 테이블을 이전 버전의 테이블로 롤백할 수 있음
이제 RESTORE 명령을 사용하여 델타 테이블을 이전 버전으로 롤백할 수 있습니다.
SQL
RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';
Python
from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')
Scala
import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")
RESTORE는 복원하려는 버전 이후 테이블에 적용된 모든 변경 내용을 롤백하는 새 커밋을 만듭니다. 스키마, 제약 조건, 스트리밍 트랜잭션 ID, COPY INTO 메타데이터 및 테이블 프로토콜 버전을 포함하는 모든 기존 데이터 및 메타데이터가 복원됩니다. 자세한 내용은 델타 테이블 복원을 참조하세요.
새 시작 버전을 사용하면 Delta Lake 스트리밍 원본의 최신 변경 내용만 반환할 수 있음
최신 변경 내용만 반환하려면 startingVersion을 latest로 지정합니다. 자세한 내용은 초기 위치 지정을 참조하세요.
OPTIMIZE의 안정성 향상
OPTIMIZE(파티션 조건자 없음)는 수천만 개의 작은 파일이 있는 테이블에서 실행되도록 크기를 조정할 수 있습니다. 이전에는 Apache Spark 드라이버의 메모리가 부족하여 OPTIMIZE가 완료되지 않았습니다.OPTIMIZE는 이제 수천만 개의 파일이 있는 매우 큰 테이블을 처리합니다.
자동 로더에서 이제 파일 알림 리소스 설정을 관리자에게 위임하도록 지원함
새 Scala API를 사용하면 관리자가 자동 로더에 대한 파일 알림 리소스를 설정할 수 있습니다. 데이터 엔지니어는 이제 초기 리소스 설정을 관리자에게 위임하여 더 적은 권한으로 자동 로더 스트림을 운영할 수 있습니다. 파일 알림 리소스 수동 구성 또는 관리를 참조하세요.
새 USAGE 권한을 통해 관리자가 데이터 액세스 권한을 더 효율적으로 제어할 수 있음
데이터베이스의 개체에 대한 작업을 수행하려면 이제 작업을 수행하는 데 필요한 권한 외에도 해당 데이터베이스에 대한 USAGE 권한을 부여받아야 합니다. 데이터베이스 또는 카탈로그에 대해 USAGE 권한이 부여됩니다. USAGE 권한을 도입하면 테이블 소유자가 더 이상 일방적으로 다른 사용자와 공유하도록 결정할 수 없습니다. 또한 사용자는 테이블을 포함하는 데이터베이스에 대한 USAGE 권한도 있어야 합니다.
테이블 액세스 제어가 사용하도록 설정된 작업 영역에서 users 그룹은 자동으로 루트 CATALOG에 대한 USAGE 권한을 갖습니다.
자세한 내용은 USAGE 권한을 참조하세요.
이제 DBFS FUSE가 통과 사용 클러스터에 사용하도록 설정됨
이제 자격 증명 통과에 사용하도록 설정된 높은 동시성 클러스터를 사용하는 경우 /dbfs/에서 FUSE 탑재를 사용하여 DBFS에서 읽고 쓸 수 있습니다. 일반 탑재가 지원됩니다. 통과 자격 증명이 필요한 탑재는 지원되지 않습니다.
향상된 기능
Spark SQL에서 IFF 및 CHARINDEX를 IF 및 POSITION의 동의어로 지원함
Databricks Runtime에서 IF()는 CASE WHEN <cond> THEN <expr1> ELSE <expr2> END의 동의어입니다.
Databricks Runtime은 이제 IFF()를 IF()의 동의어로 지원합니다.
SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)
CHARINDEX는 POSITION 함수에 대한 대체 이름입니다. CHARINDEX는 선택적 시작 인덱스가 있는 다른 문자열 내에서 문자열이 처음 나타나는 위치를 찾습니다.
VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12
기본적으로 Python Notebook에 사용하도록 설정된 셀당 여러 출력
Databricks Runtime 7.1에서는 Python Notebook의 셀당 여러 출력(및 비 Python Notebook 내의 %python 셀)에 대한 지원이 도입되었지만 Notebook에 대한 기능을 사용하도록 설정해야 했습니다. 이 기능은 Databricks Runtime 7.4에서 기본적으로 사용하도록 설정됩니다. 셀당 여러 출력 보기를 참조하세요.
향상된 Python Notebook의 자동 완성 기능
Python 자동 완성은 Jedi 라이브러리를 사용하여 코드의 정적 분석에서 생성된 추가 형식 정보를 보여 줍니다. Tab 키를 눌러 옵션 목록을 볼 수 있습니다.
Spark DataFrame 미리 보기에서 향상된 Spark ML 벡터의 display
display 형식은 이제 벡터 형식(희소 또는 밀집), 길이, 인덱스(희소 벡터의 경우) 및 값에 대한 레이블을 표시합니다.
기타 수정
- Notebook에서
collections.namedtuple과 관련된 피클링 문제가 해결되었습니다. - 대화형으로 정의된 클래스 및 메서드와 관련된 피클링 문제가 해결되었습니다.
- 테이블 액세스 제어에 사용하도록 설정된 통과 또는 클러스터에서
mlflow.start_run()에 대한 호출이 실패하는 버그가 수정되었습니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- jedi: 0.14.1에서 0.17.2로
- koalas: 1.2.0에서 1.3.0으로
- parso: 0.5.2에서 0.7.0으로
- 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
Apache Spark
Databricks Runtime 7.4에는 Apache Spark 3.0.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 7.3 LTS(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-33170] [SQL] FileFormatWriter에서 빠른 실패 동작을 제어하는 SQL 구성 추가
- [SPARK-33136] [SQL] V2WriteCommand.outputResolved에서 실수로 교환된 매개 변수 수정
- [SPARK-33134] [SQL] 루트 JSON 개체에 대한 부분 결과만 반환
- [SPARK-33038] [SQL] AQE 초기 및 현재 계획 결합...
- [SPARK-33118] [SQL] 위치로 인해 CREATE TEMPORARY TABLE이 실패함
- [SPARK-33101] [ML] LibSVM 형식을 사용하여 Hadoop 구성을 DS 옵션에서 기본 HDFS 파일 시스템으로 전파
- [SPARK-33035] [SQL] QueryPlan#transformUpWithNewOutput에서 사용되지 않는 특성 매핑 항목 업데이트
- [SPARK-33091] [SQL] OrcUtils.readCatalystSchema의 호출자에서 잠재적인 부작용을 방지하기 위해 foreach 대신 map을 사용하지 않음
- [SPARK-33073] [PYTHON] Arrow 변환 실패 시 Pandas의 오류 처리 개선
- [SPARK-33043] [ML] RowMatrix 추론 계산에서 spark.driver.maxResultSize=0 처리
- [SPARK-29358] [SQL] 선택적으로 unionByName을 사용하여 누락된 열을 null로 채움
- [SPARK-32996] [WEB-UI] ExecutorMetricsJsonSerializer에서 빈 ExecutorMetrics 처리
- [SPARK-32585] [SQL] ScalaReflection에서 스칼라 열거형 지원
- [SPARK-33019] [CORE] 기본적으로 spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 사용
- [SPARK-33018] [SQL] 자식에 0바이트가 있는 경우 예측 통계 문제 해결
- [SPARK-32901] [CORE] UnsafeExternalSorter를 유출하는 동안 메모리를 할당하지 않음
- [SPARK-33015] [SQL] ComputeCurrentTime 규칙에서 millisToDays() 사용
- [SPARK-33015] [SQL] 현재 날짜를 한 번만 계산
- [SPARK-32999] [SQL] Utils.getSimpleName을 사용하여 TreeNode에서 Malformed 클래스 이름을 적중하지 않도록 방지
- [SPARK-32659] [SQL] InSubqueryExec에서 Set 대신 Array를 브로드캐스트
- [SPARK-32718] [SQL] 간격 단위에 대해 불필요한 키워드 제거
- [SPARK-32886] [WEBUI] 이벤트 타임라인 보기에서 '정의되지 않은' 링크 수정
- [SPARK-32898] [CORE] 실제 시작 전에 작업이 종료될 때 잘못된 executorRunTime 수정
- [SPARK-32635] [SQL] 촉매 모듈에 새 테스트 사례 추가
- [SPARK-32930] [CORE] 사용되지 않는 isFile/isDirectory 메서드 바꾸기
- [SPARK-32906] [SQL] 부동 소수점 수를 정규화한 후 구조체 필드 이름을 변경하지 않아야 함
- [SPARK-24994] [SQL] 정수 리터럴을 간소화하는 UnwrapCastInBinaryComparison 최적화 프로그램 추가
- [SPARK-32635] [SQL] 접을 수 있는 전파 수정
- [SPARK-32738] [CORE]
Inbox.process에서 심각한 오류가 발생하는 경우 활성 스레드 수를 줄여야 함 - [SPARK-32900] [CORE] Null이 있는 경우 UnsafeExternalSorter가 유출되도록 허용
- [SPARK-32897] [PYTHON] SparkSession.builder.getOrCreate에서 사용 중단 경고를 표시하지 않음
- [SPARK-32715] [CORE] 브로드캐스트 부분을 저장하지 못한 경우 메모리 누수 수정
- [SPARK-32715] [CORE] 브로드캐스트 부분을 저장하지 못한 경우 메모리 누수 수정
- [SPARK-32872] [CORE] MAX_CAPACITY의 BytesToBytesMap에서 증가 임계값을 초과하지 않도록 방지
- [SPARK-32876] [SQL] HiveExternalCatalogVersionsSuite에서 기본 대체 버전을 3.0.1 및 2.4.7로 변경
- [SPARK-32840] [SQL] 잘못된 간격 값이 단위에 접착할 수 있음
- [SPARK-32819] [SQL] ignoreNullability 매개 변수는 재귀적으로 유효해야 함
- [SPARK-32832] [SS] DataStreamReader/Writer 옵션에 CaseInsensitiveMap 사용
- [SPARK-32794] [SS] 일부 상태 저장 쿼리 + 데이터 없음 일괄 처리 + V1 원본이 있는 마이크로 일괄 처리 엔진의 드문 특이 사례 오류가 해결됨
- [SPARK-32813] [SQL] 활성 SparkSession이 없는 경우 ParquetSource 벡터화된 판독기의 기본 구성 가져오기
- [SPARK-32823] [WEB UI] 마스터 UI 리소스 보고 수정
- [SPARK-32824] [CORE] 사용자가 리소스 구성에서 .amount를 잊어버린 경우의 오류 메시지 개선
- [SPARK-32614] [SQL] CSV에 대한 '주석'이 설정되지 않은 경우 주석 처리를 적용하지 않음
- [SPARK-32638] [SQL] WidenSetOperationTypes에서 별칭을 추가할 때 참조 수정
- [SPARK-32810] [SQL] CSV/JSON 데이터 원본에서 스키마를 유추할 때 와일드카드 경로를 사용하지 않도록 방지해야 함
- [SPARK-32815] [ML] glob 메타 문자가 있는 파일 경로에서 LibSVM 데이터 원본 로드 오류 수정
- [SPARK-32753] [SQL] 태그가 없는 노드에만 태그 복사
- [SPARK-32785] [SQL] 현수 파트가 있는 간격은 Null이 아니어야 함
- [SPARK-32764] [SQL] -0.0은 0.0과 같아야 함
- [SPARK-32810] [SQL] CSV/JSON 데이터 원본에서 스키마를 유추할 때 와일드카드 경로를 사용하지 않도록 방지해야 함
- [SPARK-32779] [SQL] withClient 흐름에서 SessionCatalog의 동기화된 API를 사용하지 않음. 이 경우 DeadLock이 발생함
- [SPARK-32791] [SQL] 분할되지 않은 테이블 메트릭에는 동적 파티션 정리 시간이 없어야 함
- [SPARK-32767] [SQL] spark.sql.shuffle.partitions가 버킷 번호보다 큰 경우 버킷 조인이 작동해야 함
- [SPARK-32788] [SQL] 분할되지 않은 테이블 검색에는 파티션 필터가 없어야 함
- [SPARK-32776] [SS] 스트리밍 제한은 PropagateEmptyRelation에서 최적화되지 않아야 함
- [SPARK-32624] [SQL] 중첩된 Scala 형식의 CodegenContext.addReferenceObj에서 회귀 수정
- [SPARK-32659] [SQL] 비원자성 형식에서 DPP 정리 테스트 개선
- [SPARK-31511] [SQL] BytesToBytesMap 반복기를 스레드로부터 안전하게 만듦
- [SPARK-32693] [SQL] Nullable 속성을 제외하고 스키마가 동일한 두 데이터 프레임 비교
- [SPARK-28612] [SQL] DataFrameWriterV2.replace()의 메서드 문서 수정
유지 관리 업데이트
Databricks Runtime 7.4 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 18.04.5 LTS
- Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
- Scala: 2.12.10
- Python: 3.7.5
- R: R 버전 3.6.3(2020-02-29)
- Delta Lake 0.7.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | 암호화 | 2.8 | cycler | 0.10.0 |
| Cython | 0.29.15 | decorator | 4.4.1 | docutils | 0.15.2 |
| entrypoints | 0.3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | koalas | 1.3.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | requests | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | 6 | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traitlets | 4.3.3 |
| unattended-upgrades | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | wheel | 0.34.2 |
설치된 R 라이브러리
R 라이브러리는 XXXX-XX-XX의 Microsoft CRAN 스냅샷에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.1.8 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 1.1-15.2 | bit64 | 0.9-7 | blob | 1.2.1 |
| boot | 1.3-25 | brew | 1.0-6 | broom | 0.7.0 |
| callr | 3.4.3 | 캐럿 | 6.0-86 | cellranger | 1.1.0 |
| chron | 2.3-55 | class | 7.3-17 | cli | 2.0.2 |
| clipr | 0.7.0 | cluster | 2.1.0 | codetools | 0.2-16 |
| colorspace | 1.4-1 | commonmark | 1.7 | compiler | 3.6.3 |
| config | 0.3 | covr | 3.5.0 | crayon | 1.3.4 |
| crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.12.8 |
| datasets | 3.6.3 | DBI | 1.1.0 | dbplyr | 1.4.4 |
| desc | 1.2.0 | devtools | 2.3.0 | digest | 0.6.25 |
| dplyr | 0.8.5 | DT | 0.14 | 줄임표 | 0.3.1 |
| evaluate | 0.14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.0 |
| foreign | 0.8-76 | forge | 0.2.0 | fs | 1.4.2 |
| 제네릭(generics) | 0.0.2 | ggplot2 | 3.3.2 | gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globals | 0.12.5 |
| glue | 1.4.1 | gower | 0.2.2 | graphics | 3.6.3 |
| grDevices | 3.6.3 | grid | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
| highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.1 | httpuv | 1.5.4 | httr | 1.4.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | iterators | 1.0.12 |
| jsonlite | 1.7.0 | KernSmooth | 2.23-17 | knitr | 1.29 |
| labeling | 0.3 | later | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.7 | lazyeval | 0.2.2 | 주기 | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | markdown | 1.1 |
| MASS | 7.3-53 | 행렬 | 1.2-18 | memoise | 1.1.0 |
| 메서드 | 3.6.3 | mgcv | 1.8-33 | mime | 0.9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-149 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.2 | parallel | 3.6.3 | pillar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.16.2 | processx | 3.4.3 |
| prodlim | 2019.11.13 | 진행률 | 1.2.2 | promises | 1.1.1 |
| proto | 1.0.0 | ps | 1.3.3 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.4.1 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.3.1 | readxl | 1.3.1 |
| recipes | 0.1.13 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.1.1 | reprex | 0.3.0 | reshape2 | 1.4.4 |
| rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.7 |
| rmarkdown | 2.3 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.0 | rstudioapi | 0.11 | rversions | 2.0.2 |
| rvest | 0.3.5 | scales | 1.1.1 | selectr | 0.4-2 |
| sessioninfo | 1.1.1 | shape | 1.4.4 | shiny | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.3.1 | SparkR | 3.0.0 |
| spatial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.3 | 통계 | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.4.6 | stringr | 1.4.0 | survival | 3.2-7 |
| sys | 3.3 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 2.3.2 | tibble | 3.0.3 | tidyr | 1.1.0 |
| tidyselect | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.24 | tools | 3.6.3 | usethis | 1.6.1 |
| utf8 | 1.1.4 | utils | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.1 | viridisLite | 0.3.0 | whisker | 0.4 |
| withr | 2.2.0 | xfun | 0.15 | xml2 | 1.3.2 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.15.1 |
| org.apache.arrow | arrow-memory | 0.15.1 |
| org.apache.arrow | arrow-vector | 0.15.1 |
| org.apache.avro | Avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-encoding | 1.10.1-databricks6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | 속도 | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | unused | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |