Databricks Runtime 4.3(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2018년 8월에 이 버전을 릴리스했습니다.
Important
이 릴리스는 2019년 4월 9일에 더 이상 사용되지 않습니다. Databricks 런타임 사용 중단 정책 및 일정에 대한 자세한 내용은 Databricks 지원 수명 주기를 참조 하세요.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 4.3에 대한 정보를 제공합니다.
새로운 기능
- Delta Lake
TRUNCATE TABLE명령: 테이블에서 모든 행을 삭제합니다. Spark 테이블과 달리 Delta 테이블은 특정 파티션 삭제를 지원하지 않습니다.ALTER TABLE REPLACE COLUMNS명령: Delta 테이블의 열을 교체합니다. 열의 주석 변경 및 여러 열 재정렬을 지원합니다.FSCK REPAIR TABLE명령: 기본 파일 시스템에서 더 이상 찾을 수 없는 Delta 테이블의 트랜잭션 로그에서 파일 항목이 제거되었습니다. 이러한 파일이 수동으로 삭제된 경우에 발생할 수 있습니다.- 대화형 쿼리 환경을 개선하기 위해 부실 Delta 테이블에 대한 쿼리 지원: 이제 최신 결과가 필요하지 않은 경우 Delta 테이블에 대한 쿼리를 테이블의 부실 버전에서 실행할 수 있습니다. 이 기능은 특히 기본 Delta 테이블이 스트림을 통해 지속적으로 업데이트되는 경우 쿼리 대기 시간을 줄입니다.
- 구조적 스트리밍
- Azure Synapse Analytics Connector에 대한 확장 가능한 스트리밍 쓰기를 지원합니다.
- Python에서
foreachBatch()를 지원합니다(Scala에서 이미 사용 가능). 자세한 내용은 foreach 및 foreachBatch 설명서를 참조하세요. - 쿼리에 여러 입력 스트림이 있는 경우 최소 또는 최대 워터마크 선택을 지원합니다. 이전에는 항상 최소 타임스탬프가 사용되었습니다. 자세한 내용은 다중 워터마크 정책을 참조하세요.
Append및Complete출력 모드의 스트림에 대한LIMIT연산자를 지원합니다. 드라이버의 OOM 오류를 최소화하기 위해 무제한 스트림에서display()를 사용할 때LIMIT가 자동으로 적용됩니다.
향상된 기능
Delta Lake
- 10000행 삽입 제한이 없는
MERGE INTO명령의 확장 가능한 새로운 구현의 프라이빗 미리 보기입니다. 이 기능을 사용해 보려면 지원팀에 문의합니다. - 특히 더 큰 클러스터에서
OPTIMIZE명령의 성능과 확장성이 향상되었습니다. - 이제 OPTIMIZE 명령이 테이블에 증분식으로 커밋됩니다. 즉, 명령이 실패할 경우 다시 시도에서 전체 데이터 집합을 처리할 필요가 없습니다.
- Delta Lake를 스트리밍 원본으로 사용할 때 새 데이터를 검색하는 데 필요한 파일 시스템 RPC 수를 줄였습니다.
- 스트림에서 Delta 테이블을 만들기 위해 Python에서
df.writeStream.table(table-name)에 대한 지원이 추가되었습니다.
- 10000행 삽입 제한이 없는
다중 조인, 집계 또는 창이 있는 쿼리의 성능이 개선되었습니다.
브로드캐스트 해시 조인을 사용하는 쿼리에서 파티션 수준 정리의 효율성이 개선되었습니다.
중복 식을 검색하고 생성된 코드의 양을 줄이고 특정 식 형식에 대한 성능을 개선하기 위해 전체 단계 코드 생성이 개선되었습니다.
높은 동시성 클러스터는 이제 Notebooks에서
%fs실행을 지원합니다.PySpark에서 사용하는 Py4J가 0.10.7로 업그레이드되었습니다.
Azure Ls 시리즈 인스턴스에서 디스크 캐싱의 성능이 개선되었습니다. 이제 이러한 인스턴스에서 캐시가 기본적으로 사용하도록 설정되어 Parquet 파일을 반복적으로 읽는 워크로드를 가속화합니다.
사용되지 않는 기능
- Databricks Delta 외부 데이터 건너뛰기는 더 이상 사용되지 않습니다. 향상된 버전의 데이터 건너뛰기는 Delta Lake의 일부로 계속 사용할 수 있습니다. 이 기능을 계속 활용하려면 Delta Lake 사용으로 전환하는 것이 좋습니다. 자세한 내용은 Databrick Delta 데이터 건너뛰기를 참조하세요.
버그 수정
ON 조건에 대상 테이블만 참조하는 술어가 있는 경우 Delta에 대한 잘못된 술어 푸시다운
MERGE INTO문이 수정되었습니다.상태가 제거되었을 때 시간 초과 설정을 방지하는
mapGroupsWithState및flatMapGroupsWithState버그가 수정되었습니다(SPARK-22187).Trigger.Once에서 워터마킹이 올바르게 작동하지 않는 버그가 수정되었습니다(SPARK-24699).업데이트 명령은 이제 SET 절의 열의 유효성을 검사하여 모든 열이 실제로 존재하고 열이 두 번 이상 설정되지 않았는지 유효성 검사합니다.
디렉터리 커밋에 대한 교착 상태를 유발할 수 있는 잠재적 경합 상태를 수정했습니다.
탑재를 새로 고칠 때 더 이상 사용되지 않는 버전의 DBFS 클라이언트가 사용되는 버그가 수정되었습니다.
알려진 문제
- 테이블에 대한 Delta Lake 구성 옵션은 테이블을 로드하는 첫 번째 Notebook에서만 적용됩니다.
Apache Spark
Databricks Runtime 4.3에는 Apache Spark 2.3.1이 포함되어 있습니다. 이 릴리스에는 Databricks Runtime 4.2(EoS)에 포함된 모든 수정 사항 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-24934][SQL] 메모리 내 파티션 정리를 위해 상한/하한에 지원되는 형식을 명시적으로 허용
- 복잡한 데이터 형식이 캐시된 데이터에 대한 쿼리 필터에 사용되면 Spark는 항상 빈 결과 집합을 반환합니다. 메모리 내 통계 기반 정리는 복잡한 형식의 상한/하한에 null이 설정되어 있기 때문에 잘못된 결과를 생성합니다. 복잡한 형식에 메모리 내 통계 기반 정리를 사용하지 않도록 수정되었습니다.
- [SPARK-24957][SQL] 10진수와 집계가 뒤따르는 평균은 잘못된 결과를 반환합니다.
- AVERAGE의 잘못된 결과가 반환될 수 있습니다. 나누기 결과가 캐스팅된 형식과 동일한 경우 Average 연산자에 추가된 CAST는 무시됩니다.
- [SPARK-24867][SQL] DataFrameWriter에 AnalysisBarrier 추가
- DataFrameWriter를 사용하여 UDF로 DataFrame을 작성할 때 SQL 캐시가 사용되지 않습니다. 이는 모든 Analyzer 규칙이 idempotent가 아니기 때문에 AnalysisBarrier에서 변경한 사항으로 인해 발생하는 회귀입니다.
- [SPARK-24790][SQL] 피벗에서 복잡한 집계 식 허용
- ceil(sum(col1)) 또는 sum(col1) + 1과 같은 복잡한 집계 식을 허용하도록 검사를 완화합니다. 이는 대략 pandas UDF를 제외하고 집계 계획에 나타날 수 있는 집계 식을 의미합니다.
- [SPARK-24870][SQL] SQL에 대/소문자가 있는 경우 캐시가 정상적으로 작동하지 않음
- 계획 정규화 문제가 수정되었습니다.
- [SPARK-24852] spark.ml 학습에서 업데이트된 Instrumentation API를 사용하도록 합니다.
- [SPARK-24891][SQL] HandleNullInputsForUDF 규칙 수정
- 계획을 두 번 이상 분석할 때 캐시 관리자에서 계획 불일치를 방지하려면 HandleNullInputsForUDF 규칙 idempotent를 만듭니다.
- [SPARK-24878][SQL] null을 포함하는 기본 형식의 배열 형식에 대한 역함수가 수정되었습니다.
- [SPARK-24871][SQL] 각 행에 대해 연결자 개체가 만들어지지 않도록 Concat 및 MapConcat을 리팩터링합니다.
- [SPARK-24802][SQL] 최적화 규칙 제외를 위한 새 구성 추가
- 일부 최적화 프로그램 규칙을 제외하도록 사용자에게 구성을 제공합니다.
- [SPARK-24879][SQL] Hive 파티션 정리 필터 푸시다운에서 NPE 수정
- 파티션 조건자가 col IN(1, null)과 같은 경우 NPE가 throw됩니다. 이 패치가 이를 수정합니다.
- [SPARK-23731][SQL] 직렬화 해제된 후 FileSourceScanExec을 정규화 가능으로 설정합니다.
- [SPARK-24755][CORE] 실행기 손실로 인해 태스크가 다시 제출되지 않을 수 있습니다.
- Spark가 실행기 손실로 실패한 작업을 다시 제출할 수 없는 버그가 수정되었습니다. 이 버그는 Spark 2.3에서 도입되었습니다.
- [SPARK-24677][CORE] MedianHeap에서 NoSuchElementException 방지
- 작업 기간 메트릭을 수집할 때 추측 작업 관련 버그가 수정되었습니다.
- [SPARK-24868][PYTHON] Python에서 시퀀스 함수가 추가되었습니다.
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK- 24734][SPARK-24840][SQL] 형식 강제 변환 및 null 허용 여부가 수정되었습니다.
- [SPARK-24699][SS] 업데이트된 워터마크를 커밋 로그에 저장하여 Trigger.Once에서 워터마크가 작동하도록 합니다.
- [SPARK-24537][R] array_remove/array_zip/map_from_arrays/array_distinct가 추가되었습니다.
- [SPARK-22187][SS] 삭제된 상태(4.x)의 시간 초과를 허용하도록 flatMapGroupsWithState에 저장된 상태에 대한 unsaferow 형식이 업데이트되었습니다.
- [SPARK-24681][SQL] Hive 메타스토어에서 중첩 열 이름 확인
- Hive 메타스토어에서 중첩 열 이름에 ',', ':' 및 ';'이 포함되지 않도록 합니다.
- [SPARK-23486]lookupFunctions에 대한 외부 카탈로그에서 함수 이름을 캐시합니다.
- 함수 조회 속도를 향상합니다.
- [SPARK-24781][SQL] 필터/정렬에서 데이터 세트의 참조를 사용하면 작동하지 않을 수 있습니다.
- [SPARK-24208][SQL] FlatMapGroupsInPandas에 대한 특성 중복 제거 수정
- 중복 특성으로 인해 FlatMapGroupsInPandas가 포함된 데이터 세트의 자체 조인 실패가 수정되었습니다.
- [SPARK-24530][PYTHON] 환경 변수 SPHINXPYTHON을 통해 Sphinx에서 Python 버전을 강제 실행하는 컨트롤이 추가되었습니다.
- [SPARK-24250]작업 내 SQLConf 액세스 지원
- SQL 실행이 트리거되면 모든 SQL 구성을 작업 속성에 저장합니다. 실행기 측에서는 작업 속성에서 SQLConf를 다시 빌드합니다.
- [SPARK-23936][SQL] map_concat가 구현되었습니다.
- [SPARK-23914][SQL] array_union 함수가 추가되었습니다.
- [SPARK-24732][SQL] MapType 간의 형식 강제 변환입니다.
- 키 형식과 값 형식이 모두 호환되는 MapType 간의 형식 강제 변환 지원이 추가되었습니다. 예를 들어 MapType(IntegerType, FloatType) 및 MapType(LongType, DoubleType) 형식은 MapType(LongType, DoubleType) 형식으로 강제 변환될 수 있습니다.
- [SPARK-24662][SQL][SS] 구조화된 스트리밍의 제한이 지원됩니다.
- [SPARK-24730][SS] 스트리밍 쿼리에 여러 워터마크가 있는 경우 최대를 전역 워터마크로 선택하는 정책이 추가되었습니다(branch-4.x).
- [SPARK-24596][SQL] 비 연계 캐시 무효화
- 임시 보기를 캐시 해제하거나 삭제할 때 기본 데이터가 변경되지 않으므로 보기에 종속된 모든 계획을 계단식으로 캐시 해제할 필요가 없습니다.
- [SPARK-23927][SQL] "sequence" 식이 추가되었습니다.
- [SPARK-24636][SQL] array_join 함수에 대한 배열 형식을 강제 변환합니다.
- [SPARK-22384][SQL] 특성이 Cast로 래핑될 때 파티션 정리 구체화
- 파티션 정리를 개선하여 안전한 형식 캐스트를 사용하여 파티션 조건자를 푸시다운할 수 있습니다(int에서 long으로, not long에서 int로).
- [SPARK-24385][SQL] EqualNullSafe에 대한 자체 조인 조건 모호성 해결
- 자체 조인 조건 모호성 해결을 위해 EqualNullSafe를 구현합니다.
- [SPARK-24696][SQL] ColumnPruning 규칙이 추가 Project를 제거하지 못함
- Optimizer에서 무한 루프 오류를 일으키는 ColumnPruning 규칙의 버그가 수정되었습니다.
- [SPARK-24603][SQL] 주석의 findTightestCommonType 참조가 수정되었습니다.
- [SPARK-24613][SQL] UDF를 사용한 캐시를 후속 종속 캐시와 일치시킬 수 없습니다.
- 계획이 다시 분석되는 것을 피하기 위해 CacheManager에서 실행 계획 컴파일을 위해 AnalysisBarrier로 논리적 계획을 래핑합니다. 이는 또한 Spark 2.3의 회귀입니다.
- [SPARK-24017][SQL] ExternalCatalog를 인터페이스로 리팩터링합니다.
- [SPARK-24324][PYTHON] pandas Grouped Map UDF는 이름별로 결과 열을 할당해야 합니다.
- 사용자가 문자열로 레이블을 할당한 경우 스키마 이름별로 결과 열을 할당하고 그렇지 않으면 위치를 사용합니다.
- [SPARK-23778][CORE] 공용 구조체가 빈 RDD를 가져오는 경우 불필요한 순서 섞기 방지
- 다른 모든 RDD가 동일한 분할을 가질 때 불필요한 추가 순서 섞기를 피하기 위해 union 메서드에서 들어오는 빈 RDD를 무시합니다.
- [SPARK-24552][CORE][SQL] 쓰기 시도 횟수 대신 고유 ID를 사용합니다.
- 단계를 다시 시도할 때 시도 횟수가 재사용되기 때문에 시도 횟수 대신 고유한 작업 시도 ID를 v2 데이터 원본에 전달합니다. 이는 데이터 원본 V1 및 V2 API에 영향을 주지만 DBR이 다른 커밋 프로토콜을 사용하기 때문에 파일 형식 API는 영향을 받지 않습니다.
- [SPARK-24588][SS] 스트리밍 조인에는 자식 항목의 HashClusteredPartitioning이 필요합니다.
- [SPARK-24589][CORE] 출력 커밋 코디네이터에서 작업을 올바르게 식별합니다.
- 하나의 작업만 출력을 커밋할 수 있도록 코디네이터가 추적하는 단계 상태에 더 많은 정보를 추가합니다. 이 수정 사항은 또한 SPARK-18113에 의해 도입된 쓸모없는 코드 변경 내용을 제거합니다.
- [SPARK-23933][SQL] map_from_arrays 함수가 추가되었습니다.
- [SPARK-24583][SQL] InsertIntoDataSourceCommand의 잘못된 스키마 형식
- NOT NULL 제약 조건이 있는 Delta 테이블을 만들 때 null 허용 여부를 삭제하고 위반을 확인하지 않고 NULL 값을 삽입할 수 있습니다.
- [SPARK-24542][SQL] UDF 시리즈 UDFXPathXXXX를 사용하면 사용자가 신중하게 만들어진 XML을 전달하여 임의의 파일에 액세스할 수 있습니다.
- 커뮤니티에서 보고된 보안 패치입니다. UDF 시리즈 UDFXPathXXXX를 통해 사용자는 신중하게 제작된 XML을 전달하여 임의의 파일에 액세스할 수 있습니다. 사용자가 외부 액세스 제어 라이브러리를 사용할 때 사용자는 이를 우회하고 파일 내용에 액세스할 수 있습니다.
- [SPARK-23934][SQL] map_from_entries 함수가 추가되었습니다.
- [SPARK-23912][SQL] array_distinct가 추가되었습니다.
- [SPARK-24574][SQL] array_contains, array_position, array_remove 및 element_at 함수는 열 형식을 처리합니다.
유지 관리 업데이트
Databricks Runtime 4.3 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
- R: R 버전 3.4.4(2018-03-15)
- GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
- Tesla 드라이버 375.66
- CUDA 9.0
- cuDNN 7.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 암호화 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | 미래 | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 10.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
| wsgiref | 0.1.2 |
설치된 R 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.4 | 차량 | 3.0-0 |
| carData | 3.0-1 | 캐럿 | 6.0-79 | cellranger | 1.1.0 |
| chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-70 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
| graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | 맵 | 3.3.0 | maptools | 0.9-2 |
| MASS | 7.3-50 | 행렬 | 1.2-14 | MatrixModels | 0.4-1 |
| memoise | 1.1.0 | 메서드 | 3.4.4 | mgcv | 1.8-24 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
| parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
| recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
| rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
| spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| SQUAREM | 2017.10-1 | statmod | 1.4.30 | 통계 | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
| utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stream | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 수집기 | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-jdbc | 3.6.3 |
| net.snowflake | spark-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | Avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-databricks2 |
| org.apache.parquet | parquet-common | 1.8.3-databricks2 |
| org.apache.parquet | parquet-encoding | 1.8.3-databricks2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
| org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |