Databricks Runtime 4.2(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2018년 7월에 이 버전을 릴리스했습니다.
Important
이 릴리스는 2019년 3월 5일에 더 이상 사용되지 않습니다. Databricks 런타임 사용 중단 정책 및 일정에 대한 자세한 내용은 Databricks 지원 수명 주기를 참조 하세요.
다음 릴리스 정보는 Apache Spark에서 제공하는 Databricks Runtime 4.2에 대한 정보를 제공합니다.
Delta Lake
Databricks Runtime 4.2는 향상된 주요 품질 및 기능을 Delta Lake에 추가합니다. Databricks는 모든 Delta Lake 고객이 새 런타임으로 업그레이드하도록 권장합니다. 이 릴리스는 프라이빗 미리 보기로 유지되지만 예정된 GA(일반 공급) 릴리스를 예상하는 후보 릴리스를 나타냅니다.
새로운 기능
- 스트림은 이제
df.writeStream.table(...)
을 사용하여 Hive 메타스토어에 등록된 델타 테이블에 직접 쓸 수 있습니다.
향상된 기능
모든 Delta Lake 명령 및 쿼리는 이제 경로를 식별자로 사용하여 테이블을 참조하도록 지원합니다.
delta.`<path-to-table>`
이전에는
OPTIMIZE
및VACUUM
에서 표준이 아닌 문자열 리터럴(즉,'<path-to-table>'
)을 사용해야 했습니다.DESCRIBE HISTORY
는 이제 커밋 ID를 포함하며, 기본적으로 최신 ID에서 오래된 ID로 정렬됩니다.
버그 수정
- 이제 조건자의 대/소문자가 테이블의 대/소문자와 다른 경우에도 파티션 조건자 기준의 필터링이 올바르게 작동합니다.
- 델타 테이블의 부울 열에 대해 같음 검사를 수행할 때 누락되는
AnalysisException
열이 수정되었습니다(즉,booleanValue = true
). CREATE TABLE
은 기존 테이블에 대한 포인터를 만들 때 더 이상 트랜잭션 로그를 수정하지 않습니다. 이렇게 하면 동시 스트림과의 불필요한 충돌을 방지하고 사용자가 데이터에 대한 읽기 액세스 권한만 있는 테이블에 대한 메타스토어 포인터를 만들 수 있습니다.- 많은 양의 데이터가 있는 스트림에서
display()
를 호출해도 더 이상 드라이버에서 OOM이 발생하지 않습니다. - 빈 결과를 반환하는 대신 기본 Delta Lake 경로가 삭제되면 이제
AnalysisException
이 throw됩니다. - 특정 프로토콜 버전(예:
appendOnly
)이 필요한 Delta Lake 구성은 적절한 버전의 테이블에만 적용할 수 있습니다. - 델타 테이블의 상태를 업데이트할 때 긴 계보는 이제
StackOverFlowError
를 방지하기 위해 자동으로 잘립니다.
구조적 스트리밍
새로운 기능
Delta Lake 및 Kafka는 이제 Trigger.Once를 완전히 지원합니다. 이전에는 원본 옵션 또는 기본값으로 지정된 속도 제한(예:
maxOffsetsPerTrigger
또는maxFilesPerTrigger
)으로 인해 사용 가능한 데이터가 부분적으로만 실행될 수 있었습니다. 이제Trigger.Once
가 사용되면 이러한 옵션이 무시되므로 현재 사용 가능한 모든 데이터를 처리할 수 있습니다.새
foreachBatch()
스트리밍이 Scala에 추가되었습니다. 이 경우 DataFrame 작업을 사용하여 모든 마이크로 일괄 처리의 출력을 처리하는 함수를 정의할 수 있습니다. 이를 통해 다음을 수행할 수 있습니다.- 기존 일괄 처리 데이터 원본을 사용하여 마이크로 일괄 처리 출력을 아직 스트리밍 데이터 원본이 없는 시스템에 작성합니다(예: 모든 마이크로 일괄 처리 출력에서 Cassandra 일괄 처리 기록기 사용).
- 마이크로 일괄 처리 출력을 여러 위치에 작성합니다.
- DataFrame 및 테이블 작업을 DataFrame 스트리밍에서 아직 지원되지 않는 마이크로 일괄 처리 출력에 적용합니다(예: 마이크로 일괄 처리 출력을 델타 테이블에 upsert).
from_json/to_json
과 비슷하게 파일 대신 DataFrame 내에서 Avro 데이터를 읽고 쓰는from_avro/to_avro
함수가 추가되었습니다. 자세한 내용은 어디서나 Avro 읽기 및 쓰기를 참조하세요.Python에서
foreach()
스트리밍에 대한 지원이 추가되었습니다(이미 Scala에서 사용 가능). 자세한 내용은 foreach 및 foreachBatch 설명서를 참조하세요.
향상된 기능
- 입력 스트림에 데이터가 없는 경우 상태 저장 작업(
mapGroupsWithState
, 스트림-스트림 조인, 스트리밍 집계, dropDuplicate 스트리밍)을 사용하여 출력 결과 및/또는 상태 정리를 더 빠르게 생성합니다.
버그 수정
- 이전에 명시적인 재분할이 있을 때 더 적은 결과를 보고한 스트림-스트림 조인(예:
df1.repartition("a", "b").join(df, "a")
)의 SPARK-24588 수정 버그가 수정되었습니다.
기타 변경 내용 및 향상된 기능
- 테이블 액세스 제어 사용 클러스터의 SQL 거부 명령에 대한 지원이 추가되었습니다. 이제 사용자는 이전에 부여할 수 있었던 것과 동일한 방식으로 특정 권한을 거부할 수 있습니다. 거부된 권한은 부여된 권한을 대체합니다. 특정 개체의 관리자와 소유자는 여전히 언제든지 작업을 수행할 수 있습니다.
- ABFS 드라이버를 사용하는 새 Azure Data Lake Storage Gen2 데이터 원본이 있습니다. Azure Data Lake Storage Gen2 및 Blob Storage에 연결 참조
- 설치된 일부 Python 라이브러리를 업그레이드했습니다.
- pip: 10.0.0b2에서 10.0.1로
- setuptools: 39.0.1에서 39.2.0으로
- tornado: 5.0.1에서 5.0.2로
- wheel: 0.31.0에서 0.31.1로
- 설치된 여러 R 라이브러리를 업그레이드했습니다. 설치된 R 라이브러리를 참조하세요.
- Parquet 지원이 향상되었습니다.
- Apache ORC가 1.4.1에서 1.4.3으로 업그레이드되었습니다.
Apache Spark
Databricks Runtime 4.2에는 Apache Spark 2.3.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 4.1(EoS)에 포함된 모든 수정 사항 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-24588][SS] 스트리밍 조인에 자식의 HashClusteredPartitioning이 필요함
- [SPARK-23931][SQL] function.scala
@scala.annotation.varargs
에서arrays_zip
을 만듦 - [SPARK-24633][SQL] arrays_zip에 분할이 필요한 경우 codegen 수정
- [SPARK-24578][CORE] 반환된 nio 버퍼의 하위 지역 크기 제한
- [SPARK-24613][SQL] UDF가 있는 캐시를 후속 종속 캐시와 일치시킬 수 없음
- [SPARK-24583][SQL] InsertIntoDataSourceCommand의 잘못된 스키마 형식입니다.
- [SPARK-24565][SS] 각 마이크로 일괄 처리의 출력 행을 DataFrame으로 표시하는 구조적 스트리밍에 대한 API 추가
- [SPARK-24396][SS][PYSPARK] ForeachWriter (Python용 구조적 스트리밍) 추가
- [SPARK-24216][SQL] Spark TypedAggregateExpression이 Scala에서 안전하지 않은 getSimpleName을 사용함
- [SPARK-24452][SQL][CORE] 여러 int 추가에서 가능한 오버플로 방지
- [SPARK-24187][R][SQL] SparkR에 array_join 함수 추가
- [SPARK-24525][SS] MemorySink의 행 수를 제한하는 옵션 제공
- [SPARK-24331][SPARKR][SQL] SparkR에 array_overlap, array_repeat, map_entries 추가
- [SPARK-23931][SQL] Spark SQL에 arrays_zip 함수 추가
- [SPARK-24186][R][SQL] R의 컬렉션 함수에 대한 역방향 및 연결 변경
- [SPARK-24198][SPARKR][SQL] SparkR에 slice 함수 추가
- [SPARK-23920][SQL] array_remove를 추가하여 배열에서 요소와 동일한 모든 요소 제거
- [SPARK-24197][SPARKR][SQL] SparkR에 array_sort 함수 추가
- [SPARK-24340][CORE] 독립 실행형 클러스터에서 실행기 종료 후 비순서 섞기 디스크 블록 관리자 파일 정리
- [SPARK-23935][SQL] map_entries 함수 추가
- [SPARK-24500][SQL] 트리 변환 중에 스트림이 구체화되었는지 확인
- [SPARK-24495][SQL] 동일한 키를 다시 정렬할 때 EnsureRequirement에서 잘못된 계획을 반환
- [SPARK-24506][UI] 바인딩 후 추가된 탭에 UI 필터 추가
- [SPARK-24468][SQL] 소수 연산의 정밀도를 조정할 때 음의 배율 처리
- [SPARK-24313][SQL] 복합 형식에 대한 컬렉션 작업의 해석된 평가 수정
- [SPARK-23922][SQL] arrays_overlap 함수 추가
- [SPARK-24369][SQL] 동일한 인수 집합이 있는 여러 고유 집계에 대한 올바른 처리
- [SPARK-24455][CORE] TaskSchedulerImpl 주석의 오타 수정
- [SPARK-24397][PYSPARK] Python에 TaskContext.getLocalProperty(key) 추가
- [SPARK-24117][SQL] getSizePerRow 통합
- [SPARK-24156][SS] 데이터 없음 일괄 처리 실패의 오류 복구 수정
- [SPARK-24414][UI] 단계에 대한 올바른 작업 수 계산
- [SPARK-23754][PYTHON] 클라이언트 코드에서 StopIteration 다시 발생
- [SPARK-23991][DSTREAMS] allocateBlocksToBatch에서 WAL 쓰기 실패 시 데이터 손실 수정
- [SPARK-24373][SQL] RelationalGroupedDataset 및 KeyValueGroupedDataset의 자식에 AnalysisBarrier 추가
- [SPARK-24392][PYTHON] pandas_udf에 Experimental 레이블 지정
- [SPARK-24334] Arrow 메모리 할당자가 불완전하게 종료되는 ArrowPythonRunner의 경합 상태 수정
- [SPARK-19112][CORE] 구성에 누락된 shortCompressionCodecNames 추가
- [SPARK-24244][SPARK-24368][SQL] 필수 열만 CSV 파서에 전달
- [SPARK-24366][SQL] 형식 변환 오류 메시지 개선
- [SPARK-24371][SQL] Scala용 DataFrame API에 isInCollection 추가...
- [SPARK-23925][SQL] array_repeat 컬렉션 함수 추가
- [MINOR] toString 및 scaladoc에 포트 SSL 구성 추가
- [SPARK-24378][SQL] 잘못된 date_trunc 함수 예제 수정
- [SPARK-24364][SS] 파일 경로가 없는 경우 InMemoryFileIndex가 실패하지 않도록 방지
- [SPARK-24257][SQL] LongToUnsafeRowMap에서 계산한 새 크기가 잘못되었을 수 있음
- [SPARK-24348][SQL] element_at 오류 수정
- [SPARK-23930][SQL] slice 함수 추가
- [SPARK-23416][SS] ContinuousExecution에 대한 특정 중지 메서드 추가합니다.
- [SPARK-23852][SQL] Parquet 1.8.3으로 업그레이드
- [SPARK-24350][SQL] "array_position" 함수의 ClassCastException 수정
- [SPARK-24321][SQL] 나누기/나머지에서 기본 특성으로 일반 코드 추출
- [SPARK-24309][CORE] 인터럽트 시 AsyncEventQueue를 중지해야 함
- [SPARK-23850][SQL] SQL 옵션 수정에 대한 별도의 구성 추가
- [SPARK-22371][CORE] 누적기가 가비지 수집될 때 예외를 throw하는 대신 없음을 반환
- [SPARK-24002][SQL] org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes로 인해 작업을 직렬화할 수 없음
- [SPARK-23921][SQL] array_sort 함수 추가
- [SPARK-23923][SQL] cardinality 함수 추가
- [SPARK-24159][SS] mapGroupswithState 스트리밍에 데이터 없음 마이크로 일괄 처리 사용
- [SPARK-24158][SS] 스트리밍 조인에 데이터 없음 일괄 처리 사용
- [SPARK-24157][SS] 스트리밍 집계 및 중복 제거에 MicroBatchExecution의 데이터 없음 일괄 처리 사용
- [SPARK-23799][SQL] FilterEstimation.evaluateInSet에서 STRING에 대해 잘못된 통계 생성
- [SPARK-17916][SQL] nullValue가 설정된 경우 빈 문자열이 Null로 구문 분석되는 문제 해결
- [SPARK-23916][SQL] array_join 함수 추가
- [SPARK-23408][SS] Streaming*JoinSuite에서 연속 AddData 작업 동기화
- [SPARK-23780][R] 새 SparkR에서 googleVis 라이브러리를 사용하지 못함
- [SPARK-23821][SQL] 컬렉션 함수: 평면화
- [SPARK-23627][SQL] 데이터 세트에서 isEmpty 제공
- [SPARK-24027][SQL] from_json에서 키에 대한 StringType을 루트 형식으로 사용하여 MapType 지원
- [SPARK-24035][SQL] 피벗에 대한 SQL 구문 - antlr 경고 수정
- [SPARK-23736][SQL] 배열 열을 지원하도록 concat 함수 확장
- [SPARK-24246][SQL] 사용 가능한 경우 원인을 설정하여 AnalysisException 개선
- [SPARK-24263][R] openjdk를 사용하여 SparkR Java 확인 중단
- [SPARK-24262][PYTHON] UDF 형식 일치 오류 메시지의 오타 수정
- [SPARK-24067][STREAMING][KAFKA] 비연속 오프셋 허용
- [SPARK-10878][CORE] 여러 클라이언트에서 동시에 아티팩트를 확인할 때의 경합 상태 수정
- [SPARK-19181][CORE] 신뢰도가 낮은 "SparkListenerSuite.local 메트릭" 수정
- [SPARK-24068] 스키마 유추 시 DataFrameReader의 옵션을 텍스트 데이터 원본에 전파
- [SPARK-24214][SS] StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation에 대한 toJSON 수정
- [SPARK-23919][SPARK-23924][SPARK-24054][SQL] array_position/element_at 함수 추가
- [SPARK-23926][SQL] ArrayType 인수를 지원하도록 reverse 함수 확장
- [SPARK-23809][SQL] getOrCreate에서 활성 SparkSession을 설정해야 함
- [SPARK-23094][SPARK-23723][SPARK-23724][SQL] json 파일에 대한 사용자 지정 인코딩 지원
- [SPARK-24035][SQL] 피벗에 대한 SQL 구문
- [SPARK-24069][R] array_min/array_max 함수 추가
- [SPARK-23976][CORE] UTF8String.concat()/ByteArray.concat()에서 길이 오버플로 감지
- [SPARK-24188][CORE] "/version" API 엔드포인트 복원
- [SPARK-24128][SQL] 암시적 CROSS JOIN 오류에서 구성 옵션 언급
- [SPARK-23291][SQL][R] Scala API를 호출할 때 R의 substr에서 시작 위치를 1만큼 줄이지 않아야 함
- [SPARK-23697][CORE] LegacyAccumulatorWrapper에서 isZero를 올바르게 정의해야 함
- [SPARK-24168][SQL] WindowExec에서 실행기 쪽의 SQLConf에 액세스하지 않아야 함
- [SPARK-24143] mapstatus를 (blockId, size) 쌍으로 변환할 때 빈 블록 필터링
- [SPARK-23917][SPARK-23918][SQL] array_max/array_min 함수 추가
- [SPARK-23905][SQL] UDF 평일 추가
- [SPARK-16406][SQL] LogicalPlan.resolve의 성능 향상
- [SPARK-24013][SQL] ApproximatePercentile에서 불필요한 압축 제거
- [SPARK-23433][CORE] 좀비 작업 완료가 늦으면 모든 작업 세트를 업데이트함
- [SPARK-24169][SQL] JsonToStructs에서 실행기 쪽의 SQLConf에 액세스하지 않아야 함
- [SPARK-24133][SQL] 백포트 [SPARK-24133]WritableColumnVectors 크기를 조정할 때 정수 오버플로 확인
- [SPARK-24166][SQL] InMemoryTableScanExec는 실행기 쪽에서 SQLConf에 액세스하지 않아야 함
- [SPARK-24133][SQL] WritableColumnVectors 크기를 조정할 때 정수 오버플로 확인
- [SPARK-24085][SQL] 분할 식에 스칼라 하위 쿼리가 있는 경우 쿼리에서 UnsupportedOperationException을 반환
- [SPARK-24062][THRIFT SERVER] Thrift 서버에서 SASL 암호화를 사용하도록 설정할 수 없는 문제 해결
- [SPARK-23004][SS] 스트리밍 집계 작업에서 StateStore.commit이 한 번만 호출되는지 확인
- [SPARK-23188][SQL] 벡터화된 열 판독기 일괄 처리 크기를 구성할 수 있도록 설정
- [SPARK-23375][SPARK-23973][SQL] 최적화 프로그램에서 불필요한 정렬 제거
- [SPARK-23877][SQL] 필터 조건자를 사용하여 메타데이터 전용 쿼리에서 파티션 정리
- [SPARK-24033][SQL] specifiedwindowframe(RowFrame, -1, -1) 창 프레임의 불일치 수정
- [SPARK-23340][SQL] Apache ORC를 1.4.3으로 업그레이드
- 생성된 소스 코드를 조금 더 길게 만들고 문제가 있는 코드 경로(Expression.reduceCodeSize()에 의한 코드 분할)를 트리거했으므로 간소화된 식 코드 생성에서 트리거되고 SPARK-23986에서 공개될 가능성이 높은 누락된 Null 검사 문제 해결
- [SPARK-23989][SQL] 교환에서 직렬화되지 않은 순서 섞기 전에 데이터를 복사해야 함
- [SPARK-24021][CORE] BlacklistTracker의 updateBlacklistForFetchFailure 버그 수정
- [SPARK-24014][PYSPARK] StreamingListener에 onStreamingStarted 메서드 추가
- [SPARK-23963][SQL] 텍스트 기반 Hive 테이블에 대한 쿼리에서 많은 수의 열을 올바르게 처리
- [SPARK-23948] submitMissingTasks에서 mapstage의 작업 수신기 트리거
- [SPARK-23986][SQL] freshName에서 고유하지 않은 이름을 생성할 수 있음
- [SPARK-23835][SQL] 튜플의 인수 역직렬화에 Null이 아님 검사 추가
유지 관리 업데이트
Databricks Runtime 4.2 유지 관리 업데이트를 참조하세요.
시스템 환경
- 운영 체제: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: Python 2 클러스터의 경우 2.7.12, Python 3 클러스터의 경우 3.5.2.
- R: R 버전 3.4.4(2018-03-15)
- GPU 클러스터: 다음 NVIDIA GPU 라이브러리가 설치됩니다.
- Tesla 드라이버 375.66
- CUDA 9.0
- cuDNN 7.0
설치된 Python 라이브러리
라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
---|---|---|---|---|---|
ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
암호화 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
fusepy | 2.0.4 | 미래 | 3.2.0 | ggplot | 0.6.8 |
html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
pip | 10.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
tornado | 5.0.2 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.31.1 |
wsgiref | 0.1.2 |
설치된 R 라이브러리
라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
---|---|---|---|---|---|
abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
brew | 1.0-6 | broom | 0.4.4 | 차량 | 3.0-0 |
carData | 3.0-1 | 캐럿 | 6.0-79 | cellranger | 1.1.0 |
chron | 2.3-52 | class | 7.3-14 | cli | 1.0.0 |
cluster | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
commonmark | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
datasets | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
DEoptimR | 1.0-8 | desc | 1.1.1 | devtools | 1.13.5 |
dichromat | 2.0-0 | digest | 0.6.15 | dimRed | 0.1.0 |
doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
forcats | 0.3.0 | foreach | 1.4.4 | foreign | 0.8-70 |
gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
mapproj | 1.2.6 | 맵 | 3.3.0 | maptools | 0.9-2 |
MASS | 7.3-50 | 행렬 | 1.2-14 | MatrixModels | 0.4-1 |
memoise | 1.1.0 | 메서드 | 3.4.4 | mgcv | 1.8-24 |
mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
plyr | 1.8.4 | praise | 1.0.0 | prettyunits | 1.0.2 |
pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
psych | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
sp | 1.2-7 | SparkR | 2.3.1 | SparseM | 1.77 |
spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
SQUAREM | 2017.10-1 | statmod | 1.4.30 | 통계 | 3.4.4 |
stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
testthat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
tidyselect | 0.2.4 | timeDate | 3043.102 | tools | 3.4.4 |
utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.11 클러스터 버전)
그룹 ID | 아티팩트 ID | 버전 |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.7.3 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
com.amazonaws | aws-java-sdk-config | 1.11.313 |
com.amazonaws | aws-java-sdk-core | 1.11.313 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
com.amazonaws | aws-java-sdk-directory | 1.11.313 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
com.amazonaws | aws-java-sdk-efs | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
com.amazonaws | aws-java-sdk-emr | 1.11.313 |
com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
com.amazonaws | aws-java-sdk-iam | 1.11.313 |
com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
com.amazonaws | aws-java-sdk-kms | 1.11.313 |
com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
com.amazonaws | aws-java-sdk-logs | 1.11.313 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
com.amazonaws | aws-java-sdk-rds | 1.11.313 |
com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
com.amazonaws | aws-java-sdk-ses | 1.11.313 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
com.amazonaws | aws-java-sdk-sns | 1.11.313 |
com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
com.amazonaws | aws-java-sdk-sts | 1.11.313 |
com.amazonaws | aws-java-sdk-support | 1.11.313 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
com.amazonaws | jmespath-java | 1.11.313 |
com.carrotsearch | hppc | 0.7.2 |
com.chuusai | shapeless_2.11 | 2.3.2 |
com.clearspring.analytics | stream | 2.7.0 |
com.databricks | Rserve | 1.8-3 |
com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
com.databricks | dbml-local_2.11-tests | 0.4.1-db1-spark2.3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
com.esotericsoftware | kryo-shaded | 3.0.3 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.0.0 |
com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
com.fasterxml.jackson.core | jackson-core | 2.6.7 |
com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | 코어 | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.3.2-2 |
com.github.rwl | jtransforms | 2.4.0 |
com.google.code.findbugs | jsr305 | 2.0.1 |
com.google.code.gson | gson | 2.2.4 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | JavaEWAH | 0.3.2 |
com.h2database | h2 | 1.3.174 |
com.jamesmurty.utils | java-xmlbuilder | 1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.mchange | c3p0 | 0.9.5.1 |
com.mchange | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.11 | 0.3 |
com.twitter | chill-java | 0.8.4 |
com.twitter | chill_2.11 | 0.8.4 |
com.twitter | parquet-hadoop-bundle | 1.6.0 |
com.twitter | util-app_2.11 | 6.23.0 |
com.twitter | util-core_2.11 | 6.23.0 |
com.twitter | util-jvm_2.11 | 6.23.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
com.univocity | univocity-parsers | 2.5.9 |
com.vlkan | flatbuffers | 1.2.0-3f79e055 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.7.0 |
commons-beanutils | commons-beanutils-core | 1.8.0 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1.10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 2.2 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
io.airlift | aircompressor | 0.8 |
io.dropwizard.metrics | metrics-core | 3.1.5 |
io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
io.dropwizard.metrics | metrics-graphite | 3.1.5 |
io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
io.dropwizard.metrics | metrics-json | 3.1.5 |
io.dropwizard.metrics | metrics-jvm | 3.1.5 |
io.dropwizard.metrics | metrics-log4j | 3.1.5 |
io.dropwizard.metrics | metrics-servlets | 3.1.5 |
io.netty | netty | 3.9.9.Final |
io.netty | netty-all | 4.1.17.Final |
io.prometheus | simpleclient | 0.0.16 |
io.prometheus | simpleclient_common | 0.0.16 |
io.prometheus | simpleclient_dropwizard | 0.0.16 |
io.prometheus | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | 수집기 | 0.7 |
javax.activation | activation | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.validation | validation-api | 1.1.0.Final |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.11 |
joda-time | joda-time | 2.9.3 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.hydromatic | eigenbase-properties | 1.1.5 |
net.iharder | base64 | 2.3.8 |
net.java.dev.jets3t | jets3t | 0.9.4 |
net.razorvine | pyrolite | 4.13 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-jdbc | 3.6.3 |
net.snowflake | spark-snowflake_2.11 | 2.3.2 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt | oncrpc | 1.0.7 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.4 |
org.antlr | antlr4-runtime | 4.7 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | 최근 | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | arrow-format | 0.8.0 |
org.apache.arrow | arrow-memory | 0.8.0 |
org.apache.arrow | arrow-vector | 0.8.0 |
org.apache.avro | Avro | 1.7.7 |
org.apache.avro | avro-ipc | 1.7.7 |
org.apache.avro | avro-ipc-tests | 1.7.7 |
org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
org.apache.calcite | calcite-avatica | 1.2.0-incubating |
org.apache.calcite | calcite-core | 1.2.0-incubating |
org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
org.apache.commons | commons-compress | 1.4.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.5 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recipes | 2.7.1 |
org.apache.derby | derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-annotations | 2.7.3 |
org.apache.hadoop | hadoop-auth | 2.7.3 |
org.apache.hadoop | hadoop-client | 2.7.3 |
org.apache.hadoop | hadoop-common | 2.7.3 |
org.apache.hadoop | hadoop-hdfs | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.4 |
org.apache.httpcomponents | httpcore | 4.4.8 |
org.apache.ivy | ivy | 2.4.0 |
org.apache.orc | orc-core-nohive | 1.4.3 |
org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
org.apache.parquet | parquet-column | 1.8.3-databricks2 |
org.apache.parquet | parquet-common | 1.8.3-databricks2 |
org.apache.parquet | parquet-encoding | 1.8.3-databricks2 |
org.apache.parquet | parquet-format | 2.3.1 |
org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
org.apache.parquet | parquet-jackson | 1.8.3-databricks2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.9.3 |
org.apache.xbean | xbean-asm5-shaded | 4.4 |
org.apache.zookeeper | zookeeper | 3.4.6 |
org.bouncycastle | bcprov-jdk15on | 1.58 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.8 |
org.codehaus.janino | janino | 3.0.8 |
org.datanucleus | datanucleus-api-jdo | 3.2.6 |
org.datanucleus | datanucleus-core | 3.2.10 |
org.datanucleus | datanucleus-rdbms | 3.2.9 |
org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
org.glassfish.jersey.core | jersey-client | 2.22.2 |
org.glassfish.jersey.core | jersey-common | 2.22.2 |
org.glassfish.jersey.core | jersey-server | 2.22.2 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
org.hibernate | hibernate-validator | 5.1.1.Final |
org.iq80.snappy | snappy | 0.2 |
org.javassist | javassist | 3.18.1-GA |
org.jboss.logging | jboss-logging | 3.1.3.GA |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.11 | 3.2.11 |
org.json4s | json4s-core_2.11 | 3.2.11 |
org.json4s | json4s-jackson_2.11 | 3.2.11 |
org.lz4 | lz4-java | 1.4.0 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.mockito | mockito-all | 1.9.5 |
org.objenesis | objenesis | 2.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.5.11 |
org.rocksdb | rocksdbjni | 5.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.11 | 2.11.8 |
org.scala-lang | scala-library_2.11 | 2.11.8 |
org.scala-lang | scala-reflect_2.11 | 2.11.8 |
org.scala-lang | scalap_2.11 | 2.11.8 |
org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalanlp | breeze-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatest | scalatest_2.11 | 2.2.6 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | jul-to-slf4j | 1.7.16 |
org.slf4j | slf4j-api | 1.7.16 |
org.slf4j | slf4j-log4j12 | 1.7.16 |
org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
org.spark-project.hive | hive-cli | 1.2.1.spark2 |
org.spark-project.hive | hive-exec | 1.2.1.spark2 |
org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
org.spark-project.spark | unused | 1.0.0 |
org.spire-math | spire-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.tukaani | xz | 1.0 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | macro-compat_2.11 | 1.1.1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.2.6 |
org.yaml | snakeyaml | 1.16 |
oro | oro | 2.0.8 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0.52 |