다음을 통해 공유

Databricks Runtime 10.4 LTS

  • 아티클

다음 릴리스 정보는 Apache Spark 3.2.1에서 제공하는 Databricks Runtime 10.4 LTS 및 Databricks Runtime 10.4 LTS Photon에 대한 정보를 제공합니다. Photon은 현재 공개 미리 보기 상태입니다. Databricks는 2022년 3월에 이 버전을 릴리스했습니다.

참고 항목

LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

새로운 기능 및 향상 기능

Iceberg에서 Delta로의 테이블 변환기(퍼블릭 미리 보기)

이제 Delta로 변환하면 Iceberg 테이블을 Delta 테이블로 변환할 수 있습니다. Iceberg 네이티브 메타데이터 및 파일 매니페스트를 사용하여 이 작업을 수행합니다. Delta Lake로 변환을 참조하세요.

이제 자동 압축 롤백은 기본적으로 사용하도록 설정

이 릴리스는 동시 자동 압축 트랜잭션이 있을 때 커밋되는 Delta Lake 쓰기의 동작을 개선합니다. 이 릴리스 이전에는 테이블에 대한 동시 수정으로 인해 이러한 쓰기가 종료되는 경우가 많았습니다. 이제 동시 자동 압축 트랜잭션이 있더라도 쓰기에 성공합니다.

낮은 순서 섞기 병합은 기본적으로 사용하도록 설정

이제 MERGE INTO 명령은 항상 새로운 낮은 셔플 구현을 사용합니다. 이 동작은 대부분의 워크로드에서 MERGE INTO 명령의 성능을 크게 향상시킵니다. 이전에 이 기능을 사용하도록 설정하는 데 사용되었던 구성 설정이 제거되었습니다. Azure Databricks의 낮은 순서 섞기 병합을 참조하세요.

삽입 순서 태그는 이제 UPDATE 및 DELETE에 대해 유지

UPDATE 및 DELETE 명령은 이제 업데이트되거나 삭제된 파일에 대한 기존 클러스터링 정보(Z 순서 포함)를 유지합니다. 이 동작은 최상의 접근 방식이며 이 접근 방식은 파일이 너무 작아서 업데이트 또는 삭제 중에 이러한 파일이 결합되는 경우에는 적용되지 않습니다.

HikariCP는 이제 기본 Hive 메타스토어 연결 풀임

HikariCP는 이전 BoneCP 연결 풀 구현에 비해 더 적은 수의 연결을 유지하면서 Hive 메타스토어 액세스에 대한 많은 안정성 개선 사항을 제공합니다. HikariCP는 Databricks Hive 메타스토어를 사용하는 모든 Databricks Runtime 클러스터에서 기본적으로 사용하도록 설정됩니다(예: spark.sql.hive.metastore.jars이 설정되지 않은 경우). spark.databricks.hive.metastore.client.pool.type을 설정하여 BoneCP와 같은 다른 연결 풀 구현으로 명시적으로 전환할 수도 있습니다.

이제 Azure Synapse 커넥터를 사용하면 허용되는 최대 거부 행 수를 설정할 수 있음

Azure Synapse 커넥터는 이제 maxErrors DataFrame 옵션을 지원합니다. 이 업데이트를 통해 로드 작업이 취소되기 전에 읽기 및 쓰기 중에 허용되는 거부된 행의 최대 수를 구성할 수 있습니다. 거부된 모든 행은 무시됩니다. 예를 들어 레코드 10개 중 2개에 오류가 있는 경우 8개의 레코드만 처리됩니다.

이 옵션은 PolyBase의 CREATE EXTERNAL TABLE 문의 REJECT_VALUE 옵션과 Azure Synapse 커넥터의 COPY 명령에 대한 MAXERRORS 옵션에 직접 매핑됩니다.

기본적으로 maxErrors 값은 0으로 설정됩니다. 모든 레코드가 유효할 것으로 예상됩니다.

이제 비동기 상태 검사점이 일반 공급됨

대규모 상태 업데이트를 사용하여 상태 스트리밍 쿼리에서 비동기 상태 검사점을 사용하도록 설정할 수 있습니다. 이렇게 하면 엔드투엔드 마이크로 일괄 처리 대기 시간을 줄일 수 있습니다. 이 기능은 이제 일반 공급됩니다. 상태 저장 쿼리는 비동기 상태 검사점을 참조 하세요.

이제 SQL 사용자 정의 함수에 대해 매개 변수 기본값을 지정할 수 있음

SQL UDF(SQL 사용자 정의 함수)를 만들 때 이제 SQL UDF 매개 변수에 대한 기본 식을 지정할 수 있습니다. 그런 다음, 해당 매개 변수에 대한 인수를 제공하지 않고 SQL UDF를 호출할 수 있으며 Databricks는 해당 매개 변수의 기본값을 채웁니다. CREATE FUNCTION(SQL 및 Python)을 참조하세요.

새 Spark SQL 함수

이제 이 릴리스에서 다음 Spark SQL 함수를 사용할 수 있습니다.

  • try_multiply: multiplier에 multiplicand를 곱한 값이나, 오버플로에 대해 NULL을 반환합니다.
  • try_subtract: expr1에서 expr2를 뺀 값이나, 오버플로에 대해 NULL을 반환합니다.

높은 동시성 클러스터에 대한 새 작업 디렉터리

테이블 액세스 제어 또는 자격 증명 통과를 사용하도록 설정한 높은 동시성 클러스터에서 Notebook의 현재 작업 디렉터리는 이제 사용자의 홈 디렉터리입니다. 이전에는 작업 디렉터리가 /databricks/driver이었습니다.

이제 Delta tables에서의 ID 열 지원이 일반 공급됨

이제 Delta Lake는 ID 열을 지원합니다. ID 열을 정의하는 Delta 테이블에 쓰고 해당 열에 대한 값은 제공하지 않은 경우, 이제 Delta에서 통계적으로 증가하거나 감소하는 고유 값을 자동으로 할당합니다. CREATE TABLE [USING]을 참조하세요.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • filelock을 3.4.2에서 3.6.0로
  • 업그레이드된 R 라이브러리:
    • brew를 1.0-6에서 1.0-7로
    • broom을 0.7.11에서 0.7.12로
    • cli을 3.1.0에서 3.2.0으로
    • clipr을 0.7.1에서 0.8.0로
    • colorspace를 2.0-2에서 2.0-3으로
    • crayon을 1.4.2에서 1.5.0으로
    • dplyr을 1.0.7에서1.0.8로
    • dtplyr을 1.2.0에서 1.2.1로
    • evaluate를 0.14에서 0.15로
    • foreach를 1.5.1에서 1.5.2로
    • future를 1.23.0에서 1.24.0으로
    • generics를 0.1.1에서 0.1.2로
    • glue를 1.6.0에서 1.6.1로
    • gower를 0.2.2에서 1.0.0으로
    • iterators를 1.0.13에서 1.0.14로
    • jsonlite를 1.7.3에서 1.8.0으로
    • magrittr을 2.0.1에서 2.0.2로
    • mgcv를 1.8-38에서 1.8-39로
    • pillar를 1.6.4에서 1.7.0으로
    • randomForest를 4.6-14에서 4.7-1로
    • readr을 2.1.1에서 2.1.2로
    • recipes를 0.1.17에서 0.2.0으로
    • rlang을 0.4.12에서 1.0.1로
    • rpart를 4.1-15에서 4.1.16으로
    • RSQLite를 2.2.9에서 2.2.10으로
    • sparklyr을 1.7.4에서 1.7.5로
    • testthat을 3.1.1에서 3.1.2로
    • tidyr을 1.1.4에서 1.2.0으로
    • tidyselect를 1.1.1에서 1.1.2로
    • tinytex를 0.36에서 0.37로
    • yaml을 2.2.1에서 2.3.5로
  • 업그레이드된 Java 라이브러리:
    • io.delta.delta-sharing-spark_2.12 from 0.3.0 to 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS에는 Apache Spark 3.2.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 10.3(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-38322] [SQL] 지원 쿼리 단계는 형식화된 설명 모드에서 런타임 통계 표시
  • [SPARK-38162] [SQL] 일반 및 AQE Optimizer에서 하나의 행 계획 최적화
  • [SPARK-38229] [SQL] 구문 분석기에서 visitReplaceTable을 사용하여 temp/external/ifNotExists를 확인해서는 안 됨
  • [SPARK-34183] [SS] DataSource V2: 마이크로 일괄 처리 실행에 필요한 배포 및 순서 지정
  • [SPARK-37932] [SQL] DeduplicateRelations를 적용하기 전에 누락된 속성을 해결할 때까지 대기
  • [SPARK-37904] [SQL] Optimizer 규칙에서 RebalancePartitions 개선
  • [SPARK-38236] [SQL][3.2][3.1] 테이블 생성/변경에서 테이블 위치가 “new Path(locationUri).isAbsolute”로 절대적인지 확인
  • [SPARK-38035] [SQL] 기본 제공 JDBC 언어에 대한 도커 테스트 추가
  • [SPARK-38042] [SQL] ScalaReflection.dataTypeFor가 별칭이 지정된 배열 유형에서 작동하는지 확인
  • [SPARK-38273] [SQL] decodeUnsafeRows의 반복기가 기본 입력 스트림을 닫아야 함
  • [SPARK-38311] [SQL] ANSI 모드에서 DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite 수정
  • [SPARK-38305] [CORE] FileUtil 메서드를 호출하기 전에 unpack()에 소스가 있는지 명시적으로 확인
  • [SPARK-38275] [SS] RocksDB 상태 저장소의 총 메모리 사용량으로 writeBatch의 메모리 사용량을 포함
  • [SPARK-38132] [SQL] NotPropagation 규칙 제거
  • [SPARK-38286] [SQL] 공용 구조체의 maxRows 및 maxRowsPerPartition이 오버플로될 수 있음
  • [SPARK-38306] [SQL] ANSI 모드에서 ExplainSuite, StatisticsCollectionSuite, StringFunctionsSuite 수정
  • [SPARK-38281] [SQL][Tests] ANSI 모드에서 AnalysisSuite 수정
  • [SPARK-38307] [SQL][Tests] ANSI 모드에서 ExpressionTypeCheckingSuite 및 CollectionExpressionsSuite 수정
  • [SPARK-38300] [SQL] ByteStreams.toByteArray를 사용하여 catalyst.util에서 fileToString 및 resourceToBytes 단순화
  • [SPARK-38304] [SQL] Elt()는 ANSI 모드에서 인덱스가 Null인 경우 Null을 반환해야 함
  • [SPARK-38271] PoissonSampler는 MaxRows보다 더 많은 행을 출력할 수 있음
  • [SPARK-38297] [PYTHON] POS의 DataFrame.to_numpy에서 반환 값을 명시적으로 캐스팅
  • [SPARK-38295] [SQL][Tests] ANSI 모드에서 ArithmeticExpressionSuite 수정
  • [SPARK-38290] [SQL] ANSI 모드에서 JsonSuite 및 ParquetIOSuite 수정
  • [SPARK-38299] [SQL] 더 이상 사용되지 않는 StringBuilder.newBuilder 사용 정리
  • [SPARK-38060] [SQL] JSON 판독기에서 인용된 NaN 및 Infinity 값을 구문 분석할 때 allowNonNumericNumbers를 준수
  • [SPARK-38276] [SQL] ANSI 모드에서 승인된 TPCDS 계획 추가
  • [SPARK-38206] [SS] 스트림-스트림 조인에서 조인 키의 데이터 유형을 비교할 때 Null 허용 여부 무시
  • [SPARK-37290] [SQL] - 비결정 함수의 경우 지수 계획 시간
  • [SPARK-38232] [SQL] 형식화된 설명은 AQE의 쿼리 단계에서 하위 쿼리를 수집하지 않음
  • [SPARK-38283] [SQL] ANSI 모드에서 유효하지 않은 날짜/시간 구문 분석 테스트
  • [SPARK-38140] [SQL] 타임스탬프 유형에 대한 설명 열 통계(최소, 최대)가 표준 시간대 차이로 인해 값과 일치하지 않음
  • [SPARK-38227] [SQL][SS] 시간 창/세션 창에서 중첩된 열의 엄격한 Null 허용 여부 적용
  • [SPARK-38221] [SQL] 복잡한 그룹화 표현식을 Aggregate 노드 밖으로 이동할 때 groupingExpressions를 빠르게 반복
  • [SPARK-38216] [SQL] Hive 테이블을 만들 때 모든 열이 분할된 열인 경우 조기에 실패함
  • [SPARK-38214] [SS] windowDuration이 slideDuration의 배수일 때 창을 필터링할 필요가 없음
  • [SPARK-38182] [SQL] 푸시된 필터에 참조가 포함되지 않은 경우 NoSuchElementException 수정
  • [SPARK-38159] [SQL] 숨겨진 파일 메타데이터에 대한 새 FileSourceMetadataAttribute 추가
  • [SPARK-38123] [SQL] QueryExecutionErrors#castingCauseOverflowError의 targetType로 DataType을 통합 사용
  • [SPARK-38118] [SQL] HAVING 절의 Func(잘못된 데이터 형식)는 데이터 불일치 오류를 throw함
  • [SPARK-35173] [SQL][PYTHON] 지원을 추가하는 여러 열 추가
  • [SPARK-38177] [SQL] Optimizer에서 잘못된 transformExpressions 수정
  • [SPARK-38228] [SQL] ANSI 모드에서 오류 발생 시 레거시 저장소 할당이 실패해서는 안 됨
  • [SPARK-38173] [SQL] quotedRegexColumnNames가 true일 때 따옴표로 묶인 열은 올바르게 인식되지 않음
  • [SPARK-38130] [SQL] array_sort 순서 지정 가능 항목 확인 제거
  • [SPARK-38199] [SQL] IntervalColumnAccessordataType
  • [SPARK-38203] [SQL] ANSI 모드에서 SQLInsertTestSuite 및 SchemaPruningSuite 수정
  • [SPARK-38163] [SQL] 함수 빌더를 구성하는 동안 SparkThrowable의 오류 클래스 유지
  • [SPARK-38157] [SQL] 예상되는 좋은 결과와 일치하도록 테스트 timestampNTZ/timestamp.sql 및 SQLQueryTestSuite에서 ANSI를 명시적으로 false로 설정
  • [SPARK-38069] [SQL][SS] 시간 창 계산 개선
  • [SPARK-38164] [SQL] 새 SQL 함수: try_subtract and try_multiply
  • [SPARK-38176] [SQL] ANSI 모드: 암시적으로 String을 다른 단순 형식으로 캐스트 허용
  • [SPARK-37498] [PYTHON] test_reuse_worker_of_parallelize_range에 대해 최종 추가
  • [SPARK-38198] [SQL][3.2] ExplainMode가 CodegenMode인 경우 maxFields에 전달된 QueryExecution.debug#toFile 사용 수정
  • [SPARK-38131] [SQL] 사용자 지향 예외에서만 오류 클래스 사용
  • [SPARK-37652] [SQL] 공용 구조체를 최적화된 기울어진 조인에 대한 테스트 추가
  • [SPARK-37585] [SQL] TaskCompletionListener를 사용하여 DataSourceRDD의 InputMetric 업데이트
  • [SPARK-38113] [SQL] 피벗의 실행 오류에 오류 클래스 사용
  • [SPARK-38178] [SS] RocksDB의 메모리 사용량을 측정하는 논리 수정
  • [SPARK-37969] [SQL] HiveFileFormat에서 필드 이름을 확인해야 함
  • [SPARK-37652] [SQL] “공용 구조체를 최적화된 기울어진 조인에 대한 테스트 추가” 되돌리기
  • [SPARK-38124] [SQL][SS] StatefulOpClusteredDistribution을 도입하고 스트림-스트림 조인에 적용
  • [SPARK-38030] [SQL] 정규화는 AttributeReference dataType의 null 허용 여부를 제거해서는 안 됨
  • [SPARK-37907] [SQL] InvokeLike 지원 ConstantFolding
  • [SPARK-37891] [CORE] scala.concurrent.ExecutionContext.Implicits.global을 사용하지 않도록 설정하기 위해 scalastyle 검사 추가
  • [SPARK-38150] [SQL] RelationConversions의 주석 업데이트
  • [SPARK-37943] [SQL] 그룹화의 컴파일 오류에 오류 클래스 사용
  • [SPARK-37652] [SQL] 공용 구조체를 통한 최적화된 기울어진 조인에 대한 테스트 추가
  • [SPARK-38056] [Web UI][3.2] LevelDB를 사용할 때 기록 서버에서 구조화된 스트리밍이 작동하지 않는 문제 수정
  • [SPARK-38144] [CORE] 사용하지 않는 spark.storage.safetyFraction 구성 제거
  • [SPARK-38120] [SQL] 파티션 열 이름이 대문자이고 파티션 값에 점이 있는 경우 HiveExternalCatalog.listPartitions 수정
  • [SPARK-38122] [Docs] DocSearch의 앱 키 업데이트
  • [SPARK-37479] [SQL] 기본적으로 V2 명령을 사용하도록 DROP NAMESPACE를 마이그레이션
  • [SPARK-35703] [SQL] 버킷 조인에 대한 제약 완화 및 HashClusteredDistribution 제거
  • [SPARK-37983] [SQL] 정렬 집계에서 집계 빌드 시간 메트릭 취소
  • [SPARK-37915] [SQL] 공용 구조체 간 프로젝트가 있는 경우 공용 구조체 결합
  • [SPARK-38105] [SQL] 조인의 구문 분석 오류에 오류 클래스 사용
  • [SPARK-38073] [PYTHON] 늦은 바인딩 문제를 피하기 위해 atexit 함수 업데이트
  • [SPARK-37941] [SQL] 캐스팅의 컴파일 오류에 오류 클래스 사용
  • [SPARK-37937] [SQL] 측면 조인의 구문 분석 오류에 오류 클래스 사용
  • [SPARK-38100] [SQL] Decimal프라이빗
  • [SPARK-37987] [SS] 쿼리를 다시 시작할 때 상태의 불안정한 테스트 StreamingAggregationSuite.change 스키마 수정
  • [SPARK-38003] [SQL] LookupFunctions 규칙은 스칼라 함수 레지스트리에서 함수만 조회해야 함
  • [SPARK-38075] [SQL] HiveScriptTransformationExec의 프로세스 출력 반복기에서 hasNext 수정
  • [SPARK-37965] [SQL] Orc에서 기존 데이터 읽기/쓰기 시 검사 필드명 제거
  • [SPARK-37922] [SQL] 두 개의 캐스트를 안전하게 업캐스트할 수 있으면 하나의 캐스트로 결합(dbr-branch-10.x의 경우)
  • [SPARK-37675] [SPARK-37793] 순서 섞기가 완료되면 푸시 순서 섞기 병합 파일 덮어쓰기 방지
  • [SPARK-38011] [SQL] ParquetFileFormat에서 중복되고 쓸모없는 구성 제거
  • [SPARK-37929] [SQL] dropNamespace API에 대한 지원 계단식 모드
  • [SPARK-37931] [SQL] 필요한 경우 열 이름 인용
  • [SPARK-37990] [SQL] RowToColumnConverter에서 TimestampNTZ 지원
  • [SPARK-38001] [SQL] 지원되지 않는 기능과 관련된 오류 클래스를 UNSUPPORTED_FEATURE로 대체
  • [SPARK-37839] [SQL] DS V2는 부분 집계 푸시다운 AVG 지원
  • [SPARK-37878] [SQL] 기본적으로 v2 명령을 사용하도록 SHOW CREATE TABLE 마이그레이션
  • [SPARK-37731] [SQL] 분석기에서 리팩터링 및 정리 함수 조회
  • [SPARK-37979] [SQL] AES 함수에서 보다 일반적인 오류 클래스로 전환
  • [SPARK-37867] [SQL] 기본 제공 JDBC 언어의 집계 함수 컴파일
  • [SPARK-38028] [SQL] ArrowColumnVector에서 화살표 벡터 노출
  • [SPARK-30062] [SQL] DB2 언어 잘림 구현에 IMMEDIATE 문 추가
  • [SPARK-36649] [SQL] Kafka 데이터 원본에서 Trigger.AvailableNow 지원
  • [SPARK-38018] [SQL] CalendarIntervalType을 올바르게 처리하도록 ColumnVectorUtils.populate 수정
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved는 ExecutorDecommission를 완료된 것으로 처리해야 함
  • [SPARK-38019] [CORE] ExecutorMonitor.timedOutExecutors 결정적으로 만들기
  • [SPARK-37957] [SQL] V2 스칼라 함수에 대한 결정적 플래그를 올바르게 전달
  • [SPARK-37985] [SQL] SPARK-37578에 대한 비정상적인 테스트 수정
  • [SPARK-37986] [SQL] 기수 정렬에서 TimestampNTZ 지원
  • [SPARK-37967] [SQL] Literal.create가 ObjectType 지원
  • [SPARK-37827] [SQL] V2 명령에 적응하기 위해 일부 기본 제공 테이블 속성을 V1Table.propertie에 넣음
  • [SPARK-37963] [SQL] InMemoryCatalog에서 테이블 이름을 바꾼 후 파티션 URI를 업데이트해야 함
  • [SPARK-35442] [SQL] 집계/공용 구조체를 통한 빈 관계 전파 지원
  • [SPARK-37933] [SQL] V2ScanRelationPushDown 푸시다운 규칙의 통과 방법 변경
  • [SPARK-37917] [SQL] 조인 조건이 비어 있는 경우 왼쪽 semi/anti 조인의 오른쪽에 대한 푸시다운 제한 1
  • [SPARK-37959] [ML] KMeans 및 BiKMeans에서 표준 확인 UT 수정
  • [SPARK-37906] [SQL] spark-sql은 마지막 주석을 백엔드로 전달해서는 안 됨
  • [SPARK-37627] [SQL] BucketTransform에 정렬된 열 추가

유지 관리 업데이트

Databricks Runtime 10.4 LTS 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
Antergos Linux 2015.10(ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.3.0 numpy 1.20.1
패키징 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

설치된 R 라이브러리

R 라이브러리는 2022-02-24에 Microsoft CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
캐럿 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 credentials 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
줄임표 0.3.2 evaluate 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 제네릭(generics) 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
주기 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
행렬 1.4-0 memoise 2.0.1 메서드 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 진행률 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 프록시 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
통계 4.1.2 stats4 4.1.2 stringi 1.76
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
tools 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1