Databricks Runtime 11.2(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
다음 릴리스 정보는 Apache Spark 3.3.0에서 제공하는 Databricks Runtime 11.2에 대한 정보를 제공합니다. Databricks는 2022년 9월에 이 버전을 출시했습니다.
새로운 기능 및 향상 기능
- 테이블 ACL(테이블 액세스 제어)에서 ALTER TABLE 권한으로 변경
- MERGE INTO를 위한 동적 정리
- 동적 파일 정리를 통해 델타에서 개선된 충돌 검색
- DSE/SQL 홈페이지의 새 오픈 소스 통합 카드
- CONVERT TO DELTA 파티션 검색 개선 사항
- 이제 테이블 스키마가 열에 대한 기본값을 지원합니다.
- 새로운 H3 지리 공간적 함수
- 새 Databricks Runtime 종속성
- 고유의 키 가져오기: Git 자격 증명 암호화
- SQL: 새로운 집계 함수 any_value
- 더 많은 클러스터 유형에서 허용되는 Databricks 유틸리티 파일 시스템 명령
- 이제 Unity 카탈로그의 메타스토어에서 CREATE 권한을 부여할 수 있음
- Photon 사용 클러스터에서 분할되지 않은 테이블에 최적화된 쓰기
- 더 많은 데이터 원본에 대한 Photon 지원
- SQL: 이제 ALTER SHARE가 START VERSION을 지원합니다.
테이블 ACL(테이블 액세스 제어)에서 ALTER TABLE 권한으로 변경
이제 사용자는 ALTER TABLE을 사용하여 테이블의 스키마 또는 속성을 변경하는 데 MODIFY 권한만 있으면 됩니다. 테이블에 대한 권한을 부여하거나, 소유자 및 위치를 변경하거나, 이름을 변경하려면 여전히 소유권이 필요합니다. 이 변경으로 인해 테이블 ACL에 대한 권한 모델이 Unity Catalog와 일치하게 되었습니다. ALTER TABLE을 참조하세요.
MERGE INTO를 위한 동적 정리
Photon 지원 컴퓨팅 MERGE INTO 을 사용하는 경우 이제 작은 원본 테이블이 더 큰 대상 테이블에 병합되는 경우와 같이 성능을 향상시키기 위해 적절한 경우 동적 파일 및 파티션 정리를 사용합니다.
동적 파일 정리를 통해 델타에서 개선된 충돌 검색
커밋 중 잠재적 충돌을 확인할 때 충돌 검색은 이제 동적 파일 정리로 정리되지만 정적 필터에서는 정리되지 않은 파일을 고려합니다. 그 결과 실패한 트랜잭션 수가 감소합니다.
DSE/SQL 홈페이지의 새 오픈 소스 통합 카드
DSE/SQL 홈페이지에 Delta Live Tables 및 dbt 코어와 같은 오픈 소스 통합 옵션을 표시하는 새로운 '오픈 소스 통합' 카드를 소개합니다.
CONVERT TO DELTA 파티션 검색 개선 사항
CONVERT TO DELTA는 Hive 메타스토어 또는 Unity 카탈로그에 등록된 Parquet 테이블의 파티션 스키마를 자동으로 유추하므로 PARTITIONED BY 절을 제공할 필요가 없습니다.
CONVERT TO DELTA는 메타스토어의 파티션 정보를 활용하여 전체 기본 경로를 나열하는 대신 Parquet 테이블에 대한 파일을 검색하여 삭제된 파티션이 델타 테이블에 추가되지 않도록 합니다.
Delta Lake로 변환을 참조하세요.
이제 테이블 스키마는 열에 대한 기본값을 지원합니다.
이제 테이블 스키마는 열에 대한 기본값 설정을 지원합니다. 이러한 열에 대한 INSERT, UPDATE 및 DELETE 명령은 DEFAULT 키워드를 사용하여 이러한 값을 참조할 수 있습니다. 예를 들어, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET 다음에 INSERT INTO t VALUES (1, DEFAULT)가 있으면 (1, 42) 행이 추가됩니다. 이 동작은 CSV, JSON, Orc 및 Parquet 데이터 원본에 대해 지원됩니다.
새로운 H3 지리 공간적 함수
이제 SQL, Scala 및 Python에서 사용할 수 있는 Photon 지원 클러스터에서 지리 공간 처리를 위해 28개의 새로운 기본 제공 H3 식을 사용할 수 있습니다. H3 지리 공간적 함수를 참조하세요.
새 Databricks Runtime 종속성
Databricks Runtime은 이제 H3 Java 라이브러리 버전 3.7.0에 종속됩니다.
고유의 키 가져오기: Git 자격 증명 암호화
Azure Key Vault를 사용하여 Git PAT(개인용 액세스 토큰) 또는 기타 Git 자격 증명을 암호화할 수 있습니다.
Databricks Git 폴더(Repos) 설정을 참조하세요.
SQL: 새로운 집계 함수 any_value
새로운 any_value 집계 함수는 행 그룹에 대해 임의의 expr 값을 반환합니다. any_value 집계 함수를 참조하세요.
더 많은 클러스터 유형에서 허용되는 Databricks 유틸리티 파일 시스템 명령
이제 Unity 카탈로그가 있는 사용자 격리 클러스터뿐만 아니라 사용자에게 ANY FILE 권한이 있는 경우 레거시 테이블 ACL 클러스터에서도 dbutils.fs 명령(탑재 관련 명령 제외)이 허용됩니다.
이제 Unity 카탈로그의 메타스토어에서 CREATE 권한을 부여할 수 있음
이제 Unity 카탈로그 메타스토어에서 CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT 및 CREATE PROVIDER 권한을 부여할 수 있습니다.
Photon 사용 클러스터에서 분할되지 않은 테이블에 최적화된 쓰기
이제 Unity 카탈로그 관리 테이블은 분할되지 않은 테이블에서 잘 조정된 크기의 파일을 자동으로 유지하여 쿼리 속도를 개선하고 성능을 최적화합니다.
더 많은 데이터 원본에 대한 Photon 지원
Photon은 이제 CSV 및 Avro를 포함한 더 많은 데이터 원본을 지원하며 캐시된 데이터 프레임과도 호환됩니다. 이전에는 이러한 데이터 원본을 검사하면 쿼리의 연산자나 식에 관계없이 전체 쿼리를 광자화할 수 없었습니다. 이제 이러한 데이터 원본을 검사하는 쿼리를 광자화하여 상당한 대기 시간과 TCO 개선을 실현할 수 있습니다.
이 기능은 spark.databricks.photon.photonRowToColumnar.enabled 구성에 의해 기본적으로 사용하도록 설정됩니다.
제한 사항:
- 중첩 형식이 있는 스키마는 이 릴리스에서 지원되지 않습니다(예: 배열, 맵 및 구조체).
- ORC, RDD, Kinesis, Kafka 및 EventHub 원본은 이 릴리스에서 지원되지 않습니다.
SQL: 이제 ALTER SHARE가 START VERSION을 지원합니다.
ALTER SHARE 명령은 이제 공급자가 특정 테이블 버전에서 시작하는 데이터를 공유할 수 있는 START VERSION을 지원합니다. ALTER SHARE를 참조하세요.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- distlib 0.3.4에서 0.3.5로
- filelock 3.7.1에서 3.8.0으로
- plotly 5.8.2에서 5.9.0으로
- protobuf 4.21.2에서 4.21.5로
- 업그레이드된 R 라이브러리:
- broom 0.8.0에서 1.0.0으로
- bslib 0.3.1에서 0.4.0으로
- callr 3.7.0에서 3.7.1로
- caret 6.0-92에서 6.0-93으로
- dbplyr 2.2.0에서 2.2.1로
- devtools 2.4.3에서 2.4.4로
- evaluate 0.15에서 0.16으로
- farver 2.1.0에서 2.1.1로
- fontawesome 0.2.2에서 0.3.0으로
- future 1.26.1에서 1.27.0으로
- generics 0.1.2에서 0.1.3으로
- gert 1.6.0에서 1.7.0으로
- globals 0.15.1에서 0.16.0으로
- googlesheets4 1.0.0에서 1.0.1로
- hardhat 1.1.0에서 1.2.0으로
- htmltools 0.5.2에서 0.5.3으로
- parallelly 1.32.0에서 1.32.1로
- pillar 1.7.0에서 1.8.0으로
- pkgload 1.2.4에서 1.3.0으로
- processx 3.6.1에서 3.7.0으로
- Rcpp 1.0.8.3에서 1.0.9로
- recipes 0.2.0에서 1.0.1로
- rlang 1.0.2에서 1.0.4로
- roxygen2 7.2.0에서 7.2.1로
- RSQLite 2.2.14에서 2.2.15로
- sass 0.4.1에서 0.4.2로
- shiny 1.7.1에서 1.7.2로
- stringi 1.7.6에서 1.7.8로
- tibble 3.1.7에서 3.1.8로
- tidyverse 1.3.1에서 1.3.2로
- timeDate 3043.102에서 4021.104로
- xfun 0.31에서 0.32로
- 업그레이드된 Java 라이브러리:
- org.apache.orc.orc-core 1.7.4에서 1.7.5로
- org.apache.orc.orc-mapreduce 1.7.4에서 1.7.5로
- org.apache.orc.orc-shims 1.7.4에서 1.7.5로
Apache Spark
Databricks Runtime 11.2에는 Apache Spark 3.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 11.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] 백분위수 함수에서 더 넓은 ANSI 간격 형식 반환
- [SPARK-40054] [SQL] try_cast()의 오류 처리 구문 복원
- [SPARK-39489] [CORE] Json4s 대신 Jackson을 사용하여 이벤트 로깅 JsonProtocol 성능 개선
- [SPARK-39319] [CORE][SQL] 쿼리 컨텍스트를
SparkThrowable의 일부로 만듭니다. - [SPARK-40085] [SQL] IllegalStateException 대신 INTERNAL_ERROR 오류 클래스를 사용하여 버그 표시
- [SPARK-40001] [SQL] JSON DEFAULT 열에 NULL 쓰기를 수행하여 스토리지에 'null' 기록
- [SPARK-39635] [SQL] DS v2 사용자 지정 메트릭 API에서 드라이버 메트릭 지원
- [SPARK-39184] [SQL] 날짜 및 타임스탬프 시퀀스에서 크기가 부족한 결과 배열 처리
- [SPARK-40019] [SQL] ArrayType의 containsNull의 주석 리팩터링 및
containsNull에 대한 collectionOperator 식의 오해 논리 리팩터링 - [SPARK-39989] [SQL] 접을 수 있는 식인 경우 열 통계 예상 지원
- [SPARK-39926] [SQL] 벡터화되지 않은 Parquet 검사에 대한 DEFAULT 열 지원의 버그 수정
- [SPARK-40052] [SQL] VectorizedDeltaBinaryPackedReader에서 직접 바이트 버퍼 처리
- [SPARK-40044] [SQL] 캐스트 오버플로 오류의 대상 간격 형식 수정
- [SPARK-39835] [SQL] 로컬 정렬 아래의 EliminateSorts 전역 정렬 제거 수정
- [SPARK-40002] [SQL] ntile을 사용하여 창을 통해 제한을 푸시다운하지 않음
- [SPARK-39976] [SQL] ArrayIntersect에서 왼쪽 식의 null을 올바르게 처리해야 함
- [SPARK-39985] [SQL] DataFrame의 삽입에서 암시적 DEFAULT 열 값 사용
- [SPARK-39776] [SQL] JOIN 자세한 정보 문자열은 조인 형식을 추가해야 함
- [SPARK-38901] [SQL] DS V2는 푸시다운 기타 함수를 지원함
- [SPARK-40028] [SQL][FollowUp] 문자열 함수 예 개선
- [SPARK-39983] [CORE][SQL] 드라이버에서 직렬화되지 않은 브로드캐스트 관계를 캐시하지 않음
- [SPARK-39812] [SQL]
toAggregateExpression을 사용하여AggregateExpression을 구성하는 코드 단순화 - [SPARK-40028] [SQL] 문자열 식에 대한 이진 파일 예 추가
- [SPARK-39981] [SQL] 캐스트에서 QueryExecutionErrors.castingCauseOverflowErrorInTableInsert 예외 throw
- [SPARK-40007] [PYTHON][SQL] 함수에 'mode' 추가
- [SPARK-40008] [SQL] ANSI 간격으로 정수 캐스팅 지원
- [SPARK-40003] [PYTHON][SQL] 함수에 'median' 추가
- [SPARK-39952] [SQL] SaveIntoDataSourceCommand는 결과 관계를 다시 캐시해야 함
- [SPARK-39951] [SQL] 중첩 필드에 대한 Parquet V2 열 형식 검사 업데이트
- [SPARK-33236] [shuffle] DBR 11.x로 백포트: 푸시 기반 순서 섞기 서비스를 사용하도록 설정하여 작업 보존이 다시 시작하도록 NM 수준 DB에 상태 저장
- [SPARK-39836] [SQL] 공통 메서드를 추출하여 V2ExpressionBuilder 단순화
- [SPARK-39873] [SQL]
OptimizeLimitZero를 제거하여EliminateLimits에 병합 - [SPARK-39961] [SQL] 캐스트가 안전한 경우 DS V2 푸시다운 변환 캐스트
- [SPARK-39872] [SQL]
VectorizedDeltaBinaryPackedReader의 Array 입력 API를 사용하여BytePackerForLong#unpack8Values을 사용하도록 변경 - [SPARK-39858] [SQL] 일부 규칙에 대해 불필요한
AliasHelper또는PredicateHelper제거 - [SPARK-39900] [SQL] 이진 형식의 조건자 푸시다운에서 부분 또는 부정 조건 해결
- [SPARK-39904] [SQL] inferDate의 이름을 prefersDate로 변경하고 CSV 데이터 원본에 있는 옵션의 의미 체계를 명확히 해야 함
- [SPARK-39958] [SQL] 사용자 지정 메트릭 개체를 로드할 수 없는 경우 경고 로그 추가
- [SPARK-39932] [SQL] WindowExec은 최종 파티션 버퍼를 지워야 함
- [SPARK-37194] [SQL] 동적 파티션이 아닌 경우 v1 쓰기에서 불필요한 정렬 방지
- [SPARK-39902] [SQL] SparkUI의 Spark 계획 검사 노드에 검사 세부 정보 추가
- [SPARK-39865] [SQL] 테이블 삽입의 오버플로 오류에 대한 적절한 오류 메시지 표시
- [SPARK-39940] [SS] DSv1 싱크로 스트리밍 쿼리의 카탈로그 테이블 새로 고침
- [SPARK-39827] [SQL]
add_months()의 int 오버플로에서 오류 클래스ARITHMETIC_OVERFLOW사용 - [SPARK-39914] [SQL] V1 필터 변환에 DS V2 필터 추가
- [SPARK-39857] [SQL] 수동 DBR 11.x 백포트: V2ExpressionBuilder가 In 조건자 #43454에 대해 잘못된 LiteralValue 데이터 형식 사용
- [SPARK-39840] [SQL][PYTHON] PythonArrowOutput에 대한 대칭으로 PythonArrowInput 팩터링
- [SPARK-39651] [SQL] rand와의 비교가 결정적인 경우 필터 조건 정리
- [SPARK-39877] [PYTHON] PySpark DataFrame API에 unpivot 추가
- [SPARK-39909] [SQL] JDBCV2Suite에 대한 푸시다운 정보 확인 구성
- [SPARK-39834] [SQL][SS] DataFrame에서 가져온 경우 LogicalRDD에 대한 origin 통계 및 제약 조건 포함
- [SPARK-39849] [SQL] Dataset.as(StructType)가 누락된 새 열을 null 값으로 채움
- [SPARK-39860] [SQL] 더 많은 식이 조건자를 확장해야 함
- [SPARK-39823] [SQL][PYTHON] Dataset.as의 이름을 Dataset.to로 변경하고 PySpark에 DataFrame.to 추가
- [SPARK-39918] [SQL][MINOR] 오류 메시지에서 "un-comparable"을 "incomparable"로 바꿈
- [SPARK-39857] [SQL][3.3] V2ExpressionBuilder가 In 조건자에 잘못된 LiteralValue 데이터 형식 사용
- [SPARK-39862] [SQL] DBR 11.x를 대상으로 하는 PR 43654에 대한 수동 백포트: ALTER TABLE …ADD COLUMN 명령을 별도로 허용/거부하도록 SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS 업데이트
- [SPARK-39844] [SQL] DBR 11.x를 대상으로 하는 PR 43652에 대한 수동 백포트
- [SPARK-39899] [SQL] 메시지 매개 변수를
InvalidUDFClassException에 전달하는 문제 수정 - [SPARK-39890] [SQL] TakeOrderedAndProjectExec이 AliasAwareOutputOrdering을 상속하도록 함
- [SPARK-39809] [PYTHON] PySpark에서 CharType 지원
- [SPARK-38864] [SQL] 데이터 세트에 unpivot / melt 추가
- [SPARK-39864] [SQL] ExecutionListenerBus 등록 지연
- [SPARK-39808] [SQL] 집계 함수 모드 지원
- [SPARK-39875] [SQL] 최종 클래스의
protected메서드를private또는package-visible로 변경 - [SPARK-39731] [SQL] CORRECTED 시간 파서 정책을 사용하여 날짜를 “yyyyMMdd” 형식으로 구문 분석할 때 CSV 및 JSON 데이터 원본의 문제 해결
- [SPARK-39805] [SS] Trigger.Once 사용 중단 및 Trigger.AvailableNow 승격
- [SPARK-39784] [SQL] Catalyst Expression을 데이터 원본 필터로 변환한 후 데이터 원본 필터의 오른쪽에 Literal 값 배치
- [SPARK-39672] [SQL][3.1] 상호 관련된 하위 쿼리를 사용하여 필터링하기 전에 프로젝트 제거 수정
- [SPARK-39552] [SQL] v1 및 v2
DESCRIBE TABLE통합 - [SPARK-39810] [SQL] Catalog.tableExists는 중첩된 네임스페이스를 처리해야 함
- [SPARK-37287] [SQL] FileFormatWriter에서 동적 파티션 및 버킷 정렬 추출
- [SPARK-39469] [SQL] CSV 스키마 유추를 위한 날짜 형식 유추
- [SPARK-39148] [SQL] DS V2 집계 푸시다운은 OFFSET 또는 LIMIT를 사용할 수 있음
- [SPARK-39818] [SQL] DEFAULT 값이 NULL 필드인 ARRAY, STRUCT, MAP 형식의 버그 수정
- [SPARK-39792] [SQL] 10진 평균을 위해 DecimalDivideWithOverflowCheck 추가
- [SPARK-39798] [SQL]
GenericArrayData의 생성자에서toSeq.toArray를.toArray[Any]로 바꿈 - [SPARK-39759] [SQL] JDBC(H2 언어)에서 listIndexes 구현
- [SPARK-39385] [SQL] 푸시다운
REGR_AVGX및REGR_AVGY지원 - [SPARK-39787] [SQL] to_timestamp 함수의 구문 분석 오류에 오류 클래스 사용
- [SPARK-39760] [PYTHON] PySpark에서 Varchar 지원
- [SPARK-39557] [SQL] DBR 11.x로 수동 백포트: ARRAY, STRUCT, MAP 형식을 DEFAULT 값으로 지원
- [SPARK-39758] [SQL][3.3] 잘못된 패턴의 정규 표현식 함수에서 NPE 수정
- [SPARK-39749] [SQL] ANSI SQL 모드: 10진을 문자열로 캐스팅할 때 일반 문자열 표현 사용
- [SPARK-39704] [SQL] JDBC에서 createIndex &dropIndex & indexExists 구현(H2 언어)
- [SPARK-39803] [SQL]
StringUtils.getLevenshteinDistance대신LevenshteinDistance사용 - [SPARK-39339] [SQL] JDBC 데이터 원본에서 TimestampNTZ 형식 지원
- [SPARK-39781] [SS] rockdb 상태 저장소 공급자에 max_open_files 제공 지원 추가
- [SPARK-39719] [R] SparkR 지원 3L 네임스페이스에서 databaseExists/getDatabase 구현
- [SPARK-39751] [SQL] 해시 집계 키 프로브 메트릭 이름 바꾸기
- [SPARK-39772] [SQL] 네임스페이스는 이전 생성자에서 데이터베이스가 null인 경우 null이어야 함
- [SPARK-39625] [SPARK-38904][SQL] Add Dataset.as(StructType)
- [SPARK-39384] [SQL] JDBC 언어용 기본 제공 선형 회귀 집계 함수 컴파일
- [SPARK-39720] [R] 3L 네임스페이스용 SparkR에서 tableExists/getTable 구현
- [SPARK-39744] [SQL]
REGEXP_INSTR함수 추가 - [SPARK-39716] [R] SparkR의 currentDatabase/setCurrentDatabase/listCatalog가 3L 네임스페이스를 지원하도록 함
- [SPARK-39788] [SQL]
JdbcUtils에 대해catalogName의 이름을dialectName으로 바꿈 - [SPARK-39647] [CORE] BlockManager를 등록하기 전에 ESS에 실행 프로그램 등록
- [SPARK-39754] [CORE][SQL] 사용하지 않는
import또는 불필요한{}제거 - [SPARK-39706] [SQL]
ParquetColumnVector에서 defaultValue를 상수로 사용하여 누락된 열 설정 - [SPARK-39699] [SQL] 컬렉션 만들기 식에 대해 CollapseProject를 더 스마트하도록 함
- [SPARK-39737] [SQL]
PERCENTILE_CONT및PERCENTILE_DISC는 집계 필터를 지원해야 함 - [SPARK-39579] [SQL][PYTHON][R] ListFunctions/getFunction/functionExists를 3계층 네임스페이스와 호환되도록 함
- [SPARK-39627] [SQL] JDBC V2 푸시다운은 컴파일 API를 통합해야 함
- [SPARK-39748] [SQL][SS] DataFrame에서 가져온 경우 LogicalRDD에 대한 origin 논리 계획 포함
- [SPARK-39385] [SQL] 푸시다운에 대한 선형 회귀 집계 함수 변환
- [SPARK-39695] [SQL]
REGEXP_SUBSTR함수 추가 - [SPARK-39667] [SQL] 테이블을 빌드하고 브로드캐스트할 메모리가 충분하지 않은 경우 다른 해결 방법 추가
- [SPARK-39666] [ES-337834][SQL] UnsafeProjection.create를 사용하여 ExpressionEncoder에
spark.sql.codegen.factoryMode적용 - [SPARK-39643] [SQL] DEFAULT 값에서 하위 쿼리 식 금지
- [SPARK-38647] [SQL] Scan(DataSourceV2)용 인터페이스에 SupportsReportOrdering 혼합 추가
- [SPARK-39497] [SQL] 누락된 맵 키 열의 분석 예외 개선
- [SPARK-39661] [SQL] 불필요한 SLF4J 로거 만들기 방지
- [SPARK-39713] [SQL] ANSI 모드: INVALID_ARRAY_INDEX 오류에 try_element_at 사용 제안 추가
- [SPARK-38899] [SQL] DS V2는 푸시다운 날짜/시간 함수를 지원합니다.
- [SPARK-39638] [SQL]
ConstantColumnVector를 사용하여OrcColumnarBatchReader에 파티션 열을 저장하도록 변경 - [SPARK-39653] [SQL]
ColumnVectorUtils에서ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int)정리 - [SPARK-39231] [SQL]
On/OffHeapColumnVector대신ConstantColumnVector를 사용하여VectorizedParquetRecordReader에 파티션 열 저장 - [SPARK-39547] [SQL] V2SessionCatalog는 loadNamspaceMetadata에서 NoSuchDatabaseException을 throw하지 않아야 함
- [SPARK-39447] [SQL] AdaptiveSparkPlanExec.doExecuteBroadcast에서 AssertionError 방지
- [SPARK-39492] [SQL] Rework MISSING_COLUMN
- [SPARK-39679] [SQL] TakeOrderedAndProjectExec에서 자식 출력 순서를 적용해야 함
- [SPARK-39606] [SQL] 자식 통계를 사용하여 주문 연산자 예상
- [SPARK-39611] [PYTHON][PS] array_ufunc의 잘못된 별칭 수정
- [SPARK-39656] [SQL][3.3] DescribeNamespaceExec에서 잘못된 네임스페이스 수정
- [SPARK-39675] [SQL] 'spark.sql.codegen.factoryMode' 구성을 테스트 목적에서 내부 목적으로 전환
- [SPARK-39139] [SQL] DS V2에서 푸시다운 DS V2 UDF 지원
- [SPARK-39434] [SQL] 배열 인덱스가 경계를 벗어나면 런타임 오류 쿼리 컨텍스트 제공
- [SPARK-39479] [SQL] DS V2에서 푸시다운 수학 함수(비 ANSI) 지원
- [SPARK-39618] [SQL]
REGEXP_COUNT함수 추가 - [SPARK-39553] [CORE] Scala 2.13을 사용할 때 다중 스레드 등록 취소 순서 섞기가 NPE를 throw하지 않아야 함
- [SPARK-38755] [PYTHON][3.3] 누락된 Pandas 일반 함수를 해결하기 위한 파일 추가
- [SPARK-39444] [SQL] nonExcludableRules 목록에 OptimizeSubqueries 추가
- [SPARK-39316] [SQL] PromotePrecision 및 CheckOverflow를 10진 이진 산술로 병합
- [SPARK-39505] [UI] UI에서 렌더링된 로그 콘텐츠 이스케이프
- [SPARK-39448] [SQL]
nonExcludableRules목록에ReplaceCTERefWithRepartition추가 - [SPARK-37961] [SQL] 일부 논리 연산자에 대해 maxRows/maxRowsPerPartition 재정의
- [SPARK-35223] IssueNavigationLink 추가 되돌리기
- [SPARK-39633] [SQL] Dataframe 옵션을 사용하여 TimeTravel에 대한 타임스탬프(초) 지원
- [SPARK-38796] [SQL] {try_}to_number 함수를 사용하여 숫자 형식 문자열에 대한 설명서 업데이트
- [SPARK-39650] [SS] 이전 버전과의 호환성이 있는 스트리밍 중복 제거의 잘못된 값 스키마 수정
- [SPARK-39636] [CORE][UI] 힙 StorageLevels 및 Task/Executor ResourceRequests에 영향을 주는 JsonProtocol의 여러 버그 수정
- [SPARK-39432] [SQL] element_at(*, 0)에서 ELEMENT_AT_BY_INDEX_ZERO 반환
- [SPARK-39349] 오류 경로의 QA를 위해 중앙 집중식 CheckError 메서드 추가
- [SPARK-39453] [SQL] DS V2에서 푸시다운 기타 비집계 함수(비 ANSI) 지원
- [SPARK-38978] [SQL] DS V2에서 푸시다운 OFFSET 연산자 지원
- [SPARK-39567] [SQL] 백분위수 함수에서 ANSI 간격 지원
- [SPARK-39383] [SQL] V2 데이터 원본에 대한 ALTER TABLE ALTER COLUMNS의 DEFAULT 열 지원
- [SPARK-39396] [SQL] LDAP 로그인 예외 '오류 코드 49 - 잘못된 자격 증명' 수정
- [SPARK-39548] [SQL] 창 절 쿼리가 있는 CreateView 명령에서 잘못된 창 정의를 찾을 수 없음 문제가 발생했습니다.
- [SPARK-39575] [AVRO] Avr…에서 ByteBuffer#get 다음에 ByteBuffer#rewind 추가
- [SPARK-39543] DataFrameWriterV2의 옵션을 스토리지 속성에 전달해야 함(v1로 대체하는 경우)
- [SPARK-39564] [SS] 스트리밍 쿼리에서 카탈로그 테이블의 정보를 논리적 계획에 노출
- [SPARK-39582] [SQL]
array_agg에 대한 "Since" 마커 수정 - [SPARK-39388] [SQL] Orc 조건자를 푸시다운할 때
orcSchema재사용 - [SPARK-39511] [SQL] 조인 조건이 비어 있는 경우 왼쪽 semi/anti 조인의 오른쪽에 대한 푸시다운 로컬 제한 1 향상
- [SPARK-38614] [SQL] percent_rank를 사용하는 창을 통해 제한을 푸시다운하지 않음
- [SPARK-39551] [SQL] AQE 유효하지 않은 계획 검사 추가
- [SPARK-39383] [SQL] V2 데이터 원본에 대한 ALTER TABLE ADD COLUMNS의 DEFAULT 열 지원
- [SPARK-39538] [SQL] 불필요한 SLF4J 로거 만들기 방지
- [SPARK-39383] [SQL] DBR 11.x로 수동 백포트: 기본 분석기 전달을 건너뛰도록 DEFAULT 열 지원 리팩터링
- [SPARK-39397] [SQL] 식을 사용하여 별칭을 지원하도록 AliasAwareOutputExpression 완화
- [SPARK-39496] [SQL]
Inline.eval에서 null 구조체 처리 - [SPARK-39545] [SQL] Scala 2.13에서 성능 개선을 위해
ExpressionSet에 대한concat메서드 재정의 - [SPARK-39340] [SQL] DS v2 agg 푸시다운은 최상위 열 이름에 점을 허용해야 함
- [SPARK-39488] [SQL] TempResolvedColumn의 오류 처리 단순화
- [SPARK-38846] [SQL] Teradata 숫자 형식과 Spark DecimalType 간의 명시적 데이터 매핑 추가
- [SPARK-39520] [SQL] Scala 2.13에서
ExpressionSet에 대한--메서드 재정의 - [SPARK-39470] [SQL] ANSI 간격을 10진으로 캐스트 지원
- [SPARK-39477] [SQL] SQLQueryTestSuite의 골든 파일에서 "쿼리 수" 정보 제거
- [SPARK-39419] [SQL] 비교자가 null을 반환할 때 예외를 throw하도록 ArraySort 수정
- [SPARK-39061] [SQL]
Inline출력 특성에 대해 null 허용을 올바르게 설정 - [SPARK-39320] [SQL] 집계 함수
MEDIAN지원 - [SPARK-39261] [CORE] 오류 메시지의 줄바꿈 형식 지정 개선
- [SPARK-39355] [SQL] 단일 열은 따옴표를 사용하여 UnresolvedAttribute를 구성합니다.
- [SPARK-39351] [SQL] SHOW CREATE TABLE은 속성을 수정해야 함
- [SPARK-37623] [SQL] ANSI 집계 함수 지원: regr_intercept
- [SPARK-39374] [SQL] 사용자 지정 열 목록에 대한 오류 메시지 개선
- [SPARK-39255] [SQL][3.3] 오류 메시지 개선
- [SPARK-39321] [SQL] RuntimeReplaceable을 사용하도록 TryCast 리팩터링
- [SPARK-39406] [PYTHON] createDataFrame에서 NumPy 배열 허용
- [SPARK-39267] [SQL] 불필요한 dsl 기호 정리
- [SPARK-39171] [SQL] Cast 식 통합
- [SPARK-28330] [SQL] ANSI SQL 지원: 쿼리 식의 결과 오프셋 절
- [SPARK-39203] [SQL] 데이터베이스 URI를 기반으로 테이블 위치를 절대 URI로 다시 작성
- [SPARK-39313] [SQL] V2Expression을 변환할 수 없는 경우
toCatalystOrdering이 실패해야 함 - [SPARK-39301] [SQL][PYTHON] LocalRelation을 활용하고 화살표 최적화를 사용하여 createDataFrame의 화살표 일괄 처리 크기 적용
- [SPARK-39400] [SQL] spark-sql은 모든 경우에 하이브 리소스 디렉터리를 제거해야 함
유지 관리 업데이트
Databricks Runtime 11.2 유지 관리 업데이트를 참조 하세요.
시스템 환경
- 운영 체제: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.14
- Python: 3.9.5
- R: 4.1.3
- Delta Lake: 2.1.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10(ISO-Rolling) | argon2-cffi | 20.1.0 | async-generator | 1.10 |
| attrs | 21.2.0 | backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 |
| 검정색 | 22.3.0 | bleach | 4.0.0 | boto3 | 1.21.18 |
| botocore | 1.24.18 | certifi | 2021.10.8 | cffi | 1.14.6 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | 에서 | 8.0.3 |
| 암호화 | 3.4.8 | cycler | 0.10.0 | Cython | 0.29.24 |
| dbus-python | 1.2.16 | debugpy | 1.4.1 | decorator | 5.1.0 |
| defusedxml | 0.7.1 | distlib | 0.3.5 | distro-info | 0.23ubuntu1 |
| entrypoints | 0.3 | facets-overview | 1.0.0 | filelock | 3.8.0 |
| idna | 3.2 | ipykernel | 6.12.1 | ipython | 7.32.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 | jedi | 0.18.0 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.0.1 |
| jsonschema | 3.2.0 | jupyter-client | 6.1.12 | jupyter-core | 4.8.1 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.3 | matplotlib-inline | 0.1.2 |
| mistune | 0.8.4 | mypy-extensions | 0.4.3 | nbclient | 0.5.3 |
| nbconvert | 6.1.0 | nbformat | 5.1.3 | nest-asyncio | 1.5.1 |
| Notebook | 6.4.5 | numpy | 1.20.3 | 패키징 | 21.0 |
| pandas | 1.3.4 | pandocfilters | 1.4.3 | parso | 0.8.2 |
| pathspec | 0.9.0 | patsy | 0.5.2 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Pillow | 8.4.0 | pip | 21.2.4 |
| platformdirs | 2.5.2 | plotly | 5.9.0 | prometheus-client | 0.11.0 |
| prompt-toolkit | 3.0.20 | protobuf | 4.21.5 | psutil | 5.8.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pyarrow | 7.0.0 |
| pycparser | 2.20 | Pygments | 2.10.0 | PyGObject | 3.36.0 |
| pyodbc | 4.0.31 | pyparsing | 3.0.4 | pyrsistent | 0.18.0 |
| python-apt | 2.0.0+ubuntu0.20.4.7 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | requests | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 6 | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| tenacity | 8.0.1 | terminado | 0.9.4 | testpath | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
설치된 R 라이브러리
R 라이브러리는 Microsoft CRAN 스냅샷(2022-08-15)에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| base | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | boot | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | broom | 1.0.0 |
| bslib | 0.4.0 | cachem | 1.0.6 | callr | 3.7.1 |
| 캐럿 | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| class | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| cluster | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | compiler | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | credentials | 1.3.2 |
| curl | 4.3.2 | data.table | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | digest | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.9 | dtplyr | 1.2.1 |
| e1071 | 1.7-11 | 줄임표 | 0.3.2 | evaluate | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.1 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| future | 1.27.0 | future.apply | 1.9.0 | gargle | 1.2.0 |
| 제네릭(generics) | 0.1.3 | gert | 1.7.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.0 | glue | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | grid | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | hardhat | 1.2.0 |
| haven | 2.5.0 | highr | 0.9 | hms | 1.1.1 |
| htmltools | 0.5.3 | htmlwidgets | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.39 | labeling | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | lava | 1.6.10 | 주기 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 행렬 | 1.4-1 |
| memoise | 2.0.1 | 메서드 | 4.1.3 | mgcv | 1.8-40 |
| mime | 0.12 | miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016.8-1.1 | openssl | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | pillar | 1.8.0 |
| pkgbuild | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | plogr | 0.2.0 | plyr | 1.8.7 |
| praise | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 진행률 | 1.2.2 | progressr | 0.10.1 | promises | 1.2.0.1 |
| proto | 1.0.0 | 프록시 | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | randomForest | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.0 |
| recipes | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.1 | reshape2 | 1.4.4 |
| rlang | 1.0.4 | rmarkdown | 2.14 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.15 | rstudioapi | 0.13 |
| rversions | 2.1.1 | rvest | 1.0.2 | sass | 0.4.2 |
| scales | 1.2.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.7 | SparkR | 3.3.0 | spatial | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021.1 |
| 통계 | 4.1.3 | stats4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.0 | survival | 3.2-13 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.40 | tools | 4.1.3 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | uuid | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.0 | vroom | 1.5.7 | waldo | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config | 1.12.189 |
| com.amazonaws | aws-java-sdk-core | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | aws-java-sdk-kms | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs | 1.12.189 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | aws-java-sdk-support | 1.12.189 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.13.3 |
| com.fasterxml.jackson.core | jackson-core | 2.13.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.13.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.3 |
| com.github.ben-manes.caffeine | caffeine | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 코어 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | tink | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| hadoop3 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.0 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| mvn | hadoop3 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.snowflake | spark-snowflake_2.12 | 2.10.0-spark_3.2 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | arrow-vector | 7.0.0 |
| org.apache.avro | Avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.2-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.2 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.17.2 |
| org.apache.logging.log4j | log4j-api | 2.17.2 |
| org.apache.logging.log4j | log4j-core | 2.17.2 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.17.2 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.5 |
| org.apache.orc | orc-mapreduce | 1.7.5 |
| org.apache.orc | orc-shims | 1.7.5 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0004 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0004 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| org.rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | unused | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |