Databricks Runtime 13.2(EoS)
참고 항목
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.2에 대한 정보를 제공합니다.
Databricks는 2023년 7월에 이 버전을 출시했습니다.
새로운 기능 및 향상 기능
- RocksDB 상태 저장소에 대한 변경 로그 검사점
- Unity 카탈로그의 단순 클론으로 VACUUM에 대한 안정성이 향상되었습니다.
- SQL에서 Python UDF 지원
- Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.
- Delta Lake Liquid 클러스터링이 공개 미리 보기로 제공됩니다.
- Azure Databricks의 보관 지원
- IDENTIFIER 절 지원
- Python 및 Pandas UDF(사용자 정의 함수)에 대한 Unity 카탈로그 지원
- 델타 공유를 사용하여 스키마 공유
- 버그 수정
RocksDB 상태 저장소에 대한 변경 로그 검사점
상태 저장 구조적 스트리밍 워크로드에 대한 검사점 기간 및 엔드 투 엔드 대기 시간을 낮추도록 변경 로그 검사점을 사용하도록 설정할 수 있습니다. Databricks는 모든 구조적 스트리밍 상태 저장 쿼리에 대해 changelog 검사포인트를 사용하도록 설정할 것을 권합니다. 변경 로그 검사점 사용을 참조하세요.
Unity 카탈로그의 단순 클론으로 VACUUM에 대한 안정성이 향상되었습니다.
단순 복제 작업의 원본 및 대상에 Unity 카탈로그 관리 테이블을 사용하는 경우 Unity 카탈로그는 원본 및 복제 작업의 대상에 대한 안정성을 향상시키기 위해 기본 데이터 파일을 관리합니다. 단순 클론의 원본에서 실행 VACUUM 해도 복제된 테이블이 중단되지 않습니다. 진공 및 Unity 카탈로그 단순 클론을 참조하세요.
SQL에서 Python UDF 지원
이제 Unity 카탈로그의 SQL CREATE FUNCTION 문 내에서 Python을 사용하여 사용자 정의 함수를 선언할 수 있습니다. Unity Catalog의 UDF(사용자 정의 함수)를 참조하세요.
Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.
Delta Lake Universal Format(UniForm)을 사용하면 Iceberg 클라이언트를 사용하여 델타 테이블을 읽을 수 있습니다. UniForm을 사용하여 Iceberg 클라이언트에서 델타 테이블을 읽는 방법을 참조하세요.
Delta Lake Liquid 클러스터링이 공개 미리 보기로 제공됩니다.
Delta Lake Liquid 클러스터링이 테이블 분할을 대체하고 ZORDER 데이터 레이아웃 결정을 간소화하고 쿼리 성능을 최적화합니다. Delta 테이블에 Liquid 클러스터링 사용을 참조하세요.
Azure Databricks의 보관 지원
Azure Databricks의 보관 지원에는 델타 테이블이 포함된 클라우드 개체 스토리지에서 클라우드 기반 수명 주기 정책을 사용하여 파일을 보관 스토리지 계층으로 이동할 수 있는 기능 컬렉션이 도입되었습니다. Azure Databricks의 보관 지원을 참조 하세요.
IDENTIFIER 절 지원
많은 SQL 문에서 테이블, 열, 함수 및 스키마 이름을 안전하게 매개 변수화하는 데 사용합니다 IDENTIFIER(:mytable) .
Python 및 Pandas UDF(사용자 정의 함수)에 대한 Unity 카탈로그 지원
Databricks Runtime 13.2 이상에서는 Python으로 작성된 UDF(사용자 정의 함수)가 Unity 카탈로그 사용 작업 영역에서 공유 액세스 모드를 사용하는 클러스터에서 지원됩니다. 여기에는 Python 및 Pandas UDF가 포함됩니다. Python UDF에 대한 자세한 내용은 사용자 정의 스칼라 함수 - Python을 참조하세요.
델타 공유를 사용하여 스키마 공유
Databricks Runtime 13.2는 델타 공유를 사용하여 전체 스키마를 공유하는 데 사용할 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 수 있는 기능을 추가하므로 나중에 스키마에 추가되는 테이블 및 뷰와 함께 공유되는 스키마의 모든 테이블과 뷰에 대한 액세스 권한을 받는 사람에게 제공합니다. 공유 및 ALTER SHARE에 스키마 추가를 참조하세요.
버그 수정
- JSON 판독기를 사용하여 설정된 경우
failOnUnknownFieldsmode레코드가 모드에서PERMISSIVE구문 분석되는 버그를 수정했습니다. 이제 레코드가 모드에서DROPMALFORMEDparser삭제되거나 이러한 옵션이 설정된 경우 레코드에badRecordsPath기록됩니다.FAILFAST열 형식이 일치하지 않으면 오류가 발생합니다.
라이브러리 업그레이드
- 업그레이드된 Python 라이브러리:
- nodeenv에서 1.7.0에서 1.8.0으로
- 업그레이드된 R 라이브러리:
- 업그레이드된 Java 라이브러리
- io.delta.delta-sharing-spark_2.12에서 0.6.7~ 0.7.0
Apache Spark
Databricks Runtime 13.2에는 Apache Spark 3.4.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.
- [SPARK-42750] [SC-133452][DBRRM-273] 이름별 Insert 문 지원
- [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
- [SPARK-43663] [SC-134135][CONNECT][PS] 사용
SeriesParityTests.test_compare - [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Spark Connect에 대한 수정 사항
(NullOps|NumOps).(eq|ne)입니다. - [SPARK-44021] [SC-134109][SQL] spark.sql.files.maxPartitionNum 추가
- [SPARK-43910] [SC-132936][SQL] 오류의 ID에서 제거
__auto_generated_subquery_name - [SPARK-43976] [SC-133375][CORE] 이벤트 로그에 modifiedConfigs가 없는 경우 처리
- [SPARK-32559] [SC-133992][SQL] ASCII 컨트롤 문자를 올바르게 처리하지 않은 트리밍 논리 수정
- [SPARK-43421] [SC-132930][SS] RocksDB 상태 저장소 공급자에 대한 변경 로그 기반 검사점 구현
- [SPARK-43594] [SC-133851][SQL] anyToMicros에 LocalDateTime 추가
- [SPARK-43884] [SC-133867] DDL의 매개 변수 표식
- [SPARK-43398] [SC-133894][CORE] 실행기 시간 제한은 유휴 순서 섞기 및 rdd 시간 제한의 최대값이어야 합니다.
- [SPARK-43610] [SC-133892][CONNECT][PS] Spark Connect에서 사용하도록 설정합니다
InternalFrame.attach_distributed_column. - [SPARK-43971] [SC-133826][CONNECT][PYTHON] 스트리밍 방식으로 Python의 createDataFrame 지원
- [SPARK-44006] [SC-133652][CONNECT][PYTHON] 캐시 아티팩트 지원
- [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] API 추가
copyFromLocalToFs - [SPARK-43921] [SC-133461][PROTOBUF] 빌드 시 Protobuf 설명자 파일 생성
- [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] SparkSession.addArtifacts에서 파일 지원 구현
- [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Python StreamingQueryProgress rowsPerSecond 형식 수정
- [SPARK-43768] [SC-132398][PYTHON][CONNECT] Python Spark Connect에서 Python 종속성 관리 지원
- [SPARK-43979] [13.X] 되돌리기 "[SC-133456][SQL] CollectedMetrics는 자체 조인에 대해 동일한 메트릭으로 처리되어야 합니다."
- [SPARK-42290] [SC-133696][SQL] AQE가 켜지면 OOM 오류를 보고할 수 없는 문제 해결
- [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Scala 및 Python에 SQL 수학 함수 추가
- [SPARK-43747] [SC-132047][PYTHON][CONNECT] SparkSession.addArtifacts에서 pyfile 지원 구현
- [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Spark Connect를 사용하여 사용
TimedeltaOps.(sub|rsub) - [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] 패리티 테스트 사용:
test_line_plot, .test_pie_plot - [SPARK-43867] [SC-132895][SQL] 해결되지 않은 특성에 대해 제안된 후보 개선
- [SPARK-43901] [SC-133454][SQL] Avro to Support custom decimal type backed by Long
- [SPARK-43267] [SC-133024][JDBC] postgres 알 수 없는 사용자 정의 열을 배열의 문자열로 처리
- [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Scala 및 Python에 xpath_* 함수 추가
- [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Scala 및 Python API에 백분위수 추가
- [SPARK-43717] [SC-133455][CONNECT] Scala 클라이언트 reduce agg는 scala 기본 입력에 대해 null 파티션을 처리할 수 없습니다.
- [SPARK-43984] [SC-133469][SQL][PROTOBUF] 결과를 생성하지 않을 때
map사용하도록foreach변경 - [SPARK-43612] [SC-132011][CONNECT][PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
- [SPARK-44002] [SC-133606][CONNECT] 아티팩트 상태 처리기 수정
- [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Scala 및 Python에 선형 회귀 집계 함수 추가
- [SPARK-43920] [SC-133614][SQL][CONNECT] sql/api 모듈 만들기
- [SPARK-43979] [SC-133456][SQL] CollectedMetrics는 자체 조인에 대해 동일한 메트릭으로 처리되어야 합니다.
- [SPARK-43977] [SC-133373][CONNECT] 다음의 예기치 않은 검사 결과를 수정합니다.
dev/connect-jvm-client-mima-check - [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: ints 버그로 열거형 수정
- [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Scala 및 Python에 unix_* 함수 추가
- [SPARK-43807] [SC-132545][SQL] PARTITION_SCHEMA_IS_EMPTY _LEGACY_ERROR_TEMP_1269 마이그레이션
- [SPARK-43956] [SC-133123][SQL] 백분위수에 대한 열의 sql이 표시되지 않는 버그 수정[Cont|디스크]
- [SPARK-42626] [SC-133248][CONNECT] SparkResult에 대한 파괴적인 반복기 추가
- [SPARK-43333] [SC-132898][SQL] Avro에서 형식이 안정적인 필드 이름을 사용하여 공용 구조체 형식을 SQL로 변환하도록 허용
- [SPARK-43953] [SC-133134][CONNECT] 제거하다
pass - [SPARK-43970] [SC-133403][PYTHON][CONNECT] 자동 완성에서 지원되지 않는 데이터 프레임 메서드 숨기기
- [SPARK-43973] [SC-133272][SS][UI] 구조적 스트리밍 UI는 실패한 쿼리를 올바르게 표시해야 합니다.
- [SPARK-42577] [SC-125445][CORE] 잠재적인 무한 재시도를 방지하기 위해 스테이지에 대한 최대 시도 제한 추가
- [SPARK-43841] [SC-132699][SQL] 에 접두사 없이 후보 특성 처리
StringUtils#orderSuggestedIdentifiersBySimilarity - [SPARK-41497] [SC-124795][CORE][후속 작업]구성
spark.rdd.cache.visibilityTracking.enabled지원 버전을 3.5.0으로 수정 - [SPARK-37942] [SC-130983][CORE][SQL] 오류 클래스 마이그레이션
- [SPARK-43898] [SC-132926][CORE] Scala 2.13에
KryoSerializer자동으로 등록immutable.ArraySeq$ofRef - [SPARK-43775] [SC-132891][SQL] DataSource V2: 업데이트를 삭제 및 삽입으로 표시하도록 허용
- [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] pandas DataFrame 및 toPandas의 createDataFrame에서 UserDefinedType 지원
- [SPARK-43418] [SC-132753][SC-130685][CONNECT] SparkSession.Builder.getOrCreate 추가
- [SPARK-43549] [SC-132383][SQL] _LEGACY_ERROR_TEMP_0036 INVALID_SQL_SYNTAX 변환합니다. ANALYZE_TABLE_UNEXPECTED_NOSCAN
- [SPARK-41497] [SC-124644][CORE] rdd 캐시를 사용하여 재시도 작업의 경우 누적기 언더카운트 수정
- [SPARK-43892] [SC-133006][PYTHON] 에 대한
df[|]자동 완성 지원 추가pyspark.sql.dataframe.DataFrame - [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Catalog.listDatabases에 대한 선택적 패턴 추가
- [SPARK-43205] [SC-132623] IDENTIFIER 절
- [SPARK-43545] [SC-132378][SQL][PYTHON] 중첩된 타임스탬프 형식 지원
- [SPARK-43949] [SC-133048][PYTHON] cloudpickle을 2.2.1로 업그레이드
- [SPARK-43760] [SC-132809][SQL] 스칼라 하위 쿼리 결과의 Null 허용 여부
- [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Spark Connect 수정
TimedeltaOps - [SPARK-43895] [SC-132897][CONNECT][GO] 이동 패키지 경로 준비
- [SPARK-43894] [SC-132892][PYTHON] df.cache()의 버그 수정
- [SPARK-43509] [SC-131625][CONNECT] 여러 Spark Connect 세션 만들기 지원
- [SPARK-43882] [SC-132888][SQL] _LEGACY_ERROR_TEMP_2122 이름 할당
- [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Spark Connect 수정
NumOps - [SPARK-43604] [SC-132165][SQL] 소스 코드에 오류 텍스트를 포함하지 않도록 리팩터링
INVALID_SQL_SYNTAX - [SPARK-43859] [SC-132883][SQL] LateralColumnAliasReference에서 toString 재정의
- [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Catalog.listCatalogs에 대한 선택적 패턴 추가
- [SPARK-43353] "[SC-132734][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션" 되돌리기
- [SPARK-43375] [SC-130309][CONNECT] INVALID_CONNECT_URL 오류 메시지 개선
- [SPARK-43863] [SC-132721][CONNECT] Scala 2.13에서
SparkConnectPlanner중복toSeq제거 - [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Spark Connect 수정
DatetimeOps - [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Spark Connect 수정
BinaryOps - [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Spark Connect 수정
NullOps - [SPARK-43782] [SC-132885][CORE] 정적 Spark conf를 사용하여 로그 수준 구성 지원
- [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
- [SPARK-43290] [SC-131961][SQL] ExpressionImplUtils에 AES IV 및 AAD 지원 추가
- [SPARK-43795] [SC-132532][CONNECT] SparkConnectPlanner에 사용되지 않는 매개 변수 제거
- [SPARK-42317] [SC-129194][SQL] _LEGACY_ERROR_TEMP_2247 이름 할당: CANNOT_MERGE_SCHEMAS
- [SPARK-43597] [SC-131960][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0017 이름 할당
- [SPARK-43834] [SC-132679][SQL] 의 컴파일 오류에서 오류 클래스 사용
ResolveDefaultColumns - [SPARK-43749] [SC-132423][SPARK-43750][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[4-5]
- [SPARK-43576] [SC-132533][CORE] Core 모듈에서 사용되지 않는 선언 제거
- [SPARK-43314] [SC-129970][CONNECT][PYTHON] Spark Connect 클라이언트 오류를 오류 클래스로 마이그레이션
- [SPARK-43799] [SC-132715][PYTHON] Pyspark Protobuf API에 설명자 이진 옵션 추가
- [SPARK-43837] [SC-132678][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_103 이름 할당[1-2]
- [SPARK-43862] [SC-132750][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당(1254 및 1315)
- [SPARK-43886] [SC-132808][PYTHON] Pandas UDF의 입력 힌트로 제네릭 튜플 허용
- [SPARK-43530] [SC-132653][PROTOBUF] 설명자 파일을 한 번만 읽습니다.
- [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] 오류 클래스 _LEGACY_ERROR_TEMP_241 이름 할당[1-7]
- [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Spark Connect 수정
CategoricalOps - [SPARK-39979] [SC-132685][SQL] 화살표 UDF 작업에 큰 변수 너비 벡터를 사용하는 옵션 추가
- [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Spark Connect 수정
StringOps - [SPARK-43353] [SC-132734][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션
- [SPARK-43815] [SC-132781][SQL] 에 대한 별칭 추가
to_varcharto_char - [SPARK-43543] [13.x][SC-131839][PYTHON] Pandas UDF에서 중첩된 MapType 동작 수정
- [SPARK-43361] [SC-131789][PROTOBUF] 열거형 serialization과 관련된 오류에 대한 업데이트 설명서
- [SPARK-43740] [SC-132035][PYTHON][CONNECT] 자동 완성에서 지원
session되지 않는 메서드 숨기기 - [SPARK-43022] [SC-131681][CONNECT] Scala 클라이언트에 대한 protobuf 함수 지원
- [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] 다음으로 마이그레이션
NotImplementedErrorPySparkNotImplementedError - [SPARK-43860] [SC-132713][SQL] 가능한 경우 비상 재귀 사용
- [SPARK-42421] [SC-132695][CORE] 유틸리티를 사용하여 로컬 검사점에서 사용되는 동적 할당에 대한 스위치를 가져옵니다.
- [SPARK-43590] [SC-132012][CONNECT] 모듈을 사용하여 mima 검사를
protobuf지원하도록 만들기connect-jvm-client-mima-check - [SPARK-43315] [13.x][CONNECT][PYTHON][SS] DataFrame에서 남은 오류 마이그레이션(읽기 권한자|기록기)를 오류 클래스로
- [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: 열거형을 ints로 사용하여 serde 허용
- [SPARK-43789] [SC-132397][R] 기본적으로 화살표가 있는 R createDataFrame에서 'spark.sql.execution.arrow.maxRecordsPerBatch'를 사용합니다.
- [SPARK-43596] [SC-126994][SQL] rewriteDomainJoins에서 IsNull 조건자 처리
- [SPARK-42249] [SC-122565][SQL] 오류 메시지의 설명서에 대한 html 링크를 구체화합니다.
- [SPARK-43128] [SC-131628][CONNECT][SS]
lastProgress네이티브 Scala Api와 일치하고recentProgress반환StreamingQueryProgress - [SPARK-43387] [SC-130448][SQL] _LEGACY_ERROR_TEMP_1168 대한 사람이 읽을 수 있는 오류 코드를 제공합니다.
- [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions를 API 응답으로 serialize하는 동안 오류 수정
- [SPARK-42958] [SC-131475][CONNECT] avro 모듈을 사용하여 mima 검사를 지원하도록 리팩터링
connect-jvm-client-mima-check - [SPARK-43591] [SC-131977][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0013 이름 할당
- [SPARK-38464] [SC-132211][CORE] org.apache.spark.io 오류 클래스 사용
- [SPARK-43759] [SC-132189][SQL][PYTHON] pyspark.sql.types에서 TimestampNTZType 노출
- [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[1-3]
- [SPARK-43719] [SC-132016][WEBUI] 핸들
missing row.excludedInStages필드 - [SPARK-42956] [SC-127257][CONNECT] Scala 클라이언트에 대한 avro 함수 지원
- [SPARK-43487] [SC-131975][SQL] 중첩된 CTE 오류 메시지 수정
- [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
- [SPARK-40912] [SC-131547][CORE]KryoDeserializationStream의 예외 오버헤드
- [SPARK-43583] [SC-131976][CORE] SaslRpcHandler 인스턴스 대신 대리자에서 MergedBlockedMetaReqHandler 가져오기
- [SPARK-42996] [SC-131997][CONNECT][PS][ML] 실패한 모든 테스트에 적절한 JIRA 티켓을 만들고 할당합니다.
- [SPARK-38469] [SC-131425][CORE] org.apache.spark.network에서 오류 클래스 사용
- [SPARK-43718] [SC-132014][SQL] USING 조인의 키에 대해 nullable을 올바르게 설정
- [SPARK-43502] [SC-131419][PYTHON][CONNECT]
DataFrame.drop빈 열을 수락해야 합니다. - [SPARK-43743] [SC-132038][SQL] 포트 HIVE-12188(DoA가 비 kerberos 보안 HS2에서 제대로 작동하지 않음)
- [SPARK-43598] [SC-131929][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2400 이름 할당
- [SPARK-43138] [SC-131031][CORE] 마이그레이션 중에 ClassNotFoundException 수정
- [SPARK-43360] [SC-131526][SS][CONNECT] Scala 클라이언트 StreamingQueryManager
- [SPARK-38467] [SC-131025][CORE] org.apache.spark.memory에서 오류 클래스 사용
- [SPARK-43345] [SC-131790][SPARK-43346][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 바꾸기[0041|1206]
- [SPARK-42815] [SC-126450][SQL] 하위 식 제거 지원 바로 가기 식
- [SPARK-38462] [SC-130449][CORE] 오류 클래스 INTERNAL_ERROR_EXECUTOR 추가
- [SPARK-43589] [SC-131798][SQL] 사용할 수정
cannotBroadcastTableOverMaxTableBytesErrorbytesToString - [SPARK-43539] [SC-131830][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0003 이름 할당
- [SPARK-43157] [SC-131688][SQL] 복제된 계획이 동일한 개체를 참조하지 못하도록 InMemoryRelation 캐시된 계획 복제
- [SPARK-43309] [SC-129746][SPARK-38461][CORE] 범주를 사용하여 INTERNAL_ERROR 확장하고 오류 클래스 INTERNAL_ERROR_BROADCAST 추가
- [SPARK-43281] [SC-131370][SQL] 동시 기록기가 파일 메트릭을 업데이트하지 않는 수정
- [SPARK-43383] [SC-130660][SQL] LocalRelation에 통계 추가
rowCount - [SPARK-43574] [SC-131739][PYTHON][SQL] 런타임 동안 작업자에서 UDF 및 pandas 함수 API에 대한 Python 실행 파일을 설정하는 지원
- [SPARK-43569] [SC-131694][SQL] HADOOP-14067에 대한 해결 방법 제거
- [SPARK-43183] [SC-128938][SS][13.x] StreamingQueryListener에 새 콜백 "onQueryIdle" 소개
- [SPARK-43528] [SC-131531][SQL][PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복된 필드 이름 지원
- [SPARK-43548] [SC-131686][SS] HADOOP-16255에 대한 해결 방법 제거
- [SPARK-43494] [SC-131272][CORE] 에서 리플렉션 대신 직접 호출
replicate()HdfsDataOutputStreamBuilderSparkHadoopUtil#createFile - [SPARK-43471] [SC-131063][CORE] 누락된 hadoopProperties 및 metricsProperties 처리
- [SPARK-42899] [SC-126456][SQL] nullable 필드에 nullable이 아닌 중첩 필드가 있는 경우를 처리하도록 DataFrame.to(스키마) 수정
- [SPARK-43302] [SC-129747][SQL] Python UDAF를 AggregateFunction으로 만들기
- [SPARK-43223] [SC-131270][연결] 형식화된 agg, reduce 함수, RelationalGroupedDataset#as
- [SPARK-43482] [SC-131375][SS] 예외에 있는 경우 Error 클래스를 포함하도록 QueryTerminatedEvent를 확장합니다.
- [SPARK-43359] [SC-131463][SQL] Hive 테이블에서 삭제하면 "UNSUPPORTED_FEATURE throw됩니다. TABLE_OPERATION"
- [SPARK-43284] [SC-130313] URL로 인코딩된 문자열로 다시 전환
- [SPARK-43492] [SC-131227][SQL] 3-args 함수 별칭 추가 및
DATE_ADDDATE_DIFF - [SPARK-43473] [SC-131372][PYTHON] pandas DataFrame에서 createDataFrame의 구조체 형식 지원
- [SPARK-43386] [SC-131110][SQL] 오류 클래스에서
UNRESOLVED_COLUMN.WITH_SUGGESTION제안된 열/특성 목록 개선 - [SPARK-43443] [SC-131332][SQL] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
- [SPARK-43518] [SC-131420][SQL] INTERNAL_ERROR 변환
_LEGACY_ERROR_TEMP_2029 - [SPARK-42604] [SC-130648][CONNECT] functions.typedlit 구현
- [SPARK-42323] [ES-669513] 되돌리기 "[SC-123479][SQL] "에
_LEGACY_ERROR_TEMP_2332이름 할당 - [SPARK-43357] [SC-130649][SQL] 필터 날짜 유형 따옴표 날짜
- [SPARK-43410] [SC-130526][SQL] Packed skipValues에 대한 벡터화된 루프 개선
- [SPARK-43441] [SC-130995][CORE]
makeDotNodeDeterministicLevel이 없을 때 실패하지 않아야 합니다. - [SPARK-43324] [SC-130455][SQL] 델타 기반 원본에 대한 UPDATE 명령 처리
- [SPARK-43272] [SC-131168][CORE] 리플렉션 대신 직접 호출
createFile - [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Spark Connect 세션 오류를 오류 클래스로 마이그레이션
- [SPARK-43405] [SC-130987][SQL] useless
getRowFormatSQL제거 ,inputRowFormatSQL,outputRowFormatSQL메서드 - [SPARK-43447] [SC-131017][R] R 4.3.0 지원
- [SPARK-43425] [SC-130981][SQL] 에 추가
TimestampNTZTypeColumnarBatchRow - [SPARK-41532] [SC-130523][CONNECT][클라이언트] 여러 데이터 프레임을 포함하는 작업에 대한 확인 추가
- [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Spark Connect 구조적 스트리밍 오류를 오류 클래스로 마이그레이션
- [SPARK-42992] [13.x][SC-129465][PYTHON] PySparkRuntimeError 소개
- [SPARK-43422] [SC-130982][SQL] 메타데이터 출력을 사용하여 LogicalRelation에 태그 유지
- [SPARK-43390] [SC-130646][SQL] DSv2를 사용하면 CTAS/RTAS가 스키마 Null 허용을 예약할 수 있습니다.
- [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest는 임의의 요청 옵션을 지원합니다.
- [SPARK-43313] [SC-130254][SQL] MERGE INSERT 작업에 누락된 열 DEFAULT 값 추가
- [SPARK-42842] [SC-130438][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2006 REGEX_GROUP_INDEX 병합
- [SPARK-43377] [SC-130405][SQL] 기본적으로 사용
spark.sql.thriftServer.interruptOnCancel - [SPARK-43292] [SC-130525][CORE][CONNECT] 모듈로
core이동하고ExecutorClassLoader단순화Executor#addReplClassLoaderIfNeeded - [SPARK-43040] [SC-130310][SQL] JDBC 데이터 원본에서 TimestampNTZ 형식 지원 개선
- [SPARK-43343] [SC-130629][SS] DataSource를 만들 때 FileStreamSource에서 추가 파일 glob 검사를 사용하지 않도록 설정해야 함
- [SPARK-43312] [SC-130294][PROTOBUF] 모든 필드를 JSON으로 변환하는 옵션
- [SPARK-43404] [SC-130586][SS] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 sst 파일 재사용 건너뛰기
- [SPARK-43397] [SC-130614][CORE] 메서드의
executorLost로그 실행기 서비스 해제 기간 - [SPARK-42388] [SC-128568][SQL] 벡터화된 판독기에서 parquet 바닥글 읽기를 두 번 사용하지 않도록 방지
- [SPARK-43306] [13.x][SC-130320][PYTHON] Spark SQL 형식에서 오류 클래스로 ValueError 마이그레이션
- [SPARK-43337] [SC-130353][UI][3.4] 열 정렬에 대한 Asc/desc 화살표 아이콘이 테이블 열에 표시되지 않음
- [SPARK-43279] [SC-130351][CORE] 에서 사용하지 않는 멤버 정리
SparkHadoopUtil - [SPARK-43250] [SC-130147][SQL] 오류 클래스
_LEGACY_ERROR_TEMP_2014를 내부 오류로 바꾸기 - [SPARK-43363] [SC-130299][SQL][PYTHON] 화살표 형식이 제공되지 않은 경우에만 범주 형식을 호출
astype합니다. - [SPARK-43261] [SC-130154][PYTHON] Spark SQL 형식에서 오류 클래스로 마이그레이션
TypeError - [SPARK-41971] [SC-130230][SQL][PYTHON] 구조체 형식을 처리하는 방법을 pandas 변환에 대한 구성 추가
- [SPARK-43381] [SC-130464][CONNECT] 'transformStatCov' 지연 만들기
- [SPARK-43362] [SC-130481][SQL] MySQL 커넥터에 대한 JSON 유형의 특수 처리
- [SPARK-42843] [SC-130196][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2007 업데이트하여 REGEX_GROUP_INDEX
- [SPARK-42585] [SC-129968][CONNECT] 로컬 관계 스트리밍
- [SPARK-43181] [SC-130476][SQL] 셸에
spark-sqlUI WebURL 표시 - [SPARK-43051] [SC-130194][CONNECT] 기본값을 내보내는 옵션 추가
- [SPARK-43204] [SC-129296][SQL] MERGE 할당을 테이블 특성과 정렬
- [SPARK-43348] [SC-130082][PYTHON] PyPy3의 지원
Python 3.8 - [SPARK-42845] [SC-130078][SQL] error 클래스 _LEGACY_ERROR_TEMP_2010 InternalError로 업데이트
- [SPARK-43211] [SC-128978][HIVE] IsolatedClientLoader에서 Hadoop2 지원 제거
시스템 환경
- 운영 체제: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
설치된 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | 검정색 | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 에서 | 8.0.4 | 암호화 | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | databricks-sdk | 0.1.6 |
| dbus-python | 1.2.18 | debugpy | 1.5.1 | decorator | 5.1.1 |
| defusedxml | 0.7.1 | distlib | 0.3.6 | docstring-to-markdown | 0.12 |
| entrypoints | 0.4 | 실행 중 | 1.2.0 | facets-overview | 1.0.3 |
| fastjsonschema | 2.16.3 | filelock | 3.12.0 | fonttools | 4.25.0 |
| googleapis-common-protos | 1.56.4 | grpcio | 1.48.1 | grpcio-status | 1.48.1 |
| httplib2 | 0.20.2 | idna | 3.3 | importlib-metadata | 4.6.4 |
| ipykernel | 6.17.1 | ipython | 8.10.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.7.2 | jedi | 0.18.1 | jeepney | 0.7.1 |
| Jinja2 | 2.11.3 | jmespath | 0.10.0 | joblib | 1.2.0 |
| jsonschema | 4.16.0 | jupyter-client | 7.3.4 | jupyter_core | 4.11.2 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.2 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | MarkupSafe | 2.0.1 | matplotlib | 3.5.2 |
| matplotlib-inline | 0.1.6 | mccabe | 0.7.0 | mistune | 0.8.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nbclient | 0.5.13 |
| nbconvert | 6.4.4 | nbformat | 5.5.0 | nest-asyncio | 1.5.5 |
| nodeenv | 1.8.0 | Notebook | 6.4.12 | numpy | 1.21.5 |
| oauthlib | 3.2.0 | 패키징 | 21.3 | pandas | 1.4.4 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.9.0 |
| patsy | 0.5.2 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.2.0 | pip | 22.2.2 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 3.19.4 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pycparser | 2.21 | pydantic | 1.10.6 |
| pyflakes | 3.0.1 | Pygments | 2.11.2 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.32 | pyparsing | 3.0.9 |
| pyright | 1.1.294 | pyrsistent | 0.18.0 | python-dateutil | 2.8.2 |
| python-lsp-jsonrpc | 1.0.0 | python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 |
| pytz | 2022.1 | pyzmq | 23.2.0 | requests | 2.28.1 |
| rope | 1.7.0 | s3transfer | 0.6.0 | scikit-learn | 1.1.1 |
| scipy | 1.9.1 | seaborn | 0.11.2 | SecretStorage | 3.3.1 |
| Send2Trash | 1.8.0 | setuptools | 63.4.1 | 6 | 1.16.0 |
| soupsieve | 2.3.1 | ssh-import-id | 5.11 | stack-data | 0.6.2 |
| statsmodels | 0.13.2 | tenacity | 8.1.0 | terminado | 0.13.1 |
| testpath | 0.6.0 | threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 |
| tomli | 2.0.1 | tornado | 6.1 | traitlets | 5.1.1 |
| typing_extensions | 4.3.0 | ujson | 5.4.0 | unattended-upgrades | 0.1 |
| urllib3 | 1.26.11 | virtualenv | 20.16.3 | wadllib | 1.3.6 |
| wcwidth | 0.2.5 | webencodings | 0.5.1 | whatthepatch | 1.0.2 |
| wheel | 0.37.1 | widgetsnbextension | 3.6.1 | yapf | 0.31.0 |
| zipp | 1.0.0 |
설치된 R 라이브러리
R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| 화살표 | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
| boot | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| callr | 3.7.3 | 캐럿 | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | credentials | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| 줄임표 | 0.3.2 | evaluate | 0.20 | fansi | 1.0.4 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | 제네릭(generics) | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.1 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.1 | 주기 | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
| MASS | 7.3-58.2 | 행렬 | 1.5-1 | memoise | 2.0.1 |
| 메서드 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 진행률 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| 프록시 | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | spatial | 7.3-15 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | 통계 | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.44 | tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | stream | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-원시 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-원시 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-원시 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-원시 |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | Profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.7.0 |
| io.dropwizard.metrics | metrics-core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 수집기 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.29 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | 최근 | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | Mesos | 1.11.0-음영 처리된 프로토부프 |
| org.apache.orc | orc-core | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-security | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-webapp | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | shims | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |