다음을 통해 공유

Databricks Runtime 13.3 LTS

  • 아티클

다음 릴리스 정보는 Apache Spark 3.4.1에서 제공하는 Databricks Runtime 13.3 LTS에 대한 정보를 제공합니다.

Databricks는 2023년 8월에 이 버전을 릴리스했습니다.

참고 항목

LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

새로운 기능 및 향상 기능

공유 클러스터에 대한 Scala 지원

이제 Unity Catalog사용 가능한 공유 클러스터는 Databricks Runtime 13.3 이상을 사용할 때 Scala를 지원합니다.

Unity Catalog 공유 클러스터의 init 스크립트, JAR 및 Maven 좌표에 대한 허용 목록은 공개 미리 보기로 제공됩니다.

이제 Unity Catalogallowlist을 사용하여 Databricks Runtime 13.3 이상의 버전에서 공유 액세스 모드를 실행하는 컴퓨팅 환경에서 init 스크립트, JAR 및 Maven 좌표의 설치를 제어할 수 있습니다. 공유 컴퓨팅의 허용 목록 라이브러리 및 초기화 스크립트를 참조하세요.

init 스크립트 및 JAR에 대한 Volumes 지원은 공개 미리 보기로 제공됩니다.

이제 Unity Catalogvolumes을 사용하여, 할당된 또는 공유된 액세스 모드로 Databricks Runtime 13.3 이상을 실행하는 컴퓨터에 init 스크립트와 JAR 파일을 저장할 수 있습니다. 스크립트를 설치할 수 있는지 보려면 Where를 참조하세요. 클러스터 범위 라이브러리 및 는를 참조하세요.

Delta Lake 작업에 대해 기본적으로 사용하도록 설정된 안전한 캐스트

이제 델타 UPDATE 및 MERGE 작업에서 values가 대상 tableschema형식으로 안전하게 캐스팅할 수 없는 경우에는 오류가 출력됩니다. 이제 spark.sql.storeAssignmentPolicyspark.sql.ansi.enabled델타의 모든 암시적 캐스트는 . Databricks 런타임에서 ANSI 규정 준수를 참조 하세요.

Unity Catalog 사용하여 태그 소개

Databricks Runtime 13.3 LTS 이상을 사용하면 보안 개체에 태그를 적용할 수 있습니다. 태그를 사용하면 보안 개체를 구성하고 데이터 자산의 검색 및 검색을 간소화할 수 있습니다. Unity Catalog 보안 개체에 태그 적용참조하세요.

쿼리 계획과 호출 사이에 파일이 수정되면 Databricks Runtime에서 오류를 반환합니다.

이제 쿼리 계획과 호출 사이에 파일이 업데이트되면 Databricks 런타임 쿼리가 오류를 반환합니다. 이 변경 전에 Databricks 런타임은 이러한 단계 간에 파일을 읽어 들이는데, 이로 인해 때때로 예측할 수 없는 결과가 발생합니다.

동적 partition 덮어쓰기를 사용할 때 schema 덮어쓰기를 차단합니다.

Delta Lake에서는 동적 partition 덮어쓰기를 사용하는 경우 set,overwriteSchema을 true와 결합하여 사용할 수 없습니다. schema 불일치로 인해 발생할 수 있는 table 손상을 방지합니다. 동적 에서 partition 덮어쓰기를 참조하세요.

copyFile API를 dbutils.fs.cp에 통합

이제 더 빠른 복사를 위해 dbutils 복사 명령 dbutils.fs.cp 이 최적화되었습니다. 이 향상된 기능을 사용하면 파일 크기에 따라 복사 작업이 최대 100배 더 빨라질 수 있습니다. 이 기능은 Unity CatalogVolumes 및 Databricks Filesystem 마운트를 포함하여 Azure Databricks에서 액세스할 수 있는 모든 파일 시스템에서 사용할 수 있습니다.

Databricks ODBC/JDBC 드라이버 지원

Azure Databricks는 지난 2년 동안 릴리스된 ODBC 및 JDBC 드라이버를 지원합니다. ODBC 드라이버 다운로드 및 JDBC 드라이버 다운로드에서 최신 드라이버를 다운로드합니다.

명명되지 않은(위치) 매개 변수 표식 지원

이제 API는 SparkSession.sql() 구문을 사용하는 매개 변수가 있는 쿼리 외에도 구문을 사용하여 ?:parm 매개 변수가 있는 쿼리를 지원합니다. 매개 변수 표식을 참조 하세요.

시계열 column 레이블 사용 지정

이제기본 키 제약 조건을 만들 때 시계열 레이블을 지정할 수 있습니다.

새 비트맵 SQL 함수

이제 Azure Databricks는 정수 숫자 values 비트맵에 매핑하고 집계하는 데 사용할 수 있는 함수 set 제공했습니다. 고유 values수를 미리 계산하는 데 사용할 수 있습니다.

향상된 암호화 함수

IV(초기화 벡터) 및 인증된 추가 데이터(AAD)를 지원하여 aes_encrypt, aes_decrypt 및 try_aes_decrypt 함수가 개선되었습니다.

Unity CatalogREFRESH FOREIGN 지원

이제 REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA및 REFRESH FOREIGN TABLE사용하여 Unity Catalog 외 catalogs, 스키마 및 tablesupdate 수 있습니다. REFRESH FOREIGN(CATALOG, SCHEMA및 TABLE)참조하세요.

이름별 INSERT

table 행을 삽입할 때 이제 Azure Databricks가 원본 쿼리의 columns 및 필드를 각각의 이름으로 table의 columns에 자동으로 매핑하도록 할 수 있습니다. INSERT into참조하세요.

구체화된 views를 델타 공유로 공유하세요

이제 ALTER SHARE 문이 구체화된 views을 지원합니다.

호환성이 손상되는 변경

MERGE INTO 및 UPDATE를 사용하여 table에 행을 저장할 때 암시적 캐스팅의 변경 사항

Azure Databricks는 이제 table행을 저장할 때 암시적 캐스팅에 대한 구성 spark.sql.storeAssignmentPolicy을 따릅니다. 기본값 ANSI는 values을 저장할 때 오버플로로 인해 오류를 발생시킵니다. 이전에는 values가 기본적으로 NULL로 저장되었습니다.

다음 예제와 같이, 오류를 일으키는 column에 대해 더 넓은 형식을 사용하도록 table를 다시 작성하여 오버플로를 해결할 수 있습니다.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet Schema 추론 변경

Spark가 아닌 도구로 작성된 Parquet 파일에서 스키마를 추론할 때 isAdjustedToUTC=false로 주석이 추가된 int64 타임스탬프 columns은 이제 기본적으로 TIMESTAMP_NTZ 형식으로 설정됩니다. 이전에는 이러한 형식을 형식으로 TIMESTAMP 유추했습니다. update은 Parquet 형식을 Spark SQL 형식으로 매핑할 때의 정확도를 향상시킵니다.

Delta table에 외부 Parquet 파일에서 데이터를 읽어오는 경우, timestampNtz 기능이 활성화되어 있지 않으면 오류가 발생할 수 있습니다. 오류는 다음과 같이 표시됩니다.

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

이전 동작을 유지하고 이 오류를 방지하려면 Spark 구성 매개변수 spark.sql.parquet.inferTimestampNTZ.enabled을 false로 set하여 설정할 수 있습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • debugpy from 1.5.1 to 1.6.0
    • distlib에서 0.3.6에서 0.3.7로
    • fastjsonschema 2.16.3에서 2.18.0으로
    • filelock from 3.12.0 to 3.12.2
  • 업그레이드된 R 라이브러리:
    • SparkR 3.4.0에서 3.4.1로
  • 업그레이드된 Java 라이브러리:
    • org.apache.orc.orc-core에서 1.8.3-shaded-protobuf에서 1.8.4-shaded-protobuf로
    • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims from 1.8.3 to 1.8.4
    • org.eclipse.jetty.jetty-client from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-continuation from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.xerial.snappy.snappy-java에서 1.1.8.4에서 1.1.10.1로

Apache Spark

Databricks Runtime 13.3에는 Apache Spark 3.4.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • 이제 클러스터 환경 변수 set을/를 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12으로 설정하여 Spark-snowflake 커넥터 v2.12.0을 사용할 수 있습니다.
  • [SPARK-43380] [DBRRM-383] 되돌리기 "[SC-133100][SQL] Avro 데이터 형식 해결...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] 공급자 언로드로 인해 DB 인스턴스를 강제로 닫고 유지 관리 작업 오류에 대한 리소스를 해제합니다.
  • [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
  • [SPARK-44485] [SC-137653][SQL] Optimize TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON] Python에서 ForeachBatch 스트리밍
  • [SPARK-44446] [SC-136994][PYTHON] 예상되는 list 유형의 특수 사례에 대한 검사 추가
  • [SPARK-44439] [SC-136973][CONNECT][SS]ID만 클라이언트로 다시 보내도록 listListeners 수정
  • [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API 공개
  • [SPARK-44201] [SC-136778][CONNECT][SS]Spark Connect용 Scala에서 스트리밍 수신기에 대한 지원 추가
  • [SPARK-43915] [SC-134766][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
  • [SPARK-43798] 되돌리기 "[SC-133990][SQL][PYTHON] Python 사용자 정의 table 함수 지원"
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169][CORE][CONNECT] 연결된 아티팩트 없이 JobArtifactState의 아티팩트 채우기 수정
  • [SPARK-44269] [SC-135817][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] TABLE 키워드 후 identifier 주위에 괄호가 필요하도록 TVF 인수를 Update
  • [SPARK-43915] [SC-134766][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Connect Scala 클라이언트에 UDFRegistration에 대한 지원 추가
  • [SPARK-44109] [SC-134755][CORE] Remove 각 RDD의 선호 위치 중복 partition
  • [SPARK-44169] [SC-135497][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] _LEGACY_ERROR_TEMP_1020 이름 할당
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977][CORE][UI] Executors 탭에서 Heap Histogramcolumn 지원
  • [SPARK-44044] [SC-135695][SS] 스트리밍을 사용하여 Window 함수에 대한 오류 메시지 개선
  • [SPARK-43914] [SC-135414][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] fp 약 같음의 사용자 지정 정밀도 허용
  • [SPARK-44370] [SC-136575][CONNECT] Buf 원격 세대 알파를 원격 플러그 인으로 마이그레이션
  • [SPARK-44410] [SC-136930][PYTHON][CONNECT] 생성 시에도 활성 세션, getOrCreate뿐만 아니라 Set
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] 관련 변경 내용이 있는 다시 활성화 가능한 test_artifact
  • [SPARK-44145] [SC-136698][SQL] 실행 준비가 되면 콜백
  • [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler 클래스
  • [SPARK-43986] [SC-135623][SQL] HyperLogLog 함수 호출 실패에 대한 오류 클래스 만들기
  • [SPARK-44139] [SC-134967][SQL] 그룹 기반 MERGE 작업에서 완전히 푸시된 필터 삭제
  • [SPARK-44338] [SC-136718][SQL] 보기 schema 불일치 오류 메시지 수정하기
  • [SPARK-44208] [SC-135505][CORE][SQL] 예외를 직접 사용하는 일부 논리에 대해 명확한 오류 클래스 이름 할당
  • [SPARK-44364] [SC-136773] [PYTHON] 예상되는 List[행] 데이터 형식에 대한 지원 추가
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils는 ResolveTimeZone을 적용해야 합니다.
  • [SPARK-43389] [SC-136772][SQL] lineSep 옵션에 대한 null 검사 추가됨
  • [SPARK-44388] [SC-136695][CONNECT] UDF 인스턴스가 업데이트되면 protobuf 캐스트 문제 해결
  • [SPARK-44352] [SC-136373][CONNECT] DataType에 sameType 및 friend를 다시 배치합니다.
  • [SPARK-43975] [SC-134265][SQL] DataSource V2: 그룹 기반 원본에 대한 UPDATE 명령 처리
  • [SPARK-44360] [SC-136461][SQL] 델타 기반 MERGE 작업에서 schema 가지치기 지원
  • [SPARK-44138] [SC-134907][SQL] MERGE 조건에서 비결정적 식, 하위 쿼리 및 집계 금지
  • [SPARK-43321] [SC-136678][연결][후속 작업] Scala Client joinWith에서 사용되는 API에 대한 더 나은 이름
  • [SPARK-44263] [SC-136447][CONNECT] 사용자 지정 인터셉터 지원
  • [SPARK-39851] [SC-123383][SQL] 한쪽이 고유성을 유지할 수 있는 경우 join 통계 예측 개선
  • [SPARK-44390] [SC-136677][CORE][SQL] 이름 바꾸기 SparkSerDerseUtilsSparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] 이름 할당 및 자주 레거시 오류에 대한 오류 메시지 개선
  • [SPARK-44322] [SC-136204][CONNECT] 파서가 SQLConf 대신 SqlApiConf를 사용하도록 합니다.
  • [SPARK-44271] [SC-136347][SQL] StructType에서 ResolveDefaultColumns로 기본 values 함수 이동
  • [SPARK-44332] [SC-136413][CORE][WEBUI] 실행기 UI 페이지에서 실행기 ID Column 정렬 오류 수정
  • [SPARK-44282] [SC-135948][CONNECT] Spark Connect Scala 클라이언트에서 사용할 DataType 구문 분석 준비
  • [SPARK-44349] [SC-136581][R] SparkR에 수학 함수 추가
  • [SPARK-44397] [SC-136647][PYTHON] pyspark.testing.utils에서 assertDataFrameEqual 노출
  • [SPARK-42981] [SC-136620][CONNECT] 직접 화살표 serialization 추가
  • [SPARK-44373] [SC-136577][SQL] 구문 분석 논리를 사용하여 데이터 세트 API에 대한 WithActive 래핑을 수행하여 파서 관련 구성이 작동하도록 합니다.
  • [SPARK-44340] [SC-136574][SQL] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowGroupLimitExec에서 사용합니다.
  • [SPARK-43665] [SC-136573][CONNECT][PS] PandasSQLStringFormatter.vformat이 Spark Connect에서 작동하도록 설정
  • [SPARK-44325] [SC-136572][SQL] SortMergeJoinExec에서 PartitionEvaluator API 사용
  • [SPARK-44315] [SC-136171][SQL][CONNECT] DefinedByConstructorParams를 sql/api로 이동
  • [SPARK-44275] [SC-136184][CONNECT] Scala Spark Connect에 구성 가능한 재시도 메커니즘 추가
  • [SPARK-44326] [SC-136208][SQL][CONNECT] Scala 클라이언트에서 공통 모듈로 사용되는 유틸리티 이동
  • [SPARK-43321] [SC-136156][연결] Dataset#Joinwith
  • [SPARK-44343] [SC-136372][CONNECT] SQL/API로 이동하도록 ScalaReflection 준비
  • [SPARK-44313] [SC-136081][SQL] schema char/varchar column 있을 때 생성된 column 식 유효성 검사 수정
  • [SPARK-43963] [SC-134145][SQL] DataSource V2: 그룹 기반 원본에 대한 MERGE 명령 처리
  • [SPARK-44363] [SC-136433] [PYTHON] DataFrame 비교에서 같지 않은 행의 백분율 표시
  • [SPARK-44251] [SC-136432][SQL] Set 전체 외부 조인에서 병합된 join 키의 nullable 속성을 올바르게 join
  • [SPARK-43948] [SC-133366][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON] Scala 및 Python에 hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt 추가
  • [SPARK-44351] [SC-136353][SQL] 몇 가지 구문 단순화
  • [SPARK-44281] [SC-135963][SQL] DataType에서 사용하는 QueryCompilation 오류를 DataTypeErrors로 sql/api로 이동
  • [SPARK-44283] [SC-136109][CONNECT] 원본을 SQL/API로 이동
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON] Scala 및 Python에 array_agg, array_size, 카디널리티, count_min_sketch, 마스크, named_struct,json_* 추가
  • [SPARK-44327] [SC-136187][SQL][CONNECT] Scala에 anylen 함수 추가
  • [SPARK-44290] [SC-136300][CONNECT] Spark Connect의 세션 기반 파일 및 보관
  • [SPARK-44061] [SC-136299][PYTHON] assertDataFrameEqual util 함수 추가
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON] Scala 및 Python에 비트맵 함수 추가
  • [SPARK-44342] [SC-136334][SQL] SQLContext를 GenTPCDSData용 SparkSession으로 바꾸기
  • [SPARK-42583] [SC-124190][SQL] 모두 고유 집계 함수인 경우 외부 joinRemove.
  • [SPARK-44333] [SC-136206][CONNECT][SQL] ParserUtils에서 EnhancedLogicalPlan 이동
  • [SPARK-43824] [SC-132655][SPARK-43825] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_128 이름 할당[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON] Scala 및 Python에 try_* 함수 추가
  • [SPARK-44193] [SC-135886][CONNECT] 변환을 위한 GRPC 예외 차단 구현
  • [SPARK-44284] [SC-136107][CONNECT] sql/api용 간단한 conf 시스템 만들기
  • [SPARK-43913] [SC-133368][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2426-2432]
  • [SPARK-44291] 되돌림 "[SC-135924][SPARK-43416][CONNECT] 범위 쿼리에 대한 잘못된 schema 수정"
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON] 환경 변수를 사용하여 사용자 에이전트를 set 수 있습니다.
  • [SPARK-44154] [SC-136060] 비트맵 함수 구현
  • [SPARK-43885] [SC-133996][SQL] DataSource V2: 델타 기반 원본에 대한 MERGE 명령 처리
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON] Scala 및 Python에 misc 함수 추가
  • [SPARK-43969] [SC-134556][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1170 이름 리팩터링 및 할당
  • [SPARK-44185] [SC-135730][SQL] catalog 데이터 작업 간의 일관되지 않은 경로 지정 해결
  • [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Scala, Python 및 Connect에 날짜 시간 함수 추가 - 2부
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON] Scala 및 Python에 문자열 함수 추가 - 1부
  • [SPARK-44266] [SC-135813][SQL] Util.truncatedString을 sql/api로 이동
  • [SPARK-44195] [SC-135722][R] SparkR SparkContext에 JobTag API 추가
  • [SPARK-44200] [SC-135736][SQL] TableValuedFunction에 대한 TABLE 인수 파서 규칙 지원
  • [SPARK-44254] [SC-135709][SQL] DataType에서 사용하는 QueryExecutionErrors를 DataTypeErrors로 sql/api로 이동
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] 범위 쿼리에 대한 잘못된 schema 수정
  • [SPARK-43922] [SC-135612][SQL] 함수 호출에 대한 파서에 명명된 매개 변수 지원 추가
  • [SPARK-44300] [SC-135882][CONNECT] 아티팩트 정리를 수정하여 특정 아티팩트 세션에 limit 삭제 범위 수정
  • [SPARK-44293] [SC-135849][CONNECT] Spark Connect에서 사용자 지정 JAR에 대한 잘못된 URI 수정
  • [SPARK-44215] [SC-135850][순서 섞기] num 청크가 0이면 서버에서 RuntimeException을 throw해야 합니다.
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests는 설명 전용이어야 합니다.
  • [SPARK-44274] [SC-135814][CONNECT] ArtifactManager에서 사용하는 util 함수를 common/utils로 이동
  • [SPARK-44194] [SC-135815][PYTHON][CORE] PySpark SparkContext에 JobTag API 추가
  • [SPARK-42828] [SC-135733][PYTHON][SQL] GroupedData에 대한 보다 명시적인 Python 형식 주석
  • [SPARK-44079] [SC-135486][SQL] 손상된 레코드와 함께 PERMISSIVE 모드를 사용하여 배열을 구조체로 구문 분석하는 경우 수정 ArrayIndexOutOfBoundsException
  • [SPARK-44255] [SC-135809][SQL] StorageLevel을 일반/유틸리티로 재배치
  • [SPARK-42169] [SC-135795] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
  • [SPARK-43353] [SC-132734][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT] SparkSession.is_stopped 구현
  • [SPARK-42784] [SC-135691]은 병합 dir의 subDir 수가 conf보다 작은 경우에도 subDir을 만들어야 합니다.
  • [SPARK-41599] [SC-135616] InProcessLauncher를 사용하여 클러스터를 보호하기 위해 앱을 제출할 때 FileSystem.CACHE의 메모리 누수
  • [SPARK-44241] [SC-135613][Core] 실수로 io.connectionTimeout/connectionCreationTimeout을 0 또는 음수로 set 경우 끊임없는 실행기 cons/destructions가 발생합니다.
  • [SPARK-44133] [SC-134795][13.X][PYTHON] MyPy를 0.920에서 0.982로 업그레이드
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-44188] [SC-135173][CORE] Remove 쓸모없는 resetAllPartitions 메서드 in ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT] 클라이언트 호환성을 허용에서 변경 listdenylist
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] ID별로 런타임 데이터 프레임에 Spark 연결 액세스를 추가합니다.
  • [SPARK-44183] [SC-135209][PYTHON] 최소 버전을 4.0.0으로 만들기 PyArrow
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] kafka 원본 v2에서 기본 설정 위치 추가
  • [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Scala, Python 및 Connect API에 날짜 시간 함수 추가 - 1부
  • [SPARK-44161] [SC-135326][연결] UDF에 대한 행 입력 처리
  • [SPARK-44227] [SC-135520][SQL] StructField에서 SchemaUtils 추출
  • [SPARK-44064] [SC-135116][CORE][SQL] 새 apply 함수를 에 추가 NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2279-2282] 및 사용되지 않은 일부 오류 클래스 삭제
  • [SPARK-44056] [SC-134758][SQL] UDF 실행 실패 오류 메시지(사용 가능한 경우)에 UDF 이름 포함
  • [SPARK-44205] [SC-135422][SQL] DecimalType에서 촉매 코드 추출
  • [SPARK-44220] [SC-135484][SQL] StringConcat을 sql/api로 이동
  • [SPARK-44146] [SC-135230][CONNECT] Spark Connect 세션 jar 및 클래스 파일 격리
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr 범위 Session.active
  • [SPARK-40850] [SC-135417][SQL] 테스트 사례 해석 쿼리가 Codegen을 실행할 수 있는 수정
  • [SPARK-44204] [SC-135253][SQL][HIVE] getPartitionNames에 누락된 recordHiveCall 추가
  • [SPARK-44237] [SC-135485][CORE] DirectByteBuffer 생성자 조회 논리 간소화
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON] 위치 인수 parameters을(를) sql()로 지원
  • [SPARK-44140] [SC-134893][SQL][PYTHON] Python에서 위치 parameters 지원 sql()
  • [SPARK-44164] [SC-135158][SQL] StructField에서 Util 클래스로 toAttribute 메서드 추출
  • [SPARK-44178] [SC-135113][CONNECT] parameters의 sql() 내 위치 지원
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader는 읽은 후 Barrier 클래스 InputStream을 닫아야 합니다.
  • [SPARK-43063] [SC-128382][SQL] df.show null 대신 NULL을 인쇄해야 하는 핸들
  • [SPARK-42539] [SC-124464][SQL][HIVE] 메타데이터 클라이언트에 'builtin' Hive 버전을 사용할 때 별도의 클래스 로더 제거
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Catalog.listFunctions에 대한 선택적 패턴 추가
  • [SPARK-44066] [SC-134878][SQL] Scala/Java sql() 위치 parameters 지원
  • [SPARK-44078] [SC-134869][CONNECT][CORE] classloader/리소스 격리에 대한 지원 추가
  • [SPARK-43470] [SC-135187][CORE] 애플리케이션 로그에 OS, Java, Python 버전 정보 추가
  • [SPARK-43136] [SC-135238][CONNECT][후속 작업] KeyA에 대한 테스트 추가
  • [SPARK-39740] [SC-135093][UI]: 비스 타임라인을 7.7.2로 업그레이드하여 CVE-2020-28487 수정
  • [SPARK-42298] [SC-133952][SQL] _LEGACY_ERROR_TEMP_2132 이름 할당
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Catalog.listTables에 대한 선택적 패턴 추가
  • [SPARK-44026] [SC-135181] SQLMetrics에 대한 초기 값 제공 허용
  • [SPARK-44202] [SC-135244][CORE] JavaSparkContext에 JobTag API 추가
  • [SPARK-44030] [SC-135237][SQL] DataTypeExpression을 구현하여 식에 Unapply 제공
  • [SPARK-43876] 되돌리기 "[SC-134603][SQL] 고유 쿼리에 빠른 해시맵 사용"
  • [SPARK-40082] [SC-126437] 밀어넣기 병합 shuffleMapStage 재시도하지만 실행 중인 작업이 없을 때 mergeFinalize 예약
  • [SPARK-43888] [SC-132893][CORE] 로깅을 일반/유틸리티로 재배치
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] SparkConnectPlanner에 SessionHolder 추가
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON] Scala 및 Python에 문자열 함수 추가 - 2부
  • [SPARK-44134] [SC-134954][CORE] spark-defaults.conf에서 set 경우 리소스(GPU/FPGA)를 0으로 설정 수정
  • [SPARK-44142] [SC-134947][PYTHON] python 형식을 spark 형식으로 변환하도록 형식을 유틸리티의 tpe로 바꾸기
  • [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] 태그별 쿼리 취소를 위한 SparkContext API 추가
  • [SPARK-44000] [SC-133634][SQL] join 한쪽 브로드캐스팅 및 복제를 사용하지 않도록 설정하는 힌트 추가
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON] Scala 및 Python에 ifnull,isnotnull,equal_null,nullif,nvl,nvl2 추가
  • [SPARK-43624] [13.x][SC-134557][PS][CONNECT] SparkConnectPlanner에 추가 EWM 합니다.
  • [SPARK-44040] [SC-134366][SQL] QueryStageExec 위의 AggregateExec 노드가 있는 경우 컴퓨팅 통계 수정
  • [SPARK-43485] [SC-131264][SQL] datetime add/diff 함수의 인수에 대한 unit 오류 메시지 수정
  • [SPARK-43794] [SC-132561][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1335 이름 할당
  • [SPARK-43511] [SC-134749][CONNECT][SS]Spark Connect용 MapGroupsWithState 및 FlatMapGroupsWithState API 구현
  • [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS 식 지원 + 코드 정리
  • [SPARK-44106] [SC-134750][PYTHON][CONNECT] 추가 __repr__ 대상 GroupedData
  • [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206 이름 할당
  • [SPARK-43290] [SC-134388][SQL] aes_encrypt EV 및 AAD에 대한 지원을 추가합니다.
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Scala 및 Python에 like 함수 추가 current
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Scala 및 Python에 regexp_* 함수 추가
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON] 자동 완성에서 지원되지 않는 Column 메서드 숨기기
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON] python 클라이언트에서 'levenshtein(str1, str2[, threshold])' 함수 구현
  • [SPARK-44125] [SC-134745][R] SparkR에서 Java 21 지원
  • [SPARK-43919] [SC-133374][SQL] 행에서 JSON 기능 추출
  • [SPARK-43769] [SC-132520][CONNECT] 'levenshtein(str1, str2[, threshold])' 함수 구현
  • [SPARK-44012] [SC-134662][SS] 일부 읽기 상태를 인쇄하는 KafkaDataConsumer
  • [SPARK-43876] [SC-134603][SQL] 고유 쿼리에 대해 빠른 해시맵 사용
  • [SPARK-44024] [SC-134497][SQL] 단일 요소를 추출하는 map 데만 사용할 수 unzip 있도록 변경
  • [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Scala, Python 및 Connect API에 비트 작업 추가
  • [SPARK-44092] [SC-134506][CORE] Java 21을 사용하여 모듈 패스 추가 Utils.isJavaVersionAtLeast21 및 만들기 core
  • [SPARK-44018] [SC-134512][SQL] 일부 DS V2 식에 대한 해시 코드 및 toString 개선
  • [SPARK-44105] [SC-134582][SQL] LastNonNull 를 지연 해결해야 합니다.
  • [SPARK-44081] [SC-134434] PartitionedFileUtil API 약간 간소화
  • [SPARK-43791] [SC-132531][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1336 이름 할당
  • [SPARK-44071] [SC-134435] 미해결 정의 및 사용[리프|단항]노드 특성입니다.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] 오류 클래스 _LEGACY_ERROR_TEMP_2418-2425에 이름 할당
  • [SPARK-43742] [SC-132684][SQL] 기본 column 값 해상도 리팩터링
  • [SPARK-43493] [SC-132063][SQL] levenshtein() 함수에 최대 거리 인수 추가
  • [SPARK-44075] [SC-134382][CONNECT] 지연 만들기 transformStatCorr
  • [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Scala, Python 및 Connect에 모든 bool_or,bool_and 추가
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Scala 및 Python에 make_* 함수 추가
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_24 이름 할당[06-10]
  • [SPARK-43962] [SC-133367][SQL] 오류 메시지 개선: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMALCANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON] Scala 및 Python에 to_* 함수 추가
  • [SPARK-44055] [SC-134321][CORE] CheckpointRDD 중복 override 함수 Remove
  • [SPARK-43802] [SC-132597][SQL] failOnError=true를 사용하여 unhex 및 unbase64에 대한 codegen 수정
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Python 사용자 정의 table 함수 지원
  • [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value 추가, Scala, Python 및 Connect API로 축소
  • [SPARK-43380] [SC-133100][SQL] 잘못된 결과를 생성하지 않도록 Avro 데이터 형식 변환 문제 해결
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] 클라이언트 연결 끊기를 처리하도록 awaitTermination()을 개선합니다.
  • [SPARK-43179] [SC-129070][순서 섞기] 앱이 외부 순서 섞기 서비스에 의해 해당 메타데이터가 db에 저장되는지 여부를 제어할 수 있도록 허용

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 13.3 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.4 암호화 37.0.1
cycler 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 debugpy 1.6.0 decorator 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0.12
entrypoints 0.4 실행 중 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 Notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 패키징 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.2.0 pip 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
rope 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 6 1.16.0
soupsieve 2.3.1 ssh-import-id 5.11 stack-data 0.6.2
statsmodels 0.13.2 tenacity 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 unattended-upgrades 0.1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wheel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 brio 1.1.3
broom 1.0.3 bslib 0.4.2 cachem 1.0.6
callr 3.7.3 캐럿 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 config 0.3.1 cpp11 0.4.3
crayon 1.5.2 credentials 1.3.2 curl 5.0.0
데이터.table 1.14.6 datasets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 digest 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
줄임표 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.6.1 future 1.31.0
future.apply 1.10.0 gargle 1.3.0 제네릭(generics) 0.1.3
gert 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
glue 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 graphics 4.2.2 grDevices 4.2.2
grid 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
labeling 0.4.2 later 1.3.0 lattice 0.20-45
lava 1.7.1 주기 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
MASS 7.3-58.2 행렬 1.5-1 memoise 2.0.1
메서드 4.2.2 mgcv 1.8-41 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallelly 1.34.0 pillar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 진행률 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
프록시 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recipes 1.0.4
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 sass 0.4.5 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 spatial 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 통계 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
survival 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 waldo 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-원시
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-원시
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-원시
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metrics-healthchecks 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos Mesos 1.11.0-음영 처리된 프로토부프
org.apache.orc orc-core 1.8.4-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.8.4-셰이드-프로토부프
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1