Databricks Runtime 9.1 LTS

아티클
09/03/2024

다음은 Apache Spark 3.1.2에서 제공하는 Databricks Runtime 9.1 LTS 및 Databricks Runtime 9.1 LTS Photon에 대한 릴리스 정보를 제공합니다. Databricks는 2021년 9월에 이 버전을 릴리스했습니다. Photon은 현재 공개 미리 보기 상태입니다.

참고 항목

LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

새로운 기능 및 향상 기능

이제 자동 로더 스키마 힌트가 배열 및 맵 형식에서 작동함
병합 스키마에 대한 Avro 파일 지원
자동 로더 증분 목록 지원(공개 미리 보기)
이제 Delta가 임의 replaceWhere를 지원함
이제 Google Cloud용 자동 로더에서 파일 알림(공개 미리 보기)을 지원함
이제 CREATE FUNCTION이 테이블 함수 만들기를 지원함
이제 Kafka 스트리밍 원본이 estimatedTotalBytesBehindLatest 메트릭을 보고함
배열 내의 구조체에 대해 이제 Delta MERGE INTO가 이름별로 구조체 필드를 확인하고 구조체 스키마를 발전시킴

이제 자동 로더 스키마 힌트가 배열 및 맵 형식에서 작동함

배열 및 맵 형식은 자동 로더에 대한 스키마 힌트를 사용한 스키마 추론 재정의에서 지원됩니다.

배열에 대한 스키마 힌트의 예는 다음과 같습니다.

arr Array<TYPE>은(는) 배열 형식을 변경합니다.
arr.element TYPE은(는) 배열 형식을 변경합니다(element 키워드를 사용).
arr.element.x TYPE은(는) 구조체 배열에서 중첩된 필드 형식을 변경합니다.

처음 두 예제는 배열 형식을 arr에서 TYPE(으)로 변경하는 힌트이지만 서로 다른 구문을 사용합니다. 세 번째 예제에서 arr은(는) 필드 x가 있는 구조체 배열입니다. 이 예제에서는 x 형식을 TYPE(으)로 변경하는 방법을 보여 줍니다.

맵에 대한 스키마 힌트의 예는 다음과 같습니다.

m Map<KEY-TYPE, VALUE-TYPE>은(는) 맵 키 및 값 형식을 변경합니다.
m.key TYPE은(는) 맵 키의 형식을 변경합니다.
m.value TYPE은(는) 맵 값의 형식을 변경합니다.
m.key.x TYPE은(는) 맵 키의 필드 형식을 변경합니다.
m.value.x TYPE은(는) 맵 값의 필드 형식을 변경합니다.

첫 번째 예제에서는 맵 m의 키 및 값 형식을 각각 KEY_TYPE 및 VALUE_TYPE(으)로 변경합니다. 키 형식 또는 값 형식만 변경해야 하는 경우 두 번째 및 세 번째 예제를 사용할 수 있습니다. 네 번째 및 다섯 번째 예제에서 m은(는) 필드 x이(가) 있는 구조체 형식의 키와 값이 있는 맵입니다. 이 예제에서는 x 형식을 TYPE(으)로 변경하는 방법을 보여 줍니다.

병합 스키마에 대한 Avro 파일 지원

이제 Avro 파일 형식은 파일을 읽을 때 mergeSchema 옵션을 지원합니다. Avro 파일을 읽을 때 mergeSchema을(를) true로 설정하면 단일 파일이 아닌 Avro 파일 집합에서 스키마가 유추됩니다. 이렇게 하면 개별 스키마가 다른 경우에도 모든 파일을 읽을 수 있는 스키마를 유추하게 되어 유용성이 향상됩니다. 구성을 참조하세요.

자동 로더 증분 목록 지원(공개 미리 보기)

사전순으로 생성된 파일의 경우, 자동 로더란?은 이제 사전순 파일 정렬과 기존의 최적화된 API를 활용하여 전체 디렉터리를 나열하는 대신 이전에 수집된 파일을 나열함으로써 디렉터리 목록의 효율성을 높일 수 있습니다. 자동 로더는 지정된 디렉터리가 기본적으로 증분 목록에 적합한지 여부를 자동으로 검색합니다. 이 동작을 명시적으로 제어하려면 새 cloudFiles.useIncrementalListing 옵션을 켜기(true), 끄기(false) 또는 자동(auto)으로 설정합니다. 이 동작을 true(으)로 설정하면 모든 데이터가 완전히 수집되도록 cloudFiles.backfillInterval 옵션을 설정하여 데이터에 대한 일반 백필을 예약할 수도 있습니다.

이제 Delta가 임의 replaceWhere를 지원함

덮어쓰기 모드와 함께 replaceWhere 옵션을 사용하여 옵션에 정의된 조건자와 일치하는 데이터를 동시에 덮어쓸 수 있습니다. 이전에 replaceWhere은(는) 파티션 열에 대해서만 조건자를 지원했지만 이제는 임의의 식이 될 수 있습니다. 테이블에 쓰기를 참조하세요.

이제 Google Cloud용 자동 로더에서 파일 알림(공개 미리 보기)을 지원함

이제 자동 로더가 Google Cloud에서 파일 알림 모드를 지원합니다. 자동 로더가 Google Cloud Pub/Sub 리소스를 자동으로 설정할 수 있도록 .option("cloudFiles.useNotifications", "true")을(를) 설정합니다. 파일 알림 모드를 사용하면 입력 디렉터리를 나열하지 않고 새 파일이 도착하는 대로 검색되고 수집됩니다. 자동 로더 파일 알림 모드란?을 참조하세요.

이제 CREATE FUNCTION이 테이블 함수 만들기를 지원함

스칼라 값을 반환하는 스칼라 함수를 만드는 것 외에도, 이제 행 집합을 반환하는 테이블 함수를 만들 수 있습니다. CREATE FUNCTION(SQL 및 Python)을 참조하세요.

이제 Kafka 스트리밍 원본이 `estimatedTotalBytesBehindLatest` 메트릭을 보고함

이제 Kafka 스트리밍 원본은 모든 일괄 처리 후에 소비자가 사용 가능한 최신 바이트로부터 몇 바이트 뒤처져 있는지 예측합니다. 이 메트릭을 사용하여 스트림 진행률을 추적할 수 있습니다. Kafka 메트릭 검색을 참조 하세요.

예제 메트릭 출력:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

배열 내의 구조체에 대해 이제 Delta MERGE INTO가 이름별로 구조체 필드를 확인하고 구조체 스키마를 발전시킴

이제 Delta MERGE INTO은(는) 구조체 배열에 대한 이름 및 자동 스키마 진화를 통해 구조체 필드의 해결을 지원합니다. spark.databricks.delta.schema.autoMerge.enabled을(를) true로 설정하여 자동 스키마 진화를 사용하도록 설정한 경우, UPDATE 및 INSERT 절은 대상 배열에 정의된 해당 데이터 형식으로 캐스팅하고 원본 또는 대상의 추가 필드 또는 누락된 필드를 null 값으로 채워 이름별로 배열 내의 구조체 필드를 확인합니다. 자동 스키마 진화를 사용하지 않도록 설정한 경우, UPDATE 및 INSERT 절은 이름별로 배열 내의 구조체 필드를 확인하지만 추가 필드를 발전시킬 수는 없습니다. Delta Lake 테이블 스키마 업데이트를 참조하세요.

버그 수정

JVM DeleteOnExit 기능으로 인해 장기 실행 작업 또는 서비스에서 발생할 수 있는 Amazon S3 커넥터의 메모리 누수가 해결되었습니다.

라이브러리 업그레이드

업그레이드된 Python 라이브러리:
- plotly를 4.14.3에서 5.1.0으로
업그레이드된 R 라이브러리:
- base를 4.1.0에서 4.1.1로
- bslib를 0.2.5.1에서 0.3.0으로
- cachem을 1.0.5에서 1.0.6으로
- compiler를 4.1.0에서 4.1.1로
- datasets를 4.1.0에서 4.1.1로
- future를 1.21.0에서 1.22.1로
- gert를 1.3.1에서 1.3.2로
- graphics를 4.1.0에서 4.1.1로
- grDevices를 4.1.0에서 4.1.1로
- grid를 4.1.0에서 4.1.1로
업그레이드된 Java 라이브러리:
- org.eclipse.jetty를 9.4.36.v20210114에서 9.4.42.v20210604로

Apache Spark

Databricks Runtime 9.1 LTS에는 Apache Spark 3.1.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 9.0(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

[SPARK-36674][SQL][CHERRY-PICK] ILIKE 지원 - 대/소문자를 구분하지 않는 LIKE
[SPARK-36353][SQL][3.1] RemoveNoopOperators는 출력 스키마를 유지해야 함
[SPARK-35876][SQL][3.1] ArraysZip은 필드 이름이 분석기/최적화 프로그램에 의해 다시 작성되지 않도록 유지해야 함
[SPARK-36398][SQL] Spark Thrift Server 로그에서 중요한 정보 편집
[SPARK-36498][SQL] byName V2 쓰기에서 입력 쿼리의 내부 필드 순서 변경
[SPARK-36614][CORE][UI] UI의 서비스 해제로 인한 실행기 손실 사유 수정
[SPARK-36012][SQL] SHOW CREATE TABLE에 null 플래그 추가
[SPARK-36509][CORE] 작업자가 독립 실행형 클러스터에서 중지되는 경우 실행기가 다시 예약되지 않는 문제 해결
[SPARK-36603][CORE] LevelDB에서 SoftReference가 아닌 WeakReference 사용
[SPARK-36564][CORE] LiveRDDDistribution.toApi에서 NullPointerException 수정
[SPARK-36086][SQL][3.1] CollapseProject 프로젝트 바꾸기 별칭은 원본 열 이름을 사용해야 함
[SPARK-33527][SQL] 일반 데이터베이스와 일관적이도록 디코딩 기능을 확장
[SPARK-36400][SPARK-36398][SQL][WEBUI] ThriftServer가 spark.sql.redaction.string.regex를 인식하도록 함
[SPARK-34054][CORE] BlockManagerDecommissioner 코드 정리
[SPARK-36500][CORE] 작업 중단 시 temp_shuffle 파일 누수 수정
[SPARK-36489][SQL] 단일 버킷이 있는 테이블에서 그룹화 키가 없는 집계 함수가 여러 행을 반환
[SPARK-36464][CORE] 2GB 이상의 데이터 쓰기를 위해 ChunkedByteBufferOutputStream의 기본 크기 변수 초기화를 수정
[SPARK-36339][SQL][3.0] 집계의 일부가 아닌 그룹화에 대한 참조를 바꿔야 함
[SPARK-36354][CORE] EventLogFileReader는 로그가 없는 롤링 이벤트 로그 디렉터리를 건너뛰어야 함
[SPARK-36242][CORE][3.1] ExternalSorter.spillMemoryIteratorToDisk 메서드에서 set success = true 전에 스필 파일이 닫혔는지 확인
[SPARK-36211][PYTHON] udf 반환 값의 올바른 입력
[SPARK-34222][SQL] 부울 단순화 규칙 향상
[SPARK-35027][CORE] 쓰기 중일 때 FileAppender에서 inputStream 닫기...
[SPARK-36269][SQL] 설정된 데이터 열만 Hive 열 이름 구성으로 수정
[SPARK-36213][SQL] PartitionSpec이 있는 테이블 명령 설명에 대한 PartitionSpec 정규화
[SPARK-36210][SQL] Dataset.withColumns에서 열 삽입 순서 유지
[SPARK-36079][SQL] Null 기반 필터 예상치는 항상 [0, 1] 범위에 있어야 함
[SPARK-28266][SQL] convertToLogicalRelation은 Hive 테이블을 읽을 때 path 속성을 해석하지 않아야 함

유지 관리 업데이트

Databricks Runtime 9.1 LTS 유지 관리 업데이트를 참조하세요.

시스템 환경

운영 체제: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.1
Delta Lake: 1.0.0

설치된 Python 라이브러리

라이브러리	버전	라이브러리	버전	라이브러리	버전
Antergos Linux	2015.10(ISO-Rolling)	appdirs	1.4.4	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	certifi	2020.12.5
chardet	4.0.0	cycler	0.10.0	Cython	0.29.23
dbus-python	1.2.16	decorator	5.0.6	distlib	0.3.2
distro-info	0.23ubuntu1	facets-overview	1.0.0	filelock	3.0.12
idna	2.10	ipykernel	5.3.4	ipython	7.22.0
ipython-genutils	0.2.0	jedi	0.17.2	jmespath	0.10.0
joblib	1.0.1	jupyter-client	6.1.12	jupyter-core	4.7.1
kiwisolver	1.3.1	koalas	1.8.1	matplotlib	3.4.2
numpy	1.19.2	pandas	1.2.4	parso	0.7.0
patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Pillow	8.2.0	pip	21.0.1	plotly	5.1.0
prompt-toolkit	3.0.17	protobuf	3.17.2	psycopg2	2.8.5
ptyprocess	0.7.0	pyarrow	4.0.0	Pygments	2.8.1
PyGObject	3.36.0	pyparsing	2.4.7	python-apt	2.0.0+ubuntu0.20.4.5
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
requests	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
setuptools	52.0.0	6	1.15.0	ssh-import-id	5.10
statsmodels	0.12.2	tenacity	8.0.1	threadpoolctl	2.1.0
tornado	6.1	traitlets	5.0.5	unattended-upgrades	0.1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
wheel	0.36.2

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2021-09-08)에서 설치됩니다.

라이브러리	버전	라이브러리	버전	라이브러리	버전
askpass	1.1	assertthat	0.2.1	backports	1.2.1
base	4.1.1	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.2	boot	1.3-28
brew	1.0-6	brio	1.1.2	broom	0.7.9
bslib	0.3.0	cachem	1.0.6	callr	3.7.0
캐럿	6.0-88	cellranger	1.1.0	chron	2.3-56
class	7.3-19	cli	3.0.1	clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	colorspace	2.0-2
commonmark	1.7	compiler	4.1.1	config	0.3.1
cpp11	0.3.1	crayon	1.4.1	credentials	1.3.1
curl	4.3.2	data.table	1.14.0	datasets	4.1.1
DBI	1.1.1	dbplyr	2.1.1	desc	1.3.0
devtools	2.4.2	diffobj	0.3.4	digest	0.6.27
dplyr	1.0.7	dtplyr	1.1.0	줄임표	0.3.2
evaluate	0.14	fansi	0.5.0	farver	2.1.0
fastmap	1.1.0	forcats	0.5.1	foreach	1.5.1
foreign	0.8-81	forge	0.2.0	fs	1.5.0
future	1.22.1	future.apply	1.8.1	gargle	1.2.0
제네릭(generics)	0.1.0	gert	1.3.2	ggplot2	3.3.5
gh	1.3.0	gitcreds	0.1.1	glmnet	4.1-2
globals	0.14.0	glue	1.4.2	googledrive	2.0.0
googlesheets4	1.0.0	gower	0.2.2	graphics	4.1.1
grDevices	4.1.1	grid	4.1.1	gridExtra	2.3
gsubfn	0.7	gtable	0.3.0	haven	2.4.3
highr	0.9	hms	1.1.0	htmltools	0.5.2
htmlwidgets	1.5.3	httpuv	1.6.2	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	ids	1.0.1
ini	0.3.1	ipred	0.9-11	isoband	0.2.5
iterators	1.0.13	jquerylib	0.1.4	jsonlite	1.7.2
KernSmooth	2.23-20	knitr	1.33	labeling	0.4.2
later	1.3.0	lattice	0.20-44	lava	1.6.10
주기	1.0.0	listenv	0.8.0	lubridate	1.7.10
magrittr	2.0.1	markdown	1.1	MASS	7.3-54
행렬	1.3-4	memoise	2.0.0	메서드	4.1.1
mgcv	1.8-36	mime	0.11	ModelMetrics	1.2.2.2
modelr	0.1.8	munsell	0.5.0	nlme	3.1-152
nnet	7.3-16	numDeriv	2016.8-1.1	openssl	1.4.5
parallel	4.1.1	parallelly	1.27.0	pillar	1.6.2
pkgbuild	1.2.0	pkgconfig	2.0.3	pkgload	1.2.1
plogr	0.2.0	plyr	1.8.6	praise	1.0.0
prettyunits	1.1.1	pROC	1.18.0	processx	3.5.2
prodlim	2019.11.13	진행률	1.2.2	progressr	0.8.0
promises	1.2.0.1	proto	1.0.0	ps	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.3.3
RColorBrewer	1.1-2	Rcpp	1.0.7	readr	2.0.1
readxl	1.3.1	recipes	0.1.16	rematch	1.0.1
rematch2	2.1.2	remotes	2.4.0	reprex	2.0.1
reshape2	1.4.4	rlang	0.4.11	rmarkdown	2.10
RODBC	1.3-18	roxygen2	7.1.1	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0.13	rversions	2.1.1	rvest	1.0.1
sass	0.4.0	scales	1.1.1	selectr	0.4-2
sessioninfo	1.1.1	shape	1.4.6	shiny	1.6.0
sourcetools	0.1.7	sparklyr	1.7.1	SparkR	3.1.1
spatial	7.3-11	splines	4.1.1	sqldf	0.4-11
SQUAREM	2021.1	통계	4.1.1	stats4	4.1.1
stringi	1.7.4	stringr	1.4.0	survival	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testthat	3.0.4	tibble	3.1.4	tidyr	1.1.3
tidyselect	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0.33	tools	4.1.1	tzdb	0.1.2
usethis	2.0.1	utf8	1.2.2	utils	4.1.1
uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
vroom	1.5.4	waldo	0.3.0	whisker	0.4
withr	2.4.2	xfun	0.25	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
zip	2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID	아티팩트 ID	버전
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-marketplacecommerceanalytics	1.11.655
com.amazonaws	aws-java-sdk-marketplacemeteringservice	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	stream	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	classmate	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.caffeine	caffeine	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	코어	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-natives	1.1
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.crypto.tink	tink	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	Profiler	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.4
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
hive-2.3__hadoop-2.7	jets3t-0.7	liball_deps_2.12
hive-2.3__hadoop-2.7	zookeeper-3.4	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.delta	delta-sharing-spark_2.12	0.1.0
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	수집기	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	activation	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
maven-trees	hive-2.3__hadoop-2.7	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pyrolite	4.30
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	최근	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	arrow-vector	2.0.0
org.apache.avro	Avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1.20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	curator-client	2.7.1
org.apache.curator	curator-framework	2.7.1
org.apache.curator	curator-recipes	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-annotations	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-incubating
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	ivy	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks9
org.apache.parquet	parquet-common	1.10.1-databricks9
org.apache.parquet	parquet-encoding	1.10.1-databricks9
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks9
org.apache.parquet	parquet-jackson	1.10.1-databricks9
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	audience-annotations	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.42.v20210604
org.eclipse.jetty	jetty-continuation	9.4.42.v20210604
org.eclipse.jetty	jetty-http	9.4.42.v20210604
org.eclipse.jetty	jetty-io	9.4.42.v20210604
org.eclipse.jetty	jetty-jndi	9.4.42.v20210604
org.eclipse.jetty	jetty-plus	9.4.42.v20210604
org.eclipse.jetty	jetty-proxy	9.4.42.v20210604
org.eclipse.jetty	jetty-security	9.4.42.v20210604
org.eclipse.jetty	jetty-server	9.4.42.v20210604
org.eclipse.jetty	jetty-servlet	9.4.42.v20210604
org.eclipse.jetty	jetty-servlets	9.4.42.v20210604
org.eclipse.jetty	jetty-util	9.4.42.v20210604
org.eclipse.jetty	jetty-util-ajax	9.4.42.v20210604
org.eclipse.jetty	jetty-webapp	9.4.42.v20210604
org.eclipse.jetty	jetty-xml	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-api	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-client	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-common	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-server	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-servlet	9.4.42.v20210604
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	hibernate-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	shims	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	unused	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1.24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0.52

다음을 통해 공유

Databricks Runtime 9.1 LTS

새로운 기능 및 향상 기능

이제 자동 로더 스키마 힌트가 배열 및 맵 형식에서 작동함

병합 스키마에 대한 Avro 파일 지원

자동 로더 증분 목록 지원(공개 미리 보기)

이제 Delta가 임의 replaceWhere를 지원함

이제 Google Cloud용 자동 로더에서 파일 알림(공개 미리 보기)을 지원함

이제 CREATE FUNCTION이 테이블 함수 만들기를 지원함

이제 Kafka 스트리밍 원본이 `estimatedTotalBytesBehindLatest` 메트릭을 보고함

배열 내의 구조체에 대해 이제 Delta MERGE INTO가 이름별로 구조체 필드를 확인하고 구조체 스키마를 발전시킴

버그 수정

라이브러리 업그레이드

Apache Spark

유지 관리 업데이트

시스템 환경

설치된 Python 라이브러리

설치된 R 라이브러리

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

피드백

추가 리소스

다음을 통해 공유

Databricks Runtime 9.1 LTS

새로운 기능 및 향상 기능

이제 자동 로더 스키마 힌트가 배열 및 맵 형식에서 작동함

병합 스키마에 대한 Avro 파일 지원

자동 로더 증분 목록 지원(공개 미리 보기)

이제 Delta가 임의 replaceWhere를 지원함

이제 Google Cloud용 자동 로더에서 파일 알림(공개 미리 보기)을 지원함

이제 CREATE FUNCTION이 테이블 함수 만들기를 지원함

이제 Kafka 스트리밍 원본이 estimatedTotalBytesBehindLatest 메트릭을 보고함

배열 내의 구조체에 대해 이제 Delta MERGE INTO가 이름별로 구조체 필드를 확인하고 구조체 스키마를 발전시킴

버그 수정

라이브러리 업그레이드

Apache Spark

유지 관리 업데이트

시스템 환경

설치된 Python 라이브러리

설치된 R 라이브러리

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

피드백

추가 리소스

이제 Kafka 스트리밍 원본이 `estimatedTotalBytesBehindLatest` 메트릭을 보고함