Databricks Runtime 9.1 LTS

Artykuł
09/03/2024

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 9.1 LTS i Databricks Runtime 9.1 LTS Photon obsługiwanym przez platformę Apache Spark 3.1.2. Usługa Databricks wydała tę wersję we wrześniu 2021 r. Photon jest w publicznej wersji zapoznawczej.

Uwaga

LTS oznacza, że ta wersja jest objęta długoterminową pomocą techniczną. Zobacz Cykl życia wersji LTS środowiska Databricks Runtime.

Napiwek

Aby wyświetlić informacje o wersji środowiska Databricks Runtime, które osiągnęły koniec wsparcia technicznego (EoS), zobacz End-of-support Databricks Runtime release notes (Informacje o wersji środowiska Databricks Runtime). Wersje środowiska Uruchomieniowego usługi EoS Databricks zostały wycofane i mogą nie zostać zaktualizowane.

Nowe funkcje i ulepszenia

Wskazówki schematu automatycznego modułu ładującego działają teraz z typami tablic i map
Obsługa plików Avro dla schematu scalania
Obsługa listy przyrostowej automatycznego modułu ładującego (publiczna wersja zapoznawcza)
Funkcja Delta obsługuje teraz dowolne zastąpienieWhere
Automatyczne ładowanie w usłudze Google Cloud obsługuje teraz powiadomienia o plikach (publiczna wersja zapoznawcza)
CREATE FUNCTION teraz obsługuje tworzenie funkcji tabeli
Źródło przesyłania strumieniowego platformy Kafka teraz raportuje estimatedTotalBytesBehindLatest metrykę
W przypadku struktur w tablicach funkcja Delta MERGE INTO teraz rozpoznaje pola struktury według nazwy i rozwija schematy struktury

Wskazówki schematu automatycznego modułu ładującego działają teraz z typami tablic i map

Typy tablic i map są obsługiwane w wnioskowaniu schematu zastępowania za pomocą wskazówek schematu dla modułu ładującego automatycznego.

Przykłady wskazówek schematu dla tablic:

arr Array<TYPE> zmienia typ tablicy.
arr.element TYPE zmienia typ tablicy (przy użyciu słowa kluczowego element ).
arr.element.x TYPE zmienia typ zagnieżdżonego pola w tablicy struktur.

Dwa pierwsze przykłady to wskazówki dotyczące zmiany typu tablicy arr na TYPE, ale używają innej składni. W trzecim przykładzie arr jest tablicą struktur z polem x. W tym przykładzie pokazano, jak zmienić typ na xTYPE.

Przykłady wskazówek schematu dla map to:

m Map<KEY-TYPE, VALUE-TYPE> zmienia typy klucz i wartość mapowania.
m.key TYPE zmienia typ kluczy mapy.
m.value TYPE zmienia typ wartości mapy.
m.key.x TYPE zmienia typ pola w kluczu mapy.
m.value.x TYPE zmienia typ pola wartości mapy.

Pierwszy przykład zmienia odpowiednio typy kluczy i wartości mapy m na KEY_TYPE i VALUE_TYPE . Drugie i trzecie przykłady mogą być używane, jeśli należy zmienić tylko typ klucza lub tylko typ wartości. W czwartych i piątych przykładach m jest mapa z kluczem i wartością typów struktury z polem x. W tym przykładzie pokazano, jak zmienić typ na xTYPE.

Obsługa plików Avro dla schematu scalania

Format pliku Avro obsługuje mergeSchema teraz opcję podczas odczytywania plików. Ustawienie mergeSchema wartości true podczas odczytywania plików Avro spowoduje wywnioskowania schematu z zestawu plików Avro, a nie z jednego pliku. Zwiększa to użyteczność przez wnioskowanie schematu, który może być w stanie odczytać wszystkie pliki, nawet jeśli poszczególne schematy różnią się. Zobacz Konfiguracja.

Obsługa listy przyrostowej automatycznego modułu ładującego (publiczna wersja zapoznawcza)

W przypadku plików wygenerowanych leksykograficznie co to jest automatyczne ładowanie? teraz wykorzystuje porządkowanie plików leksykalnych i istniejące zoptymalizowane interfejsy API, aby katalog był bardziej wydajny, wyświetlając listę wcześniej pozyskanych plików, a nie przez wyświetlenie całego katalogu. Automatycznie moduł ładujący automatycznie wykrywa, czy dany katalog jest domyślnie odpowiedni dla listy przyrostowej. Aby jawnie kontrolować to zachowanie, ustaw nową cloudFiles.useIncrementalListing opcję na włączone (), wyłączone (truefalse) lub automatyczne (auto). Jeśli ustawisz to zachowanie na truewartość , możesz również ustawić opcję planowania cloudFiles.backfillInterval regularnych uzupełnień danych, aby upewnić się, że wszystkie dane są całkowicie pozyskiwane.

Funkcja Delta obsługuje teraz dowolne zastąpienieWhere

W połączeniu z trybem replaceWhere zastępowania można użyć opcji, aby jednocześnie zastąpić dane zgodne z predykatem zdefiniowanym w opcji. replaceWhere Wcześniej obsługiwane predykat tylko w kolumnach partycji, ale teraz może to być dowolne wyrażenie. Zobacz Zapisywanie w tabeli.

Automatyczne ładowanie w usłudze Google Cloud obsługuje teraz powiadomienia o plikach (publiczna wersja zapoznawcza)

Funkcja automatycznego ładowania obsługuje teraz tryb powiadomień dotyczących plików w chmurze Google. Ustaw .option("cloudFiles.useNotifications", "true") opcję zezwalania automatycznemu modułowi ładującego na automatyczne konfigurowanie zasobów Google Cloud Pub/Sub. W trybie powiadamiania plików nowe pliki są wykrywane i pozyskiwane po ich nadejściu bez wyświetlania katalogu wejściowego. Zobacz Co to jest tryb powiadomień pliku automatycznego ładowania?.

CREATE FUNCTION obsługuje teraz tworzenie funkcji tabeli

Oprócz utworzenia funkcji skalarnej zwracającej wartość skalarną można teraz utworzyć funkcję tabeli zwracającą zestaw wierszy. Zobacz CREATE FUNCTION (SQL i Python).

Źródło przesyłania strumieniowego platformy Kafka teraz raportuje `estimatedTotalBytesBehindLatest` metrykę

Źródło przesyłania strumieniowego platformy Kafka zgłasza teraz szacowanie liczby bajtów, które użytkownik znajduje się za najnowszym dostępnym bajtem po każdej partii. Tej metryki można użyć do śledzenia postępu strumienia. Zobacz Pobieranie metryk platformy Kafka.

Przykładowe dane wyjściowe metryk:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

W przypadku struktur wewnątrz tablic funkcja Delta MERGE INTO teraz rozpoznaje pola struktur według nazwy i ewoluuje schematy struktur.

Funkcja Delta MERGE INTO obsługuje teraz rozpoznawanie pól struktury według nazwy i automatycznej ewolucji schematu dla tablic struktur. Jeśli automatyczna ewolucja schematu jest włączona przez ustawienie spark.databricks.delta.schema.autoMerge.enabled true, UPDATE a INSERT klauzule rozpoznają pola struktury wewnątrz tablicy według nazwy, rzutując do odpowiedniego typu danych zdefiniowanego w tablicy docelowej i wypełniając dodatkowe lub brakujące pola w źródle lub obiekcie docelowym z wartościami null. Gdy automatyczna ewolucja schematu jest wyłączona, a UPDATE klauzule rozpoznają pola struktury wewnątrz tablicy według nazwy, INSERT ale nie będą mogły rozwijać dodatkowych pól. Zobacz Aktualizowanie schematu tabeli usługi Delta Lake.

Poprawki błędów

Naprawiono przeciek pamięci w łączniku Amazon S3, który mógł wystąpić w długotrwałych zadaniach lub usługach, co było spowodowane przez funkcję JVM DeleteOnExit .

Uaktualnienia biblioteki

Uaktualnione biblioteki języka Python:
- wykres z wersji 4.14.3 do 5.1.0
Uaktualnione biblioteki języka R:
- od 4.1.0 do 4.1.1
- bslib z 0.2.5.1 do 0.3.0
- pamięć podręczna z wersji 1.0.5 do 1.0.6
- kompilator z wersji 4.1.0 do 4.1.1
- zestawy danych z wersji 4.1.0 do 4.1.1
- przyszłość od 1.21.0 do 1.22.1
- gert z 1.3.1 do 1.3.2
- grafika z wersji 4.1.0 do 4.1.1
- grDevices z 4.1.0 do 4.1.1
- siatka z wersji 4.1.0 do 4.1.1
Uaktualnione biblioteki Java:
- org.eclipse.jetty z wersji 9.4.36.v20210114 do 9.4.42.v20210604

Apache Spark

Środowisko Databricks Runtime 9.1 LTS obejmuje platformę Apache Spark 3.1.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 9.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

[SPARK-36674][SQL][CHERRY-PICK] Obsługa funkcji ILIKE — bez uwzględniania wielkości liter
[SPARK-36353][SQL][3.1] RemoveNoopOperators powinny zachować schemat danych wyjściowych
[SPARK-35876][SQL][3.1] TabliceZip powinny zachować nazwy pól, aby uniknąć ponownego zapisywania przez analizator/optymalizator
[SPARK-36398][SQL] Redact poufne informacje w dzienniku spark Thrift Server
[SPARK-36498][SQL] Zmień kolejność pól wewnętrznych zapytania wejściowego w zapisie byName v2
[SPARK-36614][CORE][Interfejs użytkownika] Poprawna przyczyna utraty funkcji wykonawczej spowodowana likwidacją w interfejsie użytkownika
[SPARK-36012][SQL] Dodaj flagę null w SHOW CREATE TABLE
[SPARK-36509][CORE] Rozwiązano problem polegający na tym, że funkcje wykonawcze nigdy nie są ponownie zaplanowane, jeśli proces roboczy zatrzymuje się z klastrem autonomicznym
[SPARK-36603][CORE] Używanie funkcji WeakReference nie softReference w bazie danych LevelDB
[SPARK-36564][CORE] Naprawiono wyjątek NullPointerException w pliku LiveRDDDistribution.toApi
[SPARK-36086][SQL][3.1] Zwiń projekt Project Replace alias powinien używać nazwy kolumny pochodzenia
[SPARK-33527][SQL] Rozszerzanie funkcji dekodowania tak, aby była spójna z głównymi bazami danych
[SPARK-36400][SPARK-36398][SQL][WEBUI] Rozpoznawanie elementu ThriftServer spark.sql.redaction.string.regex
[SPARK-34054][CORE] BlockManagerDecommissioner — oczyszczanie kodu
[SPARK-36500][CORE] Naprawianie wycieku pliku temp_shuffle po przerwaniu zadania
[SPARK-36489][SQL] Funkcje agregujące bez kluczy grupowania, w tabelach z pojedynczym zasobnikiem, zwracają wiele wierszy
[SPARK-36464][CORE] Poprawka inicjowania zmiennej rozmiaru bazowego w ChunkedByteBufferOutputStream do zapisywania danych ponad 2 GB
[SPARK-36339][SQL][3.0] Odwołania do grupowania, które nie są częścią agregacji, powinny zostać zastąpione
[SPARK-36354][CORE] EventLogFileReader powinien pominąć stopniowe katalogi dziennika zdarzeń bez dzienników
[SPARK-36242][CORE][3.1] Upewnij się, że plik rozlania został zamknięty przed ustawieniem powodzenia = true w metodzie ExternalSorter.spillMemoryIteratorToDisk
[SPARK-36211][PYTHON] Poprawne wpisywanie wartości zwracanej udf
[SPARK-34222][SQL] Ulepszanie reguły uproszczenia logicznego
[SPARK-35027][CORE] Zamknij element inputStream w plikuAppender podczas zapisywania...
[SPARK-36269][SQL] Poprawka ustawiania tylko kolumn danych na konfigurację nazw kolumn hive
[SPARK-36213][SQL] Normalize PartitionSpec for Describe Table Command with PartitionSpec
[SPARK-36210][SQL] Zachowaj kolejność wstawiania kolumn w zestawie danych.withColumns
[SPARK-36079][SQL] Szacowanie filtru opartego na wartości null powinno zawsze znajdować się w zakresie [0, 1]
[SPARK-28266][SQL] convertToLogicalRelation nie powinna interpretować path właściwości podczas odczytywania tabel programu Hive

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 9.1 LTS.

Środowisko systemu

System operacyjny: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.1
Delta Lake: 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka	Wersja	Biblioteka	Wersja	Biblioteka	Wersja
Antergos Linux	2015.10 (rolling ISO)	appdirs	1.4.4	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	certifi	2020.12.5
chardet	4.0.0	rowerzysta	0.10.0	Cython	0.29.23
dbus-python	1.2.16	dekorator	5.0.6	distlib	0.3.2
dystrybucja informacji	0.23ubuntu1	aspekty — omówienie	1.0.0	filelock	3.0.12
idna	2.10	ipykernel	5.3.4	ipython	7.22.0
ipython-genutils	0.2.0	jedi	0.17.2	jmespath	0.10.0
joblib	1.0.1	jupyter-client	6.1.12	jupyter-core	4.7.1
kiwisolver	1.3.1	Koale	1.8.1	matplotlib	3.4.2
numpy	1.19.2	Pandas	1.2.4	parso	0.7.0
Patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Poduszka	8.2.0	pip	21.0.1	kreślenie	5.1.0
prompt-toolkit	3.0.17	protobuf	3.17.2	psycopg2	2.8.5
ptyprocess	0.7.0	pyarrow	4.0.0	Pygments	2.8.1
PyGObject	3.36.0	pyparsing	2.4.7	python-apt	2.0.0+ubuntu0.20.4.5
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
żądania	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
setuptools	52.0.0	Sześć	1.15.0	ssh-import-id	5.10
statsmodels	0.12.2	Wytrzymałość	8.0.1	threadpoolctl	2.1.0
tornado	6.1	traitlety	5.0.5	nienadzorowane uaktualnienia	0.1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
koło	0.36.2

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2021-09-08.

Biblioteka	Wersja	Biblioteka	Wersja	Biblioteka	Wersja
askpass	1.1	assertthat	0.2.1	backports (backports)	1.2.1
base	4.1.1	base64enc	0.1-3	bitowe	4.0.4
bit64	4.0.5	blob	1.2.2	rozruch	1.3-28
warzyć	1.0-6	Brio	1.1.2	miotła	0.7.9
bslib	0.3.0	cachem	1.0.6	obiekt wywołujący	3.7.0
caret	6.0-88	cellranger	1.1.0	chron	2.3-56
class	7.3-19	cli	3.0.1	clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	przestrzeń kolorów	2.0-2
commonmark	1,7	— kompilator	4.1.1	config	0.3.1
cpp11	0.3.1	kredka	1.4.1	poświadczenia	1.3.1
lok	4.3.2	data.table	1.14.0	usługi Power BI	4.1.1
DBI	1.1.1	dbplyr	2.1.1	Desc	1.3.0
devtools	2.4.2	diffobj	0.3.4	trawić	0.6.27
dplyr	1.0.7	dtplyr	1.1.0	wielokropek	0.3.2
evaluate	0,14	fani	0.5.0	farver	2.1.0
szybka mapa	1.1.0	forcats	0.5.1	foreach	1.5.1
zagraniczny	0.8-81	kuźnia	0.2.0	Fs	1.5.0
przyszłość	1.22.1	future.apply	1.8.1	płukać gardło	1.2.0
Generyczne	0.1.0	Gert	1.3.2	ggplot2	3.3.5
Gh	1.3.0	gitcreds	0.1.1	glmnet	4.1-2
globalna	0.14.0	klej	1.4.2	googledrive	2.0.0
googlesheets4	1.0.0	Gower	0.2.2	grafika	4.1.1
grDevices	4.1.1	siatka	4.1.1	gridExtra	2.3
gsubfn	0,7	gtable	0.3.0	przystań	2.4.3
wysoki	0,9	Hms	1.1.0	htmltools	0.5.2
htmlwidgets	1.5.3	httpuv	1.6.2	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	Identyfikatory	1.0.1
ini	0.3.1	ipred	0.9-11	isoband	0.2.5
Iteratory	1.0.13	jquerylib	0.1.4	jsonlite	1.7.2
KernSmooth	2.23-20	knitr	1.33	Etykietowania	0.4.2
później	1.3.0	krata	0.20-44	lawa	1.6.10
cykl życia	1.0.0	nasłuchiwanie	0.8.0	lubridate	1.7.10
magrittr	2.0.1	Markdown	1.1	MASA	7.3-54
Macierz	1.3-4	zapamiętywanie	2.0.0	metody	4.1.1
mgcv	1.8-36	mim	0,11	Metryki modelu	1.2.2.2
modeler	0.1.8	munsell	0.5.0	nlme	3.1-152
nnet	7.3-16	numDeriv	2016.8-1.1	openssl	1.4.5
parallel	4.1.1	równolegle	1.27.0	filar	1.6.2
pkgbuild	1.2.0	pkgconfig	2.0.3	pkgload	1.2.1
plogr	0.2.0	plyr	1.8.6	pochwała	1.0.0
prettyunits	1.1.1	Proc	1.18.0	processx	3.5.2
prodlim	2019.11.13	Postęp	1.2.2	progressr	0.8.0
Obietnice	1.2.0.1	Proto	1.0.0	PS	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.3.3
RColorBrewer	1.1-2	Rcpp	1.0.7	readr	2.0.1
readxl	1.3.1	przepisy	0.1.16	rewanż	1.0.1
rewanż2	2.1.2	Piloty	2.4.0	reprex	2.0.1
zmień kształt2	1.4.4	rlang	0.4.11	rmarkdown	2.10
RODBC	1.3-18	roxygen2	7.1.1	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversions (rversions)	2.1.1	rvest	1.0.1
Sass	0.4.0	waga	1.1.1	selektor	0.4-2
sessioninfo	1.1.1	kształt	1.4.6	błyszczący	1.6.0
sourcetools	0.1.7	sparklyr	1.7.1	SparkR	3.1.1
przestrzenny	7.3-11	Splajnów	4.1.1	sqldf	0.4-11
KWADRAT	2021.1	Statystyki	4.1.1	stats4	4.1.1
stringi	1.7.4	stringr	1.4.0	przetrwanie	3.2-13
sys	3.4	tcltk	4.1.1	NauczanieDemos	2.10
testthat	3.0.4	tibble	3.1.4	tidyr	1.1.3
tidyselect	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0.33	tools	4.1.1	tzdb	0.1.2
usethis	2.0.1	utf8	1.2.2	narzędzia	4.1.1
uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
Vroom	1.5.4	Waldo	0.3.0	wąs	0,4
withr	2.4.2	xfun	0.25	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
zamek	2.2.0

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy	Identyfikator artefaktu	Wersja
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-klej	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-marketplacecommerceanalytics	1.11.655
com.amazonaws	aws-java-sdk-marketplacemeteringservice	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-biblioteka-biblioteka	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	strumień	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-cieniowane	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	kolega z klasy	1.3.4
com.fasterxml.jackson.core	adnotacje jackson	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.kofeina	kofeina	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	core	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-natives	1.1
com.github.fommil.netlib	native_system java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.crypto.tink	Tink	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guawa	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	Profiler	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	parsery jednowołciowości	2.9.1
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2,4
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
hive-2.3__hadoop-2.7	jets3t-0.7	liball_deps_2.12
hive-2.3__hadoop-2.7	zookeeper-3.4	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.delta	delta-sharing-spark_2.12	0.1.0
io.dropwizard.metrics	metryki —rdzeń	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	serwlety metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	kolekcjoner	0.12.0
jakarta.adnotacja	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktywacja	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.transaction	transaction-api	1.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
drzewa maven	hive-2.3__hadoop-2.7	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pirolit	4.30
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	tat	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	format strzałki	2.0.0
org.apache.arrow	strzałka-pamięć-rdzeń	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	wektor strzałki	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3,10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	kurator-klient	2.7.1
org.apache.curator	struktura kuratora	2.7.1
org.apache.curator	przepisy kuratora	2.7.1
org.apache.derby	Derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	adnotacje hadoop	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	podkładki hive	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0 inkubacja
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	bluszcz	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	podkładki orc-shim	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks9
org.apache.parquet	parquet-common	1.10.1-databricks9
org.apache.parquet	kodowanie parquet	1.10.1-databricks9
org.apache.parquet	format parquet	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks9
org.apache.parquet	parquet-jackson	1.10.1-databricks9
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm7-cieniowany	4.15
org.apache.yetus	adnotacje odbiorców	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.42.v20210604
org.eclipse.jetty	jetty-kontynuacja	9.4.42.v20210604
org.eclipse.jetty	jetty-http	9.4.42.v20210604
org.eclipse.jetty	jetty-io	9.4.42.v20210604
org.eclipse.jetty	jetty-jndi	9.4.42.v20210604
org.eclipse.jetty	jetty-plus	9.4.42.v20210604
org.eclipse.jetty	jetty-proxy	9.4.42.v20210604
org.eclipse.jetty	jetty-security	9.4.42.v20210604
org.eclipse.jetty	jetty-server	9.4.42.v20210604
org.eclipse.jetty	jetty-servlet	9.4.42.v20210604
org.eclipse.jetty	jetty-servlets	9.4.42.v20210604
org.eclipse.jetty	jetty-util	9.4.42.v20210604
org.eclipse.jetty	jetty-util-ajax	9.4.42.v20210604
org.eclipse.jetty	jetty-webapp	9.4.42.v20210604
org.eclipse.jetty	jetty-xml	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-api	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-client	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket —wspólne	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-server	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-servlet	9.4.42.v20210604
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	lokalizator hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	moduł sprawdzania poprawności hibernacji	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	Podkładki	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	interfejs testowy	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark.spark	Nieużywane	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	trzydostępne dodatkowe	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1.24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0.52

Udostępnij za pośrednictwem

Databricks Runtime 9.1 LTS

Nowe funkcje i ulepszenia

Wskazówki schematu automatycznego modułu ładującego działają teraz z typami tablic i map

Obsługa plików Avro dla schematu scalania

Obsługa listy przyrostowej automatycznego modułu ładującego (publiczna wersja zapoznawcza)

Funkcja Delta obsługuje teraz dowolne zastąpienieWhere

Automatyczne ładowanie w usłudze Google Cloud obsługuje teraz powiadomienia o plikach (publiczna wersja zapoznawcza)

CREATE FUNCTION obsługuje teraz tworzenie funkcji tabeli

Źródło przesyłania strumieniowego platformy Kafka teraz raportuje `estimatedTotalBytesBehindLatest` metrykę

W przypadku struktur wewnątrz tablic funkcja Delta MERGE INTO teraz rozpoznaje pola struktur według nazwy i ewoluuje schematy struktur.

Poprawki błędów

Uaktualnienia biblioteki

Apache Spark

Aktualizacje konserwacyjne

Środowisko systemu

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Opinia

Dodatkowe zasoby

Udostępnij za pośrednictwem

Databricks Runtime 9.1 LTS

Nowe funkcje i ulepszenia

Wskazówki schematu automatycznego modułu ładującego działają teraz z typami tablic i map

Obsługa plików Avro dla schematu scalania

Obsługa listy przyrostowej automatycznego modułu ładującego (publiczna wersja zapoznawcza)

Funkcja Delta obsługuje teraz dowolne zastąpienieWhere

Automatyczne ładowanie w usłudze Google Cloud obsługuje teraz powiadomienia o plikach (publiczna wersja zapoznawcza)

CREATE FUNCTION obsługuje teraz tworzenie funkcji tabeli

Źródło przesyłania strumieniowego platformy Kafka teraz raportuje estimatedTotalBytesBehindLatest metrykę

W przypadku struktur wewnątrz tablic funkcja Delta MERGE INTO teraz rozpoznaje pola struktur według nazwy i ewoluuje schematy struktur.

Poprawki błędów

Uaktualnienia biblioteki

Apache Spark

Aktualizacje konserwacyjne

Środowisko systemu

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Opinia

Dodatkowe zasoby

Źródło przesyłania strumieniowego platformy Kafka teraz raportuje `estimatedTotalBytesBehindLatest` metrykę