Databricks Runtime 9.1 LTS

Artikel
09/03/2024

Följande viktig information innehåller information om Databricks Runtime 9.1 LTS och Databricks Runtime 9.1 LTS Photon, som drivs av Apache Spark 3.1.2. Databricks släppte den här versionen i september 2021. Foton finns i offentlig förhandsversion.

Kommentar

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Nya funktioner och förbättringar

Schematips för automatisk inläsning fungerar nu med matris- och karttyper
Stöd för Avro-filer för sammanslagningsschema
Stöd för automatisk inläsning av inkrementell lista (offentlig förhandsversion)
Delta stöder nu godtycklig replaceWhere
Automatisk inläsning för Google Cloud stöder nu filaviseringar (offentlig förhandsversion)
FUNKTIONEN CREATE har nu stöd för att skapa tabellfunktioner
Kafka Streaming Source rapporterar estimatedTotalBytesBehindLatest nu mått
För structs inuti matriser löser Delta MERGE INTO nu struct-fält efter namn och utvecklar struct-scheman

Schematips för automatisk inläsning fungerar nu med matris- och karttyper

Matris- och karttyper stöds i Åsidosätt schemainferens med schematips för automatisk inläsning.

Exempel på schematips för matriser är:

arr Array<TYPE> ändrar matristypen.
arr.element TYPE ändrar matristypen (med hjälp av nyckelordet element ).
arr.element.x TYPE ändrar en kapslad fälttyp i en matris med strukturer.

De första två exemplen är tips för att ändra typen av matris arr till TYPE, men de använder en annan syntax. I det tredje exemplet arr är en matris med strukturer med ett fält x. Det här exemplet visar hur du ändrar typen av x till TYPE.

Exempel på schematips för kartor är:

m Map<KEY-TYPE, VALUE-TYPE> ändrar mappningsnyckel och värdetyper.
m.key TYPE ändrar typ av kartnycklar.
m.value TYPE ändrar typ av kartvärden.
m.key.x TYPE ändrar fälttypen i en kartnyckel.
m.value.x TYPE ändrar fälttypen för ett kartvärde.

Det första exemplet ändrar både nyckel- och värdetyperna för kartan m till KEY_TYPE respektive VALUE_TYPE . Det andra och tredje exemplet kan användas om bara nyckeltypen eller bara värdetypen behöver ändras. I det fjärde och femte exemplet m är en karta med nyckel och värde för strukturtyper med ett fält x. Det här exemplet visar hur du ändrar typen av x till TYPE.

Stöd för Avro-filer för sammanslagningsschema

Avro-filformatet stöder nu alternativet vid läsning av mergeSchema filer. Om du anger mergeSchema sant när du läser Avro-filer härleds ett schema från en uppsättning Avro-filer i stället för från en enda fil. Detta förbättrar användbarheten genom att härleda ett schema som kan läsa alla filer även om deras enskilda scheman skiljer sig åt. Se Konfiguration.

Stöd för automatisk inläsning av inkrementell lista (offentlig förhandsversion)

Vad är automatisk inläsning för lexicographically genererade filer använder nu lexikal filordning och befintliga optimerade API:er för att göra kataloglistan mer effektiv genom att lista från tidigare inmatade filer i stället för att visa hela katalogen. Automatisk inläsning identifierar automatiskt om en viss katalog är lämplig för inkrementell listning som standard. Om du vill styra det här beteendet explicit anger du det nya cloudFiles.useIncrementalListing alternativet till på (true), av (false) eller automatiskt (auto). Om du anger det här beteendet till truekan du också ange cloudFiles.backfillInterval alternativet för att schemalägga regelbundna återfyllnad över dina data för att se till att alla dina data matas in helt.

Delta stöder nu godtycklig replaceWhere

I kombination med överskrivningsläge replaceWhere kan alternativet användas för att samtidigt skriva över data som matchar ett predikat som definierats i alternativet. replaceWhere Tidigare stöddes endast ett predikat över partitionskolumner, men det kan nu vara ett godtyckligt uttryck. Se Skriva till en tabell.

Automatisk inläsning för Google Cloud stöder nu filaviseringar (offentlig förhandsversion)

Automatisk inläsning stöder nu filaviseringsläge i Google Cloud. Ställ in .option("cloudFiles.useNotifications", "true") för att tillåta automatisk inläsning att automatiskt konfigurera Google Cloud Pub/Sub-resurser åt dig. I läget för filmeddelanden identifieras och matas nya filer in när de tas emot utan att ange indatakatalogen. Se Vad är meddelandeläget för automatisk inläsningsfil?.

FUNKTIONEN CREATE har nu stöd för att skapa tabellfunktioner

Förutom att skapa en skalär funktion som returnerar ett skalärt värde kan du nu skapa en tabellfunktion som returnerar en uppsättning rader. Se CREATE FUNCTION (SQL och Python).

Kafka Streaming Source rapporterar `estimatedTotalBytesBehindLatest` nu mått

Kafka-strömningskällan rapporterar nu en uppskattning av hur många byte konsumenten ligger bakom den senaste tillgängliga byte efter varje batch. Du kan använda det här måttet för att spåra strömmens förlopp. Se Hämta Kafka-mått.

Exempel på måttutdata:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

För structs inuti matriser löser Delta MERGE INTO nu struct-fält efter namn och utvecklar struct-scheman

Delta MERGE INTO stöder nu upplösning av structfält efter namn och automatisk schemautveckling för matriser med structs. När automatisk schemautveckling aktiveras genom spark.databricks.delta.schema.autoMerge.enabled inställning till sant, UPDATE och INSERT satserna löser structfält i en matris efter namn, gjuter till motsvarande datatyp som definieras i målmatrisen och fyller ytterligare eller saknade fält i källan eller målet med null-värden. När automatisk schemautveckling har inaktiverats och UPDATE INSERT satser löser structfält i en matris efter namn, men kommer inte att kunna utveckla de ytterligare fälten. Se Uppdatera Delta Lake-tabellschema.

Felkorrigeringar

En minnesläcka har åtgärdats i Amazon S3-anslutningsappen som kan inträffa i långvariga jobb eller tjänster, vilket orsakades av JVM-funktioner DeleteOnExit .

Biblioteksuppgraderingar

Uppgraderade Python-bibliotek:
- ritat från 4.14.3 till 5.1.0
Uppgraderade R-bibliotek:
- bas från 4.1.0 till 4.1.1
- bslib från 0.2.5.1 till 0.3.0
- cachem från 1.0.5 till 1.0.6
- kompilator från 4.1.0 till 4.1.1
- datauppsättningar från 4.1.0 till 4.1.1
- från 1.21.0 till 1.22.1
- gert från 1.3.1 till 1.3.2
- grafik från 4.1.0 till 4.1.1
- grDevices från 4.1.0 till 4.1.1
- rutnät från 4.1.0 till 4.1.1
Uppgraderade Java-bibliotek:
- org.eclipse.jetty från 9.4.36.v20210114 till 9.4.42.v20210604

Apache Spark

Databricks Runtime 9.1 LTS innehåller Apache Spark 3.1.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 9.0 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

[SPARK-36674][SQL][CHERRY-PICK] Support ILIKE – skiftlägesokänsligt LIKE
[SPARK-36353][SQL][3.1] RemoveNoopOperators bör behålla utdataschemat
[SPARK-35876][SQL][3.1] ArraysZip bör behålla fältnamn för att undvika att skrivas om av analyzer/optimizer
[SPARK-36398][SQL] Redigera känslig information i Spark Thrift Server-loggen
[SPARK-36498][SQL] Sortera om inre fält i indatafrågan i byName V2-skrivning
[SPARK-36614][CORE][Användargränssnitt] Rätt orsak till körningsförlust orsakad av inaktivt användargränssnitt
[SPARK-36012][SQL] Lägg till null-flagga i VISA SKAPA TABELL
[SPARK-36509][CORE] Åtgärda problemet med att utförare aldrig schemaläggs igen om arbetaren slutar med fristående kluster
[SPARK-36603][CORE] Använd WeakReference inte SoftReference i LevelDB
[SPARK-36564][CORE] Åtgärda NullPointerException i LiveRDDDistribution.toApi
[SPARK-36086][SQL][3.1] CollapseProject project replace alias bör använda ursprungskolumnens namn
[SPARK-33527][SQL] Utöka funktionen för avkodning så att den överensstämmer med vanliga databaser
[SPARK-36400][SPARK-36398][SQL][WEBUI] Gör ThriftServer igen spark.sql.redaction.string.regex
[SPARK-34054][CORE] Rensning av BlockManagerDecommissioner-kod
[SPARK-36500][CORE] Åtgärda temp_shuffle filläckage när en uppgift avbryts
[SPARK-36489][SQL] Aggregera funktioner över inga grupperingsnycklar, på tabeller med en enda bucket, returnera flera rader
[SPARK-36464][CORE] Åtgärda initiering av underliggande storleksvariabel i ChunkedByteBufferOutputStream för att skriva över 2 GB data
[SPARK-36339][SQL][3.0] Referenser till gruppering som inte ingår i aggregering bör ersättas
[SPARK-36354][CORE] EventLogFileReader bör hoppa över kataloger för rullande händelseloggar utan loggar
[SPARK-36242][CORE][3.1] Kontrollera att spillfilen stängdes innan den lyckades = sant i metoden ExternalSorter.spillMemoryIteratorToDisk
[SPARK-36211][PYTHON] Rätt typ av udf returvärde
[SPARK-34222][SQL] Förbättra regeln för boolesk förenkling
[SPARK-35027][CORE] Stäng inputStream i FileAppender när du skriver...
[SPARK-36269][SQL] Korrigera endast konfigurationen av datakolumner till Hive-kolumnnamn
[SPARK-36213][SQL] Normalisera PartitionSpec för Describe Table Command med PartitionSpec
[SPARK-36210][SQL] Bevara kolumninfogningsordning i Dataset.withColumns
[SPARK-36079][SQL] Null-baserad filteruppskattning bör alltid ligga inom intervallet [0, 1]
[SPARK-28266][SQL] convertToLogicalRelation ska inte tolka path egenskapen vid läsning av Hive-tabeller

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 9.1 LTS.

Systemmiljö

Operativsystem: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.1
Delta Lake: 1.0.0

Installerade Python-bibliotek

Bibliotek	Version	Bibliotek	Version	Bibliotek	Version
Antergos Linux	2015.10 (ISO-Rullande)	appdirs	1.4.4	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	certifi	2020.12.5
chardet	4.0.0	cyklist	0.10.0	Cython	0.29.23
dbus-python	1.2.16	dekoratör	5.0.6	distlib	0.3.2
distro-info	0.23ubuntu1	facets-overview	1.0.0	filelock	3.0.12
idna	2.10	ipykernel	5.3.4	ipython	7.22.0
ipython-genutils	0.2.0	jedi	0.17.2	jmespath	0.10.0
joblib	1.0.1	jupyter-client	6.1.12	jupyter-core	4.7.1
kiwisolver	1.3.1	Koalas	1.8.1	matplotlib	3.4.2
numpy	1.19.2	Pandas	1.2.4	parso	0.7.0
Patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Kudde	8.2.0	pip	21.0.1	plotly	5.1.0
prompt-toolkit	3.0.17	protobuf	3.17.2	psycopg2	2.8.5
ptyprocess	0.7.0	pyarrow	4.0.0	Pygments	2.8.1
PyGObject	3.36.0	pyparsing	2.4.7	python-apt	2.0.0+ubuntu0.20.4.5
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
begäranden	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
setuptools	52.0.0	sex	1.15.0	ssh-import-id	5,10
statsmodels	0.12.2	orubblighet	8.0.1	threadpoolctl	2.1.0
tromb	6.1	traitlets	5.0.5	obevakade uppgraderingar	0,1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
hjul	0.36.2

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-09-08.

Bibliotek	Version	Bibliotek	Version	Bibliotek	Version
askpass	1,1	assertthat	0.2.1	backportar	1.2.1
bas	4.1.1	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.2	start	1.3-28
brygga	1.0-6	Brio	1.1.2	kvast	0.7.9
bslib	0.3.0	cachem	1.0.6	anropare	3.7.0
textmarkör	6.0-88	cellranger	1.1.0	Chron	2.3-56
klass	7.3-19	cli	3.0.1	clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	färgområde	2.0-2
commonmark	1,7	kompilator	4.1.1	config	0.3.1
cpp11	0.3.1	krita	1.4.1	autentiseringsuppgifter	1.3.1
hårlock	4.3.2	data.table	1.14.0	datauppsättningar	4.1.1
DBI	1.1.1	dbplyr	2.1.1	Desc	1.3.0
devtools	2.4.2	diffobj	0.3.4	smälta	0.6.27
dplyr	1.0.7	dtplyr	1.1.0	ellips	0.3.2
evaluate (utvärdera)	0,14	fansi	0.5.0	farver	2.1.0
fastmap	1.1.0	forcats	0.5.1	foreach	1.5.1
främmande	0.8-81	smida	0.2.0	Fs	1.5.0
framtid	1.22.1	future.apply	1.8.1	gurgla	1.2.0
Generika	0.1.0	Gert	1.3.2	ggplot2	3.3.5
Gh	1.3.0	gitcreds	0.1.1	glmnet	4.1-2
globals	0.14.0	lim	1.4.2	googledrive	2.0.0
googlesheets4	1.0.0	Gower	0.2.2	grafik	4.1.1
grDevices	4.1.1	gitter	4.1.1	gridExtra	2.3
gsubfn	0,7	gtable	0.3.0	hamn	2.4.3
highr	0,9	Hms	1.1.0	htmltools	0.5.2
htmlwidgets	1.5.3	httpuv	1.6.2	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	Id	1.0.1
ini	0.3.1	ipred	0.9-11	isoband	0.2.5
Iteratorer	1.0.13	jquerylib	0.1.4	jsonlite	1.7.2
KernSmooth	2.23-20	stickning	1.33	Märkning	0.4.2
senare	1.3.0	Galler	0.20-44	lava	1.6.10
livscykel	1.0.0	lyssna	0.8.0	lubridate	1.7.10
magrittr	2.0.1	Markdown	1,1	MASSA	7.3-54
Matris	1.3-4	pmise	2.0.0	metoder	4.1.1
mgcv	1.8-36	MIME	0,11	ModelMetrics	1.2.2.2
modelr	0.1.8	munsell	0.5.0	nlme	3.1-152
nnet	7.3-16	numDeriv	2016.8-1.1	openssl	1.4.5
parallel	4.1.1	parallellt	1.27.0	pelare	1.6.2
pkgbuild	1.2.0	pkgconfig	2.0.3	pkgload	1.2.1
plogr	0.2.0	plyr	1.8.6	berömma	1.0.0
prettyunits	1.1.1	Proc	1.18.0	processx	3.5.2
prodlim	2019.11.13	Förlopp	1.2.2	progressr	0.8.0
Löften	1.2.0.1	Proto	1.0.0	PS	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.3.3
RColorBrewer	1.1-2	Rcpp	1.0.7	readr	2.0.1
readxl	1.3.1	recept	0.1.16	Returmatch	1.0.1
rematch2	2.1.2	Fjärrkontroller	2.4.0	reprex	2.0.1
omforma2	1.4.4	rlang	0.4.11	rmarkdown	2.10
RODBC	1.3-18	roxygen2	7.1.1	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversioner	2.1.1	rvest	1.0.1
Sass	0.4.0	våg	1.1.1	väljare	0.4-2
sessioninfo	1.1.1	form	1.4.6	skinande	1.6.0
sourcetools	0.1.7	sparklyr	1.7.1	SparkR	3.1.1
rumslig	7.3-11	Splines	4.1.1	sqldf	0.4-11
SQUAREM	2021.1	statistik	4.1.1	stats4	4.1.1
stringi	1.7.4	stringr	1.4.0	överlevnad	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testthat	3.0.4	tibble	3.1.4	tidyr	1.1.3
avmarkera	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0.33	verktyg	4.1.1	tzdb	0.1.2
usethis	2.0.1	utf8	1.2.2	verktyg	4.1.1
uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
Vroom	1.5.4	Waldo	0.3.0	morrhår	0,4
withr	2.4.2	xfun	0.25	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
Zip	2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID	Artefakt-ID	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-marketplacecommerceanalytics	1.11.655
com.amazonaws	aws-java-sdk-marketplacemeteringservice	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	ström	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-skuggad	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	klasskamrat	1.3.4
com.fasterxml.jackson.core	jackson-anteckningar	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.koffein	koffein	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	kärna	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java-natives	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java-natives	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.crypto.tink	Tingeling	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	profilerare	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.4
commons-lang	commons-lang	2,6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
hive-2.3__hadoop-2.7	jets3t-0.7	liball_deps_2.12
hive-2.3__hadoop-2.7	zookeeper-3.4	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.delta	delta-sharing-spark_2.12	0.1.0
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	samlare	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivering	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
maven-träd	hive-2.3__hadoop-2.7	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pyrolit	4.30
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	Ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	pilformat	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	pilvektor	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3,10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	curator-client	2.7.1
org.apache.curator	curator-framework	2.7.1
org.apache.curator	curator-recept	2.7.1
org.apache.derby	Derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-anteckningar	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-inkubering
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	murgröna	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks9
org.apache.parquet	parquet-common	1.10.1-databricks9
org.apache.parquet	parquet-kodning	1.10.1-databricks9
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks9
org.apache.parquet	parquet-jackson	1.10.1-databricks9
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	åhörarkommentarer	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.42.v20210604
org.eclipse.jetty	jetty-fortsättning	9.4.42.v20210604
org.eclipse.jetty	jetty-http	9.4.42.v20210604
org.eclipse.jetty	brygga-io	9.4.42.v20210604
org.eclipse.jetty	jetty-jndi	9.4.42.v20210604
org.eclipse.jetty	brygga plus	9.4.42.v20210604
org.eclipse.jetty	jetty-proxy	9.4.42.v20210604
org.eclipse.jetty	jetty-security	9.4.42.v20210604
org.eclipse.jetty	brygga-server	9.4.42.v20210604
org.eclipse.jetty	brygga-servlet	9.4.42.v20210604
org.eclipse.jetty	jetty-servlets	9.4.42.v20210604
org.eclipse.jetty	brygga-util	9.4.42.v20210604
org.eclipse.jetty	jetty-util-ajax	9.4.42.v20210604
org.eclipse.jetty	jetty-webapp	9.4.42.v20210604
org.eclipse.jetty	jetty-xml	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-api	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-client	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-common	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-server	9.4.42.v20210604
org.eclipse.jetty.websocket	websocket-servlet	9.4.42.v20210604
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	vilolägesverifierare	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	Shims	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	oanvänd	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52

Dela via

Databricks Runtime 9.1 LTS

Nya funktioner och förbättringar

Schematips för automatisk inläsning fungerar nu med matris- och karttyper

Stöd för Avro-filer för sammanslagningsschema

Stöd för automatisk inläsning av inkrementell lista (offentlig förhandsversion)

Delta stöder nu godtycklig replaceWhere

Automatisk inläsning för Google Cloud stöder nu filaviseringar (offentlig förhandsversion)

FUNKTIONEN CREATE har nu stöd för att skapa tabellfunktioner

Kafka Streaming Source rapporterar `estimatedTotalBytesBehindLatest` nu mått

För structs inuti matriser löser Delta MERGE INTO nu struct-fält efter namn och utvecklar struct-scheman

Felkorrigeringar

Biblioteksuppgraderingar

Apache Spark

Underhållsuppdateringar

Systemmiljö

Installerade Python-bibliotek

Installerade R-bibliotek

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Feedback

Ytterligare resurser

Dela via

Databricks Runtime 9.1 LTS

Nya funktioner och förbättringar

Schematips för automatisk inläsning fungerar nu med matris- och karttyper

Stöd för Avro-filer för sammanslagningsschema

Stöd för automatisk inläsning av inkrementell lista (offentlig förhandsversion)

Delta stöder nu godtycklig replaceWhere

Automatisk inläsning för Google Cloud stöder nu filaviseringar (offentlig förhandsversion)

FUNKTIONEN CREATE har nu stöd för att skapa tabellfunktioner

Kafka Streaming Source rapporterar estimatedTotalBytesBehindLatest nu mått

För structs inuti matriser löser Delta MERGE INTO nu struct-fält efter namn och utvecklar struct-scheman

Felkorrigeringar

Biblioteksuppgraderingar

Apache Spark

Underhållsuppdateringar

Systemmiljö

Installerade Python-bibliotek

Installerade R-bibliotek

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Feedback

Ytterligare resurser

Kafka Streaming Source rapporterar `estimatedTotalBytesBehindLatest` nu mått