Databricks Runtime 8.1 (EoS)

Článek
09/03/2024

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Databricks vydala tuto verzi v březnu 2021.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 8.1, který využívá Apache Spark 3.1.1.

Nové funkce a vylepšení

Nové operátory SQL snižují komplexní ETL u řetězců JSON.
Řízení viditelnosti seznamů řízení přístupu k tabulce
Nové možnosti automatického zavaděče umožňují lepší výkon
Ověřování ve službě Azure Synapse Analytics pomocí OAuth 2.0 a instančního objektu (Public Preview)
Ruční vkládání IDENTITY sloupců do tabulek Azure Synapse Analytics
Azure Auto Loader teď podporuje ověřování pomocí instančního objektu pro operace fronty.
Sledování průběhu streamu s využitím metrik Kafka
Sledování průběhu streamu s využitím metrik zdroje streamování Delta Lake

Nové operátory SQL snižují komplexní ETL u řetězců JSON.

Dva nové operátory SQL –:: a :– umožňují snadno extrahovat data z řetězců JSON.

Pokud chcete přetypovat výraz na datový typ, použijte dvojtečku ::. Například místo zadávání cast(col as int)můžete nyní říci col::int.
Chcete-li extrahovat pole z částečně strukturovaných dat, použijte jednu dvojtečku :. Pokud máte STRING sloupec obsahující data JSON, můžete z řetězce JSON extrahovat pole pomocí syntaxe <json-column>:<field> , která extrahuje klíč field z json <json-column> jako STRING. Můžete to zkombinovat se :: syntaxí pro přetypování dat na určitý typ.

Pokud máte například data JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

a vytvoříte tabulku store_data z dat:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

příkaz SELECT raw:store.bicycle.price::double FROM store_data vrátí:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Podrobnosti najdete v tématu Dotazování řetězců JSON.

Řízení viditelnosti seznamů řízení přístupu k tabulce

Abyste zabránili úniku informací výpisem všech definovaných oprávnění v tabulce, můžete příkaz spustit SHOW GRANTS [<user>] <object> pouze v případě, že jste:

Správce SQL Databricks nebo vlastník .<object>
Uživatel zadaný v [<user>].

Nové možnosti automatického zavaděče umožňují lepší výkon

Auto Loader teď podporuje novou možnost cloudFiles.fetchParallelism , která určuje paralelismus pro načítání zpráv ze služby fronty.

Podívejte se, co je automatický zavaděč?

Ověřování ve službě Azure Synapse Analytics pomocí OAuth 2.0 a instančního objektu (Public Preview)

Konektor Azure Synapse Analytics teď podporuje ověřování pomocí OAuth 2.0 a instančního objektu Microsoft Entra ID a umožňuje aplikacím, které vyžadují ověřování pomocí instančního objektu místo uživatelského jména a hesla. Další informace najdete v tématu Jak funguje ověřování mezi Azure Databricks a Synapse? pro konektor Azure Synapse Analytics.

Ruční vkládání `IDENTITY` sloupců do tabulek Azure Synapse Analytics

Konektor Azure Synapse Analytics teď podporuje explicitní vkládání hodnot do IDENTITY sloupců v tabulkách Azure Synapse Analytics na základě hodnot nastavených v datových rámcích. Tato funkce je podporovaná pro dávkové a streamované vkládání a umožňuje případy použití vyžadující vlastní IDENTITY hodnoty sloupců. Podrobnosti najdete identityInsert v referenčních informacích k parametrům konektoru Azure Synapse Analytics pro Konektor Azure Databricks Synapse.

Azure Auto Loader teď podporuje ověřování pomocí instančního objektu pro operace fronty.

Teď se můžete ověřit pomocí instančního objektu Microsoft Entra ID uděleného oprávněními souvisejícími s frontou pro operace fronty pomocí automatického zavaděče. Tato změna odebere předchozí požadavek na použití připojovací řetězec pro operace fronty a instančního objektu pro operace událostí a umožňuje použít instanční objekt pro oba typy operací. Další podrobnosti najdete v tématu Co je automatický zavaděč?.

Sledování průběhu streamu s využitím metrik Kafka

Zdroj streamování Kafka teď hlásí, kolik posunů příjemce po každé dávce zapadá za nejnovější. Tyto metriky můžete použít ke sledování průběhu streamu. Podrobnosti o tom, jak zobrazit metriky, najdete v tématu Načtení metrik Kafka.

Sledování průběhu streamu s využitím metrik zdroje streamování Delta Lake

Zdroj streamování Delta Lake teď hlásí, jak velký je backlog a kolik souborů v backlogu existuje po každé dávce. Tyto metriky můžete použít ke sledování průběhu streamu. Podrobnosti o tom, jak zobrazit metriky, najdete v tématu Metriky.

Upgrady knihoven

Upgradovaná knihovna Pythonu:
- koalas upgradoval z verze 1.5.0 na verzi 1.6.0.
Nově nainstalované knihovny Pythonu:
- plotly 4.14.3
- opakování 1.3.3
Upgradovali jsme R na verzi 4.0.4 z verze 4.0.3.
Upgradovali jsme několik nainstalovaných knihoven R. Viz nainstalované knihovny jazyka R.
Upgradovaná knihovna Java:
- jetty od 9.4.34.v20201102 do 9.4.36.v2021014
Build OpenJDK 8 upgradovaný na Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)

Apache Spark

Databricks Runtime 8.1 zahrnuje Apache Spark 3.1.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 8.0 (EoS), a také následující další opravy chyb a vylepšení Sparku:

[SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
[SPARK-34613] [SQL] Zobrazení opravy nezachytává konfiguraci nápovědy pro zakázání
[SPARK-34392] [SQL] Podpora ZoneOffset +h:mm v DateTimeUtils. getZoneId
[SPARK-34436] [SQL] Podpora DPP TYPU ANY/ALL
[SPARK-34497] [SQL] Oprava integrovaných zprostředkovatelů připojení JDBC za účelem obnovení změn kontextu zabezpečení JVM
[SPARK-34543] [SQL] Respektujte konfiguraci při řešení specifikace oddílu spark.sql.caseSensitive v 1. SET LOCATION
[SPARK-34550] [SQL] Přeskočit hodnotu InSet null během nabízeného filtru do metastoru Hive
[SPARK-34531] [JÁDRO] Odebrání značky experimentálního rozhraní API v prometheusServletu

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 8.1.

Prostředí systému

Operační systém: Ubuntu 18.04.5 LTS
Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
Scala: 2.12.10
Python: 3.8.8 (aktualizováno z 3.8.6 v aktualizaci údržby z 26. května 2021)
R: R verze 4.0.4 (2021-02-15)
Delta Lake 0.8.0

Nainstalované knihovny Pythonu

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
appdirs	1.4.4	asn1crypto	1.4.0	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	brotlipy	0.7.0
certifi	2020.12.5	cffi	1.14.3	chardet	3.0.4
kryptografie	3.1.1	cyklista	0.10.0	Cython	0.29.21
dekoratér	4.4.2	distlib	0.3.1	docutils	0.15.2
vstupní body	0.3	filelock	3.0.12	idna	2.10
ipykernel	5.3.4	ipython	7.19.0	ipython-genutils	0.2.0
Jedi	0.17.2	jmespath	0.10.0	joblib	0.17.0
jupyter-client	6.1.7	jupyter-core	4.6.3	verizonsolver	1.3.0
Koaly	1.6.0	matplotlib	3.2.2	numpy	1.19.2
pandas	1.1.3	parso	0.7.0	bábovka	0.5.1
pexpect	4.8.0	pickleshare	0.7.5	jádro	20.2.4
plotly	4.14.3	prompt-toolkit	3.0.8	psycopg2	2.8.5
ptyprocess	0.6.0	pyarrow	1.0.1	pycparser	2,20
Pygments	2.7.2	pyOpenSSL	19.1.0	pyparsing	2.4.7
PySocks	1.7.1	python-dateutil	2.8.1	pytz	2020.5
pyzmq	19.0.2	žádosti	2.24.0	Opakování...	1.3.3
s3transfer	0.3.4	scikit-learn	0.23.2	scipy	1.5.2
seaborn	0.10.0	setuptools	50.3.1	Šest	1.15.0
statsmodels	0.12.0	threadpoolctl	2.1.0	tornádo	6.0.4
vlastnosti	5.0.5	urllib3	1.25.11	virtualenv	20.2.1
wcwidth	0.2.5	kolo	0.35.1

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2020-11-02.

Knihovna	Verze	Knihovna	Verze	Knihovna	Verze
askpass	1,1	assertthat	0.2.1	backporty	1.2.1
base	4.0.4	base64enc	0.1-3	BH	1.72.0-3
bitové	4.0.4	bit64	4.0.5	blob	1.2.1
startování	1.3-27	vařit	1.0-6	verva	1.1.0
koště	0.7.2	volající	3.5.1	caret	6.0-86
cellranger	1.1.0	chron	2.3-56	class	7.3-18
Rozhraní příkazového řádku	2.2.0	clipr	0.7.1	cluster	2.1.1
codetools	0.2-18	barevný prostor	2.0-0	commonmark	1,7
– kompilátor	4.0.4	config	0.3	covr	3.5.1
cpp11	0.2.4	pastelka	1.3.4	přihlašovací údaje	1.3.0
nežádoucí signál	1.1.0.1	kudrna	4.3	data.table	1.13.4
Power BI	4.0.4	DBI	1.1.0	dbplyr	2.0.0
Desc	1.2.0	devtools	2.3.2	diffobj	0.3.2
trávit	0.6.27	dplyr	1.0.2	DT	0,16
tři tečky	0.3.1	evaluate	0,14	fanynky	0.4.1
farver	2.0.3	fastmap	1.0.1	forcats	0.5.0
foreach	1.5.1	zahraniční	0.8-81	kovat	0.2.0
Fs	1.5.0	budoucnost	1.21.0	Generik	0.1.0
Gert	1.0.2	ggplot2	3.3.2	Gh	1.2.0
gitcreds	0.1.1	glmnet	4.0-2	globálních objektů	0.14.0
lepidlo	1.4.2	Gower	0.2.2	Grafika	4.0.4
grDevices	4.0.4	mřížka	4.0.4	gridExtra	2.3
gsubfn	0,7	gtable	0.3.0	útočiště	2.3.1
highr	0,8	Hms	0.5.3	htmltools	0.5.0
htmlwidgets	1.5.3	httpuv	1.5.4	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	ini	0.3.1
ipred	0.9-9	isoband	0.2.3	Iterátory	1.0.13
jsonlite	1.7.2	KernSmooth	2.23-18	pletení	1,30
značení	0.4.2	později	1.1.0.1	mříž	0.20-41
láva	1.6.8.1	lazyeval	0.2.2	lifecycle	0.2.0
listenv	0.8.0	lubridate	1.7.9.2	magrittr	2.0.1
sleva	1,1	MŠE	7.3-53.1	Matice	1.3-2
memoise	1.1.0	metody	4.0.4	mgcv	1.8-33
mim	0,9	ModelMetrics	1.2.2.2	modelr	0.1.8
munsell	0.5.0	nlme	3.1-152	nnet	7.3-15
numDeriv	2016.8-1.1	openssl	1.4.3	parallel	4.0.4
paralelně	1.22.0	pilíř	1.4.7	pkgbuild	1.1.0
pkgconfig	2.0.3	pkgload	1.1.0	plogr	0.2.0
plyr	1.8.6	chválit	1.0.0	prettyunits	1.1.1
pROC	1.16.2	processx	3.4.5	prodlim	2019.11.13
Průběh	1.2.2	sliby	1.1.1	proto	1.0.0
PS	1.5.0	purrr	0.3.4	r2d3	0.2.3
R6	2.5.0	randomForest	4.6-14	rappdirs	0.3.1
Analýza rcmdcheck	1.3.3	RColorBrewer	1.1-2	Rcpp	1.0.5
readr	1.4.0	readxl	1.3.1	recepty	0.1.15
odvetný zápas	1.0.1	rematch2	2.1.2	vzdálená zařízení	2.2.0
reprex	0.3.0	reshape2	1.4.4	rex	1.2.0
rlang	0.4.9	rmarkdown	2.6	RODBC	1.3-17
roxygen2	7.1.1	rpart	4.1-15	rprojroot	2.0.2
Rserve	1.8-7	RSQLite	2.2.1	rstudioapi	0,13
rversions	2.0.2	rvest	0.3.6	váhy	1.1.1
selektor	0.4-2	sessioninfo	1.1.1	tvar	1.4.5
lesklý	1.5.0	sourcetools	0.1.7	sparklyr	1.5.2
SparkR	3.1.0	prostorový	7.3-11	spline křivky	4.0.4
sqldf	0.4-11	ČTVEREC	2020.5	statistické údaje	4.0.4
Statistiky 4	4.0.4	stringi	1.5.3	stringr	1.4.0
přežití	3.2-7	sys	3.4	tcltk	4.0.4
TeachingDemos	2.10	testthat	3.0.0	tibble	3.0.4
tidyr	1.1.2	tidyselect	1.1.0	tidyverse	1.3.0
timeDate	3043.102	tinytex	0,28	tools	4.0.4
usethis	2.0.0	utf8	1.1.4	utils	4.0.4
Uuid	0.1-4	vctrs	0.3.5	viridisLite	0.3.0
Waldo	0.2.3	vous	0,4	withr	2.3.0
xfun	0.19	xml2	1.3.2	xopen	1.0.0
xtable	1.8-4	yaml	2.2.1	zip	2.1.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny	ID artefaktu	Verze
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	automatické škálování aws-java-sdk	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	podpora aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	datový proud	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	Kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	spolužák	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.kofein	kofein	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	core	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	nativní native_ref javy	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	nativní native_system javy	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	profiler	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.0
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1,10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2,4
commons-lang	commons-lang	2.6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.dropwizard.metrics	metriky – jádro	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metriky – kontroly stavu	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metriky – servlety	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	sběratel	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivace	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extra	1.2.17
log4j	log4j	1.2.17
net.razorvine	pyrolit	4.30
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.12.8
net.snowflake	spark-snowflake_2.12	2.8.1-spark_3.0
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	arrow-vector	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1.20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3,10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.kurátor	kurátor-client	2.7.1
org.apache.kurátor	kurátor-framework	2.7.1
org.apache.kurátor	kurátor-recepty	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-annotations	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	Hive – společné	2.3.7
org.apache.hive	Hive-exec-core	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-metastore	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive	hive-vector-code-gen	2.3.7
org.apache.hive.shims	hive-shims-0.23	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-inkubační
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	břečťan	2.4.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks6
org.apache.parquet	parquet-common	1.10.1-databricks6
org.apache.parquet	kódování parquet	1.10.1-databricks6
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-databricks6
org.apache.parquet	parquet-jackson	1.10.1-databricks6
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.velocity	rychlost	1.5
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	cílové skupiny a poznámky	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	Janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.36.v20210114
org.eclipse.jetty	pokračování jetty	9.4.36.v20210114
org.eclipse.jetty	jetty-http	9.4.36.v20210114
org.eclipse.jetty	jetty-io	9.4.36.v20210114
org.eclipse.jetty	jetty-jndi	9.4.36.v20210114
org.eclipse.jetty	jetty-plus	9.4.36.v20210114
org.eclipse.jetty	jetty-proxy	9.4.36.v20210114
org.eclipse.jetty	jetty-security	9.4.36.v20210114
org.eclipse.jetty	jetty-server	9.4.36.v20210114
org.eclipse.jetty	jetty-servlet	9.4.36.v20210114
org.eclipse.jetty	jetty-servlets	9.4.36.v20210114
org.eclipse.jetty	jetty-util	9.4.36.v20210114
org.eclipse.jetty	jetty-util-ajax	9.4.36.v20210114
org.eclipse.jetty	jetty-webapp	9.4.36.v20210114
org.eclipse.jetty	jetty-xml	9.4.36.v20210114
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	žerzejové společné	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	Hibernate-validator	6.1.0.Final
org.javassist	Javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.1.2
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.0
org.roaringbitmap	Podložky	0.9.0
org.rocksdb	rocksdbjni	6.2.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	nepoužitý	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	kočky-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	makro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0,52

Sdílet prostřednictvím

Databricks Runtime 8.1 (EoS)

Nové funkce a vylepšení

Nové operátory SQL snižují komplexní ETL u řetězců JSON.

Řízení viditelnosti seznamů řízení přístupu k tabulce

Nové možnosti automatického zavaděče umožňují lepší výkon

Ověřování ve službě Azure Synapse Analytics pomocí OAuth 2.0 a instančního objektu (Public Preview)

Ruční vkládání `IDENTITY` sloupců do tabulek Azure Synapse Analytics

Azure Auto Loader teď podporuje ověřování pomocí instančního objektu pro operace fronty.

Sledování průběhu streamu s využitím metrik Kafka

Sledování průběhu streamu s využitím metrik zdroje streamování Delta Lake

Upgrady knihoven

Apache Spark

Aktualizace údržby

Prostředí systému

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

Váš názor

Další materiály

Sdílet prostřednictvím

Databricks Runtime 8.1 (EoS)

Nové funkce a vylepšení

Nové operátory SQL snižují komplexní ETL u řetězců JSON.

Řízení viditelnosti seznamů řízení přístupu k tabulce

Nové možnosti automatického zavaděče umožňují lepší výkon

Ověřování ve službě Azure Synapse Analytics pomocí OAuth 2.0 a instančního objektu (Public Preview)

Ruční vkládání IDENTITY sloupců do tabulek Azure Synapse Analytics

Azure Auto Loader teď podporuje ověřování pomocí instančního objektu pro operace fronty.

Sledování průběhu streamu s využitím metrik Kafka

Sledování průběhu streamu s využitím metrik zdroje streamování Delta Lake

Upgrady knihoven

Apache Spark

Aktualizace údržby

Prostředí systému

Nainstalované knihovny Pythonu

Nainstalované knihovny jazyka R

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

Váš názor

Další materiály

Ruční vkládání `IDENTITY` sloupců do tabulek Azure Synapse Analytics