Tempo de execução do Databricks 9.1 LTS

Artigo
09/03/2024

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 9.1 LTS e o Databricks Runtime 9.1 LTS Photon, com tecnologia Apache Spark 3.1.2. A Databricks lançou esta versão em setembro de 2021. Photon está em Visualização Pública.

Nota

LTS significa que esta versão está sob suporte a longo prazo. Consulte Ciclo de vida da versão do Databricks Runtime LTS.

Gorjeta

Para ver as notas de versão das versões do Databricks Runtime que atingiram o fim do suporte (EoS), consulte Notas de versão do End-of-support Databricks Runtime. As versões do EoS Databricks Runtime foram desativadas e podem não ser atualizadas.

Novos recursos e melhorias

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa
Suporte de arquivo Avro para esquema de mesclagem
Suporte de listagem incremental do carregador automático (Visualização pública)
Delta agora suporta substituição arbitráriaOnde
O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)
CREATE FUNCTION agora suporta a criação de funções de tabela
Kafka Streaming Source agora relata estimatedTotalBytesBehindLatest métrica
Para structs dentro de arrays, Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa

Os tipos de matriz e mapa são suportados em Substituir inferência de esquema com dicas de esquema para o Auto Loader.

Exemplos de dicas de esquema para matrizes incluem:

arr Array<TYPE> Altera o tipo de matriz.
arr.element TYPE Altera o tipo de matriz (usando a element palavra-chave).
arr.element.x TYPE Altera um tipo de campo aninhado em uma matriz de estruturas.

Os dois primeiros exemplos são dicas para alterar o tipo de matriz arr para TYPE, mas usam sintaxe diferente. No terceiro exemplo, arr é uma matriz de estruturas com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Exemplos de dicas de esquema para mapas incluem:

m Map<KEY-TYPE, VALUE-TYPE> altera a chave do mapa e os tipos de valor.
m.key TYPE Altera o tipo de chaves de mapa.
m.value TYPE Altera o tipo de valores de mapa.
m.key.x TYPE Altera o tipo de campo em uma chave de mapa.
m.value.x TYPE Altera o tipo de campo de um valor de mapa.

O primeiro exemplo altera os tipos de chave e valor do mapa m para KEY_TYPE e VALUE_TYPE respectivamente. O segundo e terceiro exemplos podem ser usados se apenas o tipo de chave ou apenas o tipo de valor precisar ser alterado. No quarto e quinto exemplos, m é um mapa com chave e valor de tipos de estrutura com um campo x. Este exemplo mostra como alterar o tipo de x para TYPE.

Suporte de arquivo Avro para esquema de mesclagem

O formato de arquivo Avro agora suporta a mergeSchema opção ao ler arquivos. A configuração mergeSchema como true ao ler arquivos Avro inferirá um esquema de um conjunto de arquivos Avro em vez de um único arquivo. Isso melhora a usabilidade inferindo um esquema que pode ser capaz de ler todos os arquivos, mesmo que seus esquemas individuais sejam diferentes. Consulte Configuração.

Suporte de listagem incremental do carregador automático (Visualização pública)

No caso de arquivos gerados lexicograficamente, O que é Auto Loader? agora aproveita a ordenação de arquivos lexical e APIs otimizadas existentes para tornar a listagem de diretórios mais eficiente, listando arquivos ingeridos anteriormente em vez de listar o diretório inteiro. O Auto Loader deteta automaticamente se um determinado diretório é adequado para listagem incremental por padrão. Para controlar esse comportamento explicitamente, defina a nova cloudFiles.useIncrementalListing opção como ativada (true), desativada (false) ou automática (auto). Se você definir esse comportamento como true, também poderá definir a cloudFiles.backfillInterval opção para agendar preenchimentos regulares sobre seus dados, para garantir que todos os seus dados sejam completamente ingeridos.

Delta agora suporta substituição arbitráriaOnde

Em combinação com o modo de substituição, a replaceWhere opção pode ser usada para substituir simultaneamente dados que correspondam a um predicado definido na opção. Anteriormente, replaceWhere suportava um predicado apenas sobre colunas de partição, mas agora pode ser uma expressão arbitrária. Consulte Gravar em uma tabela.

O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)

O Auto Loader agora suporta o modo de notificação de arquivos no Google Cloud. Definido .option("cloudFiles.useNotifications", "true") para permitir que o Auto Loader configure automaticamente os recursos do Google Cloud Pub/Sub para você. Com o modo de notificação de arquivos, novos arquivos são detetados e ingeridos à medida que chegam sem listar o diretório de entrada. Consulte O que é o modo de notificação de ficheiros do Auto Loader?.

CREATE FUNCTION agora suporta a criação de funções de tabela

Além de criar uma função escalar que retorna um valor escalar, agora você pode criar uma função de tabela que retorna um conjunto de linhas. Consulte CREATE FUNCTION (SQL e Python).

Kafka Streaming Source agora relata `estimatedTotalBytesBehindLatest` métrica

A fonte de streaming Kafka agora relata uma estimativa de quantos bytes o consumidor está por trás do último byte disponível após cada lote. Você pode usar essa métrica para acompanhar o progresso do fluxo. Consulte Recuperar métricas de Kafka.

Exemplo de saída métrica:

StreamingQueryProgress {
  "batchId": 0,
  .....
  "sources": [ {
    "description" : "KafkaV2[Subscribe[topic-0]]",
    "metrics":{
      "avgOffsetsBehindLatest" : "1.0",
      "estimatedTotalBytesBehindLatest" : "80.0", // new
      "maxOffsetsBehindLatest" : "1",
      "minOffsetsBehindLatest" : "1"
    } ],
  ....
 }

Para structs dentro de arrays, Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

O Delta MERGE INTO agora suporta resolução de campos struct por nome e evolução automática de esquema para arrays de structs. Quando a evolução automática do esquema é habilitada definindo spark.databricks.delta.schema.autoMerge.enabled como true, UPDATE e INSERT as cláusulas resolverão campos struct dentro de uma matriz pelo nome, convertendo para o tipo de dados correspondente definido na matriz de destino e preenchendo campos adicionais ou ausentes na origem ou destino com valores nulos. Quando a evolução automática do esquema é desativada, as INSERT cláusulas resolverão campos struct dentro de uma matriz pelo nome, UPDATE mas não poderão evoluir os campos adicionais. Consulte Atualizar esquema de tabela Delta Lake.

Correções de erros

Corrigido um vazamento de memória no conector do Amazon S3 que poderia ocorrer em trabalhos ou serviços de longa execução, causado pela funcionalidade da JVM DeleteOnExit .

Atualizações da biblioteca

Bibliotecas Python atualizadas:
- plotly de 4.14.3 a 5.1.0
Bibliotecas R atualizadas:
- base de 4.1.0 a 4.1.1
- bslib de 0.2.5.1 a 0.3.0
- cachem de 1.0.5 a 1.0.6
- compilador de 4.1.0 a 4.1.1
- conjuntos de dados de 4.1.0 a 4.1.1
- futuro de 1.21.0 a 1.22.1
- Gert de 1.3.1 a 1.3.2
- Gráficos de 4.1.0 a 4.1.1
- grDevices de 4.1.0 a 4.1.1
- grelha de 4.1.0 a 4.1.1
Bibliotecas Java atualizadas:
- org.eclipse.jetty de 9.4.36.v20210114 a 9.4.42.v20210604

Faísca Apache

O Databricks Runtime 9.1 LTS inclui o Apache Spark 3.1.2. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 9.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

[FAÍSCA-36674][SQL][ESCOLHA SELETIVA] Suporte ILIKE - insensível a maiúsculas e minúsculas LIKE
[FAÍSCA-36353][SQL][3.1] RemoveNoopOperators deve manter o esquema de saída
[FAÍSCA-35876][SQL][3.1] ArraysZip deve manter nomes de campo para evitar ser reescrito pelo analisador/otimizador
[FAÍSCA-36398][SQL] Redigir informações confidenciais no log do Spark Thrift Server
[FAÍSCA-36498][SQL] Reordenar campos internos da consulta de entrada em byName V2 write
[FAÍSCA-36614][CORE][UI] Corrigir o motivo da perda do executor causado pela desativação na interface do usuário
[FAÍSCA-36012][SQL] Adicionar sinalizador nulo em SHOW CREATE TABLE
[FAÍSCA-36509][CORE] Corrija o problema de que os executores nunca são reagendados se o trabalhador parar com cluster autônomo
[FAÍSCA-36603][CORE] Use WeakReference e não SoftReference no LevelDB
[FAÍSCA-36564][CORE] Corrigir NullPointerException em LiveRDDDistribution.toApi
[FAÍSCA-36086][SQL][3.1] O alias de substituição do projeto CollapseProject deve usar o nome da coluna de origem
[FAÍSCA-33527][SQL] Estenda a função de decodificação de modo consistente com os bancos de dados principais
[FAÍSCA-36400][FAÍSCA-36398][SQL][WEBUI] Faça com que o ThriftServer reconheça spark.sql.redaction.string.regex
[FAÍSCA-34054][CORE] Limpeza de código BlockManagerDecommissioner
[FAÍSCA-36500][CORE] Corrigir temp_shuffle vazamento de arquivo quando uma tarefa é interrompida
[FAÍSCA-36489][SQL] Agregar funções sem chaves de agrupamento, em tabelas com um único bucket, retornar várias linhas
[FAÍSCA-36464][CORE] Corrigir a inicialização da variável de tamanho subjacente em ChunkedByteBufferOutputStream para gravar mais de 2 GB de dados
[FAÍSCA-36339][SQL][3.0] As referências a agrupamentos que não fazem parte da agregação devem ser substituídas
[FAÍSCA-36354][CORE] EventLogFileReader deve ignorar diretórios de log de eventos sem logs
[FAÍSCA-36242][CORE][3.1] Certifique-se de que o ficheiro de derrame foi fechado antes do êxito definido = true no método ExternalSorter.spillMemoryIteratorToDisk
[FAÍSCA-36211][PYTHON] Digitação correta do valor de udf retorno
[FAÍSCA-34222][SQL] Melhorar a regra de simplificação booleana
[FAÍSCA-35027][CORE] Feche o inputStream no FileAppender quando writin...
[FAÍSCA-36269][SQL] Corrigir apenas definir colunas de dados para a configuração de nomes de colunas do Hive
[FAÍSCA-36213][SQL] Normalize PartitionSpec para descrever o comando Table com PartitionSpec
[FAÍSCA-36210][SQL] Preservar a ordem de inserção da coluna em Dataset.withColumns
[FAÍSCA-36079][SQL] A estimativa de filtro baseada em nulo deve estar sempre no intervalo [0, 1]
[FAÍSCA-28266][SQL] convertToLogicalRelation não deve interpretar path a propriedade ao ler tabelas Hive

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 9.1 LTS.

Ambiente do sistema

Sistema Operacional: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Escala: 2.12.10
Píton: 3.8.10
R: 4.1.1
Lago Delta: 1.0.0

Bibliotecas Python instaladas

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
Antergos Linux	2015.10 (Laminação ISO)	Appdirs	1.4.4	Backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	certifi	2020.12.5
chardet	4.0.0	cycler	0.10.0	Quisto	0.29.23
dbus-python	1.2.16	decorador	5.0.6	Distlib	0.3.2
distro-info	0,23ubuntu1	facetas-visão geral	1.0.0	filelock	3.0.12
idna	2.10	Ipykernel	5.3.4	ipython	7.22.0
ipython-genutils	0.2.0	Jedi	0.17.2	jmespath	0.10.0
Joblib	1.0.1	jupyter-cliente	6.1.12	Jupyter-core	4.7.1
Kiwisolver	1.3.1	coalas	1.8.1	matplotlib	3.4.2
numpy	1.19.2	pandas	1.2.4	Parso	0.7.0
patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Travesseiro	8.2.0	pip	21.0.1	enredo	5.1.0
prompt-toolkit	3.0.17	protobuf	3.17.2	psycopg2	2.8.5
ptyprocess	0.7.0	pyarrow	4.0.0	Pygments	2.8.1
PyGObject	3.36.0	pyparsing	2.4.7	python-apt	2.0.0+ubuntu0.20.4.5
python-dateutil	2.8.1	pytz	2020.5	Pyzmq	20.0.0
pedidos	2.25.1	pedidos-unixsocket	0.2.0	s3transferir	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
setuptools	52.0.0	seis	1.15.0	ssh-import-id	5.10
statsmodels	0.12.2	tenacidade	8.0.1	ThreadPoolCtl	2.1.0
tornado	6.1	traços	5.0.5	Upgrades autônomos	0.1
urllib3	1.25.11	virtualenv	20.4.1	largura de wc	0.2.5
roda	0.36.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do Microsoft CRAN em 2021-09-08.

Biblioteca	Versão	Biblioteca	Versão	Biblioteca	Versão
AskPass	1.1	asserçãoat	0.2.1	backports	1.2.1
base	4.1.1	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.2	arranque	1.3-28
brew	1.0-6	Brio	1.1.2	vassoura	0.7.9
BSLIB	0.3.0	cachem	1.0.6	Chamador	3.7.0
acento circunflexo	6.0-88	Cellranger	1.1.0	crono	2.3-56
classe	7.3-19	cli	3.0.1	Clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	espaço em cores	2.0-2
marca comum	1.7	compilador	4.1.1	configuração	0.3.1
CPP11	0.3.1	lápis de cor	1.4.1	credenciais	1.3.1
curl	4.3.2	data.table	1.14.0	conjuntos de dados	4.1.1
DBI	1.1.1	DBPlyr	2.1.1	desc	1.3.0
devtools	2.4.2	diffobj	0.3.4	resumo	0.6.27
dplyr	1.0.7	DTPlyr	1.1.0	reticências	0.3.2
evaluate	0.14	Fãsi	0.5.0	Farver	2.1.0
mapa rápido	1.1.0	FORCATS	0.5.1	foreach	1.5.1
externa	0.8-81	forjar	0.2.0	FS	1.5.0
Futuro	1.22.1	future.apply	1.8.1	gargarejo	1.2.0
Genéricos	0.1.0	Gert	1.3.2	ggplot2	3.3.5
GH	1.3.0	gitcreds	0.1.1	glmnet	4.1-2
Globais	0.14.0	colar	1.4.2	GoogleDrive	2.0.0
googlesheets4	1.0.0	gower	0.2.2	gráficos	4.1.1
grDevices	4.1.1	grelha	4.1.1	gridExtra	2.3
gsubfn	0.7	gtable	0.3.0	Refúgio	2.4.3
mais alto	0,9	HMS	1.1.0	htmltools	0.5.2
htmlwidgets	1.5.3	httpuv	1.6.2	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0-3	IDs	1.0.1
ini	0.3.1	ipred	0.9-11	Isoband	0.2.5
iteradores	1.0.13	jquerylib	0.1.4	jsonlite	1.7.2
KernSmooth	2.23-20	Knitr	1.33	etiquetagem	0.4.2
mais tarde	1.3.0	lattice	0.20-44	lava	1.6.10
ciclo de vida	1.0.0	ouvirv	0.8.0	lubridate	1.7.10
magrittr	2.0.1	Marcação	1.1	MASSA	7.3-54
Matriz	1.3-4	memoise	2.0.0	métodos	4.1.1
mgcv	1.8-36	mime	0,11	ModelMetrics	1.2.2.2
Modelador	0.1.8	munsell	0.5.0	nlme	3.1-152
nnet	7.3-16	numDeriv	2016.8-1.1	openssl	1.4.5
paralelo	4.1.1	Paralelamente	1.27.0	pilar	1.6.2
pkgbuild	1.2.0	pkgconfig	2.0.3	pkgload	1.2.1
plogr	0.2.0	plyr	1.8.6	elogiar	1.0.0
unidades bonitas	1.1.1	pROC	1.18.0	processx	3.5.2
prodlim	2019.11.13	Progresso	1.2.2	progressor	0.8.0
promessas	1.2.0.1	proto	1.0.0	PS	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.3.3
RColorBrewer	1.1-2	Rcpp	1.0.7	Leitor	2.0.1
ReadXL	1.3.1	receitas	0.1.16	revanche	1.0.1
revanche2	2.1.2	Controles remotos	2.4.0	Reprex	2.0.1
remodelar2	1.4.4	rlang	0.4.11	rmarkdown	2.10
RODBC	1.3-18	roxygen2	7.1.1	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversões	2.1.1	Rvest	1.0.1
Sass	0.4.0	escalas	1.1.1	seletor	0.4-2
sessioninfo	1.1.1	forma	1.4.6	brilhante	1.6.0
ferramentas de origem	0.1.7	sparklyr	1.7.1	SparkR	3.1.1
espacial	7.3-11	splines	4.1.1	sqldf	0.4-11
QUADRADO	2021.1	estatísticas	4.1.1	stats4	4.1.1
stringi	1.7.4	stringr	1.4.0	sobrevivência	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testeatat	3.0.4	tibble	3.1.4	tidyr	1.1.3
tidyselect	1.1.1	Tidyverse	1.3.1	timeDate	3043.102
Tinytex	0.33	ferramentas	4.1.1	TZDB	0.1.2
usethis	2.0.1	UTF8	1.2.2	utilitários	4.1.1
uuid	0.1-4	VCTRS	0.3.8	viridisLite	0.4.0
vroom	1.5.4	Waldo	0.3.0	whisker	0.4
withr	2.4.2	xfun	0.25	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
zip	2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo	ID do Artefacto	Versão
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-marketplacecommerceanalytics	1.11.655
com.amazonaws	aws-java-sdk-marketplacemeteringservice	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	transmissão em fluxo	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2,12	0.4.15-10
com.esotericsoftware	sombreado de kryo	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	colega de turma	1.3.4
com.fasterxml.jackson.core	jackson-anotações	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-módulo-scala_2.12	2.10.0
com.github.ben-manes.cafeína	cafeína	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	núcleo	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-nativos	1.1
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java-nativos	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	ZSTD-JNI	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.crypto.tink	Tink	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	criador de perfil	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	configuração	1.2.1
com.typesafe.scala-logging	Escala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons-configuration	commons-configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.4
commons-lang	commons-lang	2.6
registo de comuns	registo de comuns	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
colmeia-2.3__hadoop-2,7	JETS3T-0,7	liball_deps_2.12
colmeia-2.3__hadoop-2,7	Zookeeper-3,4	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.ponte aérea	compressor de ar	0.10
IO.Delta	delta-compartilhamento-spark_2.12	0.1.0
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	métricas-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	recoletor	0.12.0
jacarta.anotação	Jacarta.Anotação-API	1.3.5
jacarta.validação	Jacarta.validation-api	2.0.2
jakarta.ws.rs	Jacarta.ws.rs-api	2.1.6
javax.activation	ativação	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.transaction	API de transação	1.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
maven-árvores	colmeia-2.3__hadoop-2,7	liball_deps_2.12
net.java.dev.jna	JNA	5.8.0
net.razorvine	pirolite	4.30
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.floco de neve	flocos de neve-ingestão-sdk	0.9.6
net.floco de neve	Flocos de Neve-JDBC	3.13.3
net.floco de neve	faísca-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	Remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8-1
org.antlr	stringtemplate	3.2.1
org.apache.ant	formiga	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	formato de seta	2.0.0
org.apache.arrow	seta-memória-núcleo	2.0.0
org.apache.arrow	seta-memória-netty	2.0.0
org.apache.arrow	vetor de seta	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3,10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-texto	1.6
org.apache.curator	curador-cliente	2.7.1
org.apache.curator	curador-framework	2.7.1
org.apache.curator	curador-receitas	2.7.1
org.apache.derby	derby	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-annotations	2.7.4
org.apache.hadoop	hadoop-auth	2.7.4
org.apache.hadoop	hadoop-client	2.7.4
org.apache.hadoop	hadoop-common	2.7.4
org.apache.hadoop	hadoop-hdfs	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	2.7.4
org.apache.hadoop	hadoop-yarn-api	2.7.4
org.apache.hadoop	hadoop-yarn-client	2.7.4
org.apache.hadoop	hadoop-yarn-common	2.7.4
org.apache.hadoop	hadoop-yarn-server-common	2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-cliente	2.3.7
org.apache.hive	colmeia-lamp-comum	2.3.7
org.apache.hive	Colmeia-Serde	2.3.7
org.apache.hive	colmeias-calços	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	colmeia-calços-0,23	2.3.7
org.apache.hive.shims	colmeia-calços-comum	2.3.7
org.apache.hive.shims	colmeia-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0 incubação
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	hera	2.4.0
org.apache.mesos	mesos-sombreado-protobuf	1.4.0
org.apache.orc	orc-núcleo	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	Orc-calços	1.5.12
org.apache.parquet	parquet-column	1.10.1-DATABRICKS9
org.apache.parquet	parquet-common	1.10.1-DATABRICKS9
org.apache.parquet	parquet-encoding	1.10.1-DATABRICKS9
org.apache.parquet	parquet-format	2.4.0
org.apache.parquet	parquet-hadoop	1.10.1-DATABRICKS9
org.apache.parquet	parquet-jackson	1.10.1-DATABRICKS9
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm7-sombreado	4.15
org.apache.yetus	anotações de audiência	0.5.0
org.apache.zookeeper	zookeeper	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.42.v20210604
org.eclipse.jetty	jetty-continuation	9.4.42.v20210604
org.eclipse.jetty	jetty-http	9.4.42.v20210604
org.eclipse.jetty	jetty-io	9.4.42.v20210604
org.eclipse.jetty	jetty-jndi	9.4.42.v20210604
org.eclipse.jetty	jetty-plus	9.4.42.v20210604
org.eclipse.jetty	jetty-proxy	9.4.42.v20210604
org.eclipse.jetty	jetty-security	9.4.42.v20210604
org.eclipse.jetty	jetty-server	9.4.42.v20210604
org.eclipse.jetty	jetty-servlet	9.4.42.v20210604
org.eclipse.jetty	jetty-servlets	9.4.42.v20210604
org.eclipse.jetty	jetty-util	9.4.42.v20210604
org.eclipse.jetty	cais-util-ajax	9.4.42.v20210604
org.eclipse.jetty	jetty-webapp	9.4.42.v20210604
org.eclipse.jetty	jetty-xml	9.4.42.v20210604
org.eclipse.jetty.websocket	API WebSocket	9.4.42.v20210604
org.eclipse.jetty.websocket	Websocket-cliente	9.4.42.v20210604
org.eclipse.jetty.websocket	Websocket-Comum	9.4.42.v20210604
org.eclipse.jetty.websocket	servidor websocket	9.4.42.v20210604
org.eclipse.jetty.websocket	Websocket-servlet	9.4.42.v20210604
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	localizador hk2	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jacarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey-client	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	servidor de jersey	2.30
org.glassfish.jersey.inject	Jersey-HK2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	hibernate-validator	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	JSON4S-ast_2.12	3.7.0-M5
org.json4s	JSON4S-core_2.12	3.7.0-M5
org.json4s	JSON4S-jackson_2,12	3.7.0-M5
org.json4s	JSON4S-scalap_2.12	3.7.0-M5
org.lz4	LZ4-Java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	calços	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	Escala-compiler_2.12	2.12.10
org.scala-lang	Escala-library_2.12	2.12.10
org.scala-lang	Escala-reflect_2,12	2.12.10
org.scala-lang.modules	scala-coleção-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	Escala-xml_2.12	1.2.0
org.scala-sbt	interface de teste	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	Brisa-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	não utilizado	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	teste de primavera	4.1.4.RELEASE
org.threeten	trêsdez-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	gatos-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	torre-macros_2.12	0,17,0-m1
org.typelevel	torre-platform_2.12	0,17,0-m1
org.typelevel	torre-util_2.12	0,17,0-m1
org.typelevel	spire_2.12	0,17,0-m1
org.wildfly.openssl	mosca-selvagem-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1
xmlenc	xmlenc	0.52

Partilhar via

Tempo de execução do Databricks 9.1 LTS

Novos recursos e melhorias

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa

Suporte de arquivo Avro para esquema de mesclagem

Suporte de listagem incremental do carregador automático (Visualização pública)

Delta agora suporta substituição arbitráriaOnde

O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)

CREATE FUNCTION agora suporta a criação de funções de tabela

Kafka Streaming Source agora relata `estimatedTotalBytesBehindLatest` métrica

Para structs dentro de arrays, Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

Correções de erros

Atualizações da biblioteca

Faísca Apache

Atualizações de manutenção

Ambiente do sistema

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

Comentários

Recursos adicionais

Partilhar via

Tempo de execução do Databricks 9.1 LTS

Novos recursos e melhorias

As dicas de esquema do Auto Loader agora funcionam com tipos de matriz e mapa

Suporte de arquivo Avro para esquema de mesclagem

Suporte de listagem incremental do carregador automático (Visualização pública)

Delta agora suporta substituição arbitráriaOnde

O Auto Loader para Google Cloud agora suporta notificações de arquivos (Visualização pública)

CREATE FUNCTION agora suporta a criação de funções de tabela

Kafka Streaming Source agora relata estimatedTotalBytesBehindLatest métrica

Para structs dentro de arrays, Delta MERGE INTO agora resolve campos struct por nome e evolui esquemas struct

Correções de erros

Atualizações da biblioteca

Faísca Apache

Atualizações de manutenção

Ambiente do sistema

Bibliotecas Python instaladas

Bibliotecas R instaladas

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

Comentários

Recursos adicionais

Kafka Streaming Source agora relata `estimatedTotalBytesBehindLatest` métrica