Partilhar via

Tempo de execução do Databricks 10.0 (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon, com tecnologia Apache Spark 3.2.0. A Databricks lançou esta versão em outubro de 2021. Photon está em Visualização Pública.

Novos recursos e melhorias

Nova versão do Apache Spark

O Databricks Runtime 10.0 e o Databricks Runtime 10.0 Photon incluem o Apache Spark 3.2.0. Para obter detalhes, consulte Apache Spark.

A instrução SELECT agora suporta a cláusula QUALIFY para filtrar os resultados da função da janela

A SELECT declaração agora apoia a QUALIFY cláusula. QUALIFY pode ser usado para filtrar os resultados das funções da janela. Uma ou mais funções de SELECT janela devem estar presentes na lista ou na QUALIFY condição. Por exemplo:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Suporte de cluster para JDK 11 (visualização pública)

O Databricks agora fornece suporte a cluster para Java Development Kit (JDK) 11.

Ao criar um cluster, você pode especificar que o cluster use o JDK 11 (para o driver e o executor). Para fazer isso, adicione a seguinte variável de ambiente para Advanced Options > Spark > Environment Variables:

JNAME=zulu11-ca-amd64

O Auto Loader agora trata esquemas como anuláveis

O Auto Loader agora trata todos os esquemas inferidos e fornecidos pelo usuário como anuláveis por padrão. Isso é para evitar corrupção de dados em potencial nos casos em que os dados contêm campos nulos para colunas não anuláveis. Uma nova configuração é introduzida para rastrear esse comportamento, spark.databricks.cloudFiles.schema.forceNullable. Por padrão, essa configuração contém a configuração de spark.sql.streaming.fileSource.schema.forceNullable, que o FileStreamSource no Apache Spark usa e é definida como true por padrão.

Alterações interruptivas

Alterações significativas para todos os usuários do Spark SQL

  • Nova spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled configuração: quando definido como true, permite um subconjunto de predicados de igualdade correlacionados quando uma subconsulta é agregada. A predefinição é true.
  • Nova spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled configuração: quando definido como true, bloqueia a geração automática de aliases quando as visualizações são criadas. A predefinição é true.
  • Nova spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled configuração: quando definido como true, não permite CREATE TABLE AS SELECT com um local não vazio. A predefinição é true. Observe que quando spark.sql.legacy.allowNonEmptyLocationInCTAS também está definido como true, essa configuração não tem efeito e CREATE TABLE AS SELECT com um local não vazio é sempre permitido.

Alterações recentes para usuários do Spark SQL que habilitam o modo ANSI

Para obter informações sobre o modo ANSI, consulte Conformidade ANSI no Databricks Runtime.

  • Nova spark.databricks.behaviorChange.SC83587NextDayDOW.enabled configuração: quando definido como true, um argumento inválido dayOfWeek para a next_day função lança um IllegalArgumentException no modo ANSI, caso contrário, ele retorna null. A predefinição é true.
  • Nova spark.databricks.behaviorChange.SC83796CanCast.enabled configuração: quando definido como true, permite novas regras de sintaxe de transmissão explícita no modo ANSI. A predefinição é true.
  • Nova spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled configuração: quando definido como true, uma exceção de erro de análise é lançada ao lançar uma cadeia de caracteres para um booleano, caso contrário, retorna null. A predefinição é true.
  • Nova spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled configuração: quando definida como true, a abs função lança uma exceção se a entrada estiver fora do intervalo. A predefinição é true.

Alterações significativas para todos os usuários do Python

  • A API delta.tables.DeltaTable.convertToDelta Python agora retorna o objeto Python correto DeltaTable que pode ser usado para executar comandos Delta Lake. Anteriormente, ele retornava um objeto interno que não podia ser chamado diretamente.

Atualizações da biblioteca

Atualização do Apache Hadoop 3

  • O Databricks Runtime 10.0 atualiza a dependência do Hadoop do Hadoop 2.7.4 para o Hadoop 3.3.1.

Alterações de comportamento

  • O Hadoop 3 usa as bibliotecas hadoop-client-api e hadoop-client-runtime em vez da biblioteca hadoop-common, que sombreia determinadas dependências de terceiros que poderiam ser usadas em APIs ou extensões públicas do Hadoop.
  • As opções de configuração do Hadoop 3 foram alteradas desde o Hadoop 2. Para opções do Hadoop 3.3.1, consulte core-default.xml.
  • O Databricks atualizou algumas das configurações padrão do Hadoop 3 para serem consistentes com o Hadoop 2, para garantir que os conectores de armazenamento tenham as mesmas configurações de autenticação padrão e níveis de desempenho:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • O conector do Google Cloud Storage (GCS) foi atualizado da versão 2.1.6 para a 2.2.2.
  • O conector do Amazon Redshift agora usa o s3a:// esquema. O s3n:// esquema foi preterido.
  • Manipula os nomes de classe OSS para a API do Amazon S3 MetadataStore, além das classes sombreadas. Isso permite processar configurações de OSS sem exigir os nomes de classe sombreados.
    • Por exemplo, você pode especificar a org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore classe na configuração do Hadoop.
  • Torna o new Configuration() e sparkContext.hadoopConfiguration consistente.
    • Agora, sempre que uma nova configuração do Hadoop for criada, ela será consistente com a configuração predefinida do Hadoop no sparkContext.hadoopConfiguration Databricks Runtime, incluindo esquemas de sistema de arquivos e sua configuração padrão.
  • Embora os conectores de armazenamento Hadoop incluídos no Databricks Runtime sejam totalmente compatíveis com o Hadoop 3.3.1, não é garantido que estejam sincronizados com os conectores OSS Hadoop 3.3.1 e podem ter um comportamento diferente.
    • O conector do Amazon S3 ainda permite (embora com um aviso) a autenticação user:secret em URLs do S3, em comparação com o HADOOP-14833, que o remove.
  • globStatus agora sempre retorna resultados classificados (HADOOP-10798)
  • Adicionado fs.s3a.endpoint se unset e fs.s3a.endpoint region for null(SPARK-35878)
    • Os Databricks fornecidos pela resolução automática da região do Amazon S3 podem não ser acionados em alguns casos, devido ao endpoint global que está sendo definido. Isso não é um problema, pois o AWS SDK resolverá a região corretamente.
  • Adicionar fs.s3a.downgrade.syncable.exceptions se não estiver definido (SPARK-35868)
  • Os codecs LZ4 e Snappy não dependem da biblioteca Hadoop nativa (HADOOP-17125)

Problemas conhecidos

  • SPARK-36681 Usando SnappyCodec para escrever arquivo de sequência falhará com UnsatisfiedLinkError devido a problema conhecido no Hadoop 3.3.1 (HADOOP-17891)

Faísca Apache

O Databricks Runtime 10.0 inclui o Apache Spark 3.2.0.

Nesta secção:

Destaques

Core e Spark SQL

Aprimoramentos de compatibilidade com ANSI SQL

  • Suporte a tipos ANSI SQL INTERVAL (SPARK-27790)
  • Novas regras de sintaxe de coerção de tipo no modo ANSI (SPARK-34246)

Melhorias de desempenho

  • Otimização de consultas
    • Remover agregados redundantes no Otimizador (SPARK-33122)
    • Empurre o limite para baixo através do Project with Join(SPARK-34622)
    • Estimativa da cardinalidade do operador de união, classificação e intervalo (SPARK-33411)
    • UnwrapCastInBinaryComparison suporte In/InSet predicado(SPARK-35316)
    • Mantenha as estatísticas necessárias após a poda da partição (SPARK-34119)
  • Execução de consultas
    • Habilitar pool de buffer Zstandard por padrão (SPARK-34340, SPARK-34390)
    • Adicionar geração de código para todos os tipos de junção de junção de junção (SPARK-34705)
    • Melhoria da junção de loop aninhado de transmissão (SPARK-34706)
    • Suporta dois níveis de mapas de hash para agregação de hash final (SPARK-35141)
    • Permitir gravadores simultâneos para escrever partições dinâmicas e tabela de bucket (SPARK-26164)
    • Melhorar o desempenho dos FETCH_PRIOR de processamento no Thriftserver(SPARK-33655)

Aprimoramentos do conector

  • Parquet
    • Atualize o Parquet para 1.12.1 (SPARK-36726)
    • Leia tipos não assinados de parquet que são armazenados como tipo físico int32 em parquet (SPARK-34817)
    • Leia o tipo lógico int64 não assinado do Parquet que armazenou como tipo físico int64 assinado para decimal(20, 0)(SPARK-34786)
    • Melhorar o Parquet no filtro pushdown (SPARK-32792)
  • ORC
  • Avro
    • Atualize o Avro para a versão 1.10.2 (SPARK-34778)
    • Suportando a evolução do esquema Avro para tabelas Hive particionadas com "avro.schema.literal"(SPARK-26836)
    • Adicione novas opções de fonte de dados Avro para controlar a rebase de data/hora em leitura (SPARK-34404)
    • Adicionando suporte para url de esquema fornecido pelo usuário no Avro (SPARK-34416)
    • Adicionar suporte para correspondência posicional de esquema Catalyst-to-Avro (SPARK-34365)
  • JSON
    • Atualize Jackson para a versão 2.12.3 (SPARK-35550)
    • Permitir que fontes de dados Json escrevam caracteres não-ascii como pontos de código (SPARK-35047)
  • JDBC
    • Calcule a passada de partição mais precisa no JDBCRelation(SPARK-34843)
  • Filtro de suporte do Hive Metastore por not-in(SPARK-34538)

Aprimoramentos de recursos

Outras mudanças notáveis

  • Monitorização
    • Novas métricas para ExternalShuffleService(SPARK-35258)
    • Adicionar novas APIs e parâmetros REST no nível do estágio (SPARK-26399)
    • Tarefa de suporte e executor Distribuições de métricas Distribuições de métricas na API REST (SPARK-34488)
    • Adicionar métricas de fallback para agregação de hash(SPARK-35529)
  • Adicionar count_distinct como uma opção a Dataset#summary(SPARK-34165)
  • Implementar ScriptTransform em sql/core(SPARK-31936)
  • Torne o tempo limite de pulsação do driver BlockManagerMaster configurável(SPARK-34278)
  • Torne o nome do serviço aleatório configurável no lado do cliente e permita a substituição da configuração baseada em classpath no lado do servidor (SPARK-34828)
  • ExecutorMetricsPoller deve manter a entrada do estágio no stageTCMP até que ocorra um batimento cardíaco (SPARK-34779)
  • Substitua se pela cláusula de filtro em RewriteDistinctAggregates(SPARK-34882)
  • Corrigir falha ao aplicar CostBasedJoinReorder na associação automática (SPARK-34354)
  • CREATE TABLE LIKE deve respeitar as propriedades reservadas da tabela (SPARK-34935)
  • Enviar arquivo ivySettings para o driver no modo de cluster YARN (SPARK-34472)
  • Resolver colunas comuns duplicadas de USING/NATURAL JOIN(spark-34527)
  • Ocultar propriedades de exibição interna para descrever a tabela cmd(SPARK-35318)
  • Suporte à resolução de attrs ausentes para distribuir/cluster por/dica de repartição (SPARK-35331)
  • Ignore o erro ao verificar o caminho em FileStreamSink.hasMetadata(SPARK-34526)
  • Melhore o suporte ao s3a magic committer inferindo configurações ausentes (SPARK-35383)
  • Permitir omitir : na cadeia de caracteres do tipo STRUCT (SPARK-35706)
  • Adicione um novo operador para distinguir se a AQE pode otimizar com segurança (SPARK-35786)
  • Acrescentar novos campos struct aninhados em vez de classificar para unionByName com preenchimento nulo (SPARK-35290)
  • ArraysZip deve manter nomes de campo para evitar ser reescrito pelo analisador/otimizador (SPARK-35876)
  • Use Void como o nome do tipo de NullType (SPARK-36224)
  • Introduzir nova API para FileCommitProtocol permitir nomenclatura flexível de arquivos (SPARK-33298)

Mudanças de comportamento

Consulte os guias de migração para cada componente: Spark Core.

Transmissão em Fluxo Estruturada

Principais características

  • Sessionização baseada em EventTime (janela de sessão)(SPARK-10816)
  • Atualize o cliente Kafka para 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow para executar consultas de streaming como Trigger.Once em vários lotes no Scala (SPARK-36533)

Outras mudanças notáveis

  • Introduza uma nova opção na fonte Kafka para especificar um número mínimo de registros a serem lidos por gatilho (SPARK-35312)
  • Adicionar os deslocamentos mais recentes ao progresso da origem (SPARK-33955)

PySpark

Projeto Zen

Outras mudanças notáveis

  • Ativar o modo de thread fixo por padrão (SPARK-35303)
  • Adicionar suporte NullType para execuções de seta (SPARK-33489)
  • Adicionar Seta self_destruct suporte a toPandas (SPARK-32953)
  • Adicionar API de wrapper de destino de thread para o modo de thread de pino pyspark (SPARK-35498)

Mudanças de comportamento

Consulte os guias de migração.

MLlib

Melhoramentos de desempenho

  • Otimização da transformação BucketedRandomProjectionLSH (SPARK-34220)
  • w2v findSinónimos otimização(SPARK-34189)
  • otimizar GEMM esparso ignorando a verificação vinculada (SPARK-35707)
  • Melhorar o desempenho do ML ALS recommendForAll by GEMV (SPARK-33518)

Melhorias no treinamento do modelo

  • Refactor Logistic Aggregator - suporte à centralização virtual (SPARK-34797)
  • Regressão logística binária com centralização de suporte de intercetação (SPARK-34858, SPARK-34448)
  • Regressão Logística Multinomial com centralização de suporte de intercetação (SPARK-34860)

Melhorias no BLAS

  • Substitua totalmente com.github.fommil.netlib por dev.ludovic.netlib:2.0(SPARK-35295)
  • Adicionar uma implementação BLAS vetorizada (SPARK-33882)
  • Acelere o BLAS de fallback com dev.ludovic.netlib(SPARK-35150)

Outras mudanças notáveis

  • A transformação OVR corrige o conflito potencial da coluna (SPARK-34356)

Descontinuações e remoções

  • Depreciar spark.launcher.childConnectionTimeout(SPARK-33717)
  • depreciar GRUPO POR ... AGRUPAR CONJUNTOS (...) e promover AGRUPAR CONJUNTOS POR AGRUPAR (...)(FAÍSCA-34932)
  • Depreciar a API ps.broadcast (SPARK-35810)
  • Depreciar o num_files argumento (SPARK-35807)
  • Deprecate DataFrame.to_spark_io(SPARK-35811)

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 10.0.

Ambiente do sistema

  • Sistema Operacional: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Escala: 2.12.14
  • Píton: 3.8.10
  • R: 4.1.1
  • Lago Delta: 1.0.0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
Antergos Linux 2015.10 (Laminação ISO) Appdirs 1.4.4 Backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Quisto 0.29.23
dbus-python 1.2.16 decorador 5.0.6 Distlib 0.3.3
distro-info 0,23ubuntu1 facetas-visão geral 1.0.0 filelock 3.0.12
idna 2.10 Ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
Joblib 1.0.1 jupyter-cliente 6.1.12 Jupyter-core 4.7.1
Kiwisolver 1.3.1 coalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 Parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Travesseiro 8.2.0 pip 21.0.1 enredo 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 Pyzmq 20.0.0
pedidos 2.25.1 pedidos-unixsocket 0.2.0 s3transferir 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 seis 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacidade 8.0.1 ThreadPoolCtl 2.1.0
tornado 6.1 traços 5.0.5 Upgrades autônomos 0.1
urllib3 1.25.11 virtualenv 20.4.1 largura de wc 0.2.5
roda 0.36.2

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2021-09-21.

Biblioteca Versão Biblioteca Versão Biblioteca Versão
AskPass 1.1 asserçãoat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 arranque 1.3-28
brew 1.0-6 Brio 1.1.2 vassoura 0.7.9
BSLIB 0.3.0 cachem 1.0.6 Chamador 3.7.0
acento circunflexo 6.0-88 Cellranger 1.1.0 crono 2.3-56
classe 7.3-19 cli 3.0.1 Clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 espaço em cores 2.0-2
marca comum 1.7 compilador 4.1.1 configuração 0.3.1
CPP11 0.3.1 lápis de cor 1.4.1 credenciais 1.3.1
curl 4.3.2 data.table 1.14.0 conjuntos de dados 4.1.1
DBI 1.1.1 DBPlyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 resumo 0.6.27
dplyr 1.0.7 DTPlyr 1.1.0 reticências 0.3.2
evaluate 0.14 Fãsi 0.5.0 Farver 2.1.0
mapa rápido 1.1.0 FORCATS 0.5.1 foreach 1.5.1
externa 0.8-81 forjar 0.2.0 FS 1.5.0
Futuro 1.22.1 future.apply 1.8.1 gargarejo 1.2.0
Genéricos 0.1.0 Gert 1.4.1 ggplot2 3.3.5
GH 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
Globais 0.14.0 colar 1.4.2 GoogleDrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 gráficos 4.1.1
grDevices 4.1.1 grelha 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 Refúgio 2.4.3
mais alto 0,9 HMS 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 IDs 1.0.1
ini 0.3.1 ipred 0.9-12 Isoband 0.2.5
iteradores 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 Knitr 1.34 etiquetagem 0.4.2
mais tarde 1.3.0 lattice 0.20-44 lava 1.6.10
ciclo de vida 1.0.0 ouvirv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Marcação 1.1 MASSA 7.3-54
Matriz 1.3-4 memoise 2.0.0 métodos 4.1.1
mgcv 1.8-37 mime 0,11 ModelMetrics 1.2.2.2
Modelador 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
paralelo 4.1.1 Paralelamente 1.28.1 pilar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 elogiar 1.0.0
unidades bonitas 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 Progresso 1.2.2 progressor 0.8.0
promessas 1.2.0.1 proto 1.0.0 PS 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 Leitor 2.0.1
ReadXL 1.3.1 receitas 0.1.16 revanche 1.0.1
revanche2 2.1.2 Controles remotos 2.4.0 Reprex 2.0.1
remodelar2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversões 2.1.1 Rvest 1.0.1
Sass 0.4.0 escalas 1.1.1 seletor 0.4-2
sessioninfo 1.1.1 forma 1.4.6 brilhante 1.6.0
ferramentas de origem 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
espacial 7.3-11 splines 4.1.1 sqldf 0.4-11
QUADRADO 2021.1 estatísticas 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 sobrevivência 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testeatat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 Tidyverse 1.3.1 timeDate 3043.102
Tinytex 0.33 ferramentas 4.1.1 TZDB 0.1.2
usethis 2.0.1 UTF8 1.2.2 utilitários 4.1.1
uuid 0.1-4 VCTRS 0.3.8 viridisLite 0.4.0
vroom 1.5.5 Waldo 0.3.1 whisker 0.4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics transmissão em fluxo 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2,12 0.4.15-10
com.esotericsoftware sombreado de kryo 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.3.4
com.fasterxml.jackson.core jackson-anotações 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-módulo-scala_2.12 2.12.2
com.github.ben-manes.cafeína cafeína 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger criador de perfil 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-tempo de execução 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging Escala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib ARPACK 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib Lapack | 1.3.2
colmeia-2.3__hadoop-3.2 JETS3T-0,7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.ponte aérea compressor de ar 0.19
IO.Delta delta-compartilhamento-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics métricas-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx recoletor 0.12.0
jacarta.anotação Jacarta.Anotação-API 1.3.5
jacarta.servlet jacarta.servlet-api 4.0.3
jacarta.validação Jacarta.validation-api 2.0.2
jakarta.ws.rs Jacarta.ws.rs-api 2.1.6
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction API de transação 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-árvores colmeia-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna JNA 5.8.0
net.razorvine pirolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.floco de neve flocos de neve-ingestão-sdk 0.9.6
net.floco de neve Flocos de Neve-JDBC 3.13.3
net.floco de neve faísca-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea Remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 2.0.0
org.apache.arrow seta-memória-núcleo 2.0.0
org.apache.arrow seta-memória-netty 2.0.0
org.apache.arrow vetor de seta 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapeado 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-texto 1.6
org.apache.curator curador-cliente 2.13.0
org.apache.curator curador-framework 2.13.0
org.apache.curator curador-receitas 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-cliente 2.3.9
org.apache.hive colmeia-lamp-comum 2.3.9
org.apache.hive Colmeia-Serde 2.3.9
org.apache.hive colmeias-calços 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims colmeia-calços-0,23 2.3.9
org.apache.hive.shims colmeia-calços-comum 2.3.9
org.apache.hive.shims colmeia-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubação
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy hera 2.5.0
org.apache.mesos mesos-sombreado-protobuf 1.4.0
org.apache.orc orc-núcleo 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc Orc-calços 1.6.10
org.apache.parquet parquet-column 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-common 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-encoding 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-formato-estruturas 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-hadoop 1.12.0-DATABRICKS-0003
org.apache.parquet parquet-jackson 1.12.0-DATABRICKS-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-sombreado 4.20
org.apache.yetus anotações de audiência 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-juta 3.6.2
org.checkerframework verificador-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty cais-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket API WebSocket 9.4.40.v20210413
org.eclipse.jetty.websocket Websocket-cliente 9.4.40.v20210413
org.eclipse.jetty.websocket Websocket-Comum 9.4.40.v20210413
org.eclipse.jetty.websocket servidor websocket 9.4.40.v20210413
org.eclipse.jetty.websocket Websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 localizador hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jacarta.inject 2.6.1
org.glassfish.jaxb jaxb-tempo de execução 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core servidor de jersey 2.34
org.glassfish.jersey.inject Jersey-HK2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotações 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s JSON4S-ast_2.12 3.7.0-M11
org.json4s JSON4S-core_2.12 3.7.0-M11
org.json4s JSON4S-jackson_2,12 3.7.0-M11
org.json4s JSON4S-scalap_2.12 3.7.0-M11
org.lz4 LZ4-Java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap calços 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang Escala-compiler_2.12 2.12.14
org.scala-lang Escala-library_2.12 2.12.14
org.scala-lang Escala-reflect_2,12 2.12.14
org.scala-lang.modules scala-coleção-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules Escala-xml_2.12 1.2.0
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp Brisa-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark não utilizado 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.threeten trêsdez-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel gatos-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel torre-macros_2.12 0,17,0-m1
org.typelevel torre-platform_2.12 0,17,0-m1
org.typelevel torre-util_2.12 0,17,0-m1
org.typelevel spire_2.12 0,17,0-m1
org.wildfly.openssl mosca-selvagem-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1