Tempo de execução do Databricks 7.6 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em fevereiro de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 7.6, alimentado pelo Apache Spark 3.0.
Para obter ajuda com a migração do Databricks Runtime 6.x, consulte Guia de migração do Databricks Runtime 7.x (EoS).
Novas funcionalidades
Melhor manipulação da evolução do esquema JSON no Auto Loader
Ao carregar dados JSON, o comportamento padrão é que os campos que não fazem parte do esquema original sejam descartados silenciosamente. Agora, com o Auto Loader, você pode definir a opção unparsedDataColumn JSON para especificar o nome de uma coluna, que será usada para armazenar todos os novos campos como uma cadeia de caracteres JSON.
Por exemplo, definindo
.option("unparsedDataColumn", "_unparsed_data")
o resultado terá uma coluna _unparsed_data, onde novos campos são armazenados como uma cadeia de caracteres JSON. Esses novos campos podem ser analisados posteriormente para processamento posterior. Se não houver novos campos, o valor da coluna será null.
Suporte para leitura de arquivos substituídos no Auto Loader
Agora você pode configurar fluxos para permitir alterações no arquivo de diretório de entrada para substituir dados existentes. Definir .option("cloudFiles.allowOverwrites", "true"). Para obter detalhes, consulte O que é o Auto Loader?.
Melhorias
Melhor desempenho de clustering multidimensional e pulo de dados com OPTIMIZE ZORDER
A OPTIMIZE ZORDER operação agora usa curvas de preenchimento de espaço de Hilbert por padrão. Esta abordagem fornece melhores características de agrupamento do que a ordem Z em dimensões mais elevadas. Para tabelas Delta usando OPTIMIZE ZORDER muitas colunas, as curvas de Hilbert podem acelerar as consultas de leitura ignorando mais dados do que a ordem Z. Para obter detalhes, consulte Pulo de dados para Delta Lake.
Melhorias de desempenho para algumas MERGE operações com apenas MATCHED cláusulas
Você pode obter um melhor desempenho em MERGE operações que têm apenas MATCHED cláusulas com condições de cláusula.
Ajuste automático de tamanhos de arquivo para MERGEtabelas Delta pesadas (Visualização pública)
As tabelas delta que passam por operações repetidas MERGE (por exemplo, upserts contínuos de dados de alteração no nível da linha) reescrevem repetidamente os arquivos para atualizar os dados. Essas tabelas podem se beneficiar de ter arquivos menores do que aqueles produzidos por padrão por operações de layout de dados como OPTIMIZE, Gravação otimizada e Compactação automática. Com o Databricks Runtime 7.6, você pode detetar MERGEautomaticamente tabelas pesadas e ajustar tamanhos de arquivos. Entre em contato com o suporte do Databricks ou com sua equipe de conta do Azure Databricks para obter mais informações sobre como habilitar esse recurso.
Atualizações da biblioteca
- Bibliotecas Python atualizadas:
- certifi atualizado de 2020.6.20 para 2020.12.5.
- Koalas atualizado de 1.4.0 para 1.5.0.
- python-apt atualizado de 1.6.5+ubuntu0.3 para 1.6.5+ubuntu0.4
- Biblioteca R atualizada:
- NLME de 3.1-150 a 3.1-151.
- Biblioteca Java atualizada:
- azure-data-lake-store-sdk atualizado de 2.3.8 para 2.3.9.
- Compilação do OpenJDK 8 atualizada para Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).
Faísca Apache
O Databricks Runtime 7.6 inclui o Apache Spark 3.0.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 7.5 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-33740] [SQL]configurações do hadoop no hive-site.xml podem substituir as configurações do hadoop pré-existentes
- [FAÍSCA-33822] [SQL] Use o
CastSupport.castmétodo em HashJoin - [FAÍSCA-33398] Corrigir modelos de árvore de carregamento anteriores ao Spark 3.0
- [FAÍSCA-33029] [CORE][WEBUI] Corrigir a página do executor da interface do usuário marcando incorretamente o driver como bloqueado
- [FAÍSCA-34012] [SQL] Mantenha o comportamento consistente quando conf
spark.sqllegacy.parser.havingWithoutGroupByAsWherefor verdadeiro com o guia de migração - [FAÍSCA-33635] [SS] Ajuste a ordem de check-in KafkaTokenUtil.needTokenUpdate para corrigir a regressão perf
- [FAÍSCA-33900] [WEBUI] Mostrar tamanho de leitura aleatório / registros corretamente quando apenas remotebytesread está disponível
- [FAÍSCA-33593] [SQL] Leitor de vetores tem dados incorretos com valor de partição binária
- [FAÍSCA-31170] [SQL] Spark SQL Cli deve respeitar hive-site.xml e spark.sql.warehouse.dir
- [FAÍSCA-33853] [SQL] EXPLAIN CODEGEN e BenchmarkQueryTest não mostram código de subconsulta
- [FAÍSCA-33786] [SQL] O nível de armazenamento de um cache deve ser respeitado quando um nome de tabela é alterado.
- [FAÍSCA-33841] [CORE] Corrigir problema com trabalhos que desaparecem intermitentemente do SHS sob alta carga
- [FAÍSCA-33480] [SQL] não expõe dados do usuário na mensagem de erro
- [FAÍSCA-33756] [SQL] Tornar o MapIterator idempotente do BytesToBytesMap
- [FAÍSCA-33774] [UI][CORE]"Back to Master" retorna erro 500 no cluster autônomo
- [FAÍSCA-33733] [SQL] PullOutNondeterministic deve verificar e coletar campo determinístico
- [FAÍSCA-33670] [SQL] Verifique se o provedor de partição é Hive na v1 MOSTRAR TABELA ESTENDIDA
- [FAÍSCA-33788] [SQL][3.1][2.4] Lançar NoSuchPartitionsException de HiveExternalCatalog.dropPartitions()
- [FAÍSCA-33819] [CORE] SingleFileEventLogFileReader/RollingEventLogFilesFileReader deve ser
package private - [FAÍSCA-33742] [SQL] Lançar partiçõesAlreadyExistException de HiveExternalCatalog.createPartitions()
- [FAÍSCA-32110] [SQL] normalizar números flutuantes especiais no HyperLogLog++
- [FAÍSCA-33071] [SPARK-33536] [SQL] Não altere o construtor Alias para não quebrar o conector do floco de neve
- [FAÍSCA-32680] [SQL] Não pré-processe CTAS V2 com consulta não resolvida
- [FAÍSCA-33520] [ML][PYSPARK] Escolha a dedo: fazer CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer suporte Python backend estimador/avaliador
- [FAÍSCA-33592] [ML][PYTHON]Params do validador Pyspark ML no estimadorParamMaps podem ser perdidos após salvar e recarregar
- [FAÍSCA-33667] [SQL] Respeite a configuração ao resolver especificações de
spark.sql.caseSensitivepartição na v1SHOW PARTITIONS - [FAÍSCA-33141] [SQL] Capture configurações SQL ao criar exibições permanentes
- [FAÍSCA-33636] [PYTHON][ML] Adicionar labelsArray ao PySpark StringIndexer
- [FAÍSCA-33629] [PYTHON]Tornar a configuração spark.buffer.size visível no lado do driver
- [FAÍSCA-33389] [SQL] Faça classes internas de SparkSession sempre usando SQLConf ativo
- [FAÍSCA-33071] [SPARK-33536] [SQL] Evite alterar dataset_id de LogicalPlan em join() para não quebrar DetectAmbiguousSelfJoin
- [FAÍSCA-33551] [SQL] Não use leitor aleatório personalizado para repartição
- [FAÍSCA-33432] [SQL] O analisador SQL deve usar SQLConf ativo
- [FAÍSCA-33588] [SQL] Respeite a configuração ao resolver especificações de
spark.sql.caseSensitivepartição na v1SHOW TABLE EXTENDED - [FAÍSCA-33440] [CORE] Use o carimbo de data/hora atual com log de aviso no HadoopFSDelegationTokenProvider quando a data de emissão do token não estiver configurada corretamente
- [FAÍSCA-33494] [SQL][AQE] Não use o leitor shuffle local para reparticionamento
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 7.6.
Ambiente do sistema
- Sistema Operacional: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (compilação 1.8.0_275-b01)
- Escala: 2.12.10
- Píton: 3.7.5
- R: R versão 3.6.3 (2020-02-29)
- Lago Delta 0.7.0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | Backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.12.5 | cffi | 1.14.0 |
| chardet | 3.0.4 | criptografia | 2.8 | cycler | 0.10.0 |
| Quisto | 0.29.15 | decorador | 4.4.1 | docutils | 0.15.2 |
| pontos de entrada | 0.3 | idna | 2.8 | Ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | Jedi | 0.17.2 |
| jmespath | 0.10.0 | Joblib | 0.14.1 | jupyter-cliente | 5.3.4 |
| Jupyter-core | 4.6.1 | Kiwisolver | 1.1.0 | coalas | 1.5.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | pandas | 1.0.1 |
| Parso | 0.7.0 | patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2.19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | Meias PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.4 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| Pyzmq | 18.1.1 | pedidos | 2.22.0 | s3transferir | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | seis | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tornado | 6.0.3 | traços | 4.3.3 |
| Upgrades autônomos | 0.1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| largura de wc | 0.1.8 | roda | 0.34.2 |
Bibliotecas R instaladas
As bibliotecas R são instaladas a partir do instantâneo da CRAN da Microsoft em 2020-11-02.
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| AskPass | 1.1 | asserçãoat | 0.2.1 | backports | 1.1.10 |
| base | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| arranque | 1.3-25 | brew | 1.0-6 | Brio | 1.1.0 |
| vassoura | 0.7.2 | Chamador | 3.5.1 | acento circunflexo | 6.0-86 |
| Cellranger | 1.1.0 | crono | 2.3-56 | classe | 7.3-17 |
| cli | 2.1.0 | Clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.3 | configuração | 0.3 | CoVR | 3.5.1 |
| CPP11 | 0.2.3 | lápis de cor | 1.3.4 | conversa cruzada | 1.1.0.1 |
| curl | 4.3 | data.table | 1.13.2 | conjuntos de dados | 3.6.3 |
| DBI | 1.1.0 | DBPlyr | 1.4.4 | desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | resumo | 0.6.27 |
| dplyr | 0.8.5 | DT | 0,16 | reticências | 0.3.1 |
| evaluate | 0.14 | Fãsi | 0.4.1 | Farver | 2.0.3 |
| mapa rápido | 1.0.1 | FORCATS | 0.5.0 | foreach | 1.5.1 |
| externa | 0.8-76 | forjar | 0.2.0 | FS | 1.5.0 |
| Genéricos | 0.1.0 | ggplot2 | 3.3.2 | GH | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | Globais | 0.13.1 |
| colar | 1.4.2 | gower | 0.2.2 | gráficos | 3.6.3 |
| grDevices | 3.6.3 | grelha | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.0 | Refúgio | 2.3.1 |
| mais alto | 0.8 | HMS | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | Isoband | 0.2.2 | iteradores | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | Knitr | 1.30 |
| etiquetagem | 0.4.2 | mais tarde | 1.1.0.1 | lattice | 0.20-41 |
| lava | 1.6.8 | lazyeval | 0.2.2 | ciclo de vida | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Marcação | 1.1 |
| MASSA | 7.3-53 | Matriz | 1.2-18 | memoise | 1.1.0 |
| métodos | 3.6.3 | mgcv | 1.8-33 | mime | 0,9 |
| ModelMetrics | 1.2.2.2 | Modelador | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-151 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | paralelo | 3.6.3 | pilar | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | elogiar | 1.0.0 |
| unidades bonitas | 1.1.1 | pROC | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Progresso | 1.2.2 | promessas | 1.1.1 |
| proto | 1.0.0 | PS | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | Leitor | 1.4.0 | ReadXL | 1.3.1 |
| receitas | 0.1.14 | revanche | 1.0.1 | revanche2 | 2.1.2 |
| Controles remotos | 2.2.0 | Reprex | 0.3.0 | remodelar2 | 1.4.4 |
| Rex | 1.2.0 | RJSON | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversões | 2.0.2 |
| Rvest | 0.3.6 | escalas | 1.1.1 | seletor | 0.4-2 |
| sessioninfo | 1.1.1 | forma | 1.4.4 | brilhante | 1.5.0 |
| ferramentas de origem | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| espacial | 7.3-11 | splines | 3.6.3 | sqldf | 0.4-11 |
| QUADRADO | 2020.5 | estatísticas | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | sobrevivência | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testeatat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| tidyselect | 1.1.0 | Tidyverse | 1.3.0 | timeDate | 3043.102 |
| Tinytex | 0.27 | ferramentas | 3.6.3 | usethis | 1.6.3 |
| UTF8 | 1.1.4 | utilitários | 3.6.3 | uuid | 0.1-4 |
| VCTRS | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| whisker | 0.4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | transmissão em fluxo | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2,12 | 0.4.15-10 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anotações | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-módulo-scala_2.12 | 2.10.0 |
| com.github.ben-manes.cafeína | cafeína | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | ZSTD-JNI | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | criador de perfil | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | Escala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | métricas-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | recoletor | 0.12.0 |
| jacarta.anotação | Jacarta.Anotação-API | 1.3.5 |
| jacarta.validação | Jacarta.validation-api | 2.0.2 |
| jakarta.ws.rs | Jacarta.ws.rs-api | 2.1.6 |
| javax.activation | ativação | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | API de transação | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pirolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.6 |
| net.floco de neve | Flocos de Neve-JDBC | 3.12.8 |
| net.floco de neve | faísca-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | Remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.15.1 |
| org.apache.arrow | seta-memória | 0.15.1 |
| org.apache.arrow | vetor de seta | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-texto | 1.6 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | colmeia-comum | 2.3.7 |
| org.apache.hive | colmeia-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-cliente | 2.3.7 |
| org.apache.hive | colmeia-lamp-comum | 2.3.7 |
| org.apache.hive | hive-metastore | 2.3.7 |
| org.apache.hive | Colmeia-Serde | 2.3.7 |
| org.apache.hive | colmeias-calços | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-0,23 | 2.3.7 |
| org.apache.hive.shims | colmeia-calços-comum | 2.3.7 |
| org.apache.hive.shims | colmeia-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.mesos | mesos-sombreado-protobuf | 1.4.0 |
| org.apache.orc | orc-núcleo | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | Orc-calços | 1.5.10 |
| org.apache.parquet | parquet-column | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-common | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-encoding | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-DATABRICKS6 |
| org.apache.parquet | parquet-jackson | 1.10.1-DATABRICKS6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | velocidade | 1.5 |
| org.apache.xbean | xbean-asm7-sombreado | 4.15 |
| org.apache.yetus | anotações de audiência | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-continuation | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-server | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | localizador hk2 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jacarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | servidor de jersey | 2.30 |
| org.glassfish.jersey.inject | Jersey-HK2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | JSON4S-ast_2.12 | 3.6.6 |
| org.json4s | JSON4S-core_2.12 | 3.6.6 |
| org.json4s | JSON4S-jackson_2,12 | 3.6.6 |
| org.json4s | JSON4S-scalap_2.12 | 3.6.6 |
| org.lz4 | LZ4-Java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | Escala-compiler_2.12 | 2.12.10 |
| org.scala-lang | Escala-library_2.12 | 2.12.10 |
| org.scala-lang | Escala-reflect_2,12 | 2.12.10 |
| org.scala-lang.modules | scala-coleção-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | Escala-xml_2.12 | 1.2.0 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | Brisa-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.threeten | trêsdez-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | gatos-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | torre-macros_2.12 | 0,17,0-m1 |
| org.typelevel | torre-platform_2.12 | 0,17,0-m1 |
| org.typelevel | torre-util_2.12 | 0,17,0-m1 |
| org.typelevel | spire_2.12 | 0,17,0-m1 |
| org.wildfly.openssl | mosca-selvagem-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |