Tempo de execução do Databricks 5.3 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em abril de 2019.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 5.3, desenvolvido pelo Apache Spark.
Novos recursos
Databricks Delta
Viagem no tempo GA
A viagem no tempo Delta passou para a disponibilidade geral. Ele adiciona a capacidade de consultar um instantâneo de uma tabela usando uma cadeia de caracteres de carimbo de data/hora ou uma versão, usando sintaxe SQL, bem como DataFrameReader opções para expressões de carimbo de data/hora.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
A viagem no tempo tem muitos casos de uso, incluindo:
- Recriar análises, relatórios ou saídas (por exemplo, a saída de um modelo de aprendizado de máquina), o que é útil para depuração ou auditoria, especialmente em setores regulamentados.
- Escrever consultas temporais complexas.
- Corrigir erros nos seus dados.
- Fornecendo isolamento de instantâneo para um conjunto de consultas para tabelas de mudança rápida.
Veja Trabalhar com o histórico de tabelas do Delta Lake.
Replicação de tabelas MySQL para Delta Public Preview
Transmita dados de uma tabela MySQL diretamente para o Delta para consumo downstream em fluxos de trabalho de análise ou ciência de dados do Spark. Aproveitando a mesma estratégia que o MySQL usa para replicação para outras instâncias, o binlog é usado para identificar atualizações que são processadas e transmitidas para o Databricks da seguinte maneira:
- Lê eventos de alteração do log do banco de dados.
- Transmite os eventos para o Databricks.
- Grava na mesma ordem em uma tabela Delta.
- Mantém o estado em caso de desconexões da fonte.
Funcionalidades de pré-visualização privada
Esta versão contém os seguintes recursos de visualização privada para Delta Lake:
- Adicionado um comando experimental que permite ao Presto consultar diretamente tabelas Delta.
- A Otimização Automática otimiza o layout de arquivos durante gravações individuais em uma tabela Delta e impede que pequenos arquivos se acumulem em suas tabelas Delta para manter o desempenho de consultas extremamente rápidas. Além disso, gravações e upserts em tabelas Delta particionadas podem desfrutar de grandes acelerações graças a um shuffle adaptativo introduzido nas gravações.
Se você quiser participar de qualquer visualização, entre em contato com sua equipe de conta Databricks.
Pasta DBFS FUSE otimizada para cargas de trabalho de aprendizagem profunda
O Azure Databricks agora oferece uma montagem FUSE otimizada. Você pode ter acesso a dados de alto desempenho durante o treinamento e a inferência sem aplicar scripts init. Os dados armazenados e dbfs:/ml acessíveis localmente em file:/dbfs/ml agora são apoiados por esta montagem FUSE otimizada. Consulte Carregar dados para aprendizado de máquina e aprendizado profundo.
Melhorias
Bibliotecas com âmbito de bloco de notas:
- Suporte para Extras em
dbutils.library.installPyPI. - Suporte para instalação de biblioteca com escopo de bloco de anotações para bibliotecas no sistema de arquivos do Azure, incluindo
wasbs,adlseabfss. - Mensagens de erro melhoradas para bibliotecas com escopo de bloco de anotações em destinos sem suporte. Por exemplo: "Os utilitários de biblioteca não estão disponíveis no Databricks Runtime for Machine Learning."
- Suporte para Extras em
Conecte-se ao Azure Data Lake Storage Gen2 (ADLS Gen2) sem precisar conceder uma função RBAC de "Colaborador de Dados de Blob de Armazenamento" em toda a conta à Entidade de Serviço.
O Databricks Advisor tem dicas adicionais para melhorar o desempenho das consultas:
- Quando há muitos arquivos pequenos por partição -> Converter tabela para Delta e executar
OPTIMIZE. - Quando houver um filtro altamente seletivo -> Converta para Delta e use
ZORDER BY. - Quando as buscas de metadados do Hive se tornarem um gargalo -> Converta sua tabela em Delta.
- Quando há muitos arquivos pequenos por partição -> Converter tabela para Delta e executar
Ubuntu atualizado de 16.04.5 LTS para 16.04.6 LTS.
Scala 2.11 atualizado de 2.11.8 para 2.11.12.
Atualizado algumas bibliotecas Python instaladas:
- pip: 18.1 a 19.0.3.
- setuptools: 40.6.3 a 40.8.0
- roda: 0.32.3 a 0.33.1
R atualizado de 3.4.4 para 3.5.2.
Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
Preterição
- O conector Apache Kafka 0.8 para Streaming Estruturado não é mais suportado. Ele está incluído no Databricks Runtime 5.3, mas será removido de uma versão futura do Databricks Runtime.
- O Databricks ML Model Export foi preterido e será removido no Databricks Runtime 6.0. Em vez disso, use MLeap para importar e exportar modelos.
- Removido
spark.databricks.pyspark.enableExecutorFsPermscomo uma opção de configuração.
Correções de erros
- Instalação fixa da biblioteca Python Egg em todo o cluster para clusters habilitados para ACLs de tabela.
- Cancelamento de comando Python melhorado corrigindo a situação em que o cancelamento é chamado antes que o comando seja executado.
- Corrigido um bug em ACLs de tabela: agora, quando você lista objetos em um banco de dados ou catálogo, você vê apenas os objetos que você tem permissão para ver.
Apache Spark
O Databricks Runtime 5.3 inclui o Apache Spark 2.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-27134][SQL] array_distinct função não funciona corretamente com colunas contendo matriz de matriz
- [FAÍSCA-24669][SQL] Invalidar tabelas em caso de DROP DATABASE CASCADE
- [FAÍSCA-26572][SQL] corrigir avaliação de resultados de codegen agregado
- [FAÍSCA-27046][DSTREAMS] Remover referências relacionadas a SPARK-19185 da documentação
- [FAÍSCA-26449][PYTHON] Adicionar método de transformação à API DataFrame
- [FAÍSCA-26740][SQL] Ler estatísticas da coluna de carimbo de data/hora escritas pelo Spark 3.0
- [SPARK-26909][SQL] utilizar unsafeRow.hashCode() como valor hash em HashAggregate
- [FAÍSCA-26990][SQL] FileIndex: use nomes de campo especificados pelo usuário, se possível
- [FAÍSCA-26851][SQL] Corrigir bloqueio verificado duas vezes no CachedRDDBuilder
- [FAÍSCA-26864][SQL] Consulta pode retornar resultado incorreto quando Python UDF é usado como uma condição de junção semi-esquerda
- [FAÍSCA-26887][SQL][PYTHON] Crie
datetime.datediretamente em vez de criar datetime64 como dados intermediários. - [FAÍSCA-26859][SQL] Corrigir bug de índice do gravador de campo no desserializador ORC não vetorizado
- [FAÍSCA-26864][SQL] A consulta pode retornar um resultado incorreto quando o Python UDF é usado como uma condição de junção e o udf usa atributos de ambas as pernas da semijunção esquerda
- [FAÍSCA-24360][FAÍSCA-26091][BACKPORT][SQL] Suporte Hive 3.1 metastore
- [FAÍSCA-26873][SQL] Use um carimbo de data/hora consistente para criar IDs de trabalho do Hadoop.
- [FAÍSCA-26734][STREAMING] Corrigir StackOverflowError com fila de blocos grande
- [FAÍSCA-26758][CORE] Executores ociosos não estão sendo mortos após o valor spark.dynamiAllocation.executorIdleTimeout
- [FAÍSCA-26751][SQL] Corrigir vazamento de memória quando a instrução é executada em segundo plano e lançar exceção que não é HiveSQLException
- [FAÍSCA-26806][SS] EventTimeStats.merge deve manipular zeros corretamente
- [FAÍSCA-26745][FAÍSCA-24959][SQL] Reverter a otimização da contagem na fonte de dados JSON por
- [FAÍSCA-26757][GRAPHX] Retorno 0 para contagem de RDDs de borda/vértice vazios
- [FAÍSCA-26726] Sincronizar a quantidade de memória usada pela variável broadcast com a exibição da interface do usuário
- [FAÍSCA-26718][SS] Estouro de inteiro fixo no cálculo SS kafka rateLimit
- [FAÍSCA-26708][SQL] Resultado incorreto causado por inconsistência entre o RDD armazenado em cache de um cache SQL e seu plano físico
- [FAÍSCA-26735][SQL] Verificar a integridade do plano para expressões especiais
- [FAÍSCA-26619][SQL] Prune os serializadores não utilizados de SerializeFromObject
- [FAÍSCA-26379][SS] Use o fictício TimeZoneId para evitar UnresolvedException em CurrentBatchTimestamp
- [FAÍSCA-26495][SQL] Simplifique o extrator SelectedField
- [FAÍSCA-26379][SS] Corrigir problema ao adicionar current_timestamp/current_date à consulta de streaming
- [FAÍSCA-26709][SQL] OptimizeMetadataOnlyQuery não manipula registros vazios corretamente
- [FAÍSCA-26680][SQL] Crie ansiosamente inputVars enquanto as condições são apropriadas
- [FAÍSCA-26682][SQL] Use taskAttemptID em vez de attemptNumber para Hadoop.
- [FAÍSCA-26706][SQL] Corrigir illegalNumericPrecedence para ByteType
- [FAÍSCA-26228][MLLIB] Problema OOM encontrado ao calcular a matriz Gramian
- [FAÍSCA-26665][CORE] Corrija um bug que BlockTransferService.fetchBlockSync pode travar para sempre
- [FAÍSCA-26549][PYSPARK] Correção para a reutilização do trabalhador python não ter efeito para paralelizar intervalo iterável preguiçoso
- [FAÍSCA-26351][MLLIB] Atualizar documento e pequena correção nas métricas de avaliação mllib
- [FAÍSCA-26450]Evite reconstruir o mapa do esquema para cada coluna em uma projeção
- [FAÍSCA-26638][PYSPARK][ML] As classes vetoriais Pyspark sempre retornam erro para negação unária
- [FAÍSCA-26633][REPL] Adicionar ExecutorClassLoader.getResourceAsStream
- [FAÍSCA-26629][SS] Corrigido erro com fluxo de vários arquivos em uma consulta + reiniciar em um lote que não tem dados para um fluxo de arquivos
- [FAÍSCA-25992][PYTHON] O Document SparkContext não pode ser compartilhado para multiprocessamento
- [FAÍSCA-26615][CORE] Corrigindo vazamentos de recursos do servidor/cliente de transporte nos testes de unidade principais
- [FAÍSCA-26350][SS] Permitir substituir o ID de grupo do consumidor Kafka
- [FAÍSCA-26538][SQL] Definir precisão e escala padrão para elementos de matriz numérica postgres
- [FAÍSCA-26586][SS] Corrigir condição de corrida que faz com que os fluxos sejam executados com confs inesperados
- [FAÍSCA-26551][SQL] Corrigir erro de remoção de esquema ao selecionar um campo complexo e ter um predicado nulo em outro
- [FAÍSCA-26576][SQL] Dica de difusão não aplicada à tabela particionada
- [FAÍSCA-26571][SQL] Atualizar o mapeamento do Hive Serde com o nome canônico de Parquet e Orc FileFormat
- [FAÍSCA-26267][SS] Tente novamente ao detetar deslocamentos incorretos de Kafka (2.4)
- [FAÍSCA-26559][ML][PYSPARK] A imagem ML não pode funcionar com versões numpy anteriores à 1.9
- [FAÍSCA-26078][SQL] Atributos de associação automática do Dedup em subconsultas IN
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 5.3.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Escala: 2.11.12
- Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
- R: R versão 3.5.2 (2018-12-20)
- Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
- Piloto da Tesla 375.66
- CUDA 9,0
- cuDNN 7,0
Nota
Embora o Scala 2.12 seja suportado no Apache Spark 2.4, ele não é suportado no Databricks Runtime 5.3.
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1.5 | cycler | 0.10.0 | Quisto | 0.24.1 |
| decorador | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futuros | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Travesseiro | 3.3.1 |
| pip | 19.0.3 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| pedidos | 2.11.1 | s3transferir | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | vasculhar | 0.32 | seaborn | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | seis | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traços | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | largura de wc | 0.1.7 | roda | 0.33.1 |
| wsgiref | 0.1.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.0 |
| backports | 1.1.3 | base | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | arranque | 1.3-20 |
| brew | 1.0-6 | Chamador | 3.1.1 | carro | 3.0-2 |
| carData | 3.0-2 | acento circunflexo | 6.0-81 | Cellranger | 1.1.0 |
| crono | 2.3-53 | classe | 7.3-15 | cli | 1.0.1 |
| Clipr | 0.5.0 | clisímbolos | 1.2.0 | cluster | 2.0.7-1 |
| codetools | 0.2-16 | espaço em cores | 1.4-0 | marca comum | 1.7 |
| compilador | 3.5.2 | configuração | 0.3 | lápis de cor | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | conjuntos de dados | 3.5.2 |
| DBI | 1.0.0 | DBPlyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | resumo | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | reticências | 0.1.0 | Fãsi | 0.4.0 |
| FORCATS | 0.4.0 | foreach | 1.4.4 | externa | 0.8-71 |
| forjar | 0.2.0 | FS | 1.2.6 | gbm | 2.1.5 |
| Genéricos | 0.0.2 | ggplot2 | 3.1.0 | GH | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | colar | 1.3.0 |
| gower | 0.1.2 | gráficos | 3.5.2 | grDevices | 3.5.2 |
| grelha | 3.5.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.2.0 | h2o | 3.22.1.1 | Refúgio | 2.1.0 |
| HMS | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iteradores | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | etiquetagem | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.1 |
| littler | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
| Ferramentas de mapa | 0.9-5 | MASSA | 7.3-51.1 | Matriz | 1.2-15 |
| MatrizModels | 0.4-1 | memoise | 1.1.0 | métodos | 3.5.2 |
| mgcv | 1.8-27 | mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | OpenXLSX | 4.1.0 |
| paralelo | 3.5.2 | pbkrtest | 0.4-7 | pilar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| elogiar | 1.0.0 | unidades bonitas | 1.0.2 | pROC | 1.13.0 |
| processx | 3.2.1 | prodlim | 2018.04.18 | Progresso | 1.2.0 |
| proto | 1.0.0 | PS | 1.3.0 | purrr | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | Leitor | 1.3.1 |
| ReadXL | 1.3.0 | receitas | 0.1.4 | revanche | 1.0.1 |
| Controles remotos | 2.0.2 | remodelar2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | escalas | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | Disperso | 1.77 | espacial | 7.3-11 |
| splines | 3.5.2 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.30 | estatísticas | 3.5.2 | stats4 | 3.5.2 |
| stringi | 1.3.1 | stringr | 1.4.0 | sobrevivência | 2.43-3 |
| sys | 3.0 | tcltk | 3.5.2 | TeachingDemos | 2.10 |
| testeatat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | ferramentas | 3.5.2 |
| usethis | 1.4.0 | UTF8 | 1.1.4 | utilitários | 3.5.2 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.0 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-faísca2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | armazenamento-do-azure | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | recoletor | 0.7 |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.5 |
| net.floco de neve | Flocos de Neve-JDBC | 3.6.15 |
| net.floco de neve | faísca-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | Orc-calços | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |