Tempo de execução do Databricks 6.0 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em outubro de 2019.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 6.0, desenvolvido pelo Apache Spark.
Novos recursos
Ambiente Python
O Databricks Runtime 6.0 inclui grandes mudanças no Python e na forma como os ambientes Python são configurados, incluindo a atualização do Python para 3.7.3, o refinamento da lista de pacotes Python instalados e a atualização desses pacotes instalados para versões mais recentes. Para obter detalhes, consulte Bibliotecas Python instaladas.
Além disso, como foi anunciado anteriormente, o Databricks Runtime 6.0 não suporta Python 2.
As principais alterações incluem:
- Python atualizado de 3.5.2 para 3.7.3. Algumas versões antigas de pacotes Python podem não ser compatíveis com o Python 3.7 porque dependem de versões antigas do Cython que não são compatíveis com o Python 3.7. A instalação de tal pacote pode desencadear erros semelhantes a
‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’(veja a edição do GitHub de 1978 para obter detalhes). Em vez disso, instale versões compatíveis com Python 3.7 de pacotes Python. - Principais atualizações de pacotes:
- boto3 a 1.9.162
- ipython para 7.4.0
- matplotlib para 3.0.3
- numpy para 1.16.2
- pandas até 0.24.2
- Pyarrow para 0.13.0
- Em comparação com o Databricks Runtime 5.5 LTS (EoS), os seguintes pacotes Python foram recentemente incluídos: asn1crypto, backcall, jedi, kiwisolver, parso e PySocks.
- Em comparação com o Databricks Runtime 5.5 LTS (EoS), os seguintes pacotes Python não estão instalados: ansi2html, brewer2mpl, colorama, configobj, enum34, et-xmlfile, freetype-py, funcsigs, fusepy, ggplot, html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson e singledispatch.
- A
displayfunção em objetos ggplot Python não é mais suportada porque o pacote ggplot não é compatível com a versão mais recente do pandas. - A configuração
PYSPARK_PYTHONcomo/databricks/python2/bin/pythonnão é suportada porque o Databricks Runtime 6.0 não suporta Python 2. Um cluster com essa configuração ainda pode ser iniciado. No entanto, os notebooks Python e os comandos Python não funcionarão, ou seja, as células de comando Python falharão com um erro "Cancelado" e umPython shell failed to starterro aparecerá nos logs do driver. - Se
PYSPARK_PYTHONapontar para um executável Python que está em um ambiente gerenciado pelo Virtualenv , esse ambiente será ativado para scripts init e notebooks. Você pode usarpythonepipcomandos que são definidos no ambiente ativado diretamente sem ter que especificar os locais absolutos desses comandos. Por padrão,PYSPARK_PYTHONé definido como/databricks/python3/bin/python. Assim, por padrão,pythonaponta para/databricks/python3/bin/pythonepipaponta para/databricks/python3/bin/pipscripts e blocos de anotações init. Se vocêPYSPARK_PYTHONapontar para um executável Python que não está em um ambiente gerenciado pelo Virtualenv ou se você estiver escrevendo um script init para criar o Python especificado peloPYSPARK_PYTHON, você precisará usar caminhos absolutos para acessar o corretopythonepip. Quando o isolamento da biblioteca Python está ativado (é ativado por padrão), o ambiente ativado ainda é o ambiente ao qualPYSPARK_PYTHONestá associado. Recomendamos que você use o utilitário Biblioteca (dbutils.library) (legado) para modificar o ambiente isolado associado a um bloco de anotações Python.
APIs Scala e Java para comandos Delta Lake DML
Agora você pode modificar dados em tabelas Delta usando APIs programáticas para excluir, atualizar e mesclar. Essas APIs espelham a sintaxe e a semântica de seus comandos SQL correspondentes e são ótimas para muitas cargas de trabalho, por exemplo, operações de dimensão de mudança lenta (SCD), mesclagem de dados de alteração para replicação e atualizações de consultas de streaming.
Para obter detalhes, consulte O que é Delta Lake?.
APIs Scala e Java para comandos do utilitário Delta Lake
O Databricks Runtime agora tem APIs programáticas para os vacuum comandos e history utilitários. Essas APIs espelham a sintaxe e a semântica de seus comandos SQL correspondentes disponíveis em versões anteriores do Databricks Runtime.
Você pode limpar arquivos que não são mais referenciados por uma tabela Delta e são mais antigos do que o limite de retenção executando vacuum na tabela. A execução do vacuum comando na tabela aspira recursivamente os diretórios associados à tabela Delta. O limiar de retenção predefinido para os ficheiros é de 7 dias. A capacidade de viajar no tempo de volta para uma versão mais antiga do que o período de retenção é perdida após a execução vacuum. vacuum não é acionado automaticamente.
Você pode recuperar informações sobre as operações, usuário, carimbo de data/hora e assim por diante para cada gravação em uma tabela Delta executando o history comando. As operações são retornadas em ordem cronológica inversa. Por padrão, o histórico da tabela é mantido por 30 dias.
Para obter detalhes, consulte O que é Delta Lake?.
Cache de disco disponível para instâncias do Azure Lsv2
[Cache de disco]](.. /.. /optimizations/disk-cache.md) agora está habilitado por padrão para todas as instâncias Lsv2.
Armazenamento otimizado usando APIs de arquivos locais
As APIs de arquivo local são úteis, pois permitem que você acesse arquivos do armazenamento de objetos distribuídos subjacente como arquivos locais. No Databricks Runtime 6.0, aprimoramos a montagem FUSE que permite que APIs de arquivos locais resolvam limitações de chave. O Databricks Runtime 6.0 melhora significativamente a velocidade de leitura e gravação e suporta arquivos maiores que 2 GB. Se você precisar de leituras e gravações mais rápidas e confiáveis, como para treinamento de modelo distribuído, você achará esse aprimoramento particularmente útil. Além disso, você não precisaria carregar dados em um armazenamento local para suas cargas de trabalho, economizando custos e melhorando a produtividade.
Para obter detalhes, consulte O que é DBFS?.
Vários gráficos matplotlib por célula do bloco de anotações
Agora você pode exibir vários gráficos matplotlib por célula do bloco de anotações:
Credenciais de serviço para várias contas do Azure Data Lake Storage Gen1
Agora você pode configurar credenciais de serviço para vários Acessando o Azure Data Lake Storage Gen1 a partir de contas do Azure Databricks para uso em uma única sessão do Apache Spark. Para fazer isso, adicione account.<account-name> às chaves de configuração. Por exemplo, se você quiser configurar credenciais para contas acessarem ambas e adl://example1.azuredatalakestore.net adl://example2.azuredatalakestore.net, você pode fazer isso da seguinte maneira:
spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")
spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")
spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")
Melhorias
- AWS SDK atualizado para 1.11.596.
- SDK de armazenamento do Azure atualizado no driver WASB para 7.0.
OPTIMIZEAgora fornece um resumo de métricas como número de arquivos adicionados, número de arquivos removidos e tamanho máximo e mínimo do arquivo. Consulte Otimizar layout de arquivo de dados.
Remoção
O Databricks ML Model Export foi removido. Em vez disso, use MLeap para importar e exportar modelos.
Apache Spark
Nota
Este artigo contém referências ao termo slave, um termo que o Azure Databricks não usa. Quando o termo for removido do software, iremos removê-lo deste artigo.
O Databricks Runtime 6.0 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.5 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-27992][FAÍSCA-28881][PYTHON] Permitir que o Python se junte ao thread de conexão para propagar erros
- [FAÍSCA-27330][SS]tarefa de suporte abortada no gravador foreach (6.0, 5.x)
- [FAÍSCA-28642][SQL] Ocultar credenciais em SHOW CREATE TABLE
- [FAÍSCA-28699][CORE] Corrigir um caso de canto para abortar estágio indeterminado
- [FAÍSCA-28647][WEBUI] Recuperar recurso de métrica adicional
- [FAÍSCA-28766][R][DOC] Corrigir aviso de viabilidade de entrada de CRAN em URL inválido
- [FAÍSCA-28486][CORE][PYTHON] Mapeie o arquivo de dados do PythonBroadcast para um BroadcastBlock para evitar a exclusão pelo GC
- [FAÍSCA-25035][CORE] Evitando o mapeamento de memória na replicação de blocos armazenados em disco
- [FAÍSCA-27234][SS][PYTHON] Use InheritableThreadLocal para a época atual no EpochTracker (para suportar UDFs Python)
- [FAÍSCA-28638][WEBUI] O resumo das tarefas deve conter apenas as métricas das tarefas bem-sucedidas
- [FAÍSCA-28153][PYTHON] Use AtomicReference em InputFileBlockHolder (para suportar input_file_name com Python UDF)
- [FAÍSCA-28564][CORE] O aplicativo de histórico de acesso usa como padrão o id da última tentativa
- [FAÍSCA-28260] O cluster pode ser encerrado automaticamente enquanto a consulta thriftserver ainda está obtendo resultados
- [FAÍSCA-26152][CORE] Sincronizar a limpeza do trabalhador com o desligamento do trabalhador
- [SPARK-28545][SQL] Adicionar o tamanho do mapa de hash ao registo direcional de ObjectAggregationIterator
- [FAÍSCA-28489][SS] Corrija um bug que KafkaOffsetRangeCalculator.getRanges pode deixar offsets
- [FAÍSCA-28421][ML] Otimização de desempenho SparseVector.apply
- [FAÍSCA-28156][SQL] A auto-associação não deve perder a vista em cache
- [FAÍSCA-28152][SQL] Mapeado ShortType para SMALLINT e FloatType para REAL para MsSqlServerDialect
- [FAÍSCA-28054][SQL] Corrigir erro ao inserir tabela particionada do Hive dinamicamente onde o nome da partição é maiúsculo
- [FAÍSCA-27159][SQL] atualizar o dialeto do servidor mssql para suportar o tipo binário
- [FAÍSCA-28355][CORE][PYTHON] Use o Spark conf para o limite em que com...
- [FAÍSCA-27989][CORE] Adicionadas novas tentativas na conexão com o driver para k8s
- [FAÍSCA-27416][SQL] UnsafeMapData & UnsafeArrayData Kryo serialização ...
- [FAÍSCA-28430][UI] Corrigir a renderização da tabela de estágio quando algumas métricas de tarefas estiverem ausentes
- [FAÍSCA-27485] EnsureRequirements.reorder deve lidar com expressões duplicadas graciosamente
- [FAÍSCA-28404][SS] Corrigir valor de tempo limite negativo em RateStreamContinuousPartitionReader
- [FAÍSCA-28378][PYTHON] Remover o uso de cgi.escape
- [FAÍSCA-28371][SQL] Tornar o filtro Parquet "StartsWith" null-safe
- [FAÍSCA-28015][SQL] Check stringToDate() consome entrada inteira para os formatos aaaa e aaaa-[m]m
- [FAÍSCA-28302][CORE] Certifique-se de gerar um arquivo de saída exclusivo para o SparkLauncher no Windows
- [FAÍSCA-28308][CORE] A sub-segunda parte de CalendarInterval deve ser preenchida antes da análise
- [FAÍSCA-28170][ML][PYTHON] Vetores uniformes e documentação matricial
- [FAÍSCA-28160][CORE] Corrigir um bug que a função de retorno de chamada pode travar quando a exceção não marcada é perdida
- [FAÍSCA-27839][SQL] Altere UTF8String.replace() para operar em bytes UTF8
- [FAÍSCA-28157][CORE] Deixe SHS claro KVStore LogInfo para as entradas na lista negra
- [FAÍSCA-28128][PYTHON][SQL] pandas UDFs agrupados ignoram partições vazias
- [FAÍSCA-28012][SQL] O Hive UDF suporta expressão dobrável do tipo struct
- [FAÍSCA-28164] Corrigir descrição de uso do start-slave.sh
- [FAÍSCA-27100][SQL] Use Array em vez de Seq em FilePartition para evitar StackOverflowError
- [FAÍSCA-28154][ML] GMM corrigir cache duplo
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 6.0.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_232
- Escala: 2.11.12
- Píton: 3.7.3
- R: R versão 3.6.1 (2019-07-05)
- Lago Delta: 0.3.0
Nota
Embora o Scala 2.12 esteja disponível como um recurso experimental no Apache Spark 2.4, ele não é suportado no Databricks Runtime 6.0.
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | Backcall | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | botocore | 1.12.163 | certifi | 2019.3.9 |
| cffi | 1.12.2 | chardet | 3.0.4 | criptografia | 2.6.1 |
| cycler | 0.10.0 | Quisto | 0.29.6 | decorador | 4.4.0 |
| docutils | 0.14 | idna | 2.8 | ipython | 7.4.0 |
| ipython-genutils | 0.2.0 | Jedi | 0.13.3 | jmespath | 0.9.4 |
| Kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | Parso | 0.3.4 | patsy | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| prompt-toolkit | 2.0.9 | psycopg2 | 2.7.6.1 | ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | Pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.2 | Meias PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | pedidos | 2.21.0 |
| s3transferir | 0.2.1 | scikit-learn | 0.20.3 | scipy | 1.2.1 |
| seaborn | 0.9.0 | setuptools | 40.8.0 | seis | 1.12.0 |
| ssh-import-id | 5,5 | statsmodels | 0.9.0 | traços | 4.3.2 |
| Upgrades autônomos | 0.1 | urllib3 | 1.24.1 | virtualenv | 16.4.1 |
| largura de wc | 0.1.7 | roda | 0.33.1 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.1 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | arranque | 1.3-23 |
| brew | 1.0-6 | Chamador | 3.2.0 | carro | 3.0-2 |
| carData | 3.0-2 | acento circunflexo | 6.0-82 | Cellranger | 1.1.0 |
| crono | 2.3-53 | classe | 7.3-15 | cli | 1.1.0 |
| Clipr | 0.5.0 | clisímbolos | 1.2.0 | cluster | 2.1.0 |
| codetools | 0.2-16 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.1 | configuração | 0.3 | lápis de cor | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | conjuntos de dados | 3.6.1 |
| DBI | 1.0.0 | DBPlyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | resumo | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | reticências | 0.1.0 | Fãsi | 0.4.0 |
| FORCATS | 0.4.0 | foreach | 1.4.4 | externa | 0.8-72 |
| forjar | 0.2.0 | FS | 1.2.7 | gbm | 2.1.5 |
| Genéricos | 0.0.2 | ggplot2 | 3.1.0 | GH | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | colar | 1.3.1 |
| gower | 0.2.0 | gráficos | 3.6.1 | grDevices | 3.6.1 |
| grelha | 3.6.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | Refúgio | 2.1.0 |
| HMS | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iteradores | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | etiquetagem | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
| Ferramentas de mapa | 0.9-5 | MASSA | 7.3-51.4 | Matriz | 1.2-17 |
| MatrizModels | 0.4-1 | memoise | 1.1.0 | métodos | 3.6.1 |
| mgcv | 1.8-28 | mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-141 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | OpenXLSX | 4.1.0 |
| paralelo | 3.6.1 | pbkrtest | 0.4-7 | pilar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| elogiar | 1.0.0 | unidades bonitas | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Progresso | 1.2.0 |
| proto | 1.0.0 | PS | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | Leitor | 1.3.1 |
| ReadXL | 1.3.1 | receitas | 0.1.5 | revanche | 1.0.1 |
| Controles remotos | 2.0.2 | remodelar2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | escalas | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | Disperso | 1.77 | espacial | 7.3-11 |
| splines | 3.6.1 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.30 | estatísticas | 3.6.1 | stats4 | 3.6.1 |
| stringi | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.44-1.1 |
| sys | 3.1 | tcltk | 3.6.1 | TeachingDemos | 2.10 |
| testeatat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | ferramentas | 3.6.1 |
| usethis | 1.4.0 | UTF8 | 1.1.4 | utilitários | 3.6.1 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | aws-java-sdk-support | 1.11.595 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-faísca2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | armazenamento-do-azure | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| JUNIT | JUNIT | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.5 |
| net.floco de neve | Flocos de Neve-JDBC | 3.6.15 |
| net.floco de neve | faísca-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | Orc-calços | 1.5.5 |
| org.apache.parquet | parquet-column | 1.10.1.2-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.2-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.2-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-continuation | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-proxy | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-server | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hamcrest | núcleo de hamcreste | 1.3 |
| org.hamcrest | hamcrest-biblioteca | 1.3 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-núcleo | 1.10.19 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |