Databricks Runtime 4.3 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em agosto de 2018.
Importante
Esta versão foi preterida em 9 de abril de 2019. Para obter mais informações sobre a política e o cronograma de substituição do Databricks Runtime, consulte Ciclos de vida de suporte do Databricks.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 4.3, desenvolvido pelo Apache Spark.
Novas funcionalidades
- Lago Delta
TRUNCATE TABLEcommand: exclua todas as linhas de uma tabela. Ao contrário de sua contraparte para tabelas Spark, as tabelas Delta não suportam a exclusão de partições específicas.ALTER TABLE REPLACE COLUMNScommand: Substitua colunas em uma tabela Delta. Ele suporta alterar o comentário de uma coluna e reordenar várias colunas.FSCK REPAIR TABLEcomando: remova as entradas de arquivo do log de transações de uma tabela Delta que não pode mais ser encontrada no sistema de arquivos subjacente. Isso pode acontecer quando esses arquivos foram excluídos manualmente.- Suporte para consultas em tabelas Delta obsoletas para melhorar a experiência de consulta interativa: as consultas em tabelas Delta agora podem ser executadas em uma versão obsoleta da tabela quando resultados atualizados não são necessários. Esse recurso reduz a latência das consultas, especialmente quando as tabelas Delta subjacentes são atualizadas continuamente por meio de fluxos.
- Streaming estruturado
- Suporte de gravação de streaming escalável para o Azure Synapse Analytics Connector.
- Suporte para
foreachBatch()em Python (já disponível em Scala). Consulte a documentação foreach e foreachBatch para obter mais detalhes. - Suporte para escolher a marca d'água min ou max quando há vários fluxos de entrada em uma consulta. Anteriormente, o carimbo de data/hora mínimo era sempre usado. Consulte a política de várias marcas d'água para obter mais detalhes.
- Suporte para o
LIMIToperador para fluxos emAppendeCompletemodos de saída. Para minimizar erros OOM no driver,LIMITé aplicado automaticamente quando você usadisplay()em fluxos não limitados.
Melhorias
Delta Lake
- Visualização privada da nova implementação escalável do comando que não tem o limite de inserção de
MERGE INTO10000 linhas. Entre em contato com o suporte se quiser experimentar isso. - Melhor desempenho e escalabilidade do
OPTIMIZEcomando, especialmente em clusters maiores. - O comando OTIMIZE agora se confirma com a tabela incrementalmente, o que significa que, se o comando falhar, uma nova tentativa não precisará processar todo o conjunto de dados.
- Reduziu o número de RPCs do sistema de arquivos necessárias para descobrir novos dados ao usar o Delta Lake como fonte de streaming.
- Adicionado suporte para
df.writeStream.table(table-name)em Python para criar uma tabela Delta a partir de um fluxo.
- Visualização privada da nova implementação escalável do comando que não tem o limite de inserção de
Desempenho melhorado para consultas com várias junções, agregações ou janelas.
Melhor eficiência na eliminação ao nível da partição em consultas com associações hash de difusão.
Melhorias na geração de código de estágio inteiro para detetar expressões duplicadas, reduzir a quantidade de código gerado e melhorar o desempenho para determinados tipos de expressão.
Clusters de alta simultaneidade agora suportam a execução
%fsem blocos de anotações.Py4J atualizado usado pelo PySpark para 0.10.7.
Melhor desempenho do cache de disco em instâncias da série Ls do Azure. O cache agora está habilitado por padrão nessas instâncias, acelerando cargas de trabalho que lêem repetidamente arquivos do Parquet.
Funcionalidades preteridas
- Data Skipping fora do Databricks Delta foi preterido. Uma versão aprimorada de pulo de dados continuará disponível como parte do Delta Lake. Recomendamos que você mude para usar o Delta Lake para continuar a aproveitar esse recurso. Consulte Databricks Delta Data Skipping para obter detalhes.
Correções de erros
Corrigida instrução pushdown
MERGE INTOde predicado incorreta para Delta quando a condição ON tinha predicados que faziam referência apenas à tabela de destino.Corrigido bug e
mapGroupsWithStateflatMapGroupsWithStateque impedia a definição de tempos limite quando o estado foi removido (SPARK-22187).Corrigido o bug da marca d'água impedida de funcionar corretamente com
Trigger.Once(SPARK-24699).O comando Update agora valida as colunas na cláusula SET para garantir que todas as colunas realmente existam e que nenhuma coluna seja definida mais de uma vez.
Corrigida uma condição de corrida potencial que poderia causar bloqueios para confirmação de diretório.
Corrigido um bug que fazia com que uma versão preterida do cliente DBFS fosse usada ao atualizar montagens.
Problemas conhecidos
- As opções de configuração do Delta Lake para uma tabela entram em vigor somente no primeiro bloco de anotações que carrega a tabela.
Apache Spark
O Databricks Runtime 4.3 inclui o Apache Spark 2.3.1. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.2 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-24934][SQL] Permitir explicitamente tipos suportados em limites superiores/inferiores para remoção de partições na memória
- Quando tipos de dados complexos são usados em filtros de consulta em dados armazenados em cache, o Spark sempre retorna um conjunto de resultados vazio. A remoção baseada em estatísticas na memória gera resultados incorretos, porque null é definido para limites superiores/inferiores para tipos complexos. A correção é não usar a remoção baseada em estatísticas na memória para tipos complexos.
- [FAÍSCA-24957][SQL] Média com decimal seguida de agregação retorna resultado errado
- Os resultados incorretos de AVERAGE podem ser retornados. O CAST adicionado no operador Average será ignorado se o resultado de Divide for do mesmo tipo para o qual ele é moldado.
- [FAÍSCA-24867][SQL] Adicionar AnalysisBarrier ao DataFrameWriter
- O cache SQL não está sendo usado ao usar DataFrameWriter para gravar um DataFrame com UDF. Esta é uma regressão causada pelas alterações que fizemos no AnalysisBarrier, uma vez que nem todas as regras do Analyzer são idempotentes.
- [FAÍSCA-24790][SQL] Permitir expressões agregadas complexas no Pivot
- Relaxe a verificação para permitir expressões agregadas complexas, como ceil(sum(col1)) ou sum(col1) + 1, o que significa aproximadamente qualquer expressão agregada que possa aparecer em um plano Agregado, exceto pandas UDF.
- [FAÍSCA-24870][SQL] O cache não pode funcionar normalmente se houver letras maiúsculas e minúsculas no SQL
- Corrige um problema de canonicalização do plano.
- [FAÍSCA-24852]Faça com que spark.ml treinamento use APIs de instrumentação atualizadas.
- [FAÍSCA-24891][SQL] Corrigir regra HandleNullInputsForUDF
- Torne a regra HandleNullInputsForUDF idempotente, para evitar incompatibilidade de planos no gerenciador de cache quando um plano é analisado mais de uma vez.
- [FAÍSCA-24878][SQL] Corrija a função inversa para o tipo de matriz do tipo primitivo que contém null.
- [FAÍSCA-24871][SQL] Refatore Concat e MapConcat para evitar a criação de objeto concatenador para cada linha.
- [FAÍSCA-24802][SQL] Adicionar uma nova configuração para Exclusão de Regra de Otimização
- Fornece uma configuração aos usuários para excluir algumas regras do otimizador.
- [FAÍSCA-24879][SQL] Corrigir NPE no pushdown do filtro de remoção de partição do Hive
- Quando o predicado da partição é algo como col IN (1, null), um NPE será lançado. Este patch corrige-o.
- [FAÍSCA-23731][SQL] Tornar o FileSourceScanExec canonizável depois de ser (des)serializado
- [FAÍSCA-24755][CORE] A perda do executor pode fazer com que a tarefa não seja reenviada
- Corrige um bug que o Spark pode não reenviar tarefas falhadas por perda do executor. Este bug foi introduzido no Spark 2.3.
- [FAÍSCA-24677][CORE] Evite NoSuchElementException do MedianHeap
- Corrige um bug relacionado a tarefas especulativas ao coletar métricas de duração da tarefa.
- [FAÍSCA-24868][PYTHON] adicionar função de sequência em Python
- [FAÍSCA-21811][FAÍSCA-24012][FAÍSCA-24737][FAÍSCA-24165][FAÍSCA-24734][FAÍSCA-24840][SQL] Corrigir coerções de tipo e nulidades.
- [FAÍSCA-24699][SS] Faça com que as marcas d'água funcionem com o Trigger.Once salvando a marca d'água atualizada para confirmar o log
- [FAÍSCA-24537][R] Adicionar array_remove / array_zip / map_from_arrays / array_distinct
- [FAÍSCA-22187][SS] Atualize o formato unsaferow para o estado salvo em flatMapGroupsWithState para permitir tempos limite com estado excluído (4.x)
- [FAÍSCA-24681][SQL] Verificar nomes de colunas aninhadas no metastore do Hive
- Verifique se os nomes das colunas aninhadas não incluem ',', ':' e ';' no metastore do Hive
- [FAÍSCA-23486]armazenar em cache o nome da função do catálogo externo para lookupFunctions
- Para acelerar as pesquisas de funções.
- [FAÍSCA-24781][SQL] Usar uma referência do Conjunto de Dados em Filtrar/Classificar pode não funcionar
- [FAÍSCA-24208][SQL] Corrigir a desduplicação de atributos para FlatMapGroupsInPandas
- Corrigir falha de associação automática em um conjunto de dados que contém um FlatMapGroupsInPandas devido a atributos duplicados
- [FAÍSCA-24530][PYTHON] Adicione um controle para forçar a versão Python na Sphinx via variável de ambiente, SPHINXPYTHON
- [FAÍSCA-24250]suporte ao acesso ao SQLConf dentro de tarefas
- Salve todas as configurações SQL nas propriedades do trabalho quando uma execução SQL for acionada. No lado do executor, reconstruímos o SQLConf a partir das propriedades do trabalho.
- [FAÍSCA-23936][SQL] Implementar map_concat
- [FAÍSCA-23914][SQL] Adicionar função array_union
- [FAÍSCA-24732][SQL] Digite coerção entre MapTypes.
- Adiciona suporte para coerção de tipo entre MapTypes onde os tipos de chave e os tipos de valor são compatíveis. Por exemplo, os tipos MapType(IntegerType, FloatType) e MapType(LongType, DoubleType) podem ser coagidos a digitar MapType(LongType, DoubleType)
- [FAÍSCA-24662][SQL][SS] Limite de suporte em streaming estruturado
- [FAÍSCA-24730][SS] Adicionar política para escolher max como marca d'água global quando a consulta de streaming tiver várias marcas d'água (branch-4.x)
- [FAÍSCA-24596][SQL] Invalidação de cache sem cascata
- Ao desarmazenar em cache ou soltar a visualização temporária, é desnecessário desarmazenar em cascata todos os planos que dependem da exibição, pois os dados subjacentes não são alterados.
- [FAÍSCA-23927][SQL] Adicionar expressão de "sequência"
- [FAÍSCA-24636][SQL] Tipo de coerção de matrizes para array_join função
- [FAÍSCA-22384][SQL] Refinar a remoção de partição quando o atributo é encapsulado no Cast
- Melhore a poda de partição, capaz de empurrar predicados de partição para baixo com elenco de tipo seguro (int para longo, não longo para int).
- [FAÍSCA-24385][SQL] Resolver a ambiguidade da condição de auto-associação para EqualNullSafe
- Implementa EqualNullSafe para resolução de ambiguidade de condição de auto-associação.
- [FAÍSCA-24696][SQL] A regra ColumnPruning não consegue remover o projeto extra
- Corrige um bug na regra ColumnPruning que causava um erro de loop infinito no Optimizer.
- [FAÍSCA-24603][SQL] Corrigir referência findTightestCommonType nos comentários
- [FAÍSCA-24613][SQL] O cache com UDF não pôde ser correspondido com caches dependentes subsequentes
- Encapsula o plano lógico com um AnalysisBarrier para compilação do plano de execução no CacheManager, a fim de evitar que o plano seja analisado novamente. Esta é também uma regressão do Spark 2.3.
- [FAÍSCA-24017][SQL] Refatore ExternalCatalog para ser uma interface
- [FAÍSCA-24324][PYTHON] pandas Mapa Agrupado UDF deve atribuir colunas de resultado por nome
- Atribui colunas de resultado por nome de esquema se o usuário rotulado com cadeias de caracteres, caso contrário, usando posição.
- [FAÍSCA-23778][CORE] Evite embaralhamento desnecessário quando a união tiver um RDD vazio
- Ignora RDDs vazios de entrada no método union para evitar um extra-shuffle desnecessário quando todos os outros RDDs têm o mesmo particionamento.
- [FAÍSCA-24552][CORE][SQL] Use id exclusivo em vez de número de tentativa para gravações.
- Passa o id de tentativa de tarefa exclusivo em vez do número de tentativa para fontes de dados v2 porque o número de tentativa é reutilizado quando os estágios são repetidos. Isso afeta as APIs V1 e V2 da fonte de dados, mas as APIs de formato de arquivo não serão afetadas porque o DBR usa um protocolo de confirmação diferente.
- [SPARK-24588][SS] a associação de transmissão deve exigir HashClusteredPartitioning de elementos subordinados.
- [FAÍSCA-24589][CORE] Identifique corretamente as tarefas no coordenador de confirmação de saída.
- Adiciona mais informações ao estado do estágio controlado pelo coordenador, para que apenas uma tarefa tenha permissão para confirmar a saída. Essa correção também remove as alterações de código inúteis introduzidas pelo SPARK-18113.
- [FAÍSCA-23933][SQL] Adicionar função map_from_arrays
- [FAÍSCA-24583][SQL] Tipo de esquema errado em InsertIntoDataSourceCommand
- Ao criar uma tabela Delta com restrições NOT NULL, podemos descartar a anulabilidade e inserir os valores NULL sem verificar a violação.
- [FAÍSCA-24542][SQL] A série UDF UDFXPathXXXX permite que os usuários passem XML cuidadosamente criados para acessar arquivos arbitrários
- Este é um patch de segurança relatado pela comunidade. A série UDF UDFXPathXXXX permite que os usuários passem XML cuidadosamente criados para acessar arquivos arbitrários. Quando os usuários usam a biblioteca de controle de acesso externo, os usuários podem ignorá-los e acessar o conteúdo do arquivo.
- [FAÍSCA-23934][SQL] Adicionando map_from_entries função
- [FAÍSCA-23912][SQL] Adicionar array_distinct
- [FAÍSCA-24574][SQL] array_contains, array_position, array_remove e element_at funções lidam com o tipo de coluna
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 4.3.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Escala: 2.11.8
- Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
- R: R versão 3.4.4 (2018-03-15)
- Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
- Piloto da Tesla 375.66
- CUDA 9,0
- cuDNN 7,0
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1.5 | cycler | 0.10.0 | Quisto | 0.24.1 |
| decorador | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futuros | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Travesseiro | 3.3.1 |
| pip | 10.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| pedidos | 2.11.1 | s3transferir | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | vasculhar | 0.32 | seaborn | 0.7.1 |
| setuptools | 39.2.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | seis | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.0.2 | traços | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | largura de wc | 0.1.7 | roda | 0.31.1 |
| wsgiref | 0.1.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | asserçãoat | 0.2.0 | backports | 1.1.2 |
| base | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
| bindrcpp | 0.2.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | arranque | 1.3-20 |
| brew | 1.0-6 | vassoura | 0.4.4 | carro | 3.0-0 |
| carData | 3.0-1 | acento circunflexo | 6.0-79 | Cellranger | 1.1.0 |
| crono | 2.3-52 | classe | 7.3-14 | cli | 1.0.0 |
| cluster | 2.0.7-1 | codetools | 0.2-15 | espaço em cores | 1.3-2 |
| marca comum | 1.4 | compilador | 3.4.4 | lápis de cor | 1.3.4 |
| curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| conjuntos de dados | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
| DEoptimR | 1.0-8 | desc | 1.1.1 | devtools | 1.13.5 |
| dichromat | 2.0-0 | resumo | 0.6.15 | dimRed | 0.1.0 |
| doMC | 1.3.5 | dplyr | 0.7.4 | DRR | 0.0.3 |
| FORCATS | 0.3.0 | foreach | 1.4.4 | externa | 0.8-70 |
| gbm | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
| glmnet | 2.0-16 | colar | 1.2.0 | gower | 0.1.2 |
| gráficos | 3.4.4 | grDevices | 3.4.4 | grelha | 3.4.4 |
| gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
| Refúgio | 1.1.1 | HMS | 0.4.2 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iteradores | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | etiquetagem | 0.3 | lattice | 0.20-35 |
| lava | 1.6.1 | lazyeval | 0.2.1 | littler | 0.3.3 |
| lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
| mapproj | 1.2.6 | mapas | 3.3.0 | Ferramentas de mapa | 0.9-2 |
| MASSA | 7.3-50 | Matriz | 1.2-14 | MatrizModels | 0.4-1 |
| memoise | 1.1.0 | métodos | 3.4.4 | mgcv | 1.8-24 |
| mime | 0.5 | minqa | 1.2.4 | mnormt | 1.5-5 |
| ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
| nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.0.1 | OpenXLSX | 4.0.17 |
| paralelo | 3.4.4 | pbkrtest | 0.4-7 | pilar | 1.2.1 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
| plyr | 1.8.4 | elogiar | 1.0.0 | unidades bonitas | 1.0.2 |
| pROC | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
| psique | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5,35 |
| R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
| R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
| Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
| RCurl | 1.95-4.10 | Leitor | 1.1.1 | ReadXL | 1.0.0 |
| receitas | 0.1.2 | revanche | 1.0.1 | remodelar2 | 1.4.3 |
| Rio | 0.5.10 | rlang | 0.2.0 | robustbase | 0.92-8 |
| RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
| rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
| rstudioapi | 0.7 | escalas | 0.5.0 | sfsmisc | 1.1-2 |
| sp | 1.2-7 | SparkR | 2.3.1 | Disperso | 1.77 |
| espacial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
| QUADRADO | 2017.10-1 | estatmod | 1.4.30 | estatísticas | 3.4.4 |
| stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
| sobrevivência | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
| testeatat | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
| tidyselect | 0.2.4 | timeDate | 3043.102 | ferramentas | 3.4.4 |
| UTF8 | 1.1.3 | utilitários | 3.4.4 | viridisLite | 0.3.0 |
| whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.4.1-db1-faísca2.3 |
| com.databricks | dbml-local_2.11-tests | 0.4.1-db1-faísca2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | recoletor | 0.7 |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | Flocos de Neve-JDBC | 3.6.3 |
| net.floco de neve | faísca-snowflake_2.11 | 2.4.1 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.8.0 |
| org.apache.arrow | seta-memória | 0.8.0 |
| org.apache.arrow | vetor de seta | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.3 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
| org.apache.parquet | parquet-column | 1.8.3-DATABRICKS2 |
| org.apache.parquet | parquet-common | 1.8.3-DATABRICKS2 |
| org.apache.parquet | parquet-encoding | 1.8.3-DATABRICKS2 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.3-DATABRICKS2 |
| org.apache.parquet | parquet-jackson | 1.8.3-DATABRICKS2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |