Databricks Runtime 5.0 (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em novembro de 2018.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 5.0, desenvolvido pelo Apache Spark.
Novos recursos
Delta Lake
- As subconsultas agora são suportadas
WHERE
na cláusula para o suporte eDELETE
UPDATE
comandos. - Nova implementação escalável para
MERGE
comandos.- Sem limite no número de inserções e atualizações.
- Pode ser usado para consultas SCD Tipo 1 e Tipo 2.
- Pode ser executar upserts de consultas de streaming no modo "update" (por exemplo, gravar saída de agregação de streaming em uma tabela Delta). Veja o exemplo Gravando agregações de streaming no Databricks Delta usando o bloco de anotações MERGE e foreachBatch .
- As subconsultas agora são suportadas
Transmissão em Fluxo Estruturada
- Fonte de streaming baseada em notificação de arquivo de Blob do Azure. Isso pode reduzir significativamente os custos de listagem ao executar uma consulta de Streaming Estruturado em arquivos no armazenamento de Blob do Azure. Em vez de usar a listagem para encontrar novos arquivos para processamento, essa fonte de streaming pode ler diretamente notificações de eventos de arquivo para localizar novos arquivos. Consulte Origem do arquivo de armazenamento de Blob do Azure com o Armazenamento de Filas do Azure (legado).
Adicionado suporte para TensorBoard para monitoramento de trabalhos de aprendizagem profunda. Consulte TensorBoard.
Melhorias
- Lago Delta
OPTIMIZE
desempenho e estabilidade.- O
OPTIMIZE
comando confirma lotes o mais rápido possível, em vez de no final. - Reduzido o número padrão de threads
OPTIMIZE
executados em paralelo. Este é um aumento de desempenho rigoroso para mesas grandes. - Acelere as
OPTIMIZE
gravações evitando uma classificação desnecessária de dados ao gravar em uma tabela particionada. - Acelerou
OPTIMIZE ZORDER BY
tornando-o incremental. Isso significa que o comando agora evita a regravação de arquivos de dados que já foram ordenados por Z pela(s) mesma(s) coluna(s). Consulte Pulo de dados para Delta Lake.
- O
- Isolamento de instantâneo ao consultar tabelas Delta. Qualquer consulta com várias referências a uma tabela Delta (por exemplo, auto-associação) lê a partir do mesmo instantâneo da tabela, mesmo que haja atualizações simultâneas para a tabela.
- Latência de consulta melhorada ao ler a partir de tabelas Delta pequenas (< 2000 ficheiros) através da colocação em cache de metadados no controlador.
- Melhor desempenho de regressão logística MLlib.
- Melhor desempenho do algoritmo da árvore MLlib.
- Atualização de várias bibliotecas Java e Scala. Consulte Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11).
- Atualizado algumas bibliotecas Python instaladas:
- PIP: 10.0.1 a 18.0
- setuptools: 39.2.0 a 40.4.1
- tornado: 5.0.2 a 5.1.1
- Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
Correções de Erros
- Lago Delta
- As configurações definidas no conf SQL agora se aplicam corretamente às operações Delta Lake que foram carregadas pela primeira vez em um bloco de anotações diferente.
- Corrigido um bug no
DELETE
comando que excluía incorretamente as linhas em que a condição é avaliada como nula. - Os fluxos que levam mais de dois dias para processar o lote inicial (ou seja, os dados que estavam na tabela quando o fluxo começou) não falham mais ao
FileNotFoundException
tentar recuperar de um ponto de verificação. - Evita uma condição de corrida que leva ao
NoClassDefError
carregar uma nova mesa. - Correção para
VACUUM
onde a operação pode falhar com um AssertionError afirmando: "Não deve ter nenhum caminho absoluto para exclusão aqui." - Comando fixo
SHOW CREATE TABLE
para não incluir propriedades de armazenamento geradas pelo Hive.
- Os executores que lançam muitos
NoClassDefFoundError
erros para classes internas do Spark agora são reiniciados automaticamente para corrigir o problema.
Problemas Conhecidos
- Os nomes de coluna especificados na opção para
overwrite
o modo no Delta Lake diferenciam maiúsculas de minúsculas, mesmo que a indiferenciação de maiúsculasreplaceWhere
e minúsculas esteja habilitada (que é o padrão). - O conector Snowflake para Databricks Runtime 5.0 está em Visualização.
- Se você cancelar uma célula de streaming em execução em um bloco de anotações conectado a um cluster do Databricks Runtime 5.0, não poderá executar nenhum comando subsequente no bloco de anotações, a menos que limpe o estado do bloco de anotações ou reinicie o cluster. Para obter uma solução alternativa, consulte a Base de Dados de Conhecimento.
Apache Spark
O Databricks Runtime 5.0 inclui o Apache Spark 2.4.0.
Core e Spark SQL
Nota
Este artigo contém referências ao termo slave, um termo que o Azure Databricks não usa. Quando o termo for removido do software, iremos removê-lo deste artigo.
Principais características
- Modo de Execução de Barreira: [SPARK-24374] Suporte ao Modo de Execução de Barreira no agendador, para melhor integração com estruturas de aprendizagem profunda.
- Suporte ao Scala 2.12: [SPARK-14220] Adicione suporte experimental ao Scala 2.12. Agora você pode criar o Spark com o Scala 2.12 e escrever aplicativos do Spark no Scala 2.12.
- Funções de ordem superior: [SPARK-23899] Adicione muitas novas funções integradas, incluindo funções de ordem elevada, para facilitar o trabalho com tipos de dados complexos. Consulte Funções integradas do Apache Spark.
- Fonte de dados Avro integrada: [SPARK-24768] Pacote Inline Spark-Avro com suporte a tipo lógico, melhor desempenho e usabilidade.
API
- [FAÍSCA-24035] Sintaxe SQL para Pivot
- [FAÍSCA-24940] Dica de coalescência e repartição para consultas SQL
- [FAÍSCA-19602] Suporta resolução de coluna de nome de coluna totalmente qualificado
- [FAÍSCA-21274] Implementar EXCETO TODOS e CRUZAR TODOS
Desempenho e estabilidade
- [FAÍSCA-16406] A resolução de referência para um grande número de colunas deve ser mais rápida
- [FAÍSCA-23486] Armazenar em cache o nome da função do catálogo externo para lookupFunctions
- [FAÍSCA-23803] Suporte de Poda de Balde
- [FAÍSCA-24802] Exclusão de regra de otimização
- [FAÍSCA-4502] Poda de esquema aninhado para tabelas Parquet
- [FAÍSCA-24296] Suporte a replicação de blocos maiores que 2 GB
- [FAÍSCA-24307] Suporte ao envio de mensagens com mais de 2GB de memória
- [FAÍSCA-23243] Shuffle+Repartition em um RDD pode levar a respostas incorretas
- [FAÍSCA-25181] Limitado o tamanho dos pools de threads mestre e escravo do BlockManager, reduzindo a sobrecarga de memória quando a rede está lenta
Conectores
- [FAÍSCA-23972] Atualizar Parquet de 1.8.2 para 1.10.0
- [FAÍSCA-25419] Melhoria do predicado de Parquet pushdown
- [FAÍSCA-23456] O leitor ORC nativo está ativado por padrão
- [FAÍSCA-22279] Use o leitor ORC nativo para ler tabelas de serde do Hive por padrão
- [FAÍSCA-21783] Ativar a pressão do filtro ORC por padrão
- [FAÍSCA-24959] Acelerar count() para JSON e CSV
- [FAÍSCA-24244] Analisar apenas as colunas necessárias para o analisador CSV
- [FAÍSCA-23786] Validação de esquema CSV - os nomes das colunas não são verificados
- [FAÍSCA-24423] Consulta de opção para especificar a consulta a ser lida do JDBC
- [FAÍSCA-22814] Suporte de data/hora na coluna de partição JDBC
- [FAÍSCA-24771] Atualizar Avro de 1.7.7 para 1.8
PySpark
- [FAÍSCA-24215] Implemente uma avaliação ansiosa para APIs do DataFrame
- [FAÍSCA-22274] - [FAÍSCA-22239] Funções de agregação definidas pelo usuário com pandas udf
- [FAÍSCA-24396] Adicionar Structured Streaming ForeachWriter para Python
- [FAÍSCA-23874] Atualize a seta Apache para 0.10.0
- [FAÍSCA-25004] Adicionar limite spark.executor.pyspark.memory
- [FAÍSCA-23030] Use o formato de fluxo de seta para criar e coletar pandas DataFrames
- [FAÍSCA-24624] Suporte mistura de Python UDF e Scalar pandas UDF
Outras mudanças notáveis
- [FAÍSCA-24596] Invalidação de cache sem cascata
- [FAÍSCA-23880] Não acione nenhum trabalho para armazenar dados em cache
- [FAÍSCA-23510][FAÍSCA-24312] Suporte Hive 2.2 e Hive 2.3 metastore
- [FAÍSCA-23711] Adicionar gerador de fallback para UnsafeProjection
- [FAÍSCA-24626] Paralelizar cálculo do tamanho do local no comando Analisar tabela
Transmissão em Fluxo Estruturada
Principais características
- [FAÍSCA-24565] Expôs as linhas de saída de cada microlote como um DataFrame usando foreachBatch (Python, Scala e Java)
- [FAÍSCA-24396] API Python adicionada para foreach e ForeachWriter
- [FAÍSCA-25005] Suporte "kafka.isolation.level" para ler apenas registros confirmados de tópicos Kafka que são escritos usando um produtor transacional.
Outras mudanças notáveis
- [FAÍSCA-24662] Suporte ao operador LIMIT para fluxos no modo Acrescentar ou Concluir
- [FAÍSCA-24763] Remover dados de chave redundantes do valor na agregação de streaming
- [FAÍSCA-24156] Geração mais rápida de resultados de saída e/ou limpeza de estado com operações stateful (mapGroupsWithState, stream-stream join, streaming aggregation, streaming dropDuplicates) quando não há dados no fluxo de entrada.
- [FAÍSCA-24730] Suporte para escolher a marca d'água min ou max quando há vários fluxos de entrada em uma consulta
- [FAÍSCA-25399] Corrigido um bug em que a reutilização de threads de execução do processamento contínuo para streaming de microbatch pode resultar em um problema de correção
- [FAÍSCA-18057] Versão atualizada do cliente Kafka de 0.10.0.1 para 2.0.0
MLlib
Principais características
- [FAÍSCA-22666] Fonte de dados do Spark para formato de imagem
Outras mudanças notáveis
- [FAÍSCA-22119][FAÍSCA-23412][FAÍSCA-23217] Adicionar medida de distância cosseno ao avaliador KMeans/BisectingKMeans/Clustering
- [FAÍSCA-10697] Cálculo de elevação na mineração de regra de associação
- [FAÍSCA-14682][FAÍSCA-24231] Fornecer método evaluateEachIteration ou equivalente para spark.ml GBTs
- [FAÍSCA-7132][FAÍSCA-24333] Adicionar ajuste com validação definida para spark.ml GBT
- [FAÍSCA-15784][FAÍSCA-19826] Adicionar cluster de iteração de energia ao spark.ml
- [FAÍSCA-15064] Suporte de localidade no StopWordsRemover
- [FAÍSCA-21741] API Python para resumidor multivariado baseado em DataFrame
- [FAÍSCA-21898][FAÍSCA-23751] Paridade de recursos para KolmogorovSmirnovTest no MLlib
- [FAÍSCA-10884] Suporte à previsão em instância única para modelos relacionados a regressão e classificação
- [FAÍSCA-23783] Adicionar nova característica de exportação genérica para pipelines de ML
- [FAÍSCA-11239] Exportação de PMML para regressão linear de ML
SparkR
- [FAÍSCA-25393] Adicionando nova função from_csv()
- [FAÍSCA-21291] adicionar partição RPor API no DataFrame
- [FAÍSCA-25007] Adicionar array_intersect/array_except/array_union/shuffle ao SparkR
- [FAÍSCA-25234] evitar estouro de número inteiro em paralelizar
- [FAÍSCA-25117] Adicionar suporte a EXCEPT ALL e INTERSECT ALL em R
- [FAÍSCA-24537] Adicionar array_remove / array_zip / map_from_arrays / array_distinct
- [FAÍSCA-24187] Adicionar array_join função ao SparkR
- [FAÍSCA-24331] Adicionando arrays_overlap, array_repeat map_entries ao SparkR
- [FAÍSCA-24198] Adicionando função de fatia ao SparkR
- [FAÍSCA-24197] Adicionando array_sort função ao SparkR
- [FAÍSCA-24185] adicionar função de achatamento ao SparkR
- [FAÍSCA-24069] Adicionar funções array_min / array_max
- [FAÍSCA-24054] Adicionar array_position função / element_at funções
- [FAÍSCA-23770] Adicionar API repartitionByRange no SparkR
GraphX
- [FAÍSCA-25268] executar Parallel Personalized PageRank lança serialização Exceção
Preterições
- [FAÍSCA-23451] Depreciar KMeans computeCost
- [FAÍSCA-25345] Substituir APIs readImages do ImageSchema
Mudanças de comportamento
- [FAÍSCA-23549] Transmitir para carimbo de data/hora ao comparar carimbo de data/hora com data
- [FAÍSCA-24324] pandas Mapa Agrupado UDF deve atribuir colunas de resultados por nome
- [FAÍSCA-25088] Servidor Rest padrão & atualizações doc
- [FAÍSCA-23425] Carregar dados para o caminho do arquivo HDFS com uso de curinga não está funcionando corretamente
- [FAÍSCA-23173] from_json pode produzir nulos para campos marcados como não anuláveis
- [FAÍSCA-24966] Implementar regras de precedência para operações definidas
- [FAÍSCA-25708] TER sem GRUPO BY deve ser agregado global
- [FAÍSCA-24341] Manipular corretamente a subconsulta IN de vários valores
- [FAÍSCA-19724] Criar uma tabela gerenciada com um local padrão existente deve gerar uma exceção
Problemas Conhecidos
- [FAÍSCA-25793] Erro de modelo de carregamento em BisectingKMeans
- [FAÍSCA-25271] CTAS com mesas de parquet Hive devem aproveitar a fonte de parquet nativa
- [FAÍSCA-24935] Problema com a execução do Hive UDAF a partir do Spark 2.2
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 5.0.
Ambiente do Sistema
- Sistema Operacional: Ubuntu 16.04.5 LTS
- Java: 1.8.0_162
- Escala: 2.11.8
- Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
- R: R versão 3.4.4 (2018-03-15)
- Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
- Piloto da Tesla 375.66
- CUDA 9,0
- cuDNN 7,0
Nota
Embora o Scala 2.12 seja suportado no Apache Spark 2.4, ele não é suportado no Databricks Runtime 5.0.
Bibliotecas Python instaladas
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
criptografia | 1.5 | cycler | 0.10.0 | Quisto | 0.24.1 |
decorador | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
fusepy | 2.0.4 | futuros | 3.2.0 | ggplot | 0.6.8 |
html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
pexpect | 4.0.1 | pickleshare | 0.7.4 | Travesseiro | 3.3.1 |
pip | 18,0 | ply | 3.9 | prompt-toolkit | 1.0.7 |
psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
pedidos | 2.11.1 | s3transferir | 0.1.9 | scikit-learn | 0.18.1 |
scipy | 0.18.1 | vasculhar | 0.32 | seaborn | 0.7.1 |
setuptools | 40.4.1 | simplejson | 3.8.2 | simples3 | 1.0 |
singledispatch | 3.4.0.3 | seis | 1.10.0 | statsmodels | 0.6.1 |
tornado | 5.1.1 | traços | 4.3.0 | urllib3 | 1.19.1 |
virtualenv | 15.0.1 | largura de wc | 0.1.7 | roda | 0.31.1 |
wsgiref | 0.1.2 |
Bibliotecas R instaladas
Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
---|---|---|---|---|---|
abind | 1.4-5 | asserçãoat | 0.2.0 | backports | 1.1.2 |
base | 3.4.4 | base64enc | 0.1-3 | BH | 1.66.0-1 |
bindr | 0.1.1 | bindrcpp | 0.2.2 | bit | 1.1-14 |
bit64 | 0.9-7 | bitops | 1.0-6 | blob | 1.1.1 |
arranque | 1.3-20 | brew | 1.0-6 | vassoura | 0.5.0 |
Chamador | 3.0.0 | carro | 3.0-2 | carData | 3.0-1 |
acento circunflexo | 6.0-80 | Cellranger | 1.1.0 | crono | 2.3-52 |
classe | 7.3-14 | cli | 1.0.0 | cluster | 2.0.7-1 |
codetools | 0.2-15 | espaço em cores | 1.3-2 | marca comum | 1.5 |
compilador | 3.4.4 | lápis de cor | 1.3.4 | curl | 3.2 |
CVST | 0.2-2 | data.table | 1.11.4 | conjuntos de dados | 3.4.4 |
DBI | 1.0.0 | ddalpha | 1.3.4 | DEoptimR | 1.0-8 |
desc | 1.2.0 | devtools | 1.13.6 | resumo | 0.6.16 |
dimRed | 0.1.0 | doMC | 1.3.5 | dplyr | 0.7.6 |
DRR | 0.0.3 | Fãsi | 0.3.0 | FORCATS | 0.3.0 |
foreach | 1.4.4 | externa | 0.8-70 | gbm | 2.1.3 |
Geometria | 0.3-6 | ggplot2 | 3.0.0 | git2r | 0.23.0 |
glmnet | 2.0-16 | colar | 1.3.0 | gower | 0.1.2 |
gráficos | 3.4.4 | grDevices | 3.4.4 | grelha | 3.4.4 |
gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.20.0.2 |
Refúgio | 1.1.2 | HMS | 0.4.2 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-7 |
iteradores | 1.0.10 | jsonlite | 1.5 | kernlab | 0.9-27 |
KernSmooth | 2.23-15 | etiquetagem | 0.3 | lattice | 0.20-35 |
lava | 1.6.3 | lazyeval | 0.2.1 | littler | 0.3.4 |
lme4 | 1.1-18-1 | lubridate | 1.7.4 | magia | 1.5-8 |
magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
Ferramentas de mapa | 0.9-3 | MASSA | 7.3-50 | Matriz | 1.2-14 |
MatrizModels | 0.4-1 | memoise | 1.1.0 | métodos | 3.4.4 |
mgcv | 1.8-24 | mime | 0.5 | minqa | 1.2.4 |
ModelMetrics | 1.2.0 | munsell | 0.5.0 | mvtnorm | 1.0-8 |
nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
numDeriv | 2016.8-1 | openssl | 1.0.2 | OpenXLSX | 4.1.0 |
paralelo | 3.4.4 | pbkrtest | 0.4-7 | pilar | 1.3.0 |
pkgbuild | 1.0.0 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
pkgload | 1.0.0 | plogr | 0.2.0 | pls | 2.7-0 |
plyr | 1.8.4 | elogiar | 1.0.0 | unidades bonitas | 1.0.2 |
pROC | 1.12.1 | processx | 3.2.0 | prodlim | 2018.04.18 |
proto | 1.0.0 | PS | 1.1.0 | purrr | 0.2.5 |
quantreg | 5,36 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
R.utils | 2.7.0 | R6 | 2.2.2 | randomForest | 4.6-14 |
RColorBrewer | 1.1-2 | Rcpp | 0.12.18 | RcppEigen | 0.3.3.4.0 |
RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | Leitor | 1.1.1 |
ReadXL | 1.1.0 | receitas | 0.1.3 | revanche | 1.0.1 |
remodelar2 | 1.4.3 | Rio | 0.5.10 | rlang | 0.2.2 |
robustbase | 0.93-2 | RODBC | 1.3-15 | roxygen2 | 6.1.0 |
rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.7-3 |
RSQLite | 2.1.1 | rstudioapi | 0.7 | escalas | 1.0.0 |
sfsmisc | 1.1-2 | sp | 1.3-1 | SparkR | 2.4.0 |
Disperso | 1.77 | espacial | 7.3-11 | splines | 3.4.4 |
sqldf | 0.4-11 | QUADRADO | 2017.10-1 | estatmod | 1.4.30 |
estatísticas | 3.4.4 | stats4 | 3.4.4 | stringi | 1.2.4 |
stringr | 1.3.1 | sobrevivência | 2.42-6 | tcltk | 3.4.4 |
TeachingDemos | 2.10 | testeatat | 2.0.0 | tibble | 1.4.2 |
tidyr | 0.8.1 | tidyselect | 0.2.4 | timeDate | 3043.102 |
ferramentas | 3.4.4 | UTF8 | 1.1.4 | utilitários | 3.4.4 |
viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
xml2 | 1.2.0 | zip | 1.0.0 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
ID do Grupo | ID do Artefacto | Versão |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.8.10 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
com.amazonaws | aws-java-sdk-config | 1.11.313 |
com.amazonaws | aws-java-sdk-core | 1.11.313 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
com.amazonaws | aws-java-sdk-directory | 1.11.313 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
com.amazonaws | aws-java-sdk-efs | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
com.amazonaws | aws-java-sdk-emr | 1.11.313 |
com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
com.amazonaws | aws-java-sdk-iam | 1.11.313 |
com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
com.amazonaws | aws-java-sdk-kms | 1.11.313 |
com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
com.amazonaws | aws-java-sdk-logs | 1.11.313 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
com.amazonaws | aws-java-sdk-rds | 1.11.313 |
com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
com.amazonaws | aws-java-sdk-ses | 1.11.313 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
com.amazonaws | aws-java-sdk-sns | 1.11.313 |
com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
com.amazonaws | aws-java-sdk-sts | 1.11.313 |
com.amazonaws | aws-java-sdk-support | 1.11.313 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
com.amazonaws | jmespath-java | 1.11.313 |
com.carrotsearch | hppc | 0.7.2 |
com.chuusai | shapeless_2.11 | 2.3.2 |
com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
com.databricks | Rserve | 1.8-3 |
com.databricks | dbml-local_2.11 | 0.5.0-db7-faísca2.4 |
com.databricks | dbml-local_2.11-tests | 0.5.0-db7-faísca2.4 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
com.esotericsoftware | sombreado de kryo | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | colega de turma | 1.0.0 |
com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
com.fasterxml.jackson.core | jackson-core | 2.6.7 |
com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | núcleo | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-nativos | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | ZSTD-JNI | 1.3.2-2 |
com.github.rwl | jtransforms | 2.4.0 |
com.google.code.findbugs | jsr305 | 2.0.1 |
com.google.code.gson | gson | 2.2.4 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | JavaEWAH | 0.3.2 |
com.h2database | h2 | 1.3.174 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.mchange | c3p0 | 0.9.5.1 |
com.mchange | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.11 | 0.3 |
com.twitter | chill-java | 0.9.3 |
com.twitter | chill_2.11 | 0.9.3 |
com.twitter | parquet-hadoop-bundle | 1.6.0 |
com.twitter | util-app_2.11 | 6.23.0 |
com.twitter | util-core_2.11 | 6.23.0 |
com.twitter | util-jvm_2.11 | 6.23.0 |
com.typesafe | configuração | 1.2.1 |
com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
com.univocity | univocity-parsers | 2.7.3 |
com.vlkan | flatbuffers | 1.2.0-3f79e055 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.7.0 |
commons-beanutils | commons-beanutils-core | 1.8.0 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1.10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
registo de comuns | registo de comuns | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
io.ponte aérea | compressor de ar | 0.10 |
io.dropwizard.metrics | metrics-core | 3.1.5 |
io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
io.dropwizard.metrics | metrics-graphite | 3.1.5 |
io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
io.dropwizard.metrics | metrics-json | 3.1.5 |
io.dropwizard.metrics | metrics-jvm | 3.1.5 |
io.dropwizard.metrics | metrics-log4j | 3.1.5 |
io.dropwizard.metrics | metrics-servlets | 3.1.5 |
io.netty | netty | 3.9.9.Final |
io.netty | netty-all | 4.1.17.Final |
io.prometheus | simpleclient | 0.0.16 |
io.prometheus | simpleclient_common | 0.0.16 |
io.prometheus | simpleclient_dropwizard | 0.0.16 |
io.prometheus | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | recoletor | 0.7 |
javax.activation | ativação | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.validation | validation-api | 1.1.0.Final |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.11 |
joda-time | joda-time | 2.9.3 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.hydromatic | eigenbase-properties | 1.1.5 |
net.razorvine | pirolite | 4.13 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.floco de neve | Flocos de Neve-JDBC | 3.6.3 |
net.floco de neve | faísca-snowflake_2.11 | 2.4.1 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt | oncrpc | 1.0.7 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.4 |
org.antlr | antlr4-runtime | 4.7 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | formiga | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | formato de seta | 0.10.0 |
org.apache.arrow | seta-memória | 0.10.0 |
org.apache.arrow | vetor de seta | 0.10.0 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.calcite | calcite-avatica | 1.2.0 incubação |
org.apache.calcite | calcite-core | 1.2.0 incubação |
org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
org.apache.commons | commons-compress | 1.8.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.5 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.curator | curador-cliente | 2.7.1 |
org.apache.curator | curador-framework | 2.7.1 |
org.apache.curator | curador-receitas | 2.7.1 |
org.apache.derby | derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-annotations | 2.7.3 |
org.apache.hadoop | hadoop-auth | 2.7.3 |
org.apache.hadoop | hadoop-client | 2.7.3 |
org.apache.hadoop | hadoop-common | 2.7.3 |
org.apache.hadoop | hadoop-hdfs | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
org.apache.htrace | htrace-core | 3.1.0 incubação |
org.apache.httpcomponents | httpclient | 4.5.4 |
org.apache.httpcomponents | httpcore | 4.4.8 |
org.apache.ivy | hera | 2.4.0 |
org.apache.orc | orc-core-nohive | 1.5.2 |
org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
org.apache.orc | Orc-calços | 1.5.2 |
org.apache.parquet | parquet-column | 1.10.1-databricks2 |
org.apache.parquet | parquet-common | 1.10.1-databricks2 |
org.apache.parquet | parquet-encoding | 1.10.1-databricks2 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-databricks2 |
org.apache.parquet | parquet-jackson | 1.10.1-databricks2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.9.3 |
org.apache.xbean | xbean-asm6-sombreado | 4.8 |
org.apache.zookeeper | zookeeper | 3.4.6 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.9 |
org.codehaus.janino | janino | 3.0.9 |
org.datanucleus | datanucleus-api-jdo | 3.2.6 |
org.datanucleus | datanucleus-core | 3.2.10 |
org.datanucleus | datanucleus-rdbms | 3.2.9 |
org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
org.glassfish.jersey.core | jersey-client | 2.22.2 |
org.glassfish.jersey.core | jersey-common | 2.22.2 |
org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
org.hibernate | hibernate-validator | 5.1.1.Final |
org.iq80.snappy | snappy | 0.2 |
org.javassist | javassist | 3.18.1-GA |
org.jboss.logging | jboss-logging | 3.1.3.GA |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.11 | 3.5.3 |
org.json4s | json4s-core_2.11 | 3.5.3 |
org.json4s | json4s-jackson_2.11 | 3.5.3 |
org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
org.lz4 | LZ4-Java | 1.4.0 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.mockito | mockito-all | 1.9.5 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.5.11 |
org.rocksdb | rocksdbjni | 5.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.11 | 2.11.8 |
org.scala-lang | scala-library_2.11 | 2.11.8 |
org.scala-lang | scala-reflect_2.11 | 2.11.8 |
org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
org.scala-sbt | interface de teste | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalactic | scalactic_2.11 | 3.0.3 |
org.scalanlp | breeze-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatest | scalatest_2.11 | 3.0.3 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | jul-to-slf4j | 1.7.16 |
org.slf4j | slf4j-api | 1.7.16 |
org.slf4j | slf4j-log4j12 | 1.7.16 |
org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
org.spark-project.hive | hive-cli | 1.2.1.spark2 |
org.spark-project.hive | hive-exec | 1.2.1.spark2 |
org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
org.spark-project.spark | não utilizado | 1.0.0 |
org.spire-math | spire-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | teste de primavera | 4.1.4.RELEASE |
org.tukaani | xz | 1.5 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | macro-compat_2.11 | 1.1.1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.7.1 |
org.yaml | snakeyaml | 1.16 |
oro | oro | 2.0.8 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0.52 |