Tempo de execução do Databricks 5.5 LTS (EoS)
Nota
O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.
A Databricks lançou esta versão em julho de 2019. Foi declarado Apoio a Longo Prazo (LTS) em agosto de 2019. O apoio terminou em 27 de julho de 2021. O Databricks Runtime 5.5 Extended Support (EoS) foi lançado em 8 de julho de 2021 e estende o suporte 5.5 até dezembro de 2021. Ele usa o Ubuntu 18.04.5 LTS em vez da distribuição Ubuntu 16.04.6 LTS preterida usada no Databricks Runtime 5.5 LTS original. O suporte ao Ubuntu 16.04.6 LTS cessou em 1 de abril de 2021.
As notas de versão a seguir fornecem informações sobre o Databricks Runtime 5.5, desenvolvido pelo Apache Spark.
Novas funcionalidades
Delta Lake no Azure Databricks Auto Otimize
Hoje, quando você grava dados no armazenamento em nuvem, precisa compactar arquivos para obter um desempenho ideal de E/S. Você tem que se preocupar com o tamanho certo do arquivo, com que frequência compactar os arquivos, quão grande um cluster usar, e assim por diante. Para resolver essa classe de problemas, temos o prazer de anunciar a disponibilidade geral do Auto Otimize com Delta Lake no Azure Databricks. Durante cada gravação em tabelas Delta, descobrimos automaticamente os tamanhos de arquivo certos e os arquivos compactos para que você não precise se preocupar em otimizar o layout de armazenamento. Durante as gravações, se a auto-optimize opção for true, o Azure Databricks determina automaticamente se uma otimização é necessária e otimiza os arquivos pequenos. Para obter detalhes, consulte Configurar o Delta Lake para controlar o tamanho do arquivo de dados.
Delta Lake no Azure Databricks melhorou o desempenho da consulta de agregação min, max e count
O desempenho das consultas de agregação min, max e count para Delta Lake no Azure Databricks foi significativamente melhorado reduzindo a quantidade de dados lidos. Essas consultas agora são executadas usando estatísticas e valores de partição nos metadados, em vez de verificar os dados.
Pipelines de inferência de modelo mais rápidos com fonte de dados de arquivo binário aprimorada e iterador escalar pandas UDF (Public Preview)
As tarefas de aprendizado de máquina, especialmente no domínio de imagem e vídeo, muitas vezes têm que operar em um grande número de arquivos. No Databricks Runtime 5.4, já disponibilizamos a fonte de dados de arquivo binário para ajudar arquivos arbitrários ETL, como imagens, em tabelas do Spark. No Databricks Runtime 5.5, adicionamos uma opção, recursiveFileLookup, para carregar arquivos recursivamente de diretórios de entrada aninhados. Consulte Arquivo binário.
A fonte de dados do arquivo binário permite executar tarefas de inferência de modelo em paralelo a partir de tabelas do Spark usando um UDF escalar de pandas. No entanto, talvez seja necessário inicializar o modelo para cada lote de registro, o que introduz sobrecarga. No Databricks Runtime 5.5, fizemos backport de um novo tipo de UDF de pandas chamado "iterador escalar" do Apache Spark master. Com ele você pode inicializar um modelo apenas uma vez e aplicar o modelo a muitos lotes de entrada, o que pode resultar em uma aceleração de 2-3x para modelos como ResNet50. Consulte Série para escalar UDF.
API de segredos em notebooks R
A API Secrets permite injetar segredos em blocos de anotações sem codificá-los. Essa API agora está disponível em notebooks R, além do suporte existente para notebooks Python e Scala. Você pode usar a dbutils.secrets.get função para obter segredos. Os segredos são editados antes de serem impressos numa célula do caderno.
Melhorias
- Suporte para executar operações Delta Lake SQL em Python
foreachBatch: Corrigimos a limitação conhecida de não ser capaz de escrever em tabelas Delta de dentroforeachBatchde uma consulta de Streaming Estruturado definida em Python. Isso é útil em cargas de trabalho comuns de streaming do Python; por exemplo, Gravando agregações de streaming no modo de atualização usando MERGE e foreachBatch. - Desempenho das tabelas Delta armazenadas no Azure Data Lake Gen2: a verificação da versão mais recente de uma tabela Delta no ADLS Gen2 agora verifica apenas o final do log de transações, em vez de listar todas as versões disponíveis. Esta otimização faz
UPDATEuma operação de tempo constante, melhorando significativamente a latência. - Escalabilidade do Otimize
ZORDER BY: Z-Ordering em mesas Delta muito grandes agora usa unidades menores de trabalho que são regidas por controle de admissão avançado. Esse recurso melhora a estabilidade dessa operação sem sacrificar a utilização do cluster. - Melhor desempenho dos comandos DML em tabelas com grande número de colunas: agora realizamos uma melhor remoção de colunas ao verificar dados correspondentes em
UPDATE,DELETEeMERGEcomandos. - Suporte para configuração de VNet + Service Endpoints no Spark - Synapse Analytics connector: adicionamos caminhos ADL Gen2 a uma lista de permissões como locais de dados temporários (
.option("tempDir", "abfss://...")) e adicionamos uma nova opção chamadauseAzureMSI, para ser usada em vez de no caso de seu Synapse Analytics estar configurado para autenticar por meio deforward_spark_azure_storage_credentialsidentidades gerenciadas em sua conta de armazenamento V2. - Invalidação automática para cache de disco: o cache de disco agora deteta automaticamente os arquivos que foram modificados ou substituídos após serem armazenados em cache. Todas as entradas obsoletas são automaticamente invalidadas e removidas do cache. Consulte Otimizar o desempenho com cache no Azure Databricks.
- Roda de biblioteca Python atualizada de 0.33.3 para 0.33.4.
- Biblioteca R atualizada nlme de 3.1-139 para 3.1-140.
Correções de erros
- Corrigido o cancelamento para comandos R que não executam trabalhos do Spark. Anteriormente, os comandos R que não executam trabalhos do Spark podiam ser cancelados, mas o estado dos blocos de anotações seria perdido; Os comandos agora podem ser cancelados sem perder o estado do bloco de anotações.
- Soltar ou mover uma tabela gerenciada agora invalida o log Delta Lake armazenado em cache.
- Corrigido um bug que ao escrever o ponto de verificação Delta Lake pode falhar devido ao
FileAlreadyExistsException. - O Scala REPL agora define o sinalizador adequado
-target:jvm-1.8para suportar a chamada de métodos Java que usam recursos Java 8.
Apache Spark
O Databricks Runtime 5.5 inclui o Apache Spark 2.4.3. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 5.4 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:
- [FAÍSCA-24695] Permitir que UDFs retornem CalendarInterval
- [FAÍSCA-28056] adicionar docstring/doctest para SCALAR_ITER pandas UDF
- [FAÍSCA-28185] Fecha o gerador quando UDFs Python param cedo
- [FAÍSCA-24703] Suporte para multiplicação intervalar
- [FAÍSCA-27018][CORE] Corrigir remoção incorreta do arquivo checkpoint no PeriodicCheckpointer
- [FAÍSCA-28127][SQL] Micro otimização no método mapChildren da TreeNode
- [FAÍSCA-26038] Decimal toScalaBigInt/toJavaBigInteger para decimais que não se encaixam em long
- [FAÍSCA-26555][SQL] torna o thread de verificação de subtipo ScalaReflection seguro
- [FAÍSCA-28081][ML] Manipular grandes contagens de vocábulos no word2vec
- [FAÍSCA-21882][CORE] OutputMetrics não conta bytes gravados corretamente na função saveAsHadoopDataset
- [FAÍSCA-28030] converter filePath para URI em fonte de dados de arquivo binário
- [FAÍSCA-27803][SQL][PYTHON] Corrigir remoção de coluna para Python UDF
- [FAÍSCA-27917][SQL] forma canônica do objeto CaseWhen está incorreto
- [FAÍSCA-27798][SQL] from_avro não deve produzir o mesmo valor quando convertido em relação local
- [FAÍSCA-27873][SQL] columnNameOfCorruptRecord não deve ser verificado com nomes de coluna no cabeçalho CSV ao desativar enforceSchema
- [FAÍSCA-27907][SQL] HiveUDAF deve retornar NULL no caso de 0 linhas
- [FAÍSCA-27699][SQL] Empurrar parcialmente para baixo predicado disjuntivo em Parquet/ORC
- [FAÍSCA-27868][CORE] Melhor valor padrão e documentação para a lista de pendências do servidor de soquete.
- [FAÍSCA-27869][CORE] Redigir informações confidenciais nas Propriedades do Sistema da interface do usuário
- [FAÍSCA-27863][SQL][BACKPORT-2.4] Arquivos de metadados e arquivos temporários não devem ser contados como arquivos de dados
- [FAÍSCA-27657][ML] Corrija o formato de log de ml.util.Instrumentation.logFai...
- [FAÍSCA-27858][SQL] Correção para desserialização Avro em tipos de união com vários tipos não nulos
- [FAÍSCA-27711][CORE] Unset InputFileBlockHolder no final das tarefas
- [FAÍSCA-27351][SQL] Estimativa errada outputRows após AggregateEstimation com apenas coluna de valor nulo
- [FAÍSCA-27539][SQL] Corrigir saída agregada imprecisaEstimativas de linhas com coluna contendo valores nulos"
- [FAÍSCA-27800][SQL] Corrigir resposta errada em casos de teste BitwiseXor
- [FAÍSCA-27639][SQL] InMemoryTableScan mostra o nome da tabela na interface do usuário, se possível
- [FAÍSCA-27726][CORE] Corrigir o desempenho de ElementTrackingStore exclui ao usar InMemoryStore sob altas cargas
- [FAÍSCA-27771][SQL] Adicionar descrição SQL para funções de agrupamento (cubo, rollup, agrupamento e grouping_id)
- [FAÍSCA-27735][SS] A cadeia de caracteres de intervalo de análise não diferencia maiúsculas de minúsculas no SS
- [FAÍSCA-26856][PYSPARK] Suporte Python para APIs from_avro e to_avro
- [FAÍSCA-26870][SQL] Mover to_avro/from_avro para o objeto functions devido à compatibilidade Java
- [FAÍSCA-26812][SQL] Relatar a anulabilidade correta para tipos de dados complexos na União
- [FAÍSCA-27671][SQL] Corrigir erro ao transmitir de um nulo aninhado em uma struct
- [FAÍSCA-27673][SQL] Adicionar
sinceinformações a expressões aleatórias, regex, nulas - [FAÍSCA-27672][SQL] Adicionar
sinceinformações a expressões de cadeia de caracteres - [FAÍSCA-25139][FAÍSCA-18406][CORE] Evite NonFatals para matar o Executor no PythonRunner
- [FAÍSCA-27624][CORE] Corrigir CalenderInterval para mostrar um intervalo vazio corretamente
- [FAÍSCA-27577][MLLIB] Corrigir limites reduzidos em BinaryClassificationMetrics
- [FAÍSCA-27621][ML] Regressão Linear - valida parâmetros relacionados ao treinamento, como perda apenas durante a fase de ajuste
- [FAÍSCA-26048][FAÍSCA-24530] Cherrypick todos os commits ausentes para o script de lançamento 2.4
- [FAÍSCA-24935][SQL] suporte INIT -> UPDATE -> MERGE -> FINISH no adaptador UDAF do Hive
Atualizações de manutenção
Consulte Atualizações de manutenção do Databricks Runtime 5.5.
Ambiente do sistema
- Sistema Operacional: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Escala: 2.11.12
- Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
- R: R versão 3.6.0 (2019-04-26)
- Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
- Piloto da Tesla 375.66
- CUDA 9,0
- cuDNN 7,0
Nota
Embora o Scala 2.12 seja suportado no Apache Spark 2.4, ele não é suportado no Databricks Runtime 5.5.
Nesta secção:
- Bibliotecas Python instaladas
- Bibliotecas R instaladas
- Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
Bibliotecas Python instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografia | 1.5 | cycler | 0.10.0 | Quisto | 0.24.1 |
| decorador | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futuros | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Travesseiro | 3.3.1 |
| pip | 19.1.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| pedidos | 2.11.1 | s3transferir | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | vasculhar | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | seis | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traços | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | largura de wc | 0.1.7 | roda | 0.33.4 |
| wsgiref | 0.1.2 |
Bibliotecas R instaladas
| Biblioteca | Versão | Biblioteca | Versão | Biblioteca | Versão |
|---|---|---|---|---|---|
| abind | 1.4-5 | AskPass | 1.1 | asserçãoat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | arranque | 1.3-20 |
| brew | 1.0-6 | Chamador | 3.2.0 | carro | 3.0-2 |
| carData | 3.0-2 | acento circunflexo | 6.0-82 | Cellranger | 1.1.0 |
| crono | 2.3-53 | classe | 7.3-15 | cli | 1.1.0 |
| Clipr | 0.5.0 | clisímbolos | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | espaço em cores | 1.4-1 | marca comum | 1.7 |
| compilador | 3.6.0 | configuração | 0.3 | lápis de cor | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | conjuntos de dados | 3.6.0 |
| DBI | 1.0.0 | DBPlyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | resumo | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | reticências | 0.1.0 | Fãsi | 0.4.0 |
| FORCATS | 0.4.0 | foreach | 1.4.4 | externa | 0.8-71 |
| forjar | 0.2.0 | FS | 1.2.7 | gbm | 2.1.5 |
| Genéricos | 0.0.2 | ggplot2 | 3.1.0 | GH | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | colar | 1.3.1 |
| gower | 0.2.0 | gráficos | 3.6.0 | grDevices | 3.6.0 |
| grelha | 3.6.0 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | Refúgio | 2.1.0 |
| HMS | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iteradores | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | etiquetagem | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | mapas | 3.3.0 |
| Ferramentas de mapa | 0.9-5 | MASSA | 7.3-51.1 | Matriz | 1.2-17 |
| MatrizModels | 0.4-1 | memoise | 1.1.0 | métodos | 3.6.0 |
| mgcv | 1.8-28 | mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | OpenXLSX | 4.1.0 |
| paralelo | 3.6.0 | pbkrtest | 0.4-7 | pilar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| elogiar | 1.0.0 | unidades bonitas | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Progresso | 1.2.0 |
| proto | 1.0.0 | PS | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | Leitor | 1.3.1 |
| ReadXL | 1.3.1 | receitas | 0.1.5 | revanche | 1.0.1 |
| Controles remotos | 2.0.2 | remodelar2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | escalas | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | Disperso | 1.77 | espacial | 7.3-11 |
| splines | 3.6.0 | sqldf | 0.4-11 | QUADRADO | 2017.10-1 |
| estatmod | 1.4.30 | estatísticas | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | sobrevivência | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testeatat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | ferramentas | 3.6.0 |
| usethis | 1.4.0 | UTF8 | 1.1.4 | utilitários | 3.6.0 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)
| ID do Grupo | ID do Artefacto | Versão |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | transmissão em fluxo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-faísca2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-faísca2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | sombreado de kryo | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | colega de turma | 1.0.0 |
| com.fasterxml.jackson.core | jackson-anotações | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | núcleo | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-nativos | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-nativos | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | ZSTD-JNI | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | armazenamento-do-azure | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.JRE8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuração | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| registo de comuns | registo de comuns | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.ponte aérea | compressor de ar | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | ativação | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-árvores | colmeia-exec-com-cola | colmeia-12679-patch_deploy |
| maven-árvores | colmeia-exec-com-cola | colmeia-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.floco de neve | flocos de neve-ingestão-sdk | 0.9.5 |
| net.floco de neve | Flocos de Neve-JDBC | 3.6.15 |
| net.floco de neve | faísca-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | formiga | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | formato de seta | 0.10.0 |
| org.apache.arrow | seta-memória | 0.10.0 |
| org.apache.arrow | vetor de seta | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 incubação |
| org.apache.calcite | calcite-core | 1.2.0 incubação |
| org.apache.calcite | calcite-linq4j | 1.2.0 incubação |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curador-cliente | 2.7.1 |
| org.apache.curator | curador-framework | 2.7.1 |
| org.apache.curator | curador-receitas | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 incubação |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | hera | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | Orc-calços | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-sombreado | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | localizador hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | servidor de jersey | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | JSON4S-scalap_2.11 | 3.5.3 |
| org.lz4 | LZ4-Java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | calços | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interface de teste | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | não utilizado | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | teste de primavera | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |