Partilhar via

Tempo de execução do Databricks 4.1 (EoS)

  • Artigo

Nota

O suporte para esta versão do Databricks Runtime terminou. Para obter a data de fim do suporte, consulte Histórico de fim do suporte. Para todas as versões suportadas do Databricks Runtime, consulte Versões e compatibilidade das notas de versão do Databricks Runtime.

A Databricks lançou esta versão em maio de 2018.

Importante

Esta versão foi preterida em 17 de janeiro de 2019. Para obter mais informações sobre a política e o cronograma de substituição do Databricks Runtime, consulte Ciclos de vida de suporte do Databricks.

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 4.1, desenvolvido pelo Apache Spark.

Delta Lake

O Databricks Runtime versão 4.1 adiciona grandes melhorias de qualidade e funcionalidade ao Delta Lake. A Databricks recomenda vivamente que todos os clientes Delta Lake atualizem para o novo tempo de execução. Esta versão permanece na Pré-visualização Privada, mas representa uma versão candidata em antecipação à próxima versão de disponibilidade geral (GA).

O Delta Lake agora também está disponível na Visualização Privada para usuários do Azure Databricks. Contacte o seu gestor de conta ou registe-se em https://databricks.com/product/databricks-delta.

Alterações interruptivas

  • O Databricks Runtime 4.1 inclui alterações no protocolo de transação para permitir novos recursos, como a validação. As tabelas criadas com o Databricks Runtime 4.1 usam automaticamente a nova versão e não podem ser gravadas por versões mais antigas do Databricks Runtime. Você deve atualizar as tabelas existentes para aproveitar essas melhorias. Para atualizar uma tabela existente, primeiro atualize todos os trabalhos que estão gravando na tabela. Em seguida, execute:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    Consulte Como o Azure Databricks gerencia a compatibilidade de recursos do Delta Lake? para obter mais informações.

  • As gravações agora são validadas em relação ao esquema atual da tabela em vez de adicionar automaticamente colunas que estão faltando na tabela de destino. Para habilitar o comportamento anterior, defina a mergeSchema opção como true.

  • Se você estiver executando versões anteriores do Databricks Delta, deverá atualizar todos os trabalhos antes de usar o Databricks Runtime 4.1. Se você vir um desses erros, atualize para o Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • As tabelas não podem mais ter colunas que diferem apenas por maiúsculas e minúsculas.

  • As configurações de tabela específicas do delta agora devem ser prefixadas com delta.

Novas funcionalidades

  • Gerenciamento de esquema - O Databricks Delta agora valida, acrescenta e substitui uma tabela existente para garantir que o esquema que está sendo escrito corresponda ao esquema.

    • O Databricks Delta continua a suportar a evolução automática do esquema.
    • O Databricks Delta agora suporta a seguinte DDL para modificar o esquema explicitamente:
      • ALTER TABLE ADD COLUMN Para adicionar novas colunas a uma tabela
      • ALTER TABLE CHANGE COLUMNS Para alterar a ordenação das colunas
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Para obter detalhes, consulte Aplicação do esquema.

  • DDL melhorado e suporte de mesa

    • Suporte completo para tabela DDL e saveAsTable(). save() e saveAsTable() agora têm semântica idêntica.
    • Todos os comandos DDL e DML suportam o nome da tabela e delta.`<path-to-table>`o .
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Informações detalhadas da tabela - Você pode ver as versões atuais do leitor e do gravador de uma tabela executando DESCRIBE DETAIL. Consulte Como o Azure Databricks gere a compatibilidade de funcionalidades do Delta Lake?.
    • Detalhes da tabela - As informações de proveniência agora estão disponíveis para cada gravação em uma tabela. A barra lateral Dados também mostra informações detalhadas da tabela e histórico para tabelas Delta do Databricks. Consulte Analisar detalhes da tabela Delta Lake com detalhes de descrição.
    • Tabelas de streaming - Streaming DataFrames pode ser criado usando spark.readStream.format("delta").table("<table-name>")o .
    • Tabelas somente de acréscimo - O Databricks Delta agora oferece suporte à governança básica de dados. Você pode bloquear exclusões e modificações em uma tabela definindo a propriedade delta.appendOnly=truetable .
    • MERGE INTO source - Adiciona suporte mais abrangente à especificação de consulta de origem do MERGE. Por exemplo, você pode especificar LIMIT, ORDER BY e INLINE TABLE na fonte.
    • Suporte completo para ACLs de tabela.

Melhoramentos de desempenho

  • Sobrecarga de coleta de estatísticas reduzida - A eficiência da coleta de estatísticas foi melhorada e as estatísticas agora são coletadas apenas para um número configurável de colunas, definido como 32 por padrão. O desempenho de gravação Delta do Databricks foi melhorado em até 2x devido à redução na sobrecarga de coleta de estatísticas. Para configurar o número de colunas, defina a propriedade delta.dataSkippingNumIndexedCols=<number-of-columns>table .
  • Suporte para redução de limite - As estatísticas são usadas para limitar o número de arquivos verificados em busca de consultas que têm LIMIT e predicados sobre colunas de partição. Isso é aplicável a consultas em blocos de anotações devido ao efeito implícito limit=1000 para todos os comandos do bloco de anotações.
  • Pressão de filtro na fonte de streaming - As consultas de streaming agora usam particionamento ao iniciar um novo fluxo para ignorar dados irrelevantes.
  • Por enquanto, o paralelismo OPTIMIZE - OPTIMIZE aprimorado é executado como uma única tarefa do Spark e usará todo o paralelismo disponível no cluster (anteriormente era limitado a 100 arquivos compactados de cada vez).
  • Data Skipping in DML - UPDATE, DELETEe MERGE agora use estatísticas ao localizar arquivos que precisam ser reescritos.
  • Diminuição da retenção de pontos de verificação - os pontos de verificação agora são retidos por dois dias (o histórico ainda é mantido por 30) para diminuir os custos de armazenamento para o log de transações.

Comportamento da API

  • O comportamento do Delta do Databricks é o mesmo de outras fontes de insertInto(<table-name>) dados.
    • Se nenhum modo for especificado ou mode for ErrorIfExists, Ignoreou , acrescentará Appendos dados no DataFrame à tabela Delta do Databricks.
    • Se mode for Overwrite, exclui todos os dados na tabela existente e insere os dados do DataFrame na tabela Delta do Databricks.
  • Se armazenada em cache, a tabela de destino de MERGE deve ser manualmente desarmazenada em cache.

Melhorias de usabilidade

  • Validações de migração de carga de trabalho - Erros comuns cometidos ao migrar cargas de trabalho para o Databricks Delta agora geram uma exceção em vez de falhar:
    • Usando format("parquet") para ler ou escrever uma tabela.
    • Ler ou escrever diretamente em uma partição (ou seja, /path/to/delta/part=1).
    • Aspirando subdiretórios de uma tabela.
    • INSERT OVERWRITE DIRECTORY usando Parquet em uma mesa.
  • Configuração sem diferenciação de maiúsculas e minúsculas - As opções para o Leitor/Gravador DataFrame e as propriedades da tabela agora não diferenciam maiúsculas de minúsculas (incluindo caminho de leitura e caminho de gravação).
  • Nomes de colunas - Os nomes das colunas da tabela agora podem incluir pontos.

Problemas conhecidos

  • As inserções de instruções multi-inserção estão em diferentes unidades de trabalho, em vez da mesma transação.

Correções de erros

  • Um loop infinito ao iniciar um novo fluxo em uma tabela de atualização rápida foi corrigido.

Preterições

O Streaming Estruturado não manipula entradas que não sejam um acréscimo e lança uma exceção se ocorrerem modificações na tabela que está sendo usada como fonte. Anteriormente, você podia substituir esse comportamento usando o ignoreFileDeletion sinalizador, mas agora ele foi preterido. Em vez disso, use ignoreDeletes ou ignoreChanges. Veja a tabela Delta como fonte.

Outras Alterações e Melhorias

  • O Query Watchdog está habilitado para todos os clusters multiuso criados usando a interface do usuário.
  • Melhor desempenho do lado do driver para o cache DBIO
  • Desempenho melhorado para descodificação de Parquet através de um novo descodificador Parquet nativo
  • Desempenho melhorado para eliminação de subexpressões comuns
  • Melhor desempenho de pulo de dados para tabelas grandes que unem tabelas pequenas (junções de tabelas de dimensão de fato)
  • display() agora renderiza colunas contendo tipos de dados de imagem como HTML avançado.
  • Melhorias no registro, carregamento, registro e implantação de modelos MLflow
    • Atualizado dbml-local para a versão mais recente 0.4.1
    • Corrigido bug com modelos exportados com threshold parâmetro especificado
    • Adicionado suporte para exportação OneVsRestModel, GBTClassificationModel
  • Atualizado algumas bibliotecas Python instaladas:
    • pip: de 9.0.1 a 10.0.0b2
    • setuptools: de 38.5.1 a 39.0.1
    • tornado: 4.5.3 a 5.0.1
    • roda: 0.30.0 a 0.31.0
  • Atualizadas várias bibliotecas R instaladas. Consulte Bibliotecas R instaladas.
  • SDK do Azure Data Lake Store atualizado de 2.0.11 para 2.2.8.
  • CUDA atualizado de 8.0 para 9.0 e CUDNN de 6.0 para 7.0 para clusters de GPU.

Apache Spark

O Databricks Runtime 4.1 inclui o Apache Spark 2.3.0. Esta versão inclui todas as correções e melhorias incluídas no Databricks Runtime 4.0 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

  • [FAÍSCA-24007][SQL] EqualNullSafe para FloatType e DoubleType pode gerar um resultado errado por codegen.
  • [FAÍSCA-23942][PYTHON][SQL] Faz a coleta no PySpark como ação para um ouvinte do executor de consulta
  • [FAÍSCA-23815][CORE] O modo de substituição de partição dinâmica do gravador de faísca pode falhar ao gravar a saída na partição de vários níveis
  • [FAÍSCA-23748][SS] Corrigir processo contínuo SS não suporta o problema SubqueryAlias
  • [FAÍSCA-23963][SQL] Lidar corretamente com um grande número de colunas na consulta na tabela Hive baseada em texto
  • [FAÍSCA-23867][SCHEDULER] use droppedCount em logWarning
  • [FAÍSCA-23816][CORE] As tarefas mortas devem ignorar FetchFailures.
  • [FAÍSCA-23809][SQL] Ative SparkSession deve ser definido por getOrCreate
  • [FAÍSCA-23966][SS] Refatoração de toda a lógica de gravação de arquivos de ponto de verificação em uma interface comum do CheckpointFileManager
  • [FAÍSCA-21351][SQL] Anulabilidade de atualização com base na saída dos filhos
  • [FAÍSCA-23847][PYTHON][SQL] Adicionar asc_nulls_first, asc_nulls_last ao PySpark
  • [FAÍSCA-23822][SQL] Melhorar a mensagem de erro para incompatibilidades de esquema do Parquet
  • [FAÍSCA-23823][SQL] Mantenha a origem em transformExpression
  • [FAÍSCA-23838][WEBUI] A execução da consulta SQL é exibida como "concluída" na guia SQL
  • [FAÍSCA-23802][SQL] PropagateEmptyRelation pode deixar o plano de consulta em estado não resolvido
  • [FAÍSCA-23727][SQL] Suporte para empurrar filtros para baixo para DateType em parquet
  • [FAÍSCA-23574][SQL] Relatório SinglePartition no DataSourceV2ScanExec quando houver exatamente 1 fábrica de leitor de dados.
  • [FAÍSCA-23533][SS] Adicione suporte para alterar startOffset do ContinuousDataReader
  • [FAÍSCA-23491][SS] Remova o cancelamento explícito de trabalhos da reconfiguração de ContinuousExecution
  • [FAÍSCA-23040][CORE] Retorna iterador interruptível para leitor aleatório
  • [FAÍSCA-23827][SS] StreamingJoinExec deve garantir que os dados de entrada sejam particionados em um número específico de partições
  • [FAÍSCA-23639][SQL] Obter token antes do cliente de metastore init na CLI do SparkSQL
  • [FAÍSCA-23806]Broadcast.unpersist pode causar exceção fatal quando usado...
  • [FAÍSCA-23599][SQL] Use RandomUUIDGenerator na expressão Uuid
  • [FAÍSCA-23599][SQL] Adicionar um gerador UUID a partir de números pseudoaleatórios
  • [FAÍSCA-23759][UI] Não é possível vincular a interface do usuário do Spark a um nome de host / IP específico
  • [FAÍSCA-23769][CORE] Remover comentários que desnecessariamente desativam a verificação Scalastyle
  • [FAÍSCA-23614][SQL] Corrigir troca de reutilização incorreta quando o cache é usado
  • [FAÍSCA-23760][SQL] CodegenContext.withSubExprEliminationExprs deve salvar/restaurar o estado CSE corretamente
  • [FAÍSCA-23729][CORE] Respeite o fragmento de URI ao resolver globs
  • [FAÍSCA-23550][CORE] Utils de limpeza
  • [FAÍSCA-23288][SS] Corrija métricas de saída com pia de parquet
  • [FAÍSCA-23264][SQL] Corrigir escala. MatchError no literals.sql.out
  • [FAÍSCA-23649][SQL] Ignorar caracteres não permitidos em UTF-8
  • [FAÍSCA-23691][PYTHON] Use sql_conf util em testes PySpark sempre que possível
  • [FAÍSCA-23644][CORE][UI] Usar caminho absoluto para chamada REST no SHS
  • [FAÍSCA-23706][PYTHON] spark.conf.get(value, default=None) deve produzir Nenhum no PySpark
  • [FAÍSCA-23623][SS] Evite o uso simultâneo de consumidores armazenados em cache no CachedKafkaConsumer
  • [FAÍSCA-23670][SQL] Corrigir vazamento de memória no SparkPlanGraphWrapper
  • [FAÍSCA-23608][CORE][WEBUI] Adicione sincronização no SHS entre as funções attachSparkUI e detachSparkUI para evitar problemas de modificação simultânea nos manipuladores de píer
  • [FAÍSCA-23671][CORE] Corrija a condição para habilitar o pool de threads SHS.
  • [FAÍSCA-23658][LANÇADOR] InProcessAppHandle usa a classe errada no getLogger
  • [FAÍSCA-23642][DOCS] Subclasse AccumulatorV2 isZero scaladoc fix
  • [FAÍSCA-22915][MLLIB] Testes de streaming para spark.ml.feature, de N a Z
  • [FAÍSCA-23598][SQL] Tornar os métodos em BufferedRowIterator públicos para evitar erro de tempo de execução para uma consulta grande
  • [FAÍSCA-23546][SQL] Refatorar métodos/valores sem estado no CodegenContext
  • [FAÍSCA-23523][SQL] Corrigir o resultado incorreto causado pela regra OptimizeMetadataOnlyQuery
  • [FAÍSCA-23462][SQL] melhorar a mensagem de erro de campo ausente no StructType
  • [FAÍSCA-23624][SQL] Revisar o documento do método pushFilters na Fonte de Dados V2
  • [FAÍSCA-23173][SQL] Evite criar arquivos de parquet corrompidos ao carregar dados do JSON
  • [FAÍSCA-23436][SQL] Inferir partição como Data somente se ela puder ser convertida para Data
  • [FAÍSCA-23406][SS] Habilitar auto-junções de fluxo de fluxo
  • [FAÍSCA-23490][SQL] Verifique storage.locationUri com a tabela existente em CreateTable
  • [FAÍSCA-23524]Grandes blocos locais de shuffle não devem ser verificados quanto a corrupção.
  • [FAÍSCA-23525][SQL] Suporte ALTER TABLE CHANGE COLUMN COMMENT para tabela de hive externa
  • [FAÍSCA-23434][SQL] O Spark não deve avisar o diretório de metadados para um caminho de arquivo HDFS
  • [FAÍSCA-23457][SQL] Registrar ouvintes de conclusão de tarefas primeiro no ParquetFileFormat
  • [FAÍSCA-23329][SQL] Corrigir documentação de funções trigonométricas
  • [FAÍSCA-23569][PYTHON] Permitir que pandas_udf trabalhe com funções anotadas por tipo no estilo python3
  • [FAÍSCA-23570][SQL] Adicionar o Spark 2.3.0 no HiveExternalCatalogVersionsSuite
  • [FAÍSCA-23517][PYTHON] Faça _pyspark.util. exception_message produzir o rastreamento do lado Java por Py4JJavaError
  • [FAÍSCA-23508][CORE] Corrigir BlockmanagerId no caso blockManagerIdCache causa oom
  • [FAÍSCA-23448][SQL] Esclarecer o comportamento do analisador JSON e CSV no documento
  • [FAÍSCA-23365][CORE] Não ajuste um executor ao matar executores ociosos.
  • [FAÍSCA-23438][DSTREAMS] Corrigir a perda de dados DStreams com WAL quando o driver trava
  • [FAÍSCA-23475][UI] Show também pulou etapas
  • [FAÍSCA-23518][SQL] Evite o acesso ao metastore quando os usuários quiserem apenas ler e gravar quadros de dados
  • [FAÍSCA-23406][SS] Habilitar auto-junções de fluxo de fluxo
  • [FAÍSCA-23541][SS] Permitir que a fonte Kafka leia dados com maior paralelismo do que o número de partições de artigo
  • [FAÍSCA-23097][SQL][SS] Migrar a origem do soquete de texto para a V2
  • [FAÍSCA-23362][SS] Migrar a origem do Kafka Microbatch para v2
  • [FAÍSCA-23445]Refatoração ColumnStat
  • [FAÍSCA-23092][SQL] Migrar MemoryStream para APIs DataSourceV2
  • [FAÍSCA-23447][SQL] Modelo de codegen de limpeza para Literal
  • [FAÍSCA-23366]Melhorar o caminho de leitura a quente em ReadAheadInputStream
  • [FAÍSCA-22624][PYSPARK] Expor shuffle de particionamento de intervalo

Atualizações de manutenção

Consulte Atualizações de manutenção do Databricks Runtime 4.1.

Ambiente do Sistema

  • Sistema Operacional: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Escala: 2.11.8
  • Python: 2.7.12 para clusters Python 2 e 3.5.2 para clusters Python 3.
  • R: R versão 3.4.4 (2018-03-15)
  • Clusters GPU: As seguintes bibliotecas de GPU NVIDIA estão instaladas:
    • Piloto da Tesla 375.66
    • CUDA 9,0
    • cuDNN 7,0

Bibliotecas Python instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografia 1.5 cycler 0.10.0 Quisto 0.24.1
decorador 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Travesseiro 3.3.1
pip 10.0.0b2 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
pedidos 2.11.1 s3transferir 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 vasculhar 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 seis 1.10.0 statsmodels 0.6.1
tornado 5.0.1 traços 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 largura de wc 0.1.7 roda 0.31.0
wsgiref 0.1.2

Bibliotecas R instaladas

Biblioteca Versão Biblioteca Versão Biblioteca Versão
abind 1.4-5 asserçãoat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 arranque 1.3-20
brew 1.0-6 vassoura 0.4.4 carro 3.0-0
carData 3.0-1 acento circunflexo 6.0-79 Cellranger 1.1.0
crono 2.3-52 classe 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 espaço em cores 1.3-2
marca comum 1.4 compilador 3.4.4 lápis de cor 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
conjuntos de dados 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 resumo 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
FORCATS 0.3.0 foreach 1.4.4 externa 0.8-69
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 colar 1.2.0 gower 0.1.2
gráficos 3.4.4 grDevices 3.4.4 grelha 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
Refúgio 1.1.1 HMS 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iteradores 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 etiquetagem 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 mapas 3.3.0 Ferramentas de mapa 0.9-2
MASSA 7.3-49 Matriz 1.2-13 MatrizModels 0.4-1
memoise 1.1.0 métodos 3.4.4 mgcv 1.8-23
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 OpenXLSX 4.0.17
paralelo 3.4.4 pbkrtest 0.4-7 pilar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 elogiar 1.0.0 unidades bonitas 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psique 1.8.3.3 purrr 0.2.4 quantreg 5,35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 Leitor 1.1.1 ReadXL 1.0.0
receitas 0.1.2 revanche 1.0.1 remodelar2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 escalas 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.0 Disperso 1.77
espacial 7.3-11 splines 3.4.4 sqldf 0.4-11
QUADRADO 2017.10-1 estatmod 1.4.30 estatísticas 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
sobrevivência 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
testeatat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 ferramentas 3.4.4
UTF8 1.1.3 utilitários 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.11)

ID do Grupo ID do Artefacto Versão
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics transmissão em fluxo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-faísca2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-faísca2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware sombreado de kryo 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml colega de turma 1.0.0
com.fasterxml.jackson.core jackson-anotações 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib núcleo 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-nativos 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-nativos 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben ZSTD-JNI 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.JRE8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuração 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
registo de comuns registo de comuns 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.ponte aérea compressor de ar 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recoletor 0.7
javax.activation ativação 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant formiga 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow formato de seta 0.8.0
org.apache.arrow seta-memória 0.8.0
org.apache.arrow vetor de seta 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0 incubação
org.apache.calcite calcite-core 1.2.0 incubação
org.apache.calcite calcite-linq4j 1.2.0 incubação
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curador-cliente 2.7.1
org.apache.curator curador-framework 2.7.1
org.apache.curator curador-receitas 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 incubação
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy hera 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-encoding 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 localizador hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core servidor de jersey 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 LZ4-Java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interface de teste 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark não utilizado 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework teste de primavera 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52