Compartir a través de

Databricks Runtime 4.3 (EoS)

  • Artículo

Nota:

El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.

Databricks publicó esta versión en agosto de 2018.

Importante

Esta versión quedó en desuso el 9 de abril de 2019. Para más información sobre la directiva y el programa de desuso de Databricks Runtime, consulte Ciclos de vida del soporte técnico de Databricks Runtime.

Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 4.3, con tecnología de Apache Spark.

Nuevas características

  • Delta Lake
    • Comando TRUNCATE TABLE: elimina todas las filas de una tabla. A diferencia de su homólogo para las tablas de Spark, las tablas Delta no admiten la eliminación de particiones específicas.
    • Comando ALTER TABLE REPLACE COLUMNS: reemplaza las columnas de una tabla Delta. Admite cambiar el comentario de una columna y reordenar varias columnas.
    • Comando FSCK REPAIR TABLE: quita las entradas de archivo del registro de transacciones de una tabla Delta que ya no se encuentra en el sistema de archivos subyacente. Esto puede ocurrir cuando estos archivos se han eliminado manualmente.
    • Compatibilidad con consultas en tablas Delta obsoletas para mejorar la experiencia de consulta interactiva: las consultas en tablas Delta ahora se pueden ejecutar en una versión obsoleta de la tabla cuando no son necesarios resultados actualizados. Esta característica reduce la latencia de las consultas, especialmente cuando las tablas Delta subyacentes se actualizan continuamente a través de secuencias.
  • Structured Streaming
    • Compatibilidad de la escritura en streaming escalable con Azure Synapse Analytics Connector.
    • Compatibilidad con foreachBatch() en Python (ya disponible en Scala). Consulte la documentación de foreach y foreachBatch para más información.
    • Compatibilidad para elegir la marca de agua mínima o máxima cuando hay varios flujos de entrada en una consulta. Anteriormente, siempre se usaba la marca de tiempo mínima. Consulte la directiva de varias marcas de agua para más información.
    • Compatibilidad con el operador LIMIT para los flujos en los modos de salida Append y Complete. Para minimizar los errores de OOM en el controlador, LIMIT se aplica automáticamente cuando se usa display() en flujos no asociados.

Mejoras

  • Delta Lake

    • Versión preliminar privada de la nueva implementación escalable del comando MERGE INTO que no tiene el límite de inserción de 10 000 filas. Si quiere probarla, póngase en contacto con el soporte técnico.
    • Mejor rendimiento y escalabilidad del comando OPTIMIZE, especialmente en clústeres más grandes.
    • El comando OPTIMIZE ahora se confirma en la tabla de forma incremental, lo que significa que, si se produce un error en el comando, no será necesario un reintento para procesar todo el conjunto de datos.
    • Se ha reducido el número de RPC del sistema de archivos necesarios para detectar nuevos datos al usar Delta Lake como origen de streaming.
    • Se ha agregado compatibilidad con df.writeStream.table(table-name) en Python para crear una tabla Delta a partir de una secuencia.

  • Rendimiento mejorado para las consultas con varias combinaciones, agregaciones o ventanas.

  • Eficacia mejorada para la eliminación en el nivel de partición en consultas con combinaciones hash de difusión.

  • Mejoras en la generación de código de fase completa para detectar expresiones duplicadas, reducir la cantidad de código generado y mejorar el rendimiento de determinados tipos de expresión.

  • Los clústeres de alta simultaneidad ahora admiten la ejecución de %fs en cuadernos.

  • Se ha actualizado Py4J usado por PySpark a 0.10.7.

  • Rendimiento mejorado de la caché de disco en instancias de la serie Ls de Azure. La caché ahora está habilitada de forma predeterminada en estas instancias, lo que acelera las cargas de trabajo que leen repetidamente archivos Parquet.

Características en desuso

  • La omisión de datos fuera de Databricks Delta está en desuso. Una versión mejorada de la omisión de datos seguirá estando disponible como parte de Delta Lake. Se recomienda cambiar al uso de Delta Lake para seguir aprovechando esta característica. Consulte Omisión de datos de Databricks Delta para más información.

Corrección de errores

  • Se ha corregido una instrucción MERGE INTO de delegación de predicado incorrecta para Delta cuando la condición ON tenía predicados que solo hacían referencia a la tabla de destino.

  • Se ha corregido el error en mapGroupsWithState y flatMapGroupsWithState que impedía establecer tiempos de espera cuando se ha quitado el estado (SPARK-22187).

  • Se ha corregido el error que impedía que la marca de agua funcionara correctamente con Trigger.Once (SPARK-24699).

  • El comando Update valida ahora las columnas de la cláusula SET para asegurarse de que todas las columnas existen realmente y de que ninguna columna se establece más de una vez.

  • Se ha corregido una posible condición de carrera que podía provocar interbloqueos para la confirmación del directorio.

  • Se ha corregido un error que provocaba que se empleara una versión en desuso del cliente DBFS al actualizar los montajes.

Problemas conocidos

  • Las opciones de configuración de Delta Lake para una tabla solo tienen efecto en el primer cuaderno que carga la tabla.

Spark de Apache

Databricks Runtime 4.3 incluye Apache Spark 2.3.1. Esta versión incluye todas las correcciones y mejoras que se han incorporado en Databricks Runtime 4.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:

  • [SPARK-24934][SQL] Permitir explícitamente los tipos admitidos en límites superiores o inferiores para la limpieza de particiones en memoria
    • Cuando se usan tipos de datos complejos en filtros de consulta con datos almacenados en caché, Spark siempre devuelve un conjunto de resultados vacío. La eliminación basada en estadísticas en memoria genera resultados incorrectos, ya que, para los límites superior e inferior de los tipos complejos, se establece NULL. La solución es no usar la eliminación basada en estadísticas en memoria para los tipos complejos.
  • [SPARK-24957][SQL] El promedio con decimales seguido de una agregación devuelve un resultado incorrecto
    • Es posible que se devuelvan resultados incorrectos de AVERAGE. La instrucción CAST agregada en el operador Average se omitirá si el resultado de dividir es del mismo tipo al que se convierte.
  • [SPARK-24867][SQL] Adición de AnalysisBarrier a DataFrameWriter
    • La caché de SQL no se usa cuando se emplea DataFrameWriter para escribir un dataframe con UDF. Se trata de una regresión causada por los cambios hechos en AnalysisBarrier, ya que no todas las reglas del analizador son idempotentes.
  • [SPARK-24790][SQL] Permitir expresiones de agregado complejas en Pivot
    • Relaja la comprobación para permitir expresiones de agregado complejas, como ceil(sum(col1)) o sum(col1) + 1, lo que significa aproximadamente cualquier expresión de agregado que podría aparecer en un plan agregado excepto UDF de Pandas.
  • [SPARK-24870][SQL] La caché no puede funcionar normalmente si hay letras mayúsculas y minúsculas en SQL
    • Corrige un problema de canonización del plan.
  • [SPARK-24852]Hacer que el entrenamiento de spark.ml use las API Instrumentation actualizadas
  • [SPARK-24891][SQL] Corrección de la regla HandleNullInputsForUDF
    • Convierta la regla HandleNullInputsForUDF en idempotente para evitar la falta de coincidencia del plan en el administrador de caché cuando se analiza un plan más de una vez.
  • [SPARK-24878][SQL] Corrección de la función inversa para el tipo de matriz del tipo primitivo que contiene valores NULL
  • [SPARK-24871][SQL] Refactorización de Concat y MapConcat para evitar la creación de objetos concatenadores para cada fila
  • [SPARK-24802][SQL] Adición de una nueva configuración para la exclusión de reglas de optimización
    • Proporciona una configuración a los usuarios para excluir algunas reglas del optimizador.
  • [SPARK-24879][SQL] Corrección de NPE en la delegación de filtros de eliminación de particiones de Hive
    • Cuando el predicado de partición es algo parecido a col IN (1, null), se produce un NPE. Esta revisión lo corrige.
  • [SPARK-23731][SQL] Convertir FileSourceScanExec en canonizable después de (de)serializarse
  • [SPARK-24755][CORE] La pérdida del ejecutor puede hacer que la tarea no se vuelva a enviar
    • Corrige un error que provocaba que Spark no enviara de nuevo las tareas con errores al perder el ejecutor. Este error se introdujo en Spark 2.3.
  • [SPARK-24677][CORE] Evitar NoSuchElementException de MedianHeap
    • Corrige un error relacionado con tareas especulativas al recopilar métricas de duración de tareas.
  • [SPARK-24868][PYTHON] Adición de la función de secuencia en Python
  • [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Correción de las coerciones de tipos y las nulabilidades.
  • [SPARK-24699][SS] Hacer que las marcas de agua funcionen con Trigger.Once guardando la marca de agua actualizada para confirmar el registro
  • [SPARK-24537][R] Adición de array_remove / array_zip / map_from_arrays / array_distinct
  • [SPARK-22187][SS] Actualización del formato unsaferow para el estado guardado en flatMapGroupsWithState para permitir tiempos de espera con estado eliminado (4.x)
  • [SPARK-24681][SQL] Comprobación de los nombres de columnas anidadas en metastore de Hive
    • Asegúrese de que los nombres de columnas anidadas no incluyan ",", ":" y ‘;’ en metastore de Hive.
  • [SPARK-23486], Almacenamiento en caché del nombre de la función del catálogo externo para lookupFunctions
    • Para acelerar las búsquedas de funciones.
  • [SPARK-24781][SQL] Es posible que el uso de una referencia del conjunto de datos en Filter/Sort no funcione
  • [SPARK-24208][SQL] Corrección de la desduplicación de atributos para FlatMapGroupsInPandas
    • Corrección del error de autocombinación en un conjunto de datos que contiene FlatMapGroupsInPandas debido a atributos duplicados.
  • [SPARK-24530][PYTHON] Adición de un control para forzar la versión de Python en Sphinx mediante la variable de entorno SPHINXPYTHON
  • [SPARK-24250]Compatibilidad con el acceso a SQLConf dentro de las tareas
    • Guarde todas las configuraciones SQL en propiedades de trabajo cuando se desencadene una ejecución de SQL. En el lado del ejecutor, se recompila SQLConf a partir de las propiedades del trabajo.
  • [SPARK-23936][SQL] Implementación de map_concat
  • [SPARK-23914][SQL] Adición de la función array_union
  • [SPARK-24732][SQL] Coerción de tipos entre MapTypes.
    • Agrega compatibilidad con la coerción de tipos entre MapTypes, donde los tipos de clave y los tipos de valor son compatibles. Por ejemplo, los tipos MapType(IntegerType, FloatType) y MapType(LongType, DoubleType) se pueden convertir al tipo MapType(LongType, DoubleType)
  • [SPARK-24662][SQL][SS] Límite de compatibilidad en streaming estructurado
  • [SPARK-24730][SS] Adición de una directiva para elegir máximo como marca de agua global cuando la consulta de streaming tiene varias marcas de agua (branch-4.x)
  • [SPARK-24596][SQL] Invalidación de caché no en cascada
    • Cuando se deja de almacenar en caché o se descarta la vista temporal, no es necesario eliminar en cascada de la caché todos los planes que dependen de la vista, ya que no se cambian los datos subyacentes.
  • [SPARK-23927][SQL] Adición de la expresión "sequence"
  • [SPARK-24636][SQL] Coerción de tipos de matrices para la función array_join
  • [SPARK-22384][SQL] Refinar la eliminación de particiones cuando el atributo está encapsulado en la conversión
    • Mejore la eliminación de particiones con la posibilidad de delegar predicados de partición con conversión de tipos seguros (int en long, no long en int).
  • [SPARK-24385][SQL] Resolución de la ambigüedad de las condiciones de autocombinación para EqualNullSafe
    • Implementa EqualNullSafe para resolver la ambigüedad de la condición de autocombinación.
  • [SPARK-24696][SQL] La regla ColumnPruning no puede quitar el proyecto adicional
    • Corrige un error en la regla ColumnPruning que producía un error de bucle infinito en el optimizador.
  • [SPARK-24603][SQL] Corrección de la referencia findTightestCommonType en los comentarios
  • [SPARK-24613][SQL] No se pudo hacer coincidir la caché con UDF con las cachés dependientes posteriores
    • Se encapsula el plan lógico con un elemento AnalysisBarrier para la compilación del plan de ejecución en CacheManager; el objetivo es evitar que el plan se vuelva a analizar. También es una regresión de Spark 2.3.
  • [SPARK-24017][SQL] Refactorización de ExternalCatalog para que sea una interfaz
  • [SPARK-24324][PYTHON] La UDF de asignación agrupada de Pandas debe asignar columnas de resultado por nombre
    • Asigna columnas de resultados por nombre de esquema si el usuario está etiquetado con cadenas; de lo contrario, usa la posición.
  • [SPARK-23778][CORE] Evitar el orden aleatorio innecesario cuando la unión obtiene un RDD vacío
    • Omite los RDD vacíos entrantes en el método de unión para evitar un orden aleatorio adicional innecesario cuando todos los demás RDD tienen la misma creación de particiones.
  • [SPARK-24552][CORE][SQL] Uso de un identificador único en lugar del número de intentos para las escrituras
    • Pasa el identificador único de intento de tarea en lugar del número de intentos a los orígenes de datos v2 porque el número de intentos se reutiliza cuando se reintentan las fases. Esto afecta a las API V1 y V2 del origen de datos, pero las API de formato de archivo no se verán afectadas porque DBR usa un protocolo de confirmación diferente.
  • [SPARK-24588][SS] La combinación de streaming debe exigir HashClusteredPartitioning a los elementos secundarios.
  • [SPARK-24589][CORE] Identificación correcta de las tareas en el coordinador de confirmaciones de salida
    • Agrega más información al estado de fase seguido por el coordinador, de modo que solo se permite que una tarea confirme la salida. Esta corrección también elimina los cambios de código inútiles introducidos por SPARK-18113.
  • [SPARK-23933][SQL] Adición de la función map_from_arrays
  • [SPARK-24583][SQL] Tipo de esquema incorrecto en InsertIntoDataSourceCommand
    • Al crear una tabla Delta con restricciones NOT NULL, se podría quitar la nulabilidad e insertar los valores NULL sin comprobar la infracción.
  • [SPARK-24542][SQL] La serie UDF UDFXPathXXXX permite a los usuarios pasar XML cuidadosamente diseñado para acceder a archivos arbitrarios
    • Se trata de una revisión de seguridad notificada por la comunidad. La serie UDF UDFXPathXXXX permite a los usuarios pasar XML cuidadosamente diseñado para acceder a archivos arbitrarios. Cuando los usuarios usan la biblioteca de control de acceso externo, podrían omitirlos y acceder al contenido del archivo.
  • [SPARK-23934][SQL] Adición de la función map_from_entries
  • [SPARK-23912][SQL] Adición de array_distinct
  • [SPARK-24574][SQL] Las funciones array_contains, array_position, array_remove y element_at se ocupan del tipo de columna

Actualizaciones de mantenimiento

Consulte Actualizaciones de mantenimiento de Databricks Runtime 4.3.

Entorno del sistema

  • Sistema operativo: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
  • R: versión de R 3.4.4 (15-03-2018)
  • Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
    • Controlador Tesla 375.66
    • CUDA 9.0
    • cuDNN 7.0

Bibliotecas de Python instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
criptografía 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futuros 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
Solicitudes 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1,0
singledispatch 3.4.0.3 six (seis) 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Bibliotecas de R instaladas

Biblioteca Versión Biblioteca Versión Biblioteca Versión
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 automóvil 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 clase 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
conjuntos de datos 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1,0 - 8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
elementos gráficos 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-50 Matriz 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0.5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)

Identificador de grupo Identificador de artefacto Versión
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics flujo 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx recopilador 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4.
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1,0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1,0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52