Databricks Runtime 5.3 (EoS)
Nota:
El soporte técnico con esta versión de Databricks Runtime ha finalizado. Para obtener la fecha de finalización del soporte técnico, consulte Historial de finalización del soporte técnico. Para ver todas las versiones de Databricks Runtime con soporte técnico, consulte las notas de la versión de Databricks Runtime versiones y compatibilidad.
Databricks publicó esta versión en abril de 2019.
Las notas de la versión siguientes proporcionan información sobre Databricks Runtime 5.3, con tecnología de Apache Spark.
Nuevas características
Databricks Delta
GA de Viaje en el tiempo
El viaje en el tiempo diferencial ha pasado a disponibilidad general. Agrega la posibilidad de consultar una instantánea de una tabla mediante una cadena de marca de tiempo o una versión, mediante sintaxis SQL, así como opciones DataFrameReaderpara expresiones de marca de tiempo.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
El viaje en el tiempo tiene muchos casos de uso, entre los que se incluyen los siguientes:
- Volver a crear análisis, informes o salidas (por ejemplo, la salida de un modelo de aprendizaje automático), lo que resulta útil para depuración o auditoría, especialmente en sectores regulados.
- Escribir consultas temporales complejas.
- Corregir errores en los datos.
- Proporcionar aislamiento de instantáneas a un conjunto de consultas para tablas que cambian rápidamente.
Consulte Trabajar con el historial de tablas de Delta Lake.
Replicación de tablas de MySQL en Delta (versión preliminar pública)
Transmita datos de una tabla de MySQL directamente a Delta para su consumo de bajada en flujos de trabajo de ciencia de datos o análisis de Spark. Aprovechando la misma estrategia que usa MySQL para la replicación en otras instancias, binlog se usa para identificar las actualizaciones que luego se procesan y transmiten a Databricks de la siguiente manera:
- Lee los eventos de cambio del registro de base de datos.
- Transmite los eventos a Databricks.
- Escribe en el mismo orden en una tabla Delta.
- Mantiene el estado en caso de que se desconecte del origen.
Características en versión preliminar privada
Esta versión contiene las siguientes características en versión preliminar privada para Delta Lake:
- Se ha agregado un comando experimental que permite a Presto consultar directamente tablas Delta.
- Auto Optimize optimiza el diseño de archivos durante las escrituras individuales en una tabla Delta y evita que se acumulen archivos pequeños en las tablas Delta para mantener el rendimiento de las consultas a gran velocidad. Además, las escrituras y las operaciones de actualización/inserción (upsert) en tablas Delta con particiones pueden disfrutar de grandes velocidades gracias a un orden aleatorio adaptable introducido en las escrituras.
Si quiere participar en cualquiera de las versiones preliminares, póngase en contacto con su equipo de cuentas de Databricks.
Optimización de la carpeta FUSE de DBFS para cargas de trabajo de aprendizaje profundo
Azure Databricks ofrece ahora un montaje FUSE optimizado. Puede tener acceso a datos de alto rendimiento durante el entrenamiento y la inferencia sin aplicar scripts de inicialización. Los datos almacenados en dbfs:/ml y accesibles localmente en file:/dbfs/ml ahora están respaldados por este montaje FUSE optimizado. Consulte Carga de datos para el aprendizaje automático y el aprendizaje profundo.
Mejoras
Bibliotecas con ámbito de cuaderno:
- Compatibilidad con Opciones adicionales en
dbutils.library.installPyPI. - Compatibilidad con la instalación de bibliotecas con ámbito de cuaderno para bibliotecas del sistema de archivos de Azure, lo que incluye
wasbs,adlsyabfss. - Se han mejorado los mensajes de error para las bibliotecas con ámbito de cuaderno en destinos no admitidos. Por ejemplo: "Las utilidades de biblioteca no están disponibles en Databricks Runtime para Machine Learning".
- Compatibilidad con Opciones adicionales en
Conéctese a Azure Data Lake Storage Gen2 (ADLS Gen2) sin tener que conceder un rol RBAC de colaborador de datos de Storage Blob en toda la cuenta a la entidad de servicio.
Databricks Advisor tiene sugerencias adicionales para mejorar el rendimiento de las consultas:
- Cuando haya muchos archivos pequeños por partición, convierta la tabla a Delta y ejecute
OPTIMIZE. - Cuando haya un filtro muy selectivo, convierta a Delta y use
ZORDER BY. - Cuando las capturas de metadatos de Hive se conviertan en un cuello de botella, convierta la tabla en Delta.
- Cuando haya muchos archivos pequeños por partición, convierta la tabla a Delta y ejecute
Se ha actualizado Ubuntu de 16.04.5 LTS a 16.04.6 LTS.
Se ha actualizado Scala 2.11 de 2.11.8 a 2.11.12.
Se han actualizado algunas bibliotecas de Python instaladas:
- pip: de 18.1 a 19.0.3.
- setuptools: 40.6.3 a 40.8.0
- wheel: de 0.32.3 a 0.33.1
R actualizado de 3.4.4 a 3.5.2.
Se han actualizado varias bibliotecas de R instaladas. Consulte Bibliotecas de R instaladas.
Desuso
- El conector de Apache Kafka 0.8 para streaming estructurado ya no se admite. Se incluye en Databricks Runtime 5.3, pero se quitará de una versión futura de Databricks Runtime.
- La exportación de modelos de ML de Databricks está en desuso y se quitará en Databricks Runtime 6.0. Use MLeap en su lugar para importar y exportar modelos.
- Se ha quitado
spark.databricks.pyspark.enableExecutorFsPermscomo opción de configuración.
Corrección de errores
- Se ha corregido la instalación de la biblioteca Egg de Python en todo el clúster para los clústeres habilitados para las ACL de tabla.
- Se ha mejorado la cancelación de comandos de Python mediante la corrección de la situación en la que se llama a la cancelación antes de ejecutar el comando.
- Se ha corregido un error en las ACL de tabla: ahora, al enumerar los objetos de una base de datos o catálogo, solo verá aquellos para los que tiene permiso.
Spark de Apache
Databricks Runtime 5.3 incluye Apache Spark 2.4.0. Esta versión incluye todas las correcciones y mejoras de Spark que se han incorporado en Databricks Runtime 5.2 (EoS), junto con las siguientes correcciones de errores y mejoras de Spark:
- [SPARK-27134][SQL] La función array_distinct no funciona correctamente con columnas que contienen la matriz de matriz
- [SPARK-24669][SQL] Invalidación de tablas en caso de DROP DATABASE CASCADE
- [SPARK-26572][SQL] Corrección de la evaluación de resultados de codegen agregados
- [SPARK-27046][DSTREAMS] Quitar las referencias relacionadas con SPARK-19185 de la documentación
- [SPARK-26449][PYTHON] Adición de un método de transformación a DataFrame API
- [SPARK-26740][SQL] Lectura de estadísticas de columna de marca de tiempo/fecha escritas por Spark 3.0
- [SPARK-26909][SQL] Uso de unsafeRow.hashCode() como valor de hash en HashAggregate
- [SPARK-26990][SQL] FileIndex: uso de nombres de campo especificados por el usuario si es posible
- [SPARK-26851][SQL] Corrección del bloqueo con doble comprobación en CachedRDDBuilder
- [SPARK-26864][SQL] La consulta puede devolver un resultado incorrecto cuando se usa la UDF de Python como condición left-semi join
- [SPARK-26887][SQL][PYTHON] Creación de
datetime.datedirectamente en lugar de crear datetime64 como datos intermedios. - [SPARK-26859][SQL] Corrección del error de índice del escritor de campos en el deserializador ORC no vectorizado
- [SPARK-26864][SQL] La consulta puede devolver un resultado incorrecto cuando se usa la UDF de Python como condición de combinación y la udf usa atributos de ambos lados de left semi join
- [SPARK-24360][SPARK-26091][BACKPORT][SQL] Compatibilidad con metastore de Hive 3.1
- [SPARK-26873][SQL] Uso de una marca de tiempo coherente para crear identificadores de Hadoop.
- [SPARK-26734][STREAMING] Corrección de StackOverflowError con cola de bloques grandes
- [SPARK-26758][CORE] Los ejecutores inactivos no se están terminando después del valor spark.dynamiAllocation.executorIdleTimeout
- [SPARK-26751][SQL] Corrección de la pérdida de memoria cuando la instrucción se ejecuta en segundo plano y se produce una excepción que no es HiveSQLException
- [SPARK-26806][SS] EventTimeStats.merge debe controlar los ceros correctamente
- [SPARK-26745][SPARK-24959][SQL] Revertir la optimización del recuento en el origen de datos JSON
- [SPARK-26757][GRAPHX] Se devuelve 0 para count en los RDD de borde o vértice vacíos
- [SPARK-26726] Sincronización de la cantidad de memoria usada por la variable de difusión con la presentación de la interfaz de usuario
- [SPARK-26718][SS] Se ha corregido el desbordamiento de enteros en el cálculo de rateLimit de SS kafka
- [SPARK-26708][SQL] Resultado incorrecto ocasionado por la incoherencia entre el RDD almacenado en caché de la caché de SQL y su plan físico
- [SPARK-26735][SQL] Comprobación de la integridad del plan para expresiones especiales
- [SPARK-26619][SQL] Eliminación de los serializadores no usados de SerializeFromObject
- [SPARK-26379][SS] Uso de TimeZoneId ficticio para evitar una excepción UnresolvedException en CurrentBatchTimestamp
- [SPARK-26495][SQL] Simplificación del extractor SelectedField
- [SPARK-26379][SS] Corrección del problema al agregar current_timestamp/current_date a la consulta de streaming
- [SPARK-26709][SQL] OptimizeMetadataOnlyQuery no controla correctamente los registros vacíos
- [SPARK-26680][SQL] Creación rápida de inputVars mientras las condiciones son adecuadas
- [SPARK-26682][SQL] Uso de taskAttemptID en lugar de attemptNumber en Hadoop
- [SPARK-26706][SQL] Corrección de illegalNumericPrecedence para ByteType
- [SPARK-26228][MLLIB] Se encontró un problema de OOM al calcular la matriz gramiana
- [SPARK-26665][CORE] Se ha corregido un error que provocaba que BlockTransferService.fetchBlockSync se bloqueara indefinidamente
- [SPARK-26549][PYSPARK] La corrección de la reutilización de trabajos de Python no tiene ningún efecto en la paralelización del intervalo iterable diferido
- [SPARK-26351][MLLIB] Actualización del documento y corrección secundaria en las métricas de evaluación de mllib
- [SPARK-26450] Evitar volver a generar una asignación de esquema para cada columna de una proyección
- [SPARK-26638][PYSPARK][ML] Las clases vectoriales de Pyspark siempre devuelven un error de negación unaria
- [SPARK-26633][REPL] Adición de ExecutorClassLoader.getResourceAsStream
- [SPARK-26629][SS] Se ha corregido el error con varios flujos de archivos en una consulta y reinicio en un lote que no tiene datos para una secuencia de archivos
- [SPARK-25992][PYTHON] El elemento SparkContext de documento no se puede compartir para el multiproceso
- [SPARK-26615][CORE] Corrección de pérdidas de recursos de cliente o servidor de transporte en las pruebas unitarias principales
- [SPARK-26350][SS] Permitir invalidar el identificador de grupo del consumidor de Kafka
- [SPARK-26538][SQL] Establecimiento de la precisión y escala predeterminadas para los elementos de la matriz numérica postgres
- [SPARK-26586][SS] Corrección de la condición de carrera que hace que los flujos se ejecuten con configuraciones inesperadas
- [SPARK-26551][SQL] Corrección del error de eliminación de esquemas al seleccionar un campo complejo y tener "no es predicado nulo" en otro
- [SPARK-26576][SQL] Sugerencia de difusión no aplicada a la tabla con particiones
- [SPARK-26571][SQL] Actualización de la asignación de Hive Serde con el nombre canónico de Parquet y Orc FileFormat
- [SPARK-26267][SS] Reintentar al detectar desplazamientos incorrectos de Kafka (2.4)
- [SPARK-26559][ML][PYSPARK] La imagen de ML no puede funcionar con versiones numpy anteriores a 1.9
- [SPARK-26078][SQL] Desduplicación de atributos de autocombinación en subconsultas de IN
Actualizaciones de mantenimiento
Consulte Actualizaciones de mantenimiento de Databricks Runtime 5.3.
Entorno del sistema
- Sistema operativo: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 para clústeres de Python 2 y 3.5.2 para clústeres de Python 3.
- R: versión de R 3.5.2 (2018-12-20)
- Clústeres de GPU: están instaladas las siguientes bibliotecas de GPU de NVIDIA:
- Controlador Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Nota:
Aunque Scala 2.12 es compatible con Apache Spark 2.4, no lo es con Databricks Runtime 5.3.
Bibliotecas de Python instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| criptografía | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | futuros | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.0.3 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| Python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| Solicitudes | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | seaborn | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1,0 |
| singledispatch | 3.4.0.3 | six (seis) | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.1 |
| wsgiref | 0.1.2 |
Bibliotecas de R instaladas
| Biblioteca | Versión | Biblioteca | Versión | Biblioteca | Versión |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.0 |
| backports | 1.1.3 | base | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | boot | 1.3-20 |
| brew | 1.0-6 | callr | 3.1.1 | automóvil | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-81 | cellranger | 1.1.0 |
| chron | 2.3-53 | clase | 7.3-15 | cli | 1.0.1 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.7-1 |
| codetools | 0.2-16 | colorspace | 1.4-0 | commonmark | 1.7 |
| compiler | 3.5.2 | config | 0,3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | conjuntos de datos | 3.5.2 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | ellipsis | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | foreign | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.6 | gbm | 2.1.5 |
| generics | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | glue | 1.3.0 |
| gower | 0.1.2 | elementos gráficos | 3.5.2 | grDevices | 3.5.2 |
| grid | 3.5.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.2.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0,3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.1 |
| littler | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| maptools | 0.9-5 | MASS | 7.3-51.1 | Matriz | 1.2-15 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methods | 3.5.2 |
| mgcv | 1.8-27 | mime | 0.6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | openxlsx | 4.1.0 |
| parallel | 3.5.2 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| praise | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.13.0 |
| processx | 3.2.1 | prodlim | 2018.04.18 | progreso | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | readr | 1.3.1 |
| readxl | 1.3.0 | recipes | 0.1.4 | rematch | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | scales | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.5.2 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.5.2 | stats4 | 3.5.2 |
| stringi | 1.3.1 | stringr | 1.4.0 | survival | 2.43-3 |
| sys | 3.0 | tcltk | 3.5.2 | TeachingDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.5.2 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.5.2 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.0 |
Bibliotecas de Java y Scala instaladas (versión de clúster de Scala 2.11)
| Identificador de grupo | Identificador de artefacto | Versión |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | flujo | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0,10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | recopilador | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3,5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1,0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |