Databricks Runtime 5.3 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks heeft deze versie uitgebracht in april 2019.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 5.3, mogelijk gemaakt door Apache Spark.
Nieuwe functies
Databricks Delta
Algemene beschikbaarheid van tijdreizen
Delta-tijdreizen zijn afgerond op algemene beschikbaarheid. Hiermee kunt u een query uitvoeren op een momentopname van een tabel met behulp van een tijdstempeltekenreeks of een versie, met behulp van SQL-syntaxis en DataFrameReader opties voor tijdstempelexpressies.
SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version
Tijdreizen hebben veel gebruiksvoorbeelden, waaronder:
- Analyses, rapporten of uitvoer opnieuw maken (bijvoorbeeld de uitvoer van een machine learning-model), wat handig is voor foutopsporing of controle, met name in gereglementeerde branches.
- Complexe tijdelijke query's schrijven.
- Fouten in uw gegevens corrigeren.
- Het bieden van isolatie van momentopnamen voor een set query's voor snel veranderende tabellen.
Raadpleeg Werken met de tabelgeschiedenis van Delta Lake.
MySQL-tabelreplicatie naar openbare preview van Delta
Stream gegevens uit een MySQL-tabel rechtstreeks naar Delta voor downstreamverbruik in Spark-analyse- of data science-werkstromen. Door gebruik te maken van dezelfde strategie die MySQL gebruikt voor replicatie naar andere exemplaren, wordt de binlog methode gebruikt om updates te identificeren die vervolgens als volgt worden verwerkt en gestreamd naar Databricks:
- Hiermee worden wijzigingen uit het databaselogboek gelezen.
- Streamt de gebeurtenissen naar Databricks.
- Schrijft in dezelfde volgorde naar een Delta-tabel.
- Onderhoudt de status in het geval dat de verbinding met de bron wordt verbroken.
Privévoorbeeldfuncties
Deze release bevat de volgende privé-preview-functies voor Delta Lake:
- Er is een experimentele opdracht toegevoegd waarmee Presto rechtstreeks query's kan uitvoeren op Delta-tabellen.
- Automatisch optimaliseren optimaliseert de bestandsindeling tijdens afzonderlijke schrijfbewerkingen naar een Delta-tabel en voorkomt dat kleine bestanden zich in uw Delta-tabellen kunnen verzamelen om de prestaties van query's razendsnel te behouden. Daarnaast kunnen schrijfbewerkingen en upserts in gepartitioneerde Delta-tabellen grote versnellingen genieten dankzij een adaptieve shuffle die is geïntroduceerd in schrijfbewerkingen.
Neem contact op met uw Databricks-accountteam als u wilt deelnemen aan een van beide preview-versies.
Geoptimaliseerde DBFS FUSE-map voor deep learning-workloads
Azure Databricks biedt nu een geoptimaliseerde FUSE-koppeling. U kunt gegevenstoegang met hoge prestaties hebben tijdens de training en deductie zonder init-scripts toe te passen. Gegevens die onder dbfs:/ml en lokaal file:/dbfs/ml toegankelijk zijn, worden nu ondersteund door deze geoptimaliseerde FUSE-koppeling. Zie Gegevens laden voor machine learning en deep learning.
Verbeteringen
Notebook-scoped bibliotheken:
- Ondersteuning voor extra's in
dbutils.library.installPyPI. - Ondersteuning voor bibliotheekinstallatie met notebookbereik voor bibliotheken in het Azure-bestandssysteem, inclusief
wasbs,adlsenabfss. - Verbeterde foutberichten voor notebookbibliotheken op niet-ondersteunde doelen. Bijvoorbeeld: 'Bibliotheekhulpprogramma's zijn niet beschikbaar in Databricks Runtime voor Machine Learning.'
- Ondersteuning voor extra's in
Maak verbinding met Azure Data Lake Storage Gen2 (ADLS Gen2) zonder een accountbrede RBAC-rol 'Inzender voor opslagblobgegevens' aan de service-principal te hoeven verlenen.
Databricks Advisor bevat aanvullende hints om de prestaties van query's te verbeteren:
- Wanneer er veel kleine bestanden per partitie zijn:> converteer tabel naar Delta en voer deze uit
OPTIMIZE. - Wanneer er een zeer selectief filter is :> converteren naar Delta en gebruiken
ZORDER BY. - Wanneer metagegevens uit Hive worden opgehaald, wordt dit een knelpunt> : converteer uw tabel naar Delta.
- Wanneer er veel kleine bestanden per partitie zijn:> converteer tabel naar Delta en voer deze uit
Ubuntu bijgewerkt van 16.04.5 LTS naar 16.04.6 LTS.
Scala 2.11 bijgewerkt van 2.11.8 naar 2.11.12.
Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
- pip: 18.1 tot 19.0.3.
- setuptools: 40.6.3 tot 40.8.0
- wiel: 0.32.3 tot 0.33.1
R bijgewerkt van 3.4.4 naar 3.5.2.
Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
Afschaffing
- De Apache Kafka 0.8-connector voor Structured Streaming wordt niet meer ondersteund. Deze is opgenomen in Databricks Runtime 5.3, maar wordt verwijderd uit een toekomstige Databricks Runtime-release.
- Databricks ML Model Export is afgeschaft en wordt verwijderd in Databricks Runtime 6.0. Gebruik in plaats daarvan MLeap voor het importeren en exporteren van modellen.
- Verwijderd
spark.databricks.pyspark.enableExecutorFsPermsals configuratieoptie.
Bugfixes
- Installatie van python egg-bibliotheek voor clusters die zijn ingeschakeld voor tabel-ACL's is opgelost.
- Verbeterde annulering van Python-opdrachten door de situatie op te lossen waarin annulering wordt aangeroepen voordat de opdracht wordt uitgevoerd.
- Er is een fout opgelost in tabel-ACL's: nu wanneer u objecten in een database of catalogus weergeeft, ziet u alleen de objecten waarvoor u gemachtigd bent om te zien.
Apache Spark
Databricks Runtime 5.3 bevat Apache Spark 2.4.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 5.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-27134][SQL] array_distinct functie werkt niet correct met kolommen met matrixmatrix
- [SPARK-24669][SQL] Tabellen ongeldig maken in geval van DROP DATABASE CASCADE
- [SPARK-26572][SQL] aggregatiecodegeenresultaatevaluatie herstellen
- [SPARK-27046][DSTREAMS] Spark-19185-gerelateerde verwijzingen uit documentatie verwijderen
- [SPARK-26449][PYTHON] Transformatiemethode toevoegen aan DataFrame-API
- [SPARK-26740][SQL] Tijdstempel/datumkolomstatistieken lezen die zijn geschreven door Spark 3.0
- [SPARK-26909][SQL] gebruik onveiligRow.hashCode() als hash-waarde in HashAggregate
- [SPARK-26990][SQL] FileIndex: gebruik indien mogelijk door de gebruiker opgegeven veldnamen
- [SPARK-26851][SQL] Vergrendeling met dubbele controle in CachedRDDBuilder herstellen
- [SPARK-26864][SQL] Query retourneert mogelijk een onjuist resultaat wanneer Python UDF wordt gebruikt als voorwaarde voor links-semi-join
- [SPARK-26887][SQL][PYTHON] Maak
datetime.daterechtstreeks in plaats van datetime64 als tussenliggende gegevens te maken. - [SPARK-26859][SQL] Fout in veldschrijverindex opgelost in niet-vectorized ORC deserializer
- [SPARK-26864][SQL] Query kan een onjuist resultaat retourneren wanneer Python UDF wordt gebruikt als joinvoorwaarde en de udf kenmerken van beide benen van de linker semi-join gebruikt
- [SPARK-24360][SPARK-26091][BACKPORT][SQL] Ondersteuning voor Hive 3.1-metastore
- [SPARK-26873][SQL] Gebruik een consistent tijdstempel om Hadoop-taak-id's te bouwen.
- [SPARK-26734][STREAMING] StackOverflowError met grote blokwachtrij herstellen
- [SPARK-26758][CORE] Niet-actieve uitvoerders worden niet gedood na de waarde spark.dynamiAllocation.executorIdleTimeout
- [SPARK-26751][SQL] Geheugenlek oplossen wanneer de instructie op de achtergrond wordt uitgevoerd en uitzondering genereert die niet HiveSQLException is
- [SPARK-26806][SS] EventTimeStats.merge moet nullen correct verwerken
- [SPARK-26745][SPARK-24959][SQL] Optimalisatie van aantal terugzetten in JSON-gegevensbron op
- [SPARK-26757][GRAPHX] Retourneert 0 voor aantal op lege Edge-/hoekpunt-RDD's
- [SPARK-26726] De hoeveelheid geheugen die door de broadcastvariabele wordt gebruikt synchroniseren met de weergave van de gebruikersinterface
- [SPARK-26718][SS] Vaste overloop van gehele getallen in SS kafka rateLimit-berekening
- [SPARK-26708][SQL] Onjuist resultaat veroorzaakt door inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan
- [SPARK-26735][SQL] Planintegriteit voor speciale expressies controleren
- [SPARK-26619][SQL] De ongebruikte serializers uit SerializeFromObject verwijderen
- [SPARK-26379][SS] Dummy TimeZoneId gebruiken om UnresolvedException in CurrentBatchTimestamp te voorkomen
- [SPARK-26495][SQL] De SelectedField-extractor vereenvoudigen
- [SPARK-26379][SS] Probleem opgelost bij het toevoegen van current_timestamp/current_date aan streamingquery
- [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct
- [SPARK-26680][SQL] Invoervars graag maken terwijl voorwaarden geschikt zijn
- [SPARK-26682][SQL] Gebruik taskAttemptID in plaats van attemptNumber voor Hadoop.
- [SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType
- [SPARK-26228][MLLIB] Er is een OOM-probleem opgetreden bij het berekenen van Gramian-matrix
- [SPARK-26665][CORE] Er is een fout opgelost die BlockTransferService.fetchBlockSync voor altijd vastloopt
- [SPARK-26549][PYSPARK] Oplossing voor hergebruik van Python-werkrollen heeft geen effect voor het parallelliseren van luie iterable bereik
- [SPARK-26351][MLLIB] Document en secundaire correctie bijwerken in de metrische gegevens van de mllib-evaluatie
- [SPARK-26450]Vermijd het opnieuw samenstellen van een schema voor elke kolom in een projectie
- [SPARK-26638][PYSPARK][ML] Pyspark vectorklassen retourneren altijd een fout voor unaire negatie
- [SPARK-26633][REPL] ExecutorClassLoader.getResourceAsStream toevoegen
- [SPARK-26629][SS] Fout opgelost met meerdere bestandsstromen in een query en opnieuw opstarten in een batch die geen gegevens voor één bestandsstroom bevat
- [SPARK-25992][PYTHON] Document SparkContext kan niet worden gedeeld voor multiprocessing
- [SPARK-26615][CORE] Transportserver-/clientresourcelekken in de kerneenheidstests oplossen
- [SPARK-26350][SS] Groeps-id van de Kafka-consument toestaan
- [SPARK-26538][SQL] Standaardprecisie en schaal instellen voor elementen van een postgres-numerieke matrix
- [SPARK-26586][SS] Racevoorwaarde oplossen die ervoor zorgt dat streams worden uitgevoerd met onverwachte confs
- [SPARK-26551][SQL] Fout bij het verwijderen van schema's oplossen bij het selecteren van één complex veld en het hebben van geen null-predicaat op een ander veld
- [SPARK-26576][SQL] Broadcast-hint niet toegepast op gepartitioneerde tabel
- [SPARK-26571][SQL] Hive Serde-toewijzing bijwerken met canonieke naam parquet en Orc FileFormat
- [SPARK-26267][SS] Probeer het opnieuw bij het detecteren van onjuiste offsets van Kafka (2.4)
- [SPARK-26559][ML][PYSPARK] Ml-installatiekopie kan niet werken met numpy-versies vóór 1.9
- [SPARK-26078][SQL] Zelfdeelnamekenmerken voor IN-subquery's ongedaan maken
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 5.3.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
- R: R versie 3.5.2 (2018-12-20)
- GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
- Tesla bestuurder 375.66
- CUDA 9.0
- cuDNN 7.0
Notitie
Hoewel Scala 2.12 wordt ondersteund in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 5.3.
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffiffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptografie | 1.5 | wielrijder | 0.10.0 | Cython | 0.24.1 |
| decorateur | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Kussen | 3.3.1 |
| pit | 19.0.3 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | schuren | 0.32 | seaborn | 0.7.1 |
| setuptools | 40.8.0 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Zes | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wiel | 0.33.1 |
| wsgiref | 0.1.2 |
Geïnstalleerde R-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.0 |
| backports | 1.1.3 | base | 3.5.2 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | opstarten | 1.3-20 |
| brouwsel | 1.0-6 | beller | 3.1.1 | car | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-81 | cellranger | 1.1.0 |
| Chron | 2.3-53 | class | 7.3-15 | cli | 1.0.1 |
| clipr | 0.5.0 | clisymbolen | 1.2.0 | cluster | 2.0.7-1 |
| codetools | 0.2-16 | colorspace | 1.4-0 | commonmark | 1,7 |
| compiler | 3.5.2 | configuratie | 0,3 | Crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | gegevenssets | 3.5.2 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| devtools | 2.0.1 | verteren | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | beletselteken | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | buitenlands | 0.8-71 |
| smeden | 0.2.0 | Fs | 1.2.6 | gbm | 2.1.5 |
| Generics | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.24.0 | glmnet | 2.0-16 | lijm | 1.3.0 |
| Gower | 0.1.2 | afbeeldingen | 3.5.2 | grDevices | 3.5.2 |
| rooster | 3.5.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.2.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Labeling | 0,3 |
| latwerk | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.1 |
| Littler | 0.3.6 | lme4 | 1.1-20 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Kaarten | 3.3.0 |
| maptools | 0.9-5 | MASSA | 7.3-51.1 | Matrix | 1.2-15 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methoden | 3.5.2 |
| mgcv | 1.8-27 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-9 |
| nlme | 3.1-137 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.2.2 | openxlsx | 4.1.0 |
| parallel | 3.5.2 | pbkrtest | 0.4-7 | pilaar | 1.3.1 |
| pkgbuild | 1.0.2 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| loven | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.13.0 |
| processx | 3.2.1 | prodlim | 2018.04.18 | Voortgang | 1.2.0 |
| Proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.0 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.0 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.11 | leesbewerking | 1.3.1 |
| readxl | 1.3.0 | recepten | 0.1.4 | Rematch | 1.0.1 |
| Afstandsbedieningen | 2.0.2 | hervorm2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.1 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-13 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.9.0 | weegschaal | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.2 | SparseM | 1.77 | ruimtelijk | 7.3-11 |
| Splines | 3.5.2 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | Stats | 3.5.2 | stats4 | 3.5.2 |
| stringi | 1.3.1 | stringr | 1.4.0 | overleving | 2.43-3 |
| sys | 3,0 | tcltk | 3.5.2 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.0.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.5.2 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.5.2 |
| viridisLite | 0.3.0 | snor | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| ritssluiting | 2.0.0 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stroom | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasgenoot | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guave | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
| io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | verzamelaar | 0,7 |
| javax.activation | activering | 1.1.1 |
| javax.annotatie | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validatie-API | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | tekenreekstemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.10.0 |
| org.apache.arrow | pijlgeheugen | 0.10.0 |
| org.apache.arrow | pijlvector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | klimop | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-codering | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-gearceerd | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-vervolg | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | sluimerstand-validator | 5.1.1.Final |
| org.iq80.snappy | bits | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | ongebruikt | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.1 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |