Databricks Runtime 4.0 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks heeft deze versie uitgebracht in maart 2018.
Belangrijk
Deze release is afgeschaft op 1 november 2018. Zie databricks-ondersteuningslevenscyclussen voor meer informatie over het afschaffingsbeleid en de planning van Databricks Runtime.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.0, mogelijk gemaakt door Apache Spark.
Wijzigingen en verbeteringen
- De JSON-gegevensbron probeert nu automatisch codering te detecteren in plaats van ervan uit te gaan dat deze UTF-8 is. In gevallen waarin de automatische detectie mislukt, kunnen gebruikers de optie charset opgeven om een bepaalde codering af te dwingen. Zie De automatische detectie van Charset.
- Scoren en voorspellen met Behulp van Spark MLlib-pijplijnen in Structured Streaming wordt volledig ondersteund.
- Export van Databricks ML-modellen wordt volledig ondersteund. Met deze functie kunt u een Spark MLlib-model trainen op Databricks, het exporteren met een functieoproep en een Databricks-bibliotheek gebruiken in het systeem van uw keuze om het model te importeren en nieuwe gegevens te scoren.
- Een nieuwe Implementatie van Spark-gegevensbronnen biedt schaalbare lees-/schrijftoegang tot Azure Synapse Analytics. Zie Spark - Synapse Analytics Connector.
- Het schema van de
from_json
functie wordt nu altijd geconverteerd naar een nullable. Met andere woorden, alle velden, inclusief geneste velden, kunnen null worden. Dit zorgt ervoor dat de gegevens compatibel zijn met het schema, waardoor beschadiging wordt voorkomen nadat de gegevens naar Parquet zijn geschreven wanneer een veld ontbreekt in de gegevens en het door de gebruiker verstrekte schema het veld declareert als niet-nullable. - Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
- futures: van 3.1.1 tot 3.2.0
- pandas: van 0.18.1 tot 0.19.2
- pyarrow: van 0.4.1 tot 0.8.0
- setuptools: van 38.2.3 tot 38.5.1
- tornado: 4.5.2 tot 4.5.3
- Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
- AWS Java SDK bijgewerkt van 1.11.126 naar 1.11.253.
- Sql Server JDBC-stuurprogramma bijgewerkt van 6.1.0.jre8 naar 6.2.2.jre8.
- PostgreSQL JDBC-stuurprogramma bijgewerkt van 9.4-1204-jdbc41 naar 42.1.4.
Apache Spark
Databricks Runtime 4.0 bevat Apache Spark 2.3.0.
Core, PySpark en Spark SQL
Belangrijke functies
-
Vectorized ORC Reader: [SPARK-16060]: voegt ondersteuning toe voor nieuwe ORC-lezer die de ORC-scandoorvoer aanzienlijk verbetert via vectorisatie (2-5x). Als u de lezer wilt inschakelen, kunnen gebruikers instellen op
spark.sql.orc.impl
native
. - Spark History Server V2: [SPARK-18085]: een nieuwe SHS-back-end (Spark History Server) die een betere schaalbaarheid biedt voor grootschalige toepassingen met een efficiënter mechanisme voor gebeurtenisopslag.
- Gegevensbron-API V2: [SPARK-15689][SPARK-22386]: een experimentele API voor het aansluiten van nieuwe gegevensbronnen in Spark. De nieuwe API probeert verschillende beperkingen van de V1-API aan te pakken en is erop gericht om de ontwikkeling van uiterst presterende, eenvoudig te onderhouden en uitbreidbare externe gegevensbronnen te vergemakkelijken. Deze API ondergaat nog steeds actieve ontwikkeling en wijzigingen die fouten veroorzaken, moeten worden verwacht.
- Prestatieverbeteringen in PySpark: [SPARK-22216][SPARK-21187]: Aanzienlijke verbeteringen in de prestaties en interoperabiliteit van Python door snelle gegevensserialisatie en gevectoriseerde uitvoering.
Prestaties en stabiliteit
- [SPARK-21975]: Ondersteuning voor histogrammen in optimalisatie op basis van kosten.
- [SPARK-20331]: Betere ondersteuning voor predicaatpush voor het snoeien van Hive-partities.
- [SPARK-19112]: Ondersteuning voor ZStandard-compressiecodec.
- [SPARK-21113]: ondersteuning voor het lezen van de invoerstroom om I/O-kosten voor schijf af te schrijven in de lekkagelezer.
- [SPARK-22510][SPARK-22692][SPARK-21871]: Het codegen-framework verder stabiliseren om te voorkomen dat de limiet van 64KB JVM-bytecode wordt bereikt voor de Java-methode en de constante poollimiet voor Java-compilers.
- [SPARK-23207]: Er is een langdurige fout opgelost in Spark waarbij opeenvolgende shuffle+repartition op een DataFrame tot onjuiste antwoorden in bepaalde chirurgische gevallen kon leiden.
- [SPARK-22062][SPARK-17788][SPARK-21907]: Verschillende oorzaken van OOM's oplossen.
- [SPARK-22489][SPARK-22916][SPARK-22895][SPARK-20758][SPARK-22266][SPARK-19122][SPARK-22662][SPARK-21652]: Verbeteringen in optimalisatie en planner op basis van regels.
Andere belangrijke wijzigingen
- [SPARK-20236]: ondersteuning voor dynamische partities in Hive-stijl overschrijven semantiek.
-
[SPARK-4131]: ondersteuning
INSERT OVERWRITE DIRECTORY
voor het rechtstreeks schrijven van gegevens naar het bestandssysteem vanuit een query. - [SPARK-19285][SPARK-22945][SPARK-21499][SPARK-20586][SPARK-20416][SPARK-20668]: UDF-verbeteringen.
- [SPARK-20463][SPARK-19951][SPARK-22934][SPARK-21055][SPARK-17729][SPARK-20962][SPARK-20963][SPARK-20841][SPARK-17642][SPARK-22475][SPARK-22934]: Verbeterde ANSI SQL-compatibiliteit en Hive-compatibiliteit.
- [SPARK-20746]: uitgebreidere ingebouwde SQL-functies.
- [SPARK-21485]: Spark SQL-documentatie genereren voor ingebouwde functies.
-
[SPARK-19810]: Verwijder ondersteuning voor Scala
2.10
. -
[SPARK-22324]: Upgradepijl naar
0.8.0
en Netty naar4.1.17
.
Gestructureerd streamen
Continue verwerking
- Een nieuwe uitvoeringsengine die streamingquery's met een end-to-end-latentie van sub milliseconden kan uitvoeren door slechts één regel gebruikerscode te wijzigen. Zie de programmeerhandleiding voor meer informatie.
Stream-Stream Joins
- De mogelijkheid om twee gegevensstromen samen te voegen, waarbij rijen worden gebufferd totdat overeenkomende tuples in de andere stroom binnenkomen. Predicaten kunnen worden gebruikt voor gebeurtenistijdkolommen om de hoeveelheid status te binden die moet worden bewaard.
Streaming-API V2
- Een experimentele API voor het aansluiten van nieuwe bron- en sinks die geschikt zijn voor batch-, microbatch- en continue uitvoering. Deze API ondergaat nog steeds actieve ontwikkeling en wijzigingen die fouten veroorzaken, moeten worden verwacht.
MLlib
Hoogtepunten
- ML-voorspelling werkt nu met Structured Streaming, met behulp van bijgewerkte API's. De details volgen.
Nieuwe en verbeterde API's
- [SPARK-21866]: ingebouwde ondersteuning voor het lezen van afbeeldingen in een DataFrame (Scala/Java/Python).
- [SPARK-19634]: DataFrame-functies voor beschrijvende samenvattingsstatistieken over vectorkolommen (Scala/Java).
-
[SPARK-14516]: voor het
ClusteringEvaluator
afstemmen van clusteringalgoritmen, het ondersteunen van cosinus silhouet en metrische euclidean silhouetgegevens (Scala/Java/Python). - [SPARK-3181]: Robuuste lineaire regressie met Huber-verlies (Scala/Java/Python).
-
[SPARK-13969]:
FeatureHasher
transformator (Scala/Java/Python). - Ondersteuning voor meerdere kolommen voor verschillende functietransformatoren:
-
[SPARK-13030]:
OneHotEncoderEstimator
(Scala/Java/Python) -
[SPARK-22397]:
QuantileDiscretizer
(Scala/Java) -
[SPARK-20542]:
Bucketizer
(Scala/Java/Python)
-
[SPARK-13030]:
- [SPARK-21633] en SPARK-21542]: verbeterde ondersteuning voor aangepaste pijplijnonderdelen in Python.
Nieuwe functies
-
[SPARK-21087]:
CrossValidator
enTrainValidationSplit
kan alle modellen verzamelen wanneer ze passen (Scala/Java). Hiermee kunt u alle aangepaste modellen inspecteren of opslaan. -
[SPARK-19357]: Meta-algoritmen
CrossValidator
,TrainValidationSplit
OneVsRest
ondersteunen een parallellismeparam voor het aanpassen van meerdere submodellen in parallelle Spark-taken. - [SPARK-17139]: Modeloverzicht voor multinomiale logistieke regressie (Scala/Java/Python)
- [SPARK-18710]: Verschuiving toevoegen in GLM.
-
[SPARK-20199]: Param toegevoegd
featureSubsetStrategy
aanGBTClassifier
enGBTRegressor
. Door dit te gebruiken om subsample-functies te gebruiken, kan de trainingssnelheid aanzienlijk worden verbeterd; deze optie is een belangrijke kracht geweest vanxgboost
.
Andere belangrijke wijzigingen
-
[SPARK-22156]: Het schalen
Word2Vec
van leersnelheid met iteraties is opgelostnum
. Het nieuwe leerpercentage is ingesteld op overeenstemming met de oorspronkelijkeWord2Vec
C-code en moet betere resultaten opleveren van training. -
[SPARK-22289]: ondersteuning toegevoegd
JSON
voor matrixparameters (dit heeft een bug opgelost voor ML-persistentie bijLogisticRegressionModel
het gebruik van grenzen aan coëfficiënten.) -
[SPARK-22700]:
Bucketizer.transform
hiermee wordt de rij metNaN
. Wanneer ParamhandleInvalid
is ingesteld op 'overslaan',Bucketizer
zou een rij met een geldige waarde in de invoerkolom worden verwijderd als een andere (irrelevante) kolom eenNaN
waarde had. -
[SPARK-22446]: Katalysator optimizer veroorzaakt soms een
StringIndexerModel
onjuiste uitzondering 'Unseen label' wanneerhandleInvalid
deze is ingesteld op 'error'. Dit kan gebeuren voor gefilterde gegevens, vanwege push-down van predicaat, waardoor fouten ontstaan, zelfs nadat ongeldige rijen al zijn gefilterd uit de invoergegevensset. - [SPARK-21681]: Er is een fout opgelost in multinomiale logistieke regressie die resulteert in onjuiste coëfficiënten wanneer sommige functies geen variantie hadden.
- Belangrijke optimalisaties:
-
[SPARK-22707]: verminderd geheugenverbruik voor
CrossValidator
. -
[SPARK-22949]: verminderd geheugenverbruik voor
TrainValidationSplit
. -
[SPARK-21690]:
Imputer
moet trainen met behulp van één pass over de gegevens. -
[SPARK-14371]:
OnlineLDAOptimizer
vermijdt het verzamelen van statistieken voor het stuurprogramma voor elke minibatch.
-
[SPARK-22707]: verminderd geheugenverbruik voor
SparkR
De belangrijkste focus van SparkR in de release 2.3.0 was het verbeteren van de stabiliteit van UDF's en het toevoegen van verschillende nieuwe SparkR-wrappers rond bestaande API's:
Belangrijke functies
- Verbeterde functiepariteit tussen SQL en R
-
[SPARK-22933]: Structured Streaming-API's voor
withWatermark
,trigger
partitionBy
en stream-stream joins. - [SPARK-21266]: SparkR UDF met DDL-indeling voor schemaondersteuning.
- [SPARK-20726][SPARK-22924][SPARK-22843]: Verschillende nieuwe Dataframe-API-wrappers.
- [SPARK-15767][SPARK-21622][SPARK-20917][SPARK-20307][SPARK-20906]: Verschillende nieuwe SparkML API-wrappers.
GraphX
Optimalisaties
-
[SPARK-5484]: Pregel controleert nu periodiek controlepunten om te voorkomen
StackOverflowErrors
. - [SPARK-21491]: Kleine prestatieverbetering op verschillende plaatsen.
Afgeschafte onderdelen
Python
-
[SPARK-23122]: afgeschaft
register*
voor UDF's inSQLContext
enCatalog
in PySpark
MLlib
-
[SPARK-13030]:
OneHotEncoder
is afgeschaft en wordt verwijderd in 3.0. Het is vervangen door het nieuweOneHotEncoderEstimator
.OneHotEncoderEstimator
wordtOneHotEncoder
in 3.0 gewijzigd in 3.0 (maarOneHotEncoderEstimator
wordt bewaard als alias).
Wijzigingen in gedrag
SparkSQL
-
[SPARK-22036]: Rekenkundige bewerkingen tussen decimalen retourneren standaard een afgeronde waarde als een exacte weergave niet mogelijk is (in plaats van in de vorige versies te retourneren
NULL
) -
[SPARK-22937]: Wanneer alle invoer binair is, retourneert SQL
elt()
een uitvoer als binair. Anders wordt deze geretourneerd als een tekenreeks. In eerdere versies wordt deze altijd geretourneerd als een tekenreeks, ongeacht invoertypen. - [SPARK-22895]: De deterministische predicaten van het Join/Filter die zich na de eerste niet-deterministische predicaten bevinden, worden indien mogelijk ook omlaag gepusht/door de onderliggende operators. In de vorige versies komen deze filters niet in aanmerking voor predicaatpushdown.
-
[SPARK-22771]: Wanneer alle invoer binair is,
functions.concat()
wordt een uitvoer geretourneerd als binair. Anders wordt deze geretourneerd als een tekenreeks. In de vorige versies wordt deze altijd geretourneerd als een tekenreeks, ongeacht invoertypen. - [SPARK-22489]: Wanneer een van de join-zijden uitzendbaar is, geven we de voorkeur aan het uitzenden van de tabel die expliciet is opgegeven in een broadcast-hint.
-
[SPARK-22165]: Partitiekolomdeductie heeft eerder een onjuist gemeenschappelijk type gevonden voor verschillende uitgestelde typen. Eerder werd het bijvoorbeeld getypt als
double
het algemene type voordouble
het type endate
het type. Nu wordt het juiste algemene type gevonden voor dergelijke conflicten. Raadpleeg de migratiehandleiding voor meer informatie. -
[SPARK-22100]: De
percentile_approx
functie heeft eerder typeinvoer en uitvoertyperesultatennumeric
geaccepteerddouble
. Het ondersteunt nudate
type,timestamp
type ennumeric
typen als invoertypen. Het resultaattype wordt ook gewijzigd in hetzelfde als het invoertype, wat redelijker is voor percentielen. -
[SPARK-21610]: de query's uit onbewerkte JSON-/CSV-bestanden zijn niet toegestaan wanneer de kolommen waarnaar wordt verwezen alleen de interne beschadigde recordkolom bevatten (standaard benoemd
_corrupt_record
). In plaats daarvan kunt u de geparseerde resultaten in de cache opslaan of opslaan en vervolgens dezelfde query verzenden. - [SPARK-23421]: Sinds Spark 2.2.1 en 2.3.0 wordt het schema altijd tijdens runtime afgeleid wanneer de gegevensbrontabellen de kolommen bevatten die bestaan in zowel het partitieschema als het gegevensschema. Het uitgestelde schema heeft geen gepartitioneerde kolommen. Bij het lezen van de tabel respecteert Spark de partitiewaarden van deze overlappende kolommen in plaats van de waarden die zijn opgeslagen in de gegevensbestanden van de gegevensbron. In de release 2.2.0 en 2.1.x wordt het uitgestelde schema gepartitioneerd, maar de gegevens van de tabel zijn onzichtbaar voor gebruikers (de resultatenset is leeg).
PySpark
-
[SPARK-19732]:
na.fill()
offillna
accepteert booleaanse waarde en vervangt null-waarden door booleaanse waarden. In eerdere Spark-versies negeert PySpark het gewoon en retourneert het oorspronkelijke Gegevensset/DataFrame. -
[SPARK-22395]: pandas
0.19.2
of upper is vereist voor het gebruik van pandas-gerelateerde functies, zoalstoPandas
,createDataFrame
van pandas DataFrame, enzovoort. - [SPARK-22395]: het gedrag van tijdstempelwaarden voor pandas-gerelateerde functies is gewijzigd om de tijdzone van de sessie te respecteren, die wordt genegeerd in de vorige versies.
-
[SPARK-23328]:
df.replace
staat niet toe om weg te latenvalue
wanneerto_replace
dit geen woordenlijst is.value
Eerder kon worden weggelaten in de andere gevallen enNone
standaard had, wat contra-intuïtief en foutgevoelig is.
MLlib
-
Belangrijke API-wijzigingen: de klasse- en eigenschappenhiërarchie voor logistieke regressiemodelsamenvattingen is gewijzigd in schoner en beter geschikt voor de toevoeging van de samenvatting met meerdere klassen. Dit is een belangrijke wijziging voor gebruikerscode die een
LogisticRegressionTrainingSummary
naar eenBinaryLogisticRegressionTrainingSummary
. Gebruikers moeten in plaats daarvan demodel.binarySummary
methode gebruiken. Zie [SPARK-17139]: voor meer informatie (let op: dit is een@Experimental
API). Dit heeft geen invloed op de Python-samenvattingsmethode, die nog steeds correct werkt voor zowel multinomiale als binaire gevallen. -
[SPARK-21806]:
BinaryClassificationMetrics.pr()
eerste punt (0,0, 1.0) is misleidend en is vervangen door (0,0, p) waarbij precisie p overeenkomt met het laagste relevante punt. - [SPARK-16957]: beslissingsstructuren gebruiken nu gewogen middelpunten bij het kiezen van gesplitste waarden. Dit kan de resultaten van modeltraining wijzigen.
-
[SPARK-14657]:
RFormula
zonder een snijpunt wordt nu de referentiecategorie uitgevoerd bij het coderen van tekenreekstermen om het systeemeigen R-gedrag te vinden. Dit kan de resultaten van modeltraining wijzigen. -
[SPARK-21027]: de standaardparallelisme waarin wordt gebruikt
OneVsRest
, is nu ingesteld op 1 (bijvoorbeeld serieel). In 2.2 en eerdere versies is het niveau van parallelle uitvoering ingesteld op de standaardthreadpoolgrootte in Scala. Dit kan de prestaties wijzigen. -
[SPARK-21523]: Bijgewerkte Breeze naar
0.13.2
. Dit bevatte een belangrijke bug fix in sterke Wolfe lijn zoeken naar L-BFGS. - [SPARK-15526]: de JPMML-afhankelijkheid is nu gearceerd.
- Zie ook de sectie 'Opgeloste fouten' voor gedragswijzigingen als gevolg van het oplossen van fouten.
Bekende problemen
-
[SPARK-23523][SQL]: Onjuist resultaat veroorzaakt door de regel
OptimizeMetadataOnlyQuery
. - [SPARK-23406]: Bugs in stream-stream self-joins.
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 4.0.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.4 LTS
- Java: 1.8.0_151
- Scala: 2.11.8
- Python: 2.7.12 (of 3.5.2 als u Python 3 gebruikt)
- R: R versie 3.4.3 (2017-11-30)
-
GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
- Tesla bestuurder 375.66
- CUDA 8.0
- CUDNN 6.0
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffiffi | 1.7.0 |
chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
cryptografie | 1.5 | wielrijder | 0.10.0 | Cython | 0.24.1 |
decorateur | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
pexpect | 4.0.1 | pickleshare | 0.7.4 | Kussen | 3.3.1 |
pit | 9.0.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
scipy | 0.18.1 | schuren | 0.32 | seaborn | 0.7.1 |
setuptools | 38.5.1 | simplejson | 3.8.2 | simples3 | 1.0 |
singledispatch | 3.4.0.3 | Zes | 1.10.0 | statsmodels | 0.6.1 |
tornado | 4.5.3 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
virtualenv | 15.0.1 | wcwidth | 0.1.7 | wiel | 0.30.0 |
wsgiref | 0.1.2 |
Geïnstalleerde R-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.1 |
base | 3.4.3 | BH | 1.65.0-1 | bindr | 0,1 |
bindrcpp | 0,2 | bit | 1.1-12 | bit64 | 0.9-7 |
bitops | 1.0-6 | blob | 1.1.0 | opstarten | 1.3-20 |
brouwsel | 1.0-6 | bezem | 0.4.3 | car | 2.1-6 |
caret | 6.0-77 | Chron | 2.3-51 | class | 7.3-14 |
cluster | 2.0.6 | codetools | 0.2-15 | colorspace | 1.3-2 |
commonmark | 1.4 | compiler | 3.4.3 | Crayon | 1.3.4 |
curl | 3,0 | CVST | 0.2-1 | data.table | 1.10.4-3 |
gegevenssets | 3.4.3 | DBI | 0,7 | ddalpha | 1.3.1 |
DEoptimR | 1.0-8 | Desc | 1.1.1 | devtools | 1.13.4 |
dichromat | 2.0-0 | verteren | 0.6.12 | dimRed | 0.1.0 |
doMC | 1.3.4 | dplyr | 0.7.4 | DRR | 0.0.2 |
foreach | 1.4.3 | buitenlands | 0.8-69 | gbm | 2.1.3 |
ggplot2 | 2.2.1 | git2r | 0.19.0 | glmnet | 2.0-13 |
lijm | 1.2.0 | Gower | 0.1.2 | afbeeldingen | 3.4.3 |
grDevices | 3.4.3 | rooster | 3.4.3 | gsubfn | 0.6-6 |
gtable | 0.2.0 | h2o | 3.16.0.1 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
Iterators | 1.0.8 | jsonlite | 1.5 | kernlab | 0.9-25 |
KernSmooth | 2.23-15 | Labeling | 0,3 | latwerk | 0.20-35 |
lava | 1.5.1 | lazyeval | 0.2.1 | Littler | 0.3.2 |
lme4 | 1.1-14 | lubridate | 1.7.1 | magrittr | 1.5 |
mapproj | 1.2-5 | Kaarten | 3.2.0 | MASSA | 7.3-48 |
Matrix | 1.2-11 | MatrixModels | 0.4-1 | memoise | 1.1.0 |
methoden | 3.4.3 | mgcv | 1.8-23 | Mime | 0,5 |
minqa | 1.2.4 | mnormt | 1.5-5 | ModelMetrics | 1.1.0 |
munsell | 0.4.3 | mvtnorm | 1.0-6 | nlme | 3.1-131 |
nloptr | 1.0.4 | nnet | 7.3-12 | numDeriv | 2016.8-1 |
openssl | 0.9.9 | parallel | 3.4.3 | pbkrtest | 0.4-7 |
pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.1-1 |
plyr | 1.8.4 | loven | 1.0.0 | Proc | 1.10.0 |
prodlim | 1.6.1 | Proto | 1.0.0 | Psych | 1.7.8 |
purrr | 0.2.4 | quantreg | 5.34 | R.methodsS3 | 1.7.1 |
R.oo | 1.21.0 | R.utils | 2.6.0 | R6 | 2.2.2 |
randomForest | 4.6-12 | RColorBrewer | 1.1-2 | Rcpp | 0.12.14 |
RcppEigen | 0.3.3.3.1 | RcppRoll | 0.2.2 | RCurl | 1.95-4.8 |
recepten | 0.1.1 | hervorm2 | 1.4.2 | rlang | 0.1.4 |
robustbase | 0.92-8 | RODBC | 1.3-15 | roxygen2 | 6.0.1 |
rpart | 4.1-12 | rprojroot | 1.2 | Rserve | 1.7-3 |
RSQLite | 2.0 | rstudioapi | 0,7 | weegschaal | 0.5.0 |
sfsmisc | 1.1-1 | Sp | 1.2-5 | SparkR | 2.3.0 |
SparseM | 1.77 | ruimtelijk | 7.3-11 | Splines | 3.4.3 |
sqldf | 0.4-11 | statmod | 1.4.30 | Stats | 3.4.3 |
stats4 | 3.4.3 | stringi | 1.1.6 | stringr | 1.2.0 |
overleving | 2.41-3 | tcltk | 3.4.3 | TeachingDemos | 2.10 |
testthat | 1.0.2 | tibble | 1.3.4 | tidyr | 0.7.2 |
tidyselect | 0.2.3 | timeDate | 3042.101 | tools | 3.4.3 |
utils | 3.4.3 | viridisLite | 0.2.0 | snor | 0.3-2 |
withr | 2.1.0 | xml2 | 1.1.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.7.3 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.253 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.253 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.253 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.253 |
com.amazonaws | aws-java-sdk-config | 1.11.253 |
com.amazonaws | aws-java-sdk-core | 1.11.253 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.253 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.253 |
com.amazonaws | aws-java-sdk-directory | 1.11.253 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.253 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.253 |
com.amazonaws | aws-java-sdk-ecs | 1.11.253 |
com.amazonaws | aws-java-sdk-efs | 1.11.253 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.253 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.253 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.253 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.253 |
com.amazonaws | aws-java-sdk-emr | 1.11.253 |
com.amazonaws | aws-java-sdk-glacier | 1.11.253 |
com.amazonaws | aws-java-sdk-iam | 1.11.253 |
com.amazonaws | aws-java-sdk-importexport | 1.11.253 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.253 |
com.amazonaws | aws-java-sdk-kms | 1.11.253 |
com.amazonaws | aws-java-sdk-lambda | 1.11.253 |
com.amazonaws | aws-java-sdk-logs | 1.11.253 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.253 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.253 |
com.amazonaws | aws-java-sdk-rds | 1.11.253 |
com.amazonaws | aws-java-sdk-redshift | 1.11.253 |
com.amazonaws | aws-java-sdk-route53 | 1.11.253 |
com.amazonaws | aws-java-sdk-s3 | 1.11.253 |
com.amazonaws | aws-java-sdk-ses | 1.11.253 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.253 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.253 |
com.amazonaws | aws-java-sdk-sns | 1.11.253 |
com.amazonaws | aws-java-sdk-sqs | 1.11.253 |
com.amazonaws | aws-java-sdk-ssm | 1.11.253 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.253 |
com.amazonaws | aws-java-sdk-sts | 1.11.253 |
com.amazonaws | aws-java-sdk-support | 1.11.253 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.253 |
com.amazonaws | jmespath-java | 1.11.253 |
com.carrotsearch | hppc | 0.7.2 |
com.chuusai | shapeless_2.11 | 2.3.2 |
com.clearspring.analytics | stroom | 2.7.0 |
com.databricks | Rserve | 1.8-3 |
com.databricks | dbml-local_2.11 | 0.3.0-db1-spark2.3 |
com.databricks | dbml-local_2.11-tests | 0.3.0-db1-spark2.3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
com.esotericsoftware | kryo-gearceerd | 3.0.3 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.0.0 |
com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
com.fasterxml.jackson.core | jackson-core | 2.6.7 |
com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | kern | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.3.2-2 |
com.github.rwl | jtransforms | 2.4.0 |
com.google.code.findbugs | jsr305 | 2.0.1 |
com.google.code.gson | gson | 2.2.4 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | JavaEWAH | 0.3.2 |
com.h2database | h2 | 1.3.174 |
com.jamesmurty.utils | java-xmlbuilder | 1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.mchange | c3p0 | 0.9.5.1 |
com.mchange | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.0.11 |
com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.11 | 0,3 |
com.twitter | chill-java | 0.8.4 |
com.twitter | chill_2.11 | 0.8.4 |
com.twitter | parquet-hadoop-bundle | 1.6.0 |
com.twitter | util-app_2.11 | 6.23.0 |
com.twitter | util-core_2.11 | 6.23.0 |
com.twitter | util-jvm_2.11 | 6.23.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
com.univocity | univocity-parsers | 2.5.9 |
com.vlkan | flatbuffers | 1.2.0-3f79e055 |
com.zaxxer | HikariCP | 2.4.1 |
commons-beanutils | commons-beanutils | 1.7.0 |
commons-beanutils | commons-beanutils-core | 1.8.0 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1,10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuratie | commons-configuratie | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 2.2 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
io.airlift | aircompressor | 0,8 |
io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
io.dropwizard.metrics | metrics-json | 3.1.5 |
io.dropwizard.metrics | metrics-jvm | 3.1.5 |
io.dropwizard.metrics | metrics-log4j | 3.1.5 |
io.dropwizard.metrics | metrics-servlets | 3.1.5 |
io.netty | netty | 3.9.9.Final |
io.netty | netty-all | 4.1.17.Final |
io.prometheus | simpleclient | 0.0.16 |
io.prometheus | simpleclient_common | 0.0.16 |
io.prometheus | simpleclient_dropwizard | 0.0.16 |
io.prometheus | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | verzamelaar | 0,7 |
javax.activation | activering | 1.1.1 |
javax.annotatie | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.validation | validatie-API | 1.1.0.Final |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2,11 |
joda-time | joda-time | 2.9.3 |
log4j | apache-log4j-extra's | 1.2.17 |
log4j | log4j | 1.2.17 |
net.hydromatic | eigenbase-properties | 1.1.5 |
net.iharder | base64 | 2.3.8 |
net.java.dev.jets3t | jets3t | 0.9.4 |
net.razorvine | pyrolite | 4.13 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt | oncrpc | 1.0.7 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.4 |
org.antlr | antlr4-runtime | 4.7 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pijlnotatie | 0.8.0 |
org.apache.arrow | pijlgeheugen | 0.8.0 |
org.apache.arrow | pijlvector | 0.8.0 |
org.apache.avro | avro | 1.7.7 |
org.apache.avro | avro-ipc | 1.7.7 |
org.apache.avro | avro-ipc-tests | 1.7.7 |
org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
org.apache.calcite | calcite-avatica | 1.2.0-incubating |
org.apache.calcite | calcite-core | 1.2.0-incubating |
org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
org.apache.commons | commons-compress | 1.4.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.5 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recepten | 2.7.1 |
org.apache.derby | Derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
org.apache.hadoop | hadoop-auth | 2.7.3 |
org.apache.hadoop | hadoop-client | 2.7.3 |
org.apache.hadoop | hadoop-common | 2.7.3 |
org.apache.hadoop | hadoop-hdfs | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.4 |
org.apache.httpcomponents | httpcore | 4.4.8 |
org.apache.ivy | klimop | 2.4.0 |
org.apache.orc | orc-core-nohive | 1.4.1 |
org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
org.apache.parquet | parquet-column | 1.8.2-databricks1 |
org.apache.parquet | parquet-common | 1.8.2-databricks1 |
org.apache.parquet | parquet-codering | 1.8.2-databricks1 |
org.apache.parquet | parquet-indeling | 2.3.1 |
org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.9.3 |
org.apache.xbean | xbean-asm5-gearceerd | 4.4 |
org.apache.zookeeper | zookeeper | 3.4.6 |
org.bouncycastle | bcprov-jdk15on | 1.58 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.8 |
org.codehaus.janino | janino | 3.0.8 |
org.datanucleus | datanucleus-api-jdo | 3.2.6 |
org.datanucleus | datanucleus-core | 3.2.10 |
org.datanucleus | datanucleus-rdbms | 3.2.9 |
org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-vervolg | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
org.glassfish.jersey.core | jersey-client | 2.22.2 |
org.glassfish.jersey.core | jersey-common | 2.22.2 |
org.glassfish.jersey.core | jersey-server | 2.22.2 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
org.hibernate | sluimerstand-validator | 5.1.1.Final |
org.iq80.snappy | bits | 0,2 |
org.javassist | javassist | 3.18.1-GA |
org.jboss.logging | jboss-logging | 3.1.3.GA |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.11 | 3.2.11 |
org.json4s | json4s-core_2.11 | 3.2.11 |
org.json4s | json4s-jackson_2.11 | 3.2.11 |
org.lz4 | lz4-java | 1.4.0 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.mockito | mockito-all | 1.9.5 |
org.objenesis | objenesis | 2.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.5.11 |
org.rocksdb | rocksdbjni | 5.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.11 | 2.11.8 |
org.scala-lang | scala-library_2.11 | 2.11.8 |
org.scala-lang | scala-reflect_2.11 | 2.11.8 |
org.scala-lang | scalap_2.11 | 2.11.8 |
org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalanlp | breeze-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatest | scalatest_2.11 | 2.2.6 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | jul-to-slf4j | 1.7.16 |
org.slf4j | slf4j-api | 1.7.16 |
org.slf4j | slf4j-log4j12 | 1.7.16 |
org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
org.spark-project.hive | hive-cli | 1.2.1.spark2 |
org.spark-project.hive | hive-exec | 1.2.1.spark2 |
org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
org.spark-project.spark | ongebruikt | 1.0.0 |
org.spire-math | spire-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.tukaani | xz | 1.0 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | macro-compat_2.11 | 1.1.1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.2.6 |
org.yaml | snakeyaml | 1.16 |
oro | oro | 2.0.8 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |