Delen via

Databricks Runtime 4.2 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

Databricks heeft deze versie uitgebracht in juli 2018.

Belangrijk

Deze release is afgeschaft op 5 maart 2019. Zie databricks-ondersteuningslevenscyclussen voor meer informatie over het afschaffingsbeleid en de planning van Databricks Runtime.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 4.2, mogelijk gemaakt door Apache Spark.

Delta Lake

Databricks Runtime 4.2 voegt belangrijke kwaliteitsverbeteringen en functionaliteit toe aan Delta Lake. Databricks raadt ten zeerste aan dat alle Delta Lake-klanten upgraden naar de nieuwe runtime. Deze release blijft in Private Preview, maar het vertegenwoordigt een kandidaatrelease in afwachting van de aanstaande algemene beschikbaarheidsrelease (GA).

Nieuwe functies

  • Streams kunnen nu rechtstreeks worden geschreven naar een Delta-tabel die is geregistreerd in de Hive-metastore met behulp van df.writeStream.table(...).

Verbeteringen

  • Alle Delta Lake-opdrachten en -query's bieden nu ondersteuning voor het verwijzen naar een tabel met behulp van het bijbehorende pad als id:

    delta.`<path-to-table>`

    Eerder OPTIMIZE en VACUUM vereist niet-standaardgebruik van letterlijke tekenreeksen (dat wil gezegd, '<path-to-table>').

  • DESCRIBE HISTORY bevat nu de doorvoer-id en is standaard nieuw naar oud geordend.

Bugfixes

  • Filteren op basis van partitiepredicaten werkt nu correct, zelfs wanneer het geval van de predicaten verschilt van die van de tabel.
  • Er is een probleem opgelost met ontbrekende kolom AnalysisException bij het uitvoeren van gelijkheidscontroles op booleaanse kolommen in Delta-tabellen (dat wil booleanValue = truegezegd).
  • CREATE TABLE wijzigt het transactielogboek niet meer bij het maken van een aanwijzer naar een bestaande tabel. Dit voorkomt onnodige conflicten met gelijktijdige streams en maakt het maken van metastore-aanwijzer mogelijk naar tabellen waar de gebruiker alleen leestoegang tot de gegevens heeft.
  • Het aanroepen van display() een stream met grote hoeveelheden gegevens veroorzaakt geen OOM meer in het stuurprogramma.
  • AnalysisException wordt nu gegenereerd wanneer een onderliggend Delta Lake-pad wordt verwijderd, in plaats van lege resultaten te retourneren.
  • Delta Lake-configuraties waarvoor een specifieke protocolversie (bijvoorbeeld) is vereist, appendOnlykunnen alleen worden toegepast op tabellen met een geschikte versie.
  • Bij het bijwerken van de status van een Delta-tabel worden lange herkomstgegevens nu automatisch afgekapt om een StackOverFlowError.

Gestructureerd streamen

Nieuwe functies

  • Delta Lake en Kafka bieden nu volledige ondersteuning voor Trigger.Once. Eerder frequentielimieten (bijvoorbeeld maxOffsetsPerTrigger of maxFilesPerTrigger) die zijn opgegeven als bronopties of standaardwaarden, kunnen slechts een gedeeltelijke uitvoering van beschikbare gegevens tot gevolg hebben. Deze opties worden nu genegeerd wanneer Trigger.Once ze worden gebruikt, zodat alle momenteel beschikbare gegevens kunnen worden verwerkt.

  • Er is nieuwe streaming foreachBatch() toegevoegd in Scala, waar u een functie kunt definiëren om de uitvoer van elke microbatch te verwerken met behulp van DataFrame-bewerkingen. Dit maakt het volgende mogelijk:

    • Bestaande batchgegevensbronnen gebruiken om microbatch-uitvoer te schrijven naar systemen die nog geen streaminggegevensbron hebben (gebruik bijvoorbeeld Cassandra-batchschrijver op elke microbatch-uitvoer).
    • Microbatch-uitvoer naar meerdere locaties schrijven.
    • DataFrame- en tabelbewerkingen toepassen op microbatch-uitvoer die nog niet worden ondersteund in streaming DataFrames (bijvoorbeeld upsert microbatch-uitvoer in een Delta-tabel).

  • Functies toegevoegd from_avro/to_avro voor het lezen en schrijven van Avro-gegevens in een DataFrame in plaats van alleen bestanden, vergelijkbaar met from_json/to_json. Zie Avro-gegevens lezen en schrijven voor meer informatie.

  • Er is ondersteuning toegevoegd voor streaming foreach() in Python (al beschikbaar in Scala). Zie de documentatie voor foreach en foreachBatch voor meer informatie.

Verbeteringen

  • Sneller genereren van uitvoerresultaten en/of statusopruiming met stateful bewerkingen (mapGroupsWithStatestream-stream join, streamingaggregatie, streaming dropDuplicates) wanneer er geen gegevens in de invoerstroom staan.

Bugfixes

  • Er is een correctiefout opgelost in SPARK-24588 in stream-stream join waarbij join minder resultaten heeft gerapporteerd wanneer er een expliciete herpartitie voor is (bijvoorbeeld df1.repartition("a", "b").join(df, "a")).

Andere wijzigingen en verbeteringen

  • Er is ondersteuning toegevoegd voor sql Deny-opdracht voor clusters met toegangsbeheer voor tabellen. Gebruikers kunnen nu specifieke machtigingen weigeren op dezelfde manier als ze eerder kunnen worden verleend. Een geweigerde machtiging vervangt een verleende machtiging. Beheerders en eigenaren van een bepaald object mogen nog steeds acties uitvoeren.
  • Nieuwe Azure Data Lake Storage Gen2-gegevensbron die gebruikmaakt van het ABFS-stuurprogramma. Zie Verbinding maken met Azure Data Lake Storage Gen2 en Blob Storage
  • Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:
    • pip: van 10.0.0b2 tot 10.0.1
    • setuptools: van 39.0.1 tot 39.2.0
    • tornado: 5.0.1 tot 5.0.2
    • wiel: 0.31.0 tot 0.31.1
  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
  • Verbeterde Parquet-ondersteuning
  • Apache ORC bijgewerkt van 1.4.1 naar 1.4.3

Apache Spark

Databricks Runtime 4.2 bevat Apache Spark 2.3.1. Deze release bevat alle fixes en verbeteringen die zijn opgenomen in Databricks Runtime 4.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-24588][SS] Streaming join moet HashClusteredPartitioning van onderliggende items vereisen
  • [SPARK-23931][SQL] Maken arrays_zip in function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] Codegen herstellen wanneer splitsing is vereist voor arrays_zip
  • [SPARK-24578][CORE] De grootte van de geretourneerde niobuffer van het subgebied
  • [SPARK-24613][SQL] Cache met UDF kan niet worden vergeleken met volgende afhankelijke caches
  • [SPARK-24583][SQL] Verkeerd schematype in InsertIntoDataSourceCommand
  • [SPARK-24565][SS] API toevoegen voor in Structured Streaming voor het beschikbaar maken van uitvoerrijen van elke microbatch als een DataFrame
  • [SPARK-24396][SS][PYSPARK] Structured Streaming ForeachWriter voor Python toevoegen
  • [SPARK-24216][SQL] Spark TypedAggregateExpression maakt gebruik van getSimpleName die niet veilig is in Scala
  • [SPARK-24452][SQL][CORE] Vermijd mogelijke overloop in int add of multiple
  • [SPARK-24187][R][SQL] Array_join-functie toevoegen aan SparkR
  • [SPARK-24525][SS] Geef een optie op om het aantal rijen in een MemorySink te beperken
  • [SPARK-24331][SPARKR][SQL] Arrays_overlap, array_repeat map_entries toevoegen aan SparkR
  • [SPARK-23931][SQL] Voegt arrays_zip functie toe aan Spark SQL
  • [SPARK-24186][R][SQL] wijzig reverse and concat to collection functions in R
  • [SPARK-24198][SPARKR][SQL] Slice-functie toevoegen aan SparkR
  • [SPARK-23920][SQL] voeg array_remove toe om alle elementen te verwijderen die gelijk zijn aan een element uit de matrix
  • [SPARK-24197][SPARKR][SQL] Array_sort-functie toevoegen aan SparkR
  • [SPARK-24340][CORE] Niet-willekeurige schijfblokbeheerbestanden opschonen na afsluiten van een zelfstandig cluster
  • [SPARK-23935][SQL] Map_entries functie toevoegen
  • [SPARK-24500][SQL] Zorg ervoor dat stromen worden gerealiseerd tijdens treetransformaties.
  • [SPARK-24495][SQL] EnsureRequirement retourneert een onjuist plan bij het opnieuw ordenen van gelijke sleutels
  • [SPARK-24506][UI] UI-filters toevoegen aan tabbladen die zijn toegevoegd na binding
  • [SPARK-24468][SQL] Negatieve schaal afhandelen bij het aanpassen van precisie voor decimale bewerkingen
  • [SPARK-24313][SQL] De geïnterpreteerde evaluatie van verzamelingsbewerkingen voor complexe typen herstellen
  • [SPARK-23922][SQL] Functie arrays_overlap toevoegen
  • [SPARK-24369][SQL] Juiste verwerking voor meerdere afzonderlijke aggregaties met dezelfde argumentenet
  • [SPARK-24455][CORE] Typo corrigeren in de opmerking TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] TaskContext.getLocalProperty(key) toegevoegd in Python
  • [SPARK-24117][SQL] De getSizePerRow uniformeren
  • [SPARK-24156][SS] Fout oplossen bij het herstellen van de fout in een batch zonder gegevens
  • [SPARK-24414][UI] Bereken het juiste aantal taken voor een fase.
  • [SPARK-23754][PYTHON] StopIteration opnieuw genereren in clientcode
  • [SPARK-23991][DSTREAMS] Gegevensverlies oplossen wanneer WAL-schrijf mislukt in allocateBlocksToBatch
  • [SPARK-24373][SQL] AnalysisBarrier toevoegen aan het onderliggende onderliggende element Van RelationalGroupedDataset en KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Label pandas_udf als experimenteel
  • [SPARK-24334] Herstel racevoorwaarde in ArrowPythonRunner zorgt voor onzinnige afsluiting van arrow memory allocator
  • [SPARK-19112][CORE] Voeg ontbrekende shortCompressionCodecNames toe aan de configuratie.
  • [SPARK-24244][SPARK-24368][SQL] Alleen vereiste kolommen doorgeven aan de CSV-parser
  • [SPARK-24366][SQL] Verbetering van foutberichten voor het converteren van het type
  • [SPARK-24371][SQL] IsInCollection toegevoegd in dataframe-API voor Scala...
  • [SPARK-23925][SQL] Array_repeat-verzamelingsfunctie toevoegen
  • [SECUNDAIR] Poort-SSL-configuratie toevoegen in toString en scaladoc
  • [SPARK-24378][SQL] Onjuiste voorbeelden van date_trunc functie herstellen
  • [SPARK-24364][SS] Voorkomen dat InMemoryFileIndex mislukt als het bestandspad niet bestaat
  • [SPARK-24257][SQL] LongToUnsafeRowMap berekent mogelijk de nieuwe grootte onjuist
  • [SPARK-24348]Fout opgelost met [SQL] element_at"
  • [SPARK-23930][SQL] Slice-functie toevoegen
  • [SPARK-23416][SS] Voeg een specifieke stopmethode toe voor ContinuousExecution.
  • [SPARK-23852][SQL] Upgrade uitvoeren naar Parquet 1.8.3
  • [SPARK-24350][SQL] Hiermee wordt ClassCastException opgelost in de functie array_position
  • [SPARK-24321][SQL] Algemene code extraheren uit Divide/Rest naar een basiskenmerk
  • [SPARK-24309][CORE] AsyncEventQueue moet stoppen bij interrupt.
  • [SPARK-23850][SQL] Voeg afzonderlijke configuratie toe voor redaction voor SQL-opties.
  • [SPARK-22371][CORE] Retourneer geen in plaats van een uitzondering te genereren wanneer een accumulator afval wordt verzameld.
  • [SPARK-24002][SQL] Taak kan niet worden serializeerbaar veroorzaakt door org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Functie array_sort toevoegen
  • [SPARK-23923][SQL] Kardinaliteitsfunctie toevoegen
  • [SPARK-24159][SS] Microbatches zonder gegevens inschakelen voor streaming mapGroupswithState
  • [SPARK-24158][SS] Batches zonder gegevens inschakelen voor streaming-joins
  • [SPARK-24157][SS] Batches zonder gegevens in MicroBatchExecution ingeschakeld voor streamingaggregatie en ontdubbeling
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet produceert verkeerde statistieken voor STRING
  • [SPARK-17916][SQL] Probleem opgelost dat een lege tekenreeks wordt geparseerd als null wanneer nullValue is ingesteld.
  • [SPARK-23916][SQL] Functie array_join toevoegen
  • [SPARK-23408][SS] Opeenvolgende AddData-acties synchroniseren in Streaming*JoinSuite
  • [SPARK-23780][R] Kan googleVis-bibliotheek niet gebruiken met nieuwe SparkR
  • [SPARK-23821][SQL] Verzamelingsfunctie: afgevlakt
  • [SPARK-23627][SQL] Geef isEmpty op in de gegevensset
  • [SPARK-24027][SQL] Ondersteuning voor MapType met StringType voor sleutels als hoofdtype door from_json
  • [SPARK-24035][SQL] SQL-syntaxis voor Pivot- antlr-waarschuwing herstellen
  • [SPARK-23736][SQL] De samenvoegfunctie uitbreiden om matrixkolommen te ondersteunen
  • [SPARK-24246][SQL] AnalysisException verbeteren door de oorzaak in te stellen wanneer deze beschikbaar is
  • [SPARK-24263][R] Java-controle-einden voor SparkR met openjdk
  • [SPARK-24262][PYTHON] Typfout in UDF-typefoutfout opgelost
  • [SPARK-24067][STREAMING][KAFKA] Niet-opeenvolgende offsets toestaan
  • [SPARK-10878][CORE] Racevoorwaarde oplossen wanneer meerdere clients artefacten tegelijkertijd oplossen
  • [SPARK-19181][CORE] Flaky 'SparkListenerSuite.local metrics' herstellen
  • [SPARK-24068]De opties van DataFrameReader doorgeven aan tekstgegevensbron op schema
  • [SPARK-24214][SS] Fix toJSON for StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Functie array_position/element_at toevoegen
  • [SPARK-23926][SQL] Omgekeerde functie uitbreiden om matrixtype-argumenten te ondersteunen
  • [SPARK-23809][SQL] Active SparkSession moet worden ingesteld door getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Aangepaste codering voor json-bestanden ondersteunen
  • [SPARK-24035][SQL] SQL-syntaxis voor Pivot
  • [SPARK-24069][R] Array_min/array_max-functies toevoegen
  • [SPARK-23976][CORE] Lengteoverloop detecteren in UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Api-eindpunt '/version' herstellen.
  • [SPARK-24128][SQL] Configuratieoptie vermelden in impliciete CROSS JOIN-fout
  • [SPARK-23291][SQL][R] De subtekenreeks van R mag de beginpositie niet verminderen door 1 bij het aanroepen van Scala-API
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper moet isZero correct definiëren
  • [SPARK-24168][SQL] WindowExec mag geen toegang krijgen tot SQLConf aan de uitvoerderszijde
  • [SPARK-24143]lege blokken filteren wanneer mapstatus wordt geconverteerd naar (blockId, grootte) paar
  • [SPARK-23917][SPARK-23918][SQL] Functie array_max/array_min toevoegen
  • [SPARK-23905][SQL] UDF-weekdag toevoegen
  • [SPARK-16406][SQL] Prestaties van LogicalPlan.resolve verbeteren
  • [SPARK-24013][SQL] Overbodig comprimeren verwijderen in ApproximatePercentile
  • [SPARK-23433][CORE] Latere zombie-taakvoltooiingen werken alle takensets bij
  • [SPARK-24169][SQL] JsonToStructs mag geen toegang krijgen tot SQLConf aan de uitvoerderszijde
  • [SPARK-24133][SQL] Backport [SPARK-24133]Controleren op overloop van gehele getallen bij het wijzigen van de grootte van WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec mag geen toegang krijgen tot SQLConf aan de uitvoerderszijde
  • [SPARK-24133][SQL] Controleren op overloop van gehele getallen bij het wijzigen van het formaat WritableColumnVectors
  • [SPARK-24085][SQL] Query retourneert UnsupportedOperationException wanneer scalaire subquery aanwezig is in de partitioneringsexpressie
  • [SPARK-24062][THRIFT-SERVER] Probleem met SASL-versleuteling kan niet worden ingeschakeld op de riftserver
  • [SPARK-23004][SS] Zorg ervoor dat StateStore.commit slechts eenmaal wordt aangeroepen in een streamingaggregatietaak
  • [SPARK-23188][SQL] De batchgrootte van de gevectoriseerde columarlezer configureerbaar maken
  • [SPARK-23375][SPARK-23973][SQL] Overbodige sortering in Optimizer elimineren
  • [SPARK-23877][SQL] Filterpredicaten gebruiken om partities in query's met alleen metagegevens te verwijderen
  • [SPARK-24033][SQL] Niet-overeenkomende vensterframe opgegevenwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Apache ORC upgraden naar 1.4.3
  • Los een ontbrekend null-controleprobleem op dat waarschijnlijk wordt geactiveerd door gestroomlijnde generatie van experssion-code en beschikbaar gemaakt door SPARK-23986, omdat deze de gegenereerde broncode iets langer heeft gemaakt en het problematische codepad heeft geactiveerd (code splitsen door Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] exchange moet gegevens kopiëren voordat niet-geserialiseerde willekeurige volgorde
  • [SPARK-24021][CORE] Opgeloste fout in de updateBlacklistForFetchFailure van BlacklistTracker
  • [SPARK-24014][PYSPARK] Methode onStreamingStarted toevoegen aan StreamingListener
  • [SPARK-23963][SQL] Een groot aantal kolommen in query's op de juiste manier verwerken in een Hive-tabel op basis van tekst
  • [SPARK-23948] Taaklistener van Trigger mapstage activeren in submitMissingTasks
  • [SPARK-23986][SQL] freshName kan niet-unieke namen genereren
  • [SPARK-23835][SQL] Not-null-controle toevoegen aan de argumentendeserialisatie van Tuples

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 4.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
  • R: R versie 3.4.4 (2018-03-15)
  • GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
    • Tesla bestuurder 375.66
    • CUDA 9.0
    • cuDNN 7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffiffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptografie 1.5 wielrijder 0.10.0 Cython 0.24.1
decorateur 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Kussen 3.3.1
pit 10.0.1 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 schuren 0.32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Zes 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wiel 0.31.1
wsgiref 0.1.2

Geïnstalleerde R-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 opstarten 1.3-20
brouwsel 1.0-6 bezem 0.4.4 car 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
Chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 Crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
gegevenssets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 verteren 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 buitenlands 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 lijm 1.2.0 Gower 0.1.2
afbeeldingen 3.4.4 grDevices 3.4.4 rooster 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 Labeling 0,3 latwerk 0.20-35
lava 1.6.1 lazyeval 0.2.1 Littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 Kaarten 3.3.0 maptools 0.9-2
MASSA 7.3-50 Matrix 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methoden 3.4.4 mgcv 1.8-24
Mime 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pilaar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 loven 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 Proto 1.0.0
Psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 leesbewerking 1.1.1 readxl 1.0.0
recepten 0.1.2 Rematch 1.0.1 hervorm2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 weegschaal 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.1 SparseM 1.77
ruimtelijk 7.3-11 Splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 Stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
overleving 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
snor 0.3-2 withr 2.1.2 xml2 1.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stroom 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-gearceerd 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.0.0
com.fasterxml.jackson.core jackson-annotaties 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrische gegevenskern 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrische gegevensgrafiet 3.1.5
io.dropwizard.metrics metrische statuscontroles 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx verzamelaar 0,7
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validatie-API 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.8.0
org.apache.arrow pijlgeheugen 0.8.0
org.apache.arrow pijlvector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy klimop 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-codering 1.8.3-databricks2
org.apache.parquet parquet-indeling 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-gearceerd 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-vervolg 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate sluimerstand-validator 5.1.1.Final
org.iq80.snappy bits 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark ongebruikt 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52