Freigeben über

Databricks Runtime 4.2 (EoS)

  • Artikel

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Diese Version wurde von Databricks im Juli 2018 veröffentlicht.

Wichtig

Dieses Release ist am 5. März 2019 veraltet. Weitere Informationen zur Databricks Runtime-Veraltungsrichtlinie und zum Zeitplan finden Sie unter Supportlebenszyklus von Databricks.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 4.2 mit Unterstützung durch Apache Spark.

Delta Lake

In Databricks Runtime 4.2 werden wichtige Qualitätsverbesserungen und Funktionen für Delta Lake hinzugefügt. Databricks empfiehlt allen Delta Lake-Kunden dringend, ein Upgrade auf die neue Runtime durchzuführen. Dieses Release verbleibt in der privaten Vorschau, ist aber ein Releasekandidat in Vorbereitung auf die anstehende Allgemeinverfügbarkeitsversion (GA).

Neue Funktionen

  • Streams können jetzt direkt in eine Delta-Tabelle geschrieben werden, die mithilfe von df.writeStream.table(...) im Hive-Metastore registriert ist.

Verbesserungen

  • Alle Delta Lake-Befehle und -Abfragen unterstützen jetzt das Verweisen auf eine Tabelle mit ihrem Pfad als Bezeichner:

    delta.`<path-to-table>`

    Zuvor erforderten OPTIMIZE und VACUUM eine nicht standardmäßige Verwendung von Zeichenfolgenliteralen (d. h. '<path-to-table>').

  • DESCRIBE HISTORY enthält jetzt die Commit-ID und ist standardmäßig vom Neuesten zum Ältesten geordnet.

Fehlerbehebungen

  • Die auf Partitionsprädikaten basierende Filterung funktioniert jetzt auch dann ordnungsgemäß, wenn sich der Fall der Prädikate von dem der Tabelle unterscheidet.
  • Fehlende Spalte AnalysisException beim Ausführen von Gleichheitsprüfungen für boolesche Spalten in Delta-Tabellen (d. h. booleanValue = true) wurde behoben.
  • CREATE TABLE ändert das Transaktionsprotokoll nicht mehr, wenn ein Zeiger auf eine vorhandene Tabelle erstellt wird. Dies verhindert unnötige Konflikte mit gleichzeitigen Streams und ermöglicht die Erstellung eines Metastore-Zeigers auf Tabellen, in denen der Benutzer nur Lesezugriff auf die Daten hat.
  • Das Aufrufen von display() für einen Stream mit großen Datenmengen führt nicht mehr zu Arbeitsspeichermangel im Treiber.
  • AnalysisException wird jetzt ausgelöst, wenn ein zugrunde liegender Delta Lake-Pfad gelöscht wird, anstatt leere Ergebnisse zurückzugeben.
  • Delta Lake-Konfigurationen, die eine bestimmte Protokollversion erfordern (z. B. appendOnly), können nur auf Tabellen mit einer entsprechenden Version angewendet werden.
  • Beim Aktualisieren des Status einer Delta-Tabelle werden lange Zeilen jetzt automatisch abgeschnitten, um einen StackOverFlowError zu vermeiden.

Strukturiertes Streaming

Neue Funktionen

  • Delta Lake und Kafka unterstützen Trigger.Once jetzt vollständig. Zuvor als Quelloptionen oder Standardwerte angegebene Datenübertragungsraten-Limits (z. B. maxOffsetsPerTrigger oder maxFilesPerTrigger) konnten nur zu einer teilweisen Ausführung verfügbarer Daten führen. Diese Optionen werden jetzt ignoriert, wenn Trigger.Once verwendet wird, sodass alle derzeit verfügbaren Daten verarbeitet werden können.

  • Es wurde ein neues Streaming foreachBatch() in Scala hinzugefügt, in dem Sie eine Funktion definieren können, um die Ausgabe jedes Microbatchs mithilfe von DataFrame-Vorgängen zu verarbeiten. Dies ermöglicht Folgendes:

    • Verwenden vorhandener Batchdatenquellen zum Schreiben von Microbatchausgaben in Systeme, die noch keine Streamingdatenquelle haben (verwenden Sie beispielsweise Cassandra-Batchwriter für jede Microbatchausgabe).
    • Schreiben der Microbatchausgabe an mehrere Speicherorte.
    • Anwenden von DataFrame- und Tabellenvorgängen auf Microbatchausgaben, die in Streaming-DataFrames noch nicht unterstützt werden (z. B. Ausführen eines Upserts in Microbatchausgaben in eine Delta-Tabelle).

  • Es wurden from_avro/to_avro-Funktionen zum Lesen und Schreiben von Avro-Daten in einem DataFrame anstatt einfach nur in Dateien hinzugefügt, ähnlich wie from_json/to_json. Weitere Informationen finden Sie unter Lesen und Schreiben von Avro-Streamingdaten.

  • Unterstützung für das Streaming foreach() wurde in Python hinzugefügt (bereits in Scala verfügbar). Weitere Informationen finden Sie unter Schreiben in beliebige Datensenken.

Verbesserungen

  • Schnellere Generierung von Ausgabeergebnissen und/oder Zustandsbereinigung mit zustandsbehafteten Vorgängen (mapGroupsWithState, Stream-Stream-Join, Streamingaggregation, Streaming-dropDuplicates), wenn keine Daten im Eingabestream enthalten sind.

Fehlerbehebungen

  • Fehler SPARK-24588 im Stream-Stream-Join wurde behoben, wobei der Join weniger Ergebnisse meldete, wenn zuvor eine explizite Neupartitionierung stattfand (z. B. df1.repartition("a", "b").join(df, "a")).

Weitere Änderungen und Verbesserungen

  • Unterstützung für den SQL Deny-Befehl für Cluster mit aktivierter Tabellenzugriffssteuerung wurde hinzugefügt. Benutzer können jetzt bestimmte Berechtigungen auf die gleiche Weise verweigern, wie sie zuvor erteilt werden konnten. Eine verweigerte Berechtigung ersetzt eine erteilte Berechtigung. Administratoren und Besitzer eines bestimmten Objekts dürfen weiterhin immer Aktionen ausführen.
  • Neue Azure Data Lake Storage Gen2-Datenquelle, die den ABFS-Treiber verwendet. Weitere Informationen finden Sie unter Herstellen einer Verbindung mit Azure Data Lake Storage Gen2 und Blob Storage.
  • Einige installierte Python-Bibliotheken haben ein Upgrade erhalten:
    • pip: von 10.0.0b2 auf 10.0.1
    • setuptools: von 39.0.1 auf 39.2.0
    • tornado: von 5.0.1 auf 5.0.2
    • wheel: von 0.31.0 auf 0.31.1
  • Mehrere installierte R-Bibliotheken haben ein Upgrade erhalten. Weitere Informationen finden Sie unter Installierte R-Bibliotheken.
  • Verbesserte Parquet-Unterstützung
  • Upgrade von Apache ORC von 1.4.1 auf 1.4.3

Apache Spark

Databricks Runtime 4.2 enthält Apache Spark 2.3.1. Dieses Release enthält alle Fixes und Verbesserungen, die in Databricks Runtime 4.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Bugfixes und Verbesserungen für Spark:

  • [SPARK-24588][SS] Streamingjoin sollte HashClusteredPartitioning von untergeordneten Elementen erfordern
  • [SPARK-23931][SQL] Aus arrays_zip in function.scala wurde @scala.annotation.varargs gemacht.
  • [SPARK-24633][SQL] Codegen-Korrektur, wenn die Aufteilung für die arrays_zip erforderlich ist
  • [SPARK-24578][CORE] Begrenzung der Größe des zurückgegebenen NIO-Puffers des Teilbereichs
  • [SPARK-24613][SQL] Cache mit UDF konnte nicht mit nachfolgenden abhängigen Caches übereinstimmen
  • [SPARK-24583][SQL] Falscher Schematyp in InsertIntoDataSourceCommand
  • [SPARK-24565][SS] Hinzufügen von API für strukturiertes Streaming, um Ausgabezeilen jedes Microbatchs als DataFrame verfügbar zu machen
  • [SPARK-24396][SS][PYSPARK] Hinzufügen von strukturiertem Streaming für ForeachWriter für Python
  • [SPARK-24216][SQL] Spark TypedAggregateExpression verwendet in Scala nicht sicheren getSimpleName
  • [SPARK-24452][SQL][CORE] Vermeiden des möglichen Überlaufs in „int add“ oder „multiple“
  • [SPARK-24187][R][SQL] Hinzufügen der array_join-Funktion zu SparkR
  • [SPARK-24525][SS] Angeben einer Option, um die Anzahl der Zeilen in einem MemorySink zu beschränken
  • [SPARK-24331][SPARKR][SQL] Hinzufügen von arrays_overlap, array_repeat, map_entries zu SparkR
  • [SPARK-23931][SQL] Hinzufügen der arrays_zip-Funktion zu Spark SQL
  • [SPARK-24186][R][SQL] Ändern von „Umkehren“ und „Verketten“ in Sammlungsfunktionen in R
  • [SPARK-24198][SPARKR][SQL] Hinzufügen einer Slicefunktion zu SparkR
  • [SPARK-23920][SQL] Hinzufügen von array_remove, um alle Elemente zu entfernen, die gleich dem Element aus dem Array sind
  • [SPARK-24197][SPARKR][SQL] Hinzufügen der array_sort-Funktion zu SparkR
  • [SPARK-24340][CORE] Bereinigen von Nicht-Shuffle-Datenträgerblock-Manager-Dateien, nachdem Executor in einem eigenständigen Cluster beendet wurde
  • [SPARK-23935][SQL] Hinzufügen der map_entries-Funktion
  • [SPARK-24500][SQL] Sicherstellen, dass Streams während Strukturtransformationen materialisiert werden.
  • [SPARK-24495][SQL] EnsureRequirement gibt beim Neuanordnen gleicher Schlüssel falschen Plan zurück
  • [SPARK-24506][UI] Hinzufügen von Benutzeroberflächenfiltern zu Registerkarten, die nach der Bindung hinzugefügt wurden
  • [SPARK-24468][SQL] Verarbeiten der negativen Skalierung beim Anpassen der Genauigkeit für Dezimaloperationen
  • [SPARK-24313][SQL] Korrektur der interpretierten Auswertung von Sammlungsvorgängen für komplexe Typen
  • [SPARK-23922][SQL] Hinzufügen der arrays_overlap-Funktion
  • [SPARK-24369][SQL] Richtige Behandlung für mehrere unterschiedliche Aggregationen mit demselben Argumentsatz
  • [SPARK-24455][CORE] Korrektur eines Tippfehlers im TaskSchedulerImpl-Kommentar
  • [SPARK-24397][PYSPARK] TaskContext.getLocalProperty(key) wurde in Python hinzugefügt
  • [SPARK-24117][SQL] Vereinheitlichen von getSizePerRow
  • [SPARK-24156][SS] Korrektur eines Fehlers bei der Wiederherstellung nach einem Fehler in einem Batch ohne Daten
  • [SPARK-24414][UI] Berechnen der richtigen Anzahl von Aufgaben für eine Phase.
  • [SPARK-23754][PYTHON] Erneutes Auslösen von StopIteration im Clientcode
  • [SPARK-23991][DSTREAMS] Korrektur des Datenverlusts, wenn beim WAL-Schreibzugriff in allocateBlocksToBatch ein Fehler auftritt
  • [SPARK-24373][SQL] Hinzufügen von AnalysisBarrier zum untergeordneten Element von RelationalGroupedDataset und KeyValueGroupedDataset
  • [SPARK-24392][PYTHON] Bezeichnen von pandas_udf als experimentell
  • [SPARK-24334] Dass die Racebedingung in ArrowPythonRunner zu einem nicht sauberen Herunterfahren der Arrow-Speicherzuweisung führte, wurde korrigiert
  • [SPARK-19112][CORE] Fehlende shortCompressionCodecNames wurden der Konfiguration hinzugefügt.
  • [SPARK-24244][SPARK-24368][SQL] Nur Übergabe erforderlicher Spalten an den CSV-Parser
  • [SPARK-24366][SQL] Verbesserung der Fehlermeldungen bei der Typkonvertierung
  • [SPARK-24371][SQL] isInCollection in DataFrame-API für Scala wurde hinzugefügt...
  • [SPARK-23925][SQL] Hinzufügen der array_repeat-Sammlungsfunktion
  • [MINOR] Hinzufügen der SSL-Portkonfiguration in toString und scaladoc
  • [SPARK-24378][SQL] Korrektur der falschen Beispiele für die date_trunc-Funktion
  • [SPARK-24364][SS] Verhindern, dass bei InMemoryFileIndex ein Fehler auftritt, wenn der Dateipfad nicht existiert
  • [SPARK-24257][SQL] LongToUnsafeRowMap: Berechnung der neuen Größe kann falsch sein
  • [SPARK-24348][SQL] Fehlerkorrektur: „element_at“
  • [SPARK-23930][SQL] Hinzufügen der Slicefunktion
  • [SPARK-23416][SS] Hinzufügen einer bestimmten Stoppmethode für ContinuousExecution.
  • [SPARK-23852][SQL] Upgrade auf Parquet 1.8.3
  • [SPARK-24350][SQL] Korrektur von ClassCastException in der Funktion „array_position“
  • [SPARK-24321][SQL] Extrahieren von gemeinsamem Code aus Division/Rest in eine Basiseigenschaft
  • [SPARK-24309][CORE] AsyncEventQueue sollte bei Unterbrechung stoppen.
  • [SPARK-23850][SQL] Hinzufügen separater Konfiguration für SQL-Optionenbearbeitung.
  • [SPARK-22371][CORE] Zurückgeben von „Keine“, anstatt eine Ausnahme zu auslösen, wenn ein Akkumulator vom Garbage Collector bearbeitet wird.
  • [SPARK-24002][SQL] Aufgabe nicht serialisierbar, verursacht durch org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] Hinzufügen der array_sort-Funktion
  • [SPARK-23923][SQL] Hinzufügen der Kardinalitätsfunktion
  • [SPARK-24159][SS] Aktivieren von Microbatches ohne Daten für Streaming von mapGroupswithState
  • [SPARK-24158][SS] Aktivieren von Batches ohne Daten für Streamingjoins
  • [SPARK-24157][SS] Aktivieren von Batches ohne Daten in MicroBatchExecution für Streamingaggregation und Deduplizierung
  • [SPARK-23799][SQL] FilterEstimation.evaluateInSet erzeugt falsche Statistiken für STRING
  • [SPARK-17916][SQL] Korrektur der Analyse einer leeren Zeichenfolge als NULL, wenn nullValue festgelegt ist.
  • [SPARK-23916][SQL] Hinzufügen der array_join-Funktion
  • [SPARK-23408][SS] Synchronisieren aufeinanderfolgender AddData-Aktionen in Streaming*JoinSuite
  • [SPARK-23780][R] Fehler bei der Verwendung der googleVis-Bibliothek mit dem neuen SparkR
  • [SPARK-23821][SQL] Sammlungsfunktion: Vereinfachen
  • [SPARK-23627][SQL] Bereitstellen von IsEmpty in Dataset
  • [SPARK-24027][SQL] Unterstützung von MapType mit StringType für Schlüssel als Stammtyp durch from_json
  • [SPARK-24035][SQL] SQL-Syntax für Pivot: Antlr-Warnung korrigiert
  • [SPARK-23736][SQL] Erweitern der concat-Funktion zur Unterstützung von Arrayspalten
  • [SPARK-24246][SQL] Verbessern von AnalysisException durch Ermitteln der Ursache, wenn verfügbar
  • [SPARK-24263][R] SparkR-Java-Prüfung bricht mit openjdk ab
  • [SPARK-24262][PYTHON] Tippfehler in UDF-Typübereinstimmungs-Fehlermeldung korrigiert
  • [SPARK-24067][STREAMING][KAFKA] Nicht aufeinander folgende Offsets zulassen
  • [SPARK-10878][CORE] Racebedingung, wenn mehrere Clients gleichzeitig Artefakte auflösen, korrigiert
  • [SPARK-19181][CORE] Korrigieren von merkwürdigen „SparkListenerSuite.local-Metriken“
  • [SPARK-24068] Weitergabe der DataFrameReader-Optionen an die Text-Datenquelle beim Schemarückschluss
  • [SPARK-24214][SS] Korrektur von toJSON für StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Hinzufügen von array_position/element_at-Funktion
  • [SPARK-23926][SQL] Erweitern der Umkehrfunktion zur Unterstützung von ArrayType-Argumenten
  • SPARK-23809[SQL] Aktive SparkSession sollte über getOrCreate festgelegt werden
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Unterstützung der benutzerdefinierten Codierung für JSON-Dateien
  • [SPARK-24035][SQL] SQL-Syntax für Pivot
  • [SPARK-24069][R] array_min- / array_max-Funktionen hinzugefügt
  • [SPARK-23976][CORE] Erkennen des Längenüberlaufs in UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] Wiederherstellen des API-Endpunkts „/version“.
  • [SPARK-24128][SQL] Angabe der Konfigurationsoption im impliziten CROSS JOIN-Fehler
  • [SPARK-23291][SQL][R] Substr von R sollte beim Aufruf der Scala-API die Startposition nicht um 1 reduzieren
  • [SPARK-23697][CORE] LegacyAccumulatorWrapper sollte isZero richtig definieren
  • [SPARK-24168][SQL] WindowExec sollte nicht auf Executorseite auf SQLConf zugreifen
  • [SPARK-24143] Filtern von leeren Blöcken bei der Umwandlung von mapstatus in das Paar (blockId, size)
  • [SPARK-23917][SPARK-23918][SQL] Hinzufügen der array_max/array_min-Funktion
  • [SPARK-23905][SQL] Hinzufügen von UDF-Wochentag
  • [SPARK-16406][SQL] Verbessern der Leistung von LogicalPlan.resolve
  • [SPARK-24013][SQL] Entfernen nicht benötigter Komprimierung in ApproximatePercentile
  • [SPARK-23433][CORE] Späte Abschlüsse von Zombie-Tasks aktualisieren alle Tasksets
  • [SPARK-24169][SQL] JsonToStructs sollte nicht auf Executorseite auf SQLConf zugreifen
  • [SPARK-24133][SQL] Backport [SPARK-24133]Überprüfen auf Ganzzahlüberläufe beim Ändern der Größe von WritableColumnVectors
  • [SPARK-24166][SQL] InMemoryTableScanExec sollte nicht auf Executorseite auf SQLConf zugreifen
  • [SPARK-24133][SQL] Überprüfen auf Ganzzahlüberläufe beim Ändern der Größe von WritableColumnVectors
  • [SPARK-24085][SQL] Abfrage gibt UnsupportedOperationException zurück, wenn eine skalare Unterabfrage im Partitionierungsausdruck vorhanden ist
  • [SPARK-24062][THRIFT SERVER] Korrektur des Thrift-Server-Problems, dass SASL-Verschlüsselung nicht aktiviert werden kann
  • [SPARK-23004][SS] Sicherstellen, dass StateStore.commit in einem Streamingaggregationstask nur einmal aufgerufen wird
  • [SPARK-23188][SQL] Vektorisierte Spaltenleserbatchgröße konfigurierbar machen
  • [SPARK-23375][SPARK-23973][SQL] Entfernen nicht benötigter Sortierung im Optimierer
  • [SPARK-23877][SQL] Verwenden von Filterprädikaten zum Bereinigen von Partitionen in ausschließlichen Metadatenabfragen
  • [SPARK-24033][SQL] Korrektur fehlender Übereinstimmung bei Window Frame specifiedwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] Upgrade von Apache ORC auf 1.4.3
  • Es wurde ein Problem mit einer fehlenden NULL-Überprüfung behoben, das wahrscheinlicher durch die optimierte Generierung von Ausdruckscode ausgelöst wird und durch SPARK-23986 zutage tritt, da der generierte Quellcode etwas länger wurde und der problematische Codepfad ausgelöst wurde (Codeaufteilung durch Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] Austausch sollte Daten vor nicht serialisiertem Shuffle kopieren
  • [SPARK-24021][CORE] Korrektur eines Fehlers in updateBlacklistForFetchFailure von BlacklistTracker
  • [SPARK-24014][PYSPARK] Hinzufügen der onStreamingStarted-Methode zu StreamingListener
  • [SPARK-23963][SQL] Ordnungsgemäße Verarbeitung einer großen Anzahl von Spalten in Abfragen für textbasierte Hive-Tabellen
  • [SPARK-23948] Auslösen des mapstage-Auftragslisteners in submitMissingTasks
  • [SPARK-23986][SQL] freshName kann Namen generieren, die nicht eindeutig sind
  • [SPARK-23835][SQL] Hinzufügen der Nicht-NULL-Überprüfung zur Deserialisierung von Tupelargumenten

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 4.2-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 für Python 2-Cluster und 3.5.2 für Python 3-Cluster.
  • R: R-Version 3.4.4 (2018-03-15)
  • GPU-Cluster: Die folgenden NVIDIA-GPU-Bibliotheken sind installiert:
    • Tesla-Treiber 375.66
    • CUDA 9.0
    • cuDNN 7.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptography 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 futures 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0,23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 10.0.1 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
Python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0,32 seaborn 0.7.1
setuptools 39.2.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 sechs 1.10.0 statsmodels 0.6.1
tornado 5.0.2 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

Installierte R-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 Blob 1.1.1 boot 1.3-20
brew 1.0-6 broom 0.4.4 Auto 3.0-0
carData 3.0-1 caret 6.0-79 cellranger 1.1.0
chron 2.3-52 class 7.3-14 cli 1.0.0
cluster 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
commonmark 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
datasets 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1,0 - 8 desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 digest 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 foreign 0.8-70
gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
Grafiken 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0,3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 maps 3.3.0 maptools 0.9-2
MASS 7.3-50 Matrix 1.2-14 MatrixModels 0.4-1
memoise 1.1.0 methods 3.4.4 mgcv 1.8-24
mime 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.11.0 prodlim 1.6.1 proto 1.0.0
psych 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 SparkR 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2,10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 tools 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.11-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics Datenstrom 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2.2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx Sammlung 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4,7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.8.0
org.apache.arrow arrow-memory 0.8.0
org.apache.arrow arrow-vector 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet parquet-column 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet parquet-encoding 1.8.3-databricks2
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet parquet-jackson 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52