Freigeben über


Databricks Runtime 10.2 (EoS)

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.2 und Databricks Runtime 10.2 Photon, unterstützt von Apache Spark 3.2.0. Diese Version wurde von Databricks im Dezember 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

Verwenden von Dateien in Repositorys mit Spark Streaming

Sie können jetzt über Spark Streaming auf Dateien in Repositorys zugreifen.

Databricks Utilities fügt einen Befehl zum Aktualisieren der Einbindung hinzu

Der neue dbutils.fs.updateMount-Befehl ist ähnlich wie dbutils.fs.mount, aber dieser neue Befehl aktualisiert einen bestehenden Bereitstellungspunkt, anstatt einen neuen zu erstellen. Weitere Informationen finden Sie unter updateMount-Befehl (dbutils.fs.updateMount).

Delta Lake unterstützt das Umbenennen von Spalten (Public Preview)

Delta Lake unterstützt jetzt das Umbenennen von Spalten. Um die Spalte einer Delta-Tabelle umzubenennen, müssen Sie für die Version der Delta-Tabelle ein Upgrade durchführen und dann den Spaltenzuordnungsmodus auf „Namenszuordnung“ festlegen. Weitere Informationen finden Sie unter Rename and drop columns with Delta Lake column mapping (Umbenennen und Löschen von Spalten mit Delta Lake-Spaltenzuordnung).

Der Delta Lake-Tabellenverlauf fügt der Databricks Runtime Versionsinformationen hinzu

Wenn jetzt ein Schreibvorgang in eine Delta-Tabelle erfolgt, werden auch Informationen zur Databricks Runtime-Version aufgezeichnet, die den Schreibvorgang durchgeführt hat. Führen Sie zum Abrufen der Versionsinformationen den DESCRIBE HISTORY-Befehl für die Tabelle aus, und sehen Sie sich dann die engineInfo-Spalte in der Ausgabe an. Weitere Informationen finden Sie unter DESCRIBE HISTORY und Verwenden des Delta Lake-Tabellenverlaufs.

Databricks Utilities fügt Informationen über die letzte Änderungszeit hinzu, wenn Verzeichnisse aufgelistet werden

Der dbutils.fs.ls-Befehl zum Auflisten des Inhalts eines Verzeichnisses gibt jetzt ein modificationTime-Feld aus. Dieses Feld enthält die letzte Änderungszeit für jede aufgelistete Datei oder jedes Verzeichnis. Weitere Informationen finden Sie unter ls-Befehl (dbutils.fs.ls).

Spark SQL fügt eine approx_top_k-Funktion hinzu, die die obersten Elemente und deren Anzahl zurückgibt

Die neue approx_top_k-Funktion gibt die am häufigsten vorkommenden Elementwerte zusammen mit der ungefähren Anzahl für den angegebenen Ausdruck zurück. Beispiele hierfür sind:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)
import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Das Ergebnis der Ausführung eines der beiden Beispiele ist:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Weitere Informationen finden Sie unter approx_top_k-Aggregatfunktion.

Auslösen von AvailableNow als jetzt verfügbar in Python genauso wie in Scala

Diese Änderung unterstützt die Delta-Quellstreamingabfragen Trigger.AvailableNow in Python genauso wie in Scala. Databricks Runtime 10.1 hat diesen Trigger in Scala eingeführt. Databricks Runtime 10.2 unterstützt diesen Trigger nun auch in Python. Trigger.AvailableNow Informationen finden Sie unter Autoloader.

Autoloader unterstützt jetzt die Schemaentwicklung für Avro (Public Preview).

Schemarückschluss und -entwicklung in Auto Loader konfigurieren.

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • filelock von 3.3.1 auf 3.4.0
    • plotly von 5.3.0 auf 5.3.1
  • Aktualisierte R-Bibliotheken:
    • base von 4.1.1 auf 4.1.2
    • compiler von 4.1.1 auf 4.1.2
    • datasets von 4.1.1 auf 4.1.2
    • graphics von 4.1.1 auf 4.1.2
    • grDevices von 4.1.1 auf 4.1.2
    • grid von 4.1.1 auf 4.1.2
    • methods von 4.1.1 auf 4.1.2
    • parallel von 4.1.1 auf 4.1.2
    • Rserve von 1.8-8 auf 1.8-10
    • splines von 4.1.1 auf 4.1.2
    • stats von 4.1.1 auf 4.1.2
    • stats4 von 4.1.1 auf 4.1.2
    • tcltk von 4.1.1 auf 4.1.2
    • tools von 4.1.1 auf 4.1.2
    • utils von 4.1.1 auf 4.1.2
    • backports von 1.2.1 auf 1.4.0
    • broom von 0.7.9 auf 0.7.10
    • cli von 3.0.1 auf 3.1.0
    • cpp11 von 0.4.0 auf 0.4.1
    • crayon von 1.4.1 auf 1.4.2
    • credentials von 1.3.1 auf 1.3.2
    • future von 1.22.1 auf 1.23.0
    • gert von 1.4.1 auf 1.4.3
    • glmnet von 4.1-2 auf 4.1-3
    • glue von 1.4.2 auf 1.5.0
    • memoise von 2.0.0 auf 2.0.1
    • parallelly von 1.28.1 auf 1.29.0
    • readr von 2.0.2 auf 2.1.0
    • sessioninfo von 1.1.1 auf 1.2.1
    • stringi von 1.7.5 auf 1.7.6
    • tibble von 3.1.5 auf 3.1.6
    • tinytex von 0.34 auf 0.35
    • tzdb von 0.1.2 auf 0.2.0
    • usethis von 2.1.2 auf 2.1.3
    • uuid von 0.1-4 auf 1.0-3
    • vroom von 1.5.5 auf 1.5.6
    • xfun von 0.27 auf 0.28
  • Aktualisierte Java-Bibliotheken:
    • com.fasterxml.jackson von 2.12.2 auf 2.12.3
    • io.airlift.aircompressor von 0.19 auf 0.21
    • io.netty.netty-all von 4.1.63.Final auf 4.1.68.Final
    • joda-time.joda-time von 2.10.5 auf 2.10.10
    • org.apache.commons.commons-compress von 1.20 auf 1.21
    • org.apache.orc von 1.6.10 auf 1.6.12
    • org.eclipse.jetty von 9.4.40.v20210413 auf 9.4.43.v20210629
    • org.scalanlp.breeze-macros_2.12 von 1.0 auf 1.2
    • org.scalanlp.breeze_2.12 von 1.0 auf 1.2
    • org.org.typelevel.algebra_2.12 von 2.0.0 auf 2.0.1
    • org.typelevel.cats-kernel_2.12 von 2.0.0 auf 2.0.1

Apache Spark

Databricks Runtime 10.2 enthält Apache Spark 3.2.0. Diese Version enthält alle Spark-Fehlerbehebungen und -Verbesserungen, die in Databricks Runtime 10.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-37447] [SQL] Zwischenspeichern von LogicalPlan.isStreaming() führt zu einem verzögerten Wert
  • [SPARK-37468] [SQL] Unterstützung von ANSI-Intervallen und TimestampNTZ für UnionEstimation
  • [SPARK-37464] [SQL] SCHEMA und DATABASE sollten einfach Aliase von NAMESPACE sein
  • [SPARK-37452] [SQL] Char und Varchar unterbrechen die Abwärtskompatibilität zwischen v3.1 und v2
  • [SPARK-36861] [SQL] yyyy-MM-dd als Datumsmuster bei der Partitionserkennung verwenden
  • [SPARK-37456] [SQL] CREATE NAMESPACE sollte den Speicherort für den v2-Befehl qualifizieren
  • [SPARK-37357] [SQL] Kleinen Partitionsfaktor für die erneute Verteilung von Partitionen hinzufügen
  • [SPARK-37446] [SQL] Reflexion für getWithoutRegisterFns verwenden, um verschiedene Hive-Versionen für das Erstellen zu ermöglichen
  • [SPARK-37444] [SQL] ALTER NAMESPACE … SET LOCATION sollte leere Speicherplätze in den v1- und v2-Befehlen einheitlich behandeln
  • [SPARK-36357] [SQL] Unterstützung von Pushdownzeitstempel ohne Zeitzone für Orc
  • [SPARK-36346] [SQL] Unterstützung des TimestampNTZ-Typs in der Orc-Dateiquelle
  • [SPARK-36646] [SQL] Pushdown der Gruppe nach Partitionsspalte für Aggregat
  • [SPARK-34960] [SQL] Aggregatpushdown für ORC
  • [SPARK-37386] [SQL] OptimizeSkewedJoin vereinfachen, damit die Kostenauswertung nicht ausgeführt wird
  • [SPARK-36073] [SQL] Korrekturen und Verbesserungen für EquivalentExpressions
  • [SPARK-35352] [SQL] Code-Gen für vollständigen äußeren Sort-Merge-Join hinzufügen
  • [SPARK-37292] [SQL] Entfernt den äußeren Join, wenn er nur über DISTINCT auf der gestreamten Seite mit Alias verfügt
  • [SPARK-37371] [SQL] UnionExec sollte columnar unterstützen, wenn alle untergeordneten Elemente columnar unterstützen
  • [SPARK-36645] [SQL] Aggregatpushdown (Min/Max/Count) für Parquet
  • [SPARK-37379] [SQL] Strukturmusterbereinigung zur CTESubstitution-Regel hinzufügen
  • [SPARK-37332] [SQL] ANSI-Intervalle in ALTER TABLE .. ADD COLUMNS zulassen
  • [SPARK-37224] [SS] Schreibpfad des RocksDB-Zustandsspeicheranbieters optimieren
  • [SPARK-37304] [SQL] ANSI-Intervalle in v2 ALTER TABLE .. REPLACE COLUMNS zulassen
  • [SPARK-36924] [SQL] CAST zwischen ANSI-Intervallen und IntegralType
  • [SPARK-37289] [SQL] partitionSchemaOption-Funktion entfernen
  • [SPARK-37270] [SQL] Pushen von foldable in CaseWhen-Branches korrigieren, wenn elseValue leer ist
  • [SPARK-35345] [SQL] Parquet-Tests zu BloomFilterBenchmark hinzufügen
  • [SPARK-37341] [SQL] Unnötige Puffer und Kopien im vollständigen äußeren Sort-Merge-Join vermeiden
  • [SPARK-37266] [SQL] Anzeigetext kann nur von SELECT-Abfragen sein
  • [SPARK-37288] [PYTHON][3.2] Zurückportierung seit der Aktualisierung der Anmerkungen
  • [SPARK-37262] [SQL] Leeres Aggregat und Gruppieren nach in JDBCScan nicht protokollieren
  • [SPARK-37283] [SQL] Nicht versuchen, eine V1-Tabelle zu speichern, die ANSI-Intervalle im Hive-kompatiblen Format enthält
  • [SPARK-37221] [SQL] Die collect-ähnliche API in SparkPlan sollte die spaltenbasierte Ausgabe unterstützen
  • [SPARK-37202] [SQL] AnalysisContext zum Nachverfolgen von temporären Funktionen verwenden, auf die verwiesen wird
  • [SPARK-37023] [CORE] Abrufen des Mergestatus vermeiden, wenn shuffleMergeEnabled für shuffleDependency bei Wiederholung falsch ist
  • [SPARK-37307] [CORE] Keine JDBC-Verbindung für leere Partitionen abrufen
  • [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions-Unterstützung optimiert Nicht-Stammknoten
  • [SPARK-36799] [SQL] queryExecution-Name in CLI übergeben
  • [SPARK-37261] [SQL] Hinzufügen von Partitionen mit ANSI-Intervallen in DSv2 zulassen
  • [SPARK-37203] [SQL] Korrektur von NotSerializableException bei Beobachtung mit TypedImperativeAggregate
  • [SPARK-37199] [SQL] Deterministisches Feld zu QueryPlan hinzufügen
  • [SPARK-37253] [PYTHON] try_simplify_traceback sollte nicht fehlerhaft sein, wenn tb_frame.f_lineno entsprechend „None“ (Keine) ergibt
  • [SPARK-37214] [SQL] Fehler bei Abfrageanalyse bei ungültigen Bezeichnern früher anzeigen
  • [SPARK-37240] [SQL] ANSI-Intervalle durch ColumnVectorUtils.populate() verarbeiten
  • [SPARK-35437] [SQL] Ausdrücke verwenden, um Hive-Partitionen auf der Clientseite zu filtern
  • [SPARK-32940] [SQL] „Collect“, „First“ und „Last“ sollten deterministische Aggregatfunktionen sein
  • [SPARK-37231] [SQL] Dynamische Schreib-/Lesevorgänge von ANSI-Intervallpartitionen
  • [SPARK-37038] [SQL] DSV2-Beispielpushdown
  • [SPARK-36665] [SQL] Weitere Vereinfachungen für NOT-Operator hinzufügen
  • [SPARK-37150] [SQL] DESCRIBE NAMESPACE migrieren, um standardmäßig den V2-Befehl zu verwenden
  • [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale konnte Null nicht zurückgeben
  • [SPARK-37212] [SQL] Implementierung des Aggregatpushdowns verbessern
  • [SPARK-37190] [SQL] Fehlermeldungen für Cast im ANSI-Modus verbessern
  • [SPARK-37161] [SQL] RowToColumnConverter-Unterstützung von AnsiIntervalType
  • [SPARK-37160] [SQL] Konfiguration zur optionalen Deaktivierung von Auffüllungen für den Typ „char“ hinzufügen
  • [SPARK-36554] [SQL][PYTHON] make_date-Ausdruck in functions.scala verfügbar machen
  • [SPARK-37200] [SQL] Unterstützung von DROP INDEX für Datenquelle V2
  • [SPARK-37179] [SQL] ANSI-Modus: Konfiguration hinzufügen, die die Umwandlung zwischen „Datetime“ und „Numeric“ gestattet
  • [SPARK-37168] [SQL] Fehlermeldungen für SQL-Funktionen und -Operatoren im ANSI-Modus verbessern
  • [SPARK-36935] [SQL] ParquetSchemaConverter zum Berechnen von Parquet-Wiederholungen und Definitionsebenen erweitern
  • [SPARK-37066] [SQL] Fehlermeldung verbessern, um den Dateipfad anzuzeigen, wenn die nächste Datei nicht gelesen werden kann
  • [SPARK-32567] [SQL] Codegenerierung für vollständigen äußeren gemischten Hashjoin hinzufügen
  • [SPARK-37176] [SQL] Logik der Ausnahmebehandlung der Methode JsonInferSchema#infer mit der Methode JacksonParser#parse synchronisieren
  • [SPARK-37149] [SQL] Fehlermeldungen für arithmetische Überlaufausnahmen im ANSI-Modus verbessern
  • [SPARK-37136] [SQL] Code über die integrierte Hive-Funktion entfernen, aber nicht in Spark implementieren
  • [SPARK-16280][SPARK-37082] [SQL] Implementierung der Aggregationsfunktion histogram_numeric, die eine partielle Aggregation unterstützt
  • [SPARK-36975] [SQL] Korrektur der Metrik der Hive-Clientaufrufe in HiveClientImpl

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 10.2 Wartungsaktualisierung.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.58.0.13-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.3 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.4.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.3.0 numpy 1.19.2
Packen 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.3.1 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 Python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 sechs 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme am 30.11.2021 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.4.0
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.10
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.1 crayon 1.4.2 Anmeldeinformationen 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.1 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.2 diffobj 0.3.5 digest 0.6.28
dplyr 1.0.7 dtplyr 1.1.0 e1071 1.7-9
ellipsis 0.3.2 Evaluieren 0.14 fansi 0.5.0
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 foreign 0.8-81
forge 0.2.0 fs 1.5.0 future 1.23.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.1
gert 1.4.3 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.5.0 googledrive 2.0.0 googlesheets4 1.0.0
gower 0.2.2 Grafiken 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 haven 2.4.3 highr 0.9
hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.3 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.2 KernSmooth 2.23-20
knitr 1.36 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 Lebenszyklus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrix 1.3-4
memoise 2.0.1 methods 4.1.2 mgcv 1.8-38
mime 0,12 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.5 parallel 4.1.2
parallelly 1.29.0 pillar 1.6.4 pkgbuild 1.2.0
pkgconfig 2.0.3 pkgload 1.2.3 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.18.0 processx 3.5.2 prodlim 2019.11.13
Fortschritt 1.2.2 progressr 0.9.0 promises 1.2.0.1
proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.7 RcppEigen 0.3.3.9.1
readr 2.1.0 readxl 1.3.1 recipes 0.1.17
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.1
reprex 2.0.1 reshape2 1.4.4 rlang 0.4.12
rmarkdown 2.11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.8 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 sass 0.4.0 scales 1.1.1
selectr 0.4-2 sessioninfo 1.2.1 shape 1.4.6
shiny 1.7.1 sourcetools 0.1.7 sparklyr 1.7.2
SparkR 3.2.0 spatial 7.3-11 splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
survival 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2,10 testthat 3.1.0 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0,35 tools 4.1.2
tzdb 0.2.0 usethis 2.1.3 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 vroom 1.5.6 waldo 0.3.1
whisker 0,4 withr 2.4.2 xfun 0.28
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,21
io.delta delta-sharing-spark_2.12 0.2.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1