Teilen über

Databricks Runtime 10.0 (EoS)

  • Artikel

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.0 und Databricks Runtime 10.0 Photon, unterstützt von Apache Spark 3.2.0. Diese Version wurde von Databricks im Oktober 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

Neue Version von Apache Spark

Databricks Runtime 10.0 und Databricks Runtime 10.0 Photon enthalten Apache Spark 3.2.0. Weitere Informationen finden Sie unter Apache Spark.

SELECT-Anweisung unterstützt jetzt die QUALIFY-Klausel zum Filtern der Ergebnisse der Fensterfunktion

Die SELECT-Anweisung unterstützt jetzt die QUALIFY-Klausel. QUALIFY kann verwendet werden, um die Ergebnisse von Fensterfunktionen zu filtern. Mindestens eine Fensterfunktion muss entweder in der SELECT-Liste oder in der QUALIFY-Bedingung vorhanden sein. Beispiele:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Clusterunterstützung für JDK 11 (Public Preview)

Databricks bietet jetzt Clusterunterstützung für Java Development Kit (JDK) 11.

Wenn Sie einen Cluster erstellen, können Sie angeben, dass der Cluster JDK 11 verwendet (sowohl für den Treiber als auch für den Executor). Fügen Sie hierzu die folgende Umgebungsvariable zu Erweiterte Optionen > Spark > Umgebungsvariablen hinzu:

JNAME=zulu11-ca-amd64

Autoloader behandelt Schemas jetzt so, dass sie Nullwerte zulassen

Autoloader behandelt jetzt alle abgeleiteten und vom Benutzer bereitgestellten Schemas standardmäßig als „Nullwerte zulassend“. Dadurch soll eine potenzielle Datenbeschädigung in Fällen vermieden werden, in denen die Daten NULL-Felder für Spalten enthalten, die keine Nullwerte zulassen. Eine neue Konfiguration wird eingeführt, um dieses Verhalten nachzuverfolgen: spark.databricks.cloudFiles.schema.forceNullable. Standardmäßig enthält diese Konfiguration die Einstellung von spark.sql.streaming.fileSource.schema.forceNullable, die von „FileStreamSource“ in Apache Spark verwendet wird und standardmäßig auf true festgelegt ist.

Wichtige Änderungen

Breaking Changes für alle Spark SQL-Benutzer

  • Neue spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, wird eine Teilmenge korrelierter Gleichheitsprädikate ermöglicht, wenn eine Unterabfrage aggregiert wird. Die Standardeinstellung ist true.
  • Neue spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, werden beim Erstellen von Ansichten automatisch generierte Aliase blockiert. Die Standardeinstellung ist true.
  • Neue spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, wird CREATE TABLE AS SELECT nicht mit einem nicht leeren Speicherort zugelassen. Die Standardeinstellung ist true. Beachten Sie, dass diese Konfiguration keine Auswirkung hat, wenn spark.sql.legacy.allowNonEmptyLocationInCTAS ebenfalls auf true festgelegt ist, und dass CREATE TABLE AS SELECT mit einem nicht leeren Speicherort immer zulässig ist.

Breaking Changes für Spark SQL-Benutzer, die den ANSI-Modus aktivieren

Informationen zum ANSI-Modus finden Sie unter ANSI-Compliance in Databricks Runtime.

  • Neue spark.databricks.behaviorChange.SC83587NextDayDOW.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, löst ein ungültiges dayOfWeek-Argument für die next_day-Funktion im ANSI-Modus eine IllegalArgumentException aus. Andernfalls wird null zurückgegeben. Die Standardeinstellung ist true.
  • Neue spark.databricks.behaviorChange.SC83796CanCast.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, werden neue Regeln für die explizite Umwandlungssyntax im ANSI-Modus aktiviert. Die Standardeinstellung ist true.
  • Neue spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, wird beim Umwandeln einer Zeichenfolge in einen booleschen Wert eine Analysefehlerausnahme ausgelöst. Andernfalls wird null zurückgegeben. Die Standardeinstellung ist true.
  • Neue spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, löst die abs-Funktion eine Ausnahme aus, wenn die Eingabe außerhalb des Bereichs liegt. Die Standardeinstellung ist true.

Breaking Changes für alle Python-Benutzer

  • Die Python-API delta.tables.DeltaTable.convertToDelta gibt nun das richtige DeltaTable-Python-Objekt zurück, das zum Ausführen von Delta Lake-Befehlen verwendet werden kann. Zuvor wurde ein internes Objekt zurückgegeben, das nicht direkt aufgerufen werden konnte.

Bibliotheksupgrades

Apache Hadoop 3-Upgrade

  • Databricks Runtime 10.0 führt ein Upgrade der Hadoop-Abhängigkeit von Hadoop 2.7.4 auf Hadoop 3.3.1 durch.

Verhaltensänderungen

  • Hadoop 3 verwendet die Bibliotheken hadoop-client-api und hadoop-client-runtime anstelle der hadoop-common-Bibliothek, die bestimmte Abhängigkeiten von Drittanbietern abschirmt, die möglicherweise in öffentlichen Hadoop-APIs oder -Erweiterungen verwendet werden können.
  • Die Konfigurationsoptionen für Hadoop 3 haben sich seit Hadoop 2 geändert. Informationen zu Hadoop 3.3.1-Optionen finden Sie unter core-default.xml.
  • Databricks hat einige der Standardkonfigurationen für Hadoop 3 aktualisiert, damit sie mit Hadoop 2 konsistent sind, um sicherzustellen, dass Speicherconnectors über die gleichen Standardauthentifizierungseinstellungen und Leistungsstufen verfügen:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Der GCS-Connector (Google Cloud Storage) hat ein Upgrade von 2.1.6 auf 2.2.2 erhalten.
  • Der Amazon Redshift-Connector verwendet jetzt das s3a://-Schema. Das s3n://-Schema ist veraltet.
  • Behandelt die OSS-Klassennamen für die Amazon S3 MetadataStore-API zusätzlich zu abgeschirmten Klassen. Dies ermöglicht die Verarbeitung von OSS-Konfigurationen, ohne dass die abgeschirmten Klassennamen erforderlich sind.
    • Beispielsweise können Sie die org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore-Klasse in der Hadoop-Konfiguration angeben.
  • Dadurch werden die new Configuration() und sparkContext.hadoopConfiguration konsistent.
    • Wenn jetzt eine neue Hadoop-Konfiguration erstellt wird, stimmt sie mit der vordefinierten Hadoop-Konfiguration in sparkContext.hadoopConfiguration in der Databricks Runtime überein, einschließlich der Dateisystemschemas und ihrer Standardkonfiguration.
  • Obwohl die in Databricks Runtime enthaltenen Hadoop-Speicherconnectors vollständig mit Hadoop 3.3.1 kompatibel sind, ist nicht garantiert, dass sie mit OSS Hadoop 3.3.1-Connectors synchronisiert sind und möglicherweise ein anderes Verhalten aufweisen.
    • Der Amazon S3-Connector lässt weiterhin (wenn auch mit einer Warnung) die Authentifizierung „user:secret“ in S3-URLs zu, im Vergleich zu HADOOP-14833, wodurch diese entfernt wird.
  • globStatus gibt jetzt immer sortierte Ergebnisse zurück (HADOOP-10798)
  • „fs.s3a.endpoint“ wurde hinzugefügt, wenn dies nicht festgelegt ist und die fs.s3a.endpoint-Region Null ist (SPARK-35878)
    • Die von Databricks bereitgestellte automatische Auflösung der Amazon S3-Region wird in einigen Fällen möglicherweise nicht ausgelöst, da der globale Endpunkt festgelegt ist. Dies ist kein Problem, da das AWS SDK die Region ordnungsgemäß auflöst.
  • Fügen Sie „fs.s3a.downgrade.syncable.exceptions“ hinzu, wenn dies nicht festgelegt ist (SPARK-35868)
  • LZ4- und Snappy-Codecs basieren nicht auf der nativen Hadoop-Bibliothek (HADOOP-17125)

Bekannte Probleme

  • SPARK-36681 Bei Verwendung von SnappyCodec zum Schreiben der Sequenzdatei tritt aufgrund eines bekannten Problems in Hadoop 3.3.1 (HADOOP-17891) ein Fehler mit UnsatisfiedLinkError auf.

Apache Spark

Databricks Runtime 10.0 enthält Apache Spark 3.2.0.

Inhalt dieses Abschnitts:

Highlights

  • Unterstützung der Pandas-API-Ebene in PySpark (SPARK-34849)
  • EventTime-basierte Sitzungserstellung (Sitzungsfenster) (SPARK-10816)
  • Unterstützung von ANSI SQL INTERVAL-Typen (SPARK-27790)
  • ANSI-Modus GA (SPARK-35030)
  • Standardisieren von Ausnahmemeldungen in Spark (SPARK-33539)

Core und Spark SQL

Verbesserungen bei der ANSI SQL-Kompatibilität

  • Unterstützung von ANSI SQL INTERVAL-Typen (SPARK-27790)
  • Neue Syntaxregeln für die Typkoersion im ANSI-Modus (SPARK-34246)

Leistungsverbesserungen

  • Abfrageoptimierung
    • Redundante Aggregate im Optimierer entfernen (SPARK-33122)
    • Pushdowngrenzwert durch Project mit Join (SPARK-34622)
    • Kardinalitätsschätzung des Union-, Sort- und Range-Operators (SPARK-33411)
    • UnwrapCastInBinaryComparison-Unterstützung für In/InSet-Prädikat (SPARK-35316)
    • Erforderliche Statistiken nach der Partitionsbereinigung beibehalten (SPARK-34119)
  • Abfrageausführung
    • Zstandard-Pufferpool standardmäßig aktivieren (SPARK-34340, SPARK-34390)
    • Codegenerierung für alle Jointypen von Sort-Merge-Join hinzufügen (SPARK-34705)
    • Verbesserung des geschachtelter Loop-Joins übertragen (SPARK-34706)
    • Unterstützung von zwei Ebenen der Hashzuordnung für die endgültige Hashaggregation (SPARK-35141)
    • Zulassen von gleichzeitigen Writern zum Schreiben dynamischer Partitionen und Buckettabellen (SPARK-26164)
    • Leistung der Verarbeitung von FETCH_PRIOR in Thriftserver verbessern (SPARK-33655)

Connectorerweiterungen

  • Parquet
    • Upgrade von Parquet auf 1.12.1 (SPARK-36726)
    • Parquet-Typen ohne Vorzeichen lesen, die als physischer Int32-Typ in Parquet gespeichert sind (SPARK-34817)
    • Logischen int64-Parquet-Typ ohne Vorzeichen lesen, der als physischer int64-Typ mit Vorzeichen dezimal (20, 0) gespeichert ist (SPARK-34786)
    • Parquet in Filterpushdown verbessern (SPARK-32792)
  • ORC
    • Upgrade von ORC auf Version 1.6.11 (SPARK-36482)
    • Unterstützung der ORC-erzwungenen Positionsentwicklung (SPARK-32864)
    • Unterstützung geschachtelter Spalten im vektorisierten ORC-Leser (SPARK-34862)
    • Unterstützung der ZSTD- und LZ4-Komprimierung in der ORC-Datenquelle (SPARK-33978, SPARK-35612)
  • Avro
    • Upgrade von Avro auf Version 1.10.2 (SPARK-34778)
    • Unterstützung der Avro-Schemaentwicklung für partitionierte Hive-Tabellen mit „avro.schema.literal“ (SPARK-26836)
    • Neue Avro-Datenquellenoptionen zum Steuern des datetime-Rebasevorgangs in Lesevorgängen hinzufügen (SPARK-34404)
    • Unterstützung für die vom Benutzer bereitgestellte Schema-URL in Avro hinzufügen (SPARK-34416)
    • Unterstützung für positionsbasierten Schemaabgleich (Catalyst zu Avro) hinzufügen (SPARK-34365)
  • JSON
    • Upgrade von Jackson auf Version 2.12.3 (SPARK-35550)
    • JSON-Datenquellen das Schreiben von Nicht-ASCII-Zeichen als Codepunkte gestatten (SPARK-35047)
  • JDBC
    • Berechnung eines genaueren Partitionssprungs in JDBCRelation (SPARK-34843)
  • Hive-Metastore-Unterstützungsfilter nach „nicht in“ (SPARK-34538)

Featureverbesserungen

  • Unterabfrage
  • Neue integrierte Funktionen
  • Standardmäßig Apache Hadoop 3.3.1 verwenden (SPARK-29250)
  • Prüfsumme für Shuffleblöcke hinzufügen (SPARK-35275)
  • Standardmäßiges spark.storage.replication.proactive aktivieren (SPARK-33870)
  • Unterstützung von Fallbackspeicherbereinigung beim Beenden von SparkContext (SPARK-34142)
  • Unterstützung von Java-Enumerationen aus der Scala-Dataset-API (SPARK-23862)
  • ADD JAR mit Ivy-Koordinaten muss mit dem transitiven Hive-Verhalten kompatibel sein (SPARK-34506)
  • Unterstützung der Befehle ADD ARCHIVE und LIST ARCHIVES (SPARK-34603)
  • Unterstützung mehrerer Pfade für ADD FILE/JAR/ARCHIVE-Befehle (SPARK-35105)
  • Unterstützung von Archivdateien als Ressourcen für die CREATE FUNCTION USING-Syntax (SPARK-35236)
  • SparkSessionExtensions aus ServiceLoader laden (SPARK-35380)
  • „sentences“-Funktion zu functions.{scala,py} hinzufügen (SPARK-35418)
  • „spark.sql.hive.metastorePartitionPruning“ für Nicht-Hive-Tabellen anwenden, die Hive-Metastore für die Partitionsverwaltung verwenden (SPARK-36128)
  • Ursache für exec-Verlust an Webbenutzeroberfläche weitergeben (SPARK-34764)
  • Inlining von nicht deterministischen With-CTEs vermeiden (SPARK-36447)
  • Unterstützung beim Analysieren aller Tabellen in einer bestimmten Datenbank (SPARK-33687)
  • Standardisieren von Ausnahmemeldungen in Spark (SPARK-33539)
  • Unterstützung von (IGNORE | RESPECT) NULLS für LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE (SPARK-30789)

Weitere wichtige Änderungen

  • Überwachen
    • Neue Metriken für ExternalShuffleService (SPARK-35258)
    • Neue REST-APIs und Parameter auf Stufenebene hinzufügen (SPARK-26399)
    • Unterstützung von Task- und Executor-Metrikverteilungen in der REST-API (SPARK-34488)
    • Fallbackmetriken für das Hashaggregat hinzufügen (SPARK-35529)
  • „count_distinct“ als Option zu Dataset#summary hinzufügen (SPARK-34165)
  • „ScriptTransform“ in SQL/Core implementieren (SPARK-31936)
  • Heartbeattimeout für BlockManagerMaster-Treiber als konfigurierbar festlegen (SPARK-34278)
  • Shuffledienstname auf Clientseite konfigurierbar gestalten und klassenpfadbasierte Außerkraftsetzung der Konfiguration auf der Serverseite zulassen (SPARK-34828)
  • ExecutorMetricsPoller sollte den Stage-Eintrag in stageTCMP beibehalten, bis ein Heartbeat auftritt (SPARK-34779)
  • In RewriteDistinctAggregates „if“ durch Filterklausel ersetzen (SPARK-34882)
  • Fehler beim Anwenden von CostBasedJoinReorder auf Self-Join beheben (SPARK-34354)
  • CREATE TABLE LIKE sollte die Eigenschaften reservierter Tabellen berücksichtigen (SPARK-34935)
  • „ivySettings“-Datei an den Treiber im YARN-Clustermodus senden (SPARK-34472)
  • Doppelte gemeinsame Spalten aus USING/NATURAL JOIN auflösen (SPARK-34527)
  • Interne Ansichtseigenschaften für Tabellenbeschreibungsbefehl ausblenden (SPARK-35318)
  • Unterstützung beim Auflösen fehlender Attribute für „distribute“/„cluster by“/„repartition hint“ (SPARK-35331)
  • Fehler bei der Überprüfung des Pfads in FileStreamSink.hasMetadata ignorieren (SPARK-34526)
  • Unterstützung für s3a Magic Committer durch Rückschließen auf fehlende Konfigurationen verbessern (SPARK-35383)
  • Auslassung zulassen: in der STRUCT-Typzeichenfolge (SPARK-35706)
  • Neuen Operator hinzufügen, um zu unterscheiden, ob sichere Optimierung durch AQE möglich ist (SPARK-35786)
  • Neue geschachtelte Strukturfelder anfügen, anstatt Sortierung für unionByName mit NULL-Füllung (SPARK-35290)
  • ArraysZip sollte Feldnamen beibehalten, um zu vermeiden, dass sie vom Analysetool bzw. Optimierer erneut geschrieben werden (SPARK-35876)
  • „Void“ als Typname von NullType verwenden (SPARK-36224)
  • Einführung einer neuen API für FileCommitProtocol ermöglicht flexible Dateibenennung (SPARK-33298)

Verhaltensänderungen

Sehen Sie sich die Migrationsleitfäden für jede Komponente an: Spark Core.

Strukturiertes Streaming

Hauptfeatures

  • EventTime-basierte Sitzungserstellung (Sitzungsfenster) (SPARK-10816)
  • Upgrade des Kafka-Clients auf 2.8.0 (SPARK-33913)
  • Trigger.AvailableNow zum Ausführen von Streamingabfragen wie Trigger.Once in mehreren Batches in Scala (SPARK-36533)

Weitere wichtige Änderungen

  • Einführung einer neuen Option in der Kafka-Quelle, um eine Mindestanzahl von Datensätzen anzugeben, die pro Trigger gelesen werden sollen (SPARK-35312)
  • Letzte Offsets zum Quellfortschritt hinzufügen (SPARK-33955)

PySpark

Project Zen

  • Pandas-API in Spark (SPARK-34849)
  • „faulthanlder“-Unterstützung für Python-Worker abgestürzt (SPARK-36062)
  • Snake-Benennungsregel für die Funktions-APIs verwenden (SPARK-34306)
  • „spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled“ standardmäßig aktivieren (SPARK-35419)
  • Unterstützung für das Rückschließen von geschachteltem Wörterbuch als Struktur beim Erstellen eines DataFrame (SPARK-35929)

Weitere wichtige Änderungen

  • Standardmäßig den angehefteten Threadmodus aktivieren (SPARK-35303)
  • NullType-Unterstützung für Arrow-Ausführungen hinzufügen (SPARK-33489)
  • Unterstützung von „Arrow self_destruct“ zu toPandas hinzufügen (SPARK-32953)
  • Threadzielwrapper-API für pyspark-Modus zur Threadanheftung hinzufügen (SPARK-35498)

Verhaltensänderungen

Lesen Sie die Migrationsleitfäden.

MLlib

Leistungsverbesserungen

  • BucketedRandomProjectionLSH-Transformationsoptimierung (SPARK-34220)
  • w2v findSynonyms-Optimierung (SPARK-34189)
  • Platzsparendes GEMM durch Überspringen der Begrenzungsprüfung optimieren (SPARK-35707)
  • Leistung von ML ALS recommendForAll durch GEMV verbessern (SPARK-33518)

Verbesserungen beim Modelltraining

  • Logistic Aggregator umgestalten – Unterstützung von virtueller Zentrierung (SPARK-34797)
  • Binäre logistische Regression mit Zentrierung von Abfangunterstützung (SPARK-34858, SPARK-34448)
  • Multinomiale logistische Regression mit Zentrierung von Abfangunterstützung (SPARK-34860)

BLAS-Verbesserungen

  • Vollständiges Ersetzen von com.github.fommil.netlib durch dev.ludovic.netlib:2.0 (SPARK-35295)
  • Vektorisierte BLAS-Implementierung hinzufügen (SPARK-33882)
  • Fallback-BLAS mit dev.ludovic.netlib beschleunigen (SPARK-35150)

Weitere wichtige Änderungen

  • OVR-Transformation behebt möglichen Spaltenkonflikt (SPARK-34356)

Veraltete und entfernte Funktionen

  • Deprecate spark.launcher.childConnectionTimeout(SPARK-33717)
  • GROUP BY... als veraltet kennzeichnen GROUPING SETS (...) und GROUP BY GROUPING SETS (…) höher stufen (SPARK-34932)
  • „ps.broadcast“-API als veraltet kennzeichnen (SPARK-35810)
  • Das Argument num_files als veraltet kennzeichnen (SPARK-35807)
  • „DataFrame.to_spark_io“ als veraltet kennzeichnen (SPARK-35811)

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 10.0-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Pillow 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
Python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 sechs 1.15.0 ssh-import-id 5.10
statsmodels 0.12.2 tenacity 8.0.1 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
wheel 0.36.2

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme am 21.09.2021 installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 Blob 1.2.2 boot 1.3-28
brew 1.0-6 brio 1.1.2 broom 0.7.9
bslib 0.3.0 cachem 1.0.6 callr 3.7.0
caret 6.0-88 cellranger 1.1.0 chron 2.3-56
class 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1.7 compiler 4.1.1 config 0.3.1
cpp11 0.3.1 crayon 1.4.1 Anmeldeinformationen 1.3.1
curl 4.3.2 data.table 1.14.0 datasets 4.1.1
DBI 1.1.1 dbplyr 2.1.1 desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 digest 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellipsis 0.3.2
Evaluieren 0.14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
foreign 0.8-81 forge 0.2.0 fs 1.5.0
future 1.22.1 future.apply 1.8.1 gargle 1.2.0
generics 0.1.0 gert 1.4.1 ggplot2 3.3.5
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 glue 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 gower 0.2.2 Grafiken 4.1.1
grDevices 4.1.1 grid 4.1.1 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.4.3
highr 0.9 hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 knitr 1.34 labeling 0.4.2
later 1.3.0 lattice 0.20-44 lava 1.6.10
Lebenszyklus 1.0.0 listenv 0.8.0 lubridate 1.7.10
magrittr 2.0.1 markdown 1.1 MASS 7.3-54
Matrix 1.3-4 memoise 2.0.0 methods 4.1.1
mgcv 1.8-37 mime 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallelly 1.28.1 pillar 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 Fortschritt 1.2.2 progressr 0.8.0
promises 1.2.0.1 proto 1.0.0 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recipes 0.1.16 rematch 1.0.1
rematch2 2.1.2 remotes 2.4.0 reprex 2.0.1
reshape2 1.4.4 rlang 0.4.11 rmarkdown 2.11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversions 2.1.1 rvest 1.0.1
sass 0.4.0 scales 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.6 shiny 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
spatial 7.3-11 splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 stats 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 survival 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2,10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
tidyselect 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0,33 tools 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 utils 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
vroom 1.5.5 waldo 0.3.1 whisker 0,4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
zip 2.2.0

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-continuation 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty jetty-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty jetty-plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty jetty-server 9.4.40.v20210413
org.eclipse.jetty jetty-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty jetty-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1