Freigeben über

Databricks Runtime 7.0 (EoS)

  • Artikel

Hinweis

Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.

Diese Version wurde von Databricks im Juni 2020 veröffentlicht.

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 7.0, unterstützt von Apache Spark 3.0.

Neue Funktionen

Databricks Runtime 7.0 enthält die folgenden neuen Features.

  • Scala: 2.12

    Databricks Runtime 7.0 aktualisiert Scala von 2.11.12 auf 2.12.10. Die Änderungsliste zwischen Scala 2.12 und 2.11 finden Sie in den Versionshinweisen zu Scala 2.12.0.

  • Autoloader (Public Preview), veröffentlicht in Databricks Runtime 6.4, wurde in Databricks Runtime 7.0 verbessert.

    Mit Autoloader können Sie neue Datendateien inkrementell verarbeiten, sobald sie in der ETL-Phase in einem Blobspeicher in der Cloud eintreffen. Dies ist eine Verbesserung gegenüber dem dateibasierten strukturierten Streaming, bei dem neue Dateien durch wiederholte Auflistung des Cloudverzeichnisses und Nachverfolgung der gesichteten Dateien identifiziert werden, was sehr ineffizient sein kann, wenn das Verzeichnis größer wird. Autoloader ist auch bequemer und effektiver als das strukturierte Streaming auf Basis von Dateibenachrichtigungen, bei dem Sie Dateibenachrichtigungsdienste in der Cloud manuell konfigurieren müssen und vorhandene Dateien nicht wieder einfügen können. Weitere Informationen finden Sie unter "Automatisches Laden".

    In Databricks Runtime 7.0 müssen Sie kein benutzerdefiniertes Databricks Runtime-Image mehr anfordern, um auto loader verwenden zu können.

  • COPY INTO(Public Preview) ermöglicht es Ihnen, Daten mit idempotenten Wiederholungsversuchen in Delta Lake zu laden, wurde in Databricks Runtime 7.0 verbessert.

    Der in Databricks Runtime 6.4 als Public Preview veröffentlichte Befehl COPY INTO SQL ermöglicht ihnen das Laden von Daten in Delta Lake mit idempotenten erneuten Versuchen. Um Daten in Delta Lake zu laden, müssen Sie derzeit Apache Spark-DataFrame-APIs verwenden. Wenn es bei Ladevorgängen zu Fehlern kommt, müssen Sie diese effektiv behandeln. Der neue Befehl COPY INTO bietet eine vertraute deklarative Schnittstelle zum Laden von Daten in SQL. Mit dem Befehl werden bereits geladene Dateien nachverfolgt, und Sie können ihn bei Fehlern problemlos erneut ausführen. Weitere Informationen finden Sie unter KOPIEREN IN.

Verbesserungen

  • Azure Synapse-Connector (früher SQL Data Warehouse) unterstützt die COPY-Anweisung.

    Der Hauptvorteil von COPY ist, dass Benutzer mit niedrigeren Berechtigungen Daten in Azure Synapse schreiben können, ohne strenge CONTROL-Berechtigungen für Azure Synapse.

  • Der %matplotlib inline Magic-Befehl ist nicht mehr erforderlich, um Matplolib-Objekte inline in Notebookzellen anzuzeigen. Sie werden standardmäßig immer inline angezeigt.

  • Matplolib-Zahlen werden jetzt mit transparent=False gerendert, damit vom Benutzer angegebene Hintergründe nicht verloren gehen. Dieses Verhalten kann durch die Einstellung der Spark-Konfiguration spark.databricks.workspace.matplotlib.transparent true außer Kraft gesetzt werden.

  • Bei der Ausführung von Produktionsaufträgen für strukturiertes Streaming auf Clustern im Modus „Hohe Parallelität“ konnte es vorkommen, dass der Neustart eines Auftrags fehlschlug, weil der zuvor ausgeführte Auftrag nicht ordnungsgemäß beendet wurde. Databricks Runtime 6.3 wurde die Möglichkeit eingeführt, die SQL-Konfiguration spark.sql.streaming.stopActiveRunOnRestart true in Ihrem Cluster so zu konfigurieren, dass die vorherige Ausführung beendet wird. Diese Konfiguration wird standardmäßig in Databricks Runtime 7.0 festgelegt.

Wichtige Bibliotheksänderungen

Python-Pakete

Wichtige Python-Pakete, die ein Upgrade erhalten haben

  • boto3 1.9.162 -> 1.12.0
  • matplotlib 3.0.3 -> 3.1.3
  • numpy 1.16.2 -> 1.18.1
  • pandas 0.24.2 -> 1.0.1
  • pip 19.0.3 -> 20.0.2
  • pyarrow 0.13.0 -> 0.15.1
  • psycopg2 2.7.6 -> 2.8.4
  • scikit-learn 0.20.3 -> 0.22.1
  • scipy 1.2.1 -> 1.4.1
  • seaborn 0.9.0 -> 0.10.0

Entfernte Python-Pakete:

  • boto (boto3 verwenden)
  • pycurl

Hinweis

Die Python-Umgebung in Databricks Runtime 7.0 verwendet Python 3.7, das sich von dem auf dem Ubuntu-System installierten Python unterscheidet: /usr/bin/python und /usr/bin/python2 sind mit Python 2.7 verknüpft und /usr/bin/python3 ist mit Python 3.6 verknüpft.

R-Pakete

R-Pakete hinzugefügt:

  • broom
  • highr
  • isoband
  • knitr
  • markdown
  • modelr
  • reprex
  • rmarkdown
  • rvest
  • selectr
  • tidyverse
  • tinytex
  • xfun

Entfernte R-Pakete:

  • abind
  • bitops
  • Auto
  • carData
  • doMC
  • gbm
  • h2o
  • littler
  • lme4
  • mapproj
  • maps
  • maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • rio
  • sp
  • SparseM
  • statmod
  • zip

Java- und Scala-Bibliotheken

  • Version für die Verarbeitung von benutzerdefinierten Hive-Funktionen und Hive SerDes wurde auf 2.3 aktualisiert.
  • Zuvor Azure Storage und Key Vault JAR-Dateien als Teil von Databricks Runtime gepackt, wodurch Sie daran gehindert wurden, verschiedene Versionen dieser Bibliotheken zu verwenden, die an Cluster angefügt sind. Klassen unter com.microsoft.azure.storage und com.microsoft.azure.keyvault befinden sich nicht mehr im Klassenpfad in Databricks Runtime. Wenn Sie von einem dieser Klassenpfade abhängig sind, müssen Sie nun Azure Storage SDK oder Azure Key Vault SDK an Ihre Cluster anfügen.

Verhaltensänderungen

In diesem Abschnitt werden Verhaltensänderungen von Databricks Runtime 6.6 in Databricks Runtime 7.0 aufgeführt. Sie sollten diese berücksichtigen, wenn Sie Workloads von niedrigeren Databricks Runtime Releases zu Databricks Runtime 7.0 und höher migrieren.

Spark-Verhaltensänderungen

Da Databricks Runtime 7.0 das erste Databricks Runtime ist, das auf Spark 3.0 basiert, sollten Sie viele Änderungen beachten, wenn Sie Workloads von Databricks Runtime 5.5 LTS oder 6.x migrieren, die auf Spark 2.4 basieren. Diese Änderungen sind im Abschnitt „Verhaltensänderungen“ jedes Funktionsbereichs im Abschnitt Apache Spark dieses Artikels aufgeführt:

Andere Verhaltensänderungen

  • Das Upgrade auf Scala 2.12 umfasst die folgenden Änderungen:

    • Die Serialisierung von Paketzellen wird anders verarbeitet. Das folgende Beispiel veranschaulicht die Verhaltensänderung und deren Handhabung.

      Die Ausführung von foo.bar.MyObjectInPackageCell.run(), wie in der folgenden Paketzelle definiert, löst den Fehler java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$ aus.

      package foo.bar

case class MyIntStruct(int: Int)

import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._
import org.apache.spark.sql.Column

object MyObjectInPackageCell extends Serializable {

  // Because SparkSession cannot be created in Spark executors,
  // the following line triggers the error
  // Could not initialize class foo.bar.MyObjectInPackageCell$
  val spark = SparkSession.builder.getOrCreate()

  def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))

  val theUDF = udf(foo)

  val df = {
    val myUDFInstance = theUDF(col("id"))
    spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
  }

  def run(): Unit = {
    df.collect().foreach(println)
  }
}

      Um diesen Fehler zu umgehen, können Sie MyObjectInPackageCell in eine serialisierbare Klasse einschließen.

    • In bestimmten Fällen, in denen DataStreamWriter.foreachBatch verwendet wird, ist eine Aktualisierung des Quellcodes erforderlich. Diese Änderung ist auf die Tatsache zurückzuführen, dass Scala 2.12 eine automatische Konvertierung von Lambda-Ausdrücken in SAM-Typen durchführt, was zu Mehrdeutigkeiten führen kann.

      Beispielsweise kann der folgende Scala-Code nicht kompiliert werden:

      streams
  .writeStream
  .foreachBatch { (df, id) => myFunc(df, id) }

      Um den Kompilierungsfehler zu beheben, ändern Sie foreachBatch { (df, id) => myFunc(df, id) } in foreachBatch(myFunc _), oder verwenden Sie explizit die Java-API: foreachBatch(new VoidFunction2 ...).

  • Da die Apache Hive-Version, die für die Verarbeitung von benutzerdefinierten Hive-Funktionen und Hive-SerDe-Implementierungen verwendet wird, auf 2.3 aktualisiert wurde, sind zwei Änderungen erforderlich:

    • Die Hive-Schnittstelle SerDe wird durch eine abstrakte Klasse AbstractSerDe ersetzt. Für jede benutzerdefinierte Hive-SerDe-Implementierung ist eine Migration zu AbstractSerDe erforderlich.
    • Die Festlegung von spark.sql.hive.metastore.jars auf builtin bedeutet, dass der Hive 2.3-Metastore-Client für den Zugriff auf Metastores für Databricks Runtime 7.0 verwendet wird. Wenn Sie auf Hive 1.2-basierte externe Metastores zugreifen müssen, legen Sie spark.sql.hive.metastore.jars auf den Ordner fest, der Hive 1.2-JARs enthält.

Veraltete und entfernte Funktionen

  • DATASKIPPING INDEX wurde in Databricks Runtime 4.3 als veraltet eingestuft und in Databricks Runtime 7.0 entfernt. Es wird empfohlen, stattdessen Delta-Tabellen zu verwenden, die verbesserte Funktionen zum Überspringen von Daten bieten.
  • In Databricks Runtime 7.0 verwendet die zugrunde liegende Version Apache Spark Scala 2.12. Da mit Scala 2.11 kompilierte Bibliotheken Databricks Runtime 7.0-Cluster auf unerwartete Weise deaktivieren können, installieren Cluster, in denen Databricks Runtime 7.0 und höher ausgeführt wird, keine Bibliotheken, die zur Installation in allen Clustern konfiguriert wurden. Die Registerkarte „Bibliotheken“ für eine Clusters zeigt den Status Skipped und eine Meldung an, in der die Änderungen bezüglich der Handhabung von Bibliotheken erläutert werden. Wenn Sie jedoch über einen Cluster verfügen, der mit einer Vorgängerversion von Databricks Runtime erstellt wurde, bevor Version 3.20 der Azure Databricks-Plattform für Ihren Arbeitsbereich veröffentlicht wurde, und Sie diesen Cluster jetzt bearbeiten, um Databricks Runtime 7.0 zu verwenden, werden alle Bibliotheken, die für die Installation in allen Clustern konfiguriert wurden, auf diesem Cluster installiert. In diesem Fall können inkompatible JARs in den installierten Bibliotheken dazu führen, dass der Cluster deaktiviert wird. Die Problemumgehung besteht darin, entweder den Cluster zu klonen oder einen neuen Cluster zu erstellen.

Apache Spark

Databricks Runtime 7.0 enthält Apache Spark 3.0.

Inhalt dieses Abschnitts:

Core, Spark SQL, Structured Streaming

Highlights

  • (Project Hydrogen) Accelerator-aware Scheduler (SPARK-24615)
  • Ausführung von adaptiven Abfragen (SPARK-31412)
  • Dynamische Partitionsbereinigung (SPARK-11150)
  • Neu gestaltete Pandas-UDF-API mit Typhinweisen (SPARK-28264)
  • Benutzeroberfläche für strukturierten Stream (SPARK-29543)
  • Katalog-Plug-In-API (SPARK-31121)
  • Bessere ANSI-SQL-Kompatibilität

Leistungsverbesserungen

  • Ausführung von adaptiven Abfragen (SPARK-31412)
  • Dynamische Partitionsbereinigung (SPARK-11150)
  • Andere Optimiererregeln
    • Regel ReuseSubquery (SPARK-27279)
    • Regel PushDownLeftSemiAntiJoin (SPARK-19712)
    • Regel PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
    • Regel ReplaceNullWithFalse (SPARK-25860)
    • Regel Beseitigen von Sortierungen ohne Beschränkung in der Unterabfrage von Join/Aggregation (SPARK-29343)
    • Regel PruneHiveTablePartitions (SPARK-15616)
    • Löschen unnötiger geschachtelter Felder aus Generate (SPARK-27707)
    • Regel RewriteNonCorrelatedExists (SPARK-29800)
  • Minimieren der Kosten für die Tabellencachesynchronisierung (SPARK-26917), (SPARK-26617), (SPARK-26548)
  • Aufteilen von Aggregationscode in kleine Funktionen (SPARK-21870)
  • Hinzufügen von Batchverarbeitung in den Befehlen INSERT und ALTER TABLE ADD PARTITION (SPARK-29938)

Erweiterungen für die Erweiterbarkeit

  • Katalog-Plug-In-API (SPARK-31121)
  • Refactoring der V2-API der Datenquelle (SPARK-25390)
  • Hive 3.0- und 3.1-Metastoreunterstützung (SPARK-27970), (SPARK-24360)
  • Erweitern der Spark-Plug-In-Schnittstelle auf den Treiber (SPARK-29396)
  • Erweitern des Spark-Metriksystems mit benutzerdefinierten Metriken mithilfe von Executor-Plug-Ins (SPARK-28091)
  • Entwickler-APIs für die erweiterte Unterstützung der spaltenbasierten Verarbeitung (SPARK-27396)
  • Integrierte Quellmigration mit DSV2: Parquet, ORC, CSV, JSON, Kafka, Text, Avro (SPARK-27589)
  • FunctionInjection in SparkExtensions zulassen (SPARK-25560)
  • Ermöglicht die Registrierung des Aggregators als UDAF (SPARK-27296)

Connectorerweiterungen

  • Spaltenbereinigung durch nicht deterministische Ausdrücke (SPARK-29768)
  • Unterstützung von spark.sql.statistics.fallBackToHdfs in Datenquellentabellen (SPARK-25474)
  • Partitionsbereinigung mit Unterabfragefiltern für Dateiquelle zulassen (SPARK-26893)
  • Vermeiden der Weitergabe von Unterabfragen in Datenquellenfiltern (SPARK-25482)
  • Rekursives Laden von Daten aus Dateiquellen (SPARK-27990)
  • Parquet, Orc
    • Pushdown disjunktiver Prädikate (SPARK-27699)
    • Verallgemeinern der Bereinigung geschachtelter Spalten (SPARK-25603) und standardmäßig aktiviert (SPARK-29805)
    • Gilt nur für Parquet.
      • Parquet-Prädikat-Pushdown für geschachtelte Felder (SPARK-17636)
    • Nur ORC
  • CSV
    • Unterstützung für Filterpushdown in Avro-Datenquelle (SPARK-30323)
  • hive-serde
    • Kein Schemarückschluss beim Lesen der Hive-Serde-Tabelle mit nativer Datenquelle (SPARK-27119)
    • Hive CTAS-Befehle sollten eine Datenquelle verwenden, wenn sie konvertierbar ist (SPARK-25271).
    • Verwenden einer nativen Datenquelle zum Optimieren des Einfügens einer partitionierten Hive-Tabelle (SPARK-28573)
  • Apache Kafka
    • Unterstützung für Kafka-Header hinzugefügt (SPARK-23539)
    • Hinzufügen von Unterstützung für Kafka-Delegierungstoken (SPARK-25501)
    • Neue Option für Kafka-Quelle einführen: Offset durch Zeitstempel (Start/Ende) (SPARK-26848)
    • Unterstützung der minPartitions-Option in der Kafka-Batchquelle und der Streamingquelle v1 (SPARK-30656)
    • Upgrade von Kafka auf 2.4.1 (SPARK-31126)
  • Neue integrierte Datenquellen

Featureverbesserungen

Verbesserungen bei der SQL-Kompatibilität

  • Wechseln zum protischen gregorianischen Kalender (SPARK-26651)
  • Erstellen einer eigenen datetime-Musterdefinition von Spark (SPARK-31408)
  • ANSI-Richtlinie zur Speicherzuweisung beim Einfügen von Tabellen einführen (SPARK-28495)
  • Standardmäßiges Befolgen der ANSI-Speicherzuweisungsregel beim Einfügen von Tabellen (SPARK-28885)
  • Hinzufügen einer SQLConf-Instanz spark.sql.ansi.enabled (SPARK-28989)
  • Unterstützung der ANSI SQL Filterklausel für Aggregatausdruck (SPARK-27986)
  • Unterstützung der ANSI SQL OVERLAY-Funktion (SPARK-28077)
  • Unterstützung geschachtelter ANSI-Kommentare in Klammern (SPARK-28880)
  • Ausnahme bei Überlauf für ganze Zahlen auslösen (SPARK-26218)
  • Überlaufüberprüfung für arithmetische Intervalloperationen (SPARK-30341)
  • Ausnahme auslösen, wenn eine ungültige Zeichenfolge in einen numerischen Typ konvertiert wird (SPARK-30292)
  • Intervall multiplizieren und Überlaufverhalten der Division mit anderen Vorgängen konsistent machen (SPARK-30919)
  • Hinzufügen von ANSI-Typaliasen für char und decimal (SPARK-29941)
  • SQL Parser definiert ANSI-konforme reservierte Schlüsselwörter (SPARK-26215).
  • Reservierte Schlüsselwörter als Bezeichner verbieten, wenn der ANSI-Modus aktiviert ist (SPARK-26976)
  • Unterstützung der ANSI SQL LIKE ... ESCAPE-Syntax (SPARK-28083)
  • Unterstützung der ANSI SQL Boolean-Predicate Syntax (SPARK-27924)
  • Bessere Unterstützung für die Verarbeitung korrelierter Unterabfragen (SPARK-18455)

Verbesserungen der Überwachung und Debugbarkeit

  • Benutzeroberfläche für neuen strukturierten Stream (SPARK-29543)
  • SHS: Ermöglicht das Rollback von Ereignisprotokollen für ausgeführte Streaming-Apps (SPARK-28594).
  • Hinzufügen einer API, mit der ein Benutzer beliebige Metriken für Batch- und Streamingabfragen definieren und beobachten kann (SPARK-29345)
  • Instrumentierung für die Nachverfolgung der Planungszeit pro Abfrage (SPARK-26129)
  • Legen Sie die grundlegenden Shufflemetriken im SQL Exchange-Operator ab (SPARK-26139).
  • SQL-Anweisung wird auf SQL Registerkarte anstelle von Callsite (SPARK-27045) angezeigt.
  • Hinzufügen einer QuickInfo zu SparkUI (SPARK-29449)
  • Verbessern der gleichzeitigen Leistung des Verlaufsservers (SPARK-29043)
  • EXPLAIN FORMATTED Befehl (SPARK-27395)
  • Unterstützung von gekürzten Plänen und generiertem Code in einer Datei (SPARK-26023)
  • Verbessern des Beschreibungsframework zum Beschreiben der Ausgabe einer Abfrage (SPARK-26982)
  • Befehl SHOW VIEWS hinzufügen (SPARK-31113)
  • Verbessern der Fehlermeldungen des SQL Parsers (SPARK-27901)
  • Native Unterstützung der Prometheus-Überwachung (SPARK-29429)

PySpark-Erweiterungen

  • Pandas-UDFs mit neuer Gestaltung und Typhinweisen (SPARK-28264)
  • Pandas-UDF-Pipeline (SPARK-26412)
  • Unterstützung von StructType als Argumente und Rückgabetypen für die benutzerdefinierte Skalar-Pandas-Funktion (SPARK-27240 )
  • Unterstützung von Dataframe-Cogroup über die benutzerdefinierte Pandas-Funktion (SPARK-27463)
  • mapInPandas hinzufügen, um einen Iterator von DataFrames zu ermöglichen (SPARK-28198)
  • Bestimmte SQL-Funktionen sollten auch Spaltennamen übernehmen (SPARK-26979).
  • PySpark-SQL-Ausnahmen pythonischer machen (SPARK-31849)

Verbesserungen der Dokumentation und Testabdeckung

  • Erstellen einer SQL-Referenz (SPARK-28588)
  • Erstellen eines Benutzerhandbuchs für WebUI (SPARK-28372)
  • Erstellen einer Seite für SQL-Konfigurationsdokumentation (SPARK-30510)
  • Hinzufügen von Versionsinformationen für die Spark-Konfiguration (SPARK-30839)
  • Portregressionstests von PostgreSQL (SPARK-27763)
  • Thrift-Server-Testabdeckung (SPARK-28608)
  • Testabdeckung von benutzerdefinierten Funktionen (UDF) (Python UDF, Pandas UDF, Scala UDF) (SPARK-27921)

Weitere wichtige Änderungen

  • Integriertes Hive-Ausführungsupgrade von 1.2.1 auf 2.3.6 (SPARK-23710, SPARK-28723, SPARK-31381)
  • Standardmäßig Apache Hive 2.3-Abhängigkeit verwenden (SPARK-30034)
  • GA Scala 2.12 und Entfernen von 2.11 (SPARK-26132)
  • Verbessern der Logik für Timeout-Executors bei der dynamischen Zuordnung (SPARK-20286)
  • Datenträger-persistente RDD-Blöcke, die vom Shuffle-Dienst bereitgestellt und für die dynamische Zuordnung ignoriert werden (SPARK-27677)
  • Abrufen neuer Executors, um einen Stillstand aufgrund von Sperrlisten zu vermeiden (SPARK-22148)
  • Freigabe der Speicherpoolzuweisungen von Netty zulassen (SPARK-24920)
  • Beheben eines Deadlocks zwischen TaskMemoryManager und UnsafeExternalSorter$SpillableIterator (SPARK-27338)
  • Einführung von AdmissionControl APIs für StructuredStreaming (SPARK-30669)
  • Verbesserung der Leistung der Spark-Verlaufshauptseite (SPARK-25973)
  • Beschleunigung und Verschlankung der Metrik-Aggregation in SQL-Listener (SPARK-29562)
  • Vermeiden Sie das Netzwerk, wenn Shuffleblöcke vom gleichen Host abgerufen werden (SPARK-27651).
  • Verbessern der Dateiliste für DistributedFileSystem (SPARK-27801)

Verhaltensänderungen für Spark Core, Spark SQL und Strukturiertes Streaming

In den folgenden Migrationsleitfäden werden Verhaltensänderungen zwischen Apache Spark 2.4 und 3.0 aufgeführt. Diese Änderungen erfordern möglicherweise Updates für Aufträge, die Sie in niedrigeren Databricks Runtime Versionen ausgeführt haben:

Die folgenden Verhaltensänderungen werden in diesen Migrationsleitfäden nicht behandelt:

  • In Spark 3.0 wurde die veraltete Klasse org.apache.spark.sql.streaming.ProcessingTime entfernt. Verwenden Sie stattdessen org.apache.spark.sql.streaming.Trigger.ProcessingTime. Ebenso wurde org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger zugunsten von Trigger.Continuous entfernt und org.apache.spark.sql.execution.streaming.OneTimeTrigger wurde zugunsten von Trigger.Once ausgeblendet. (SPARK-28199)
  • In Databricks Runtime 7.0 untersagt Spark beim Lesen einer Hive-SerDe-Tabelle standardmäßig das Lesen von Dateien unterhalb eines Unterverzeichnisses, das keine Tabellenpartition ist. Legen Sie zur Aktivierung die Konfiguration spark.databricks.io.hive.scanNonpartitionedDirectory.enabled auf true fest. Dies wirkt sich nicht auf native Spark-Tabellenleser und -Dateileser aus.

MLlib

Highlights

  • Unterstützung mehrerer Spalten wurde zu Binarizer (SPARK-23578), StringIndexer (SPARK-11215), StopWordsRemover (SPARK-29808) und PySpark QuantileDiscretizer (SPARK-22796) hinzugefügt.
  • Unterstützung der strukturbasierten Featuretransformation (SPARK-13677)
  • Zwei neue Evaluatoren MultilabelClassificationEvaluator (SPARK-16692) und RankingEvaluator (SPARK-28045) wurden hinzugefügt.
  • Unterstützung für Stichprobengewichtungen wurde in DecisionTreeClassifier/Regressor (SPARK-19591), RandomForestClassifier/Regressor (SPARK-9478), GBTClassifier/Regressor (SPARK-9612), RegressionEvaluator (SPARK-9612) hinzugefügt.24102), BinaryClassificationEvaluator (SPARK-24103), BisectingKMeans (SPARK-30351), KMeans (SPARK-29967) und GaussianMixture (SPARK-30102) hinzugefügt.
  • R-API für PowerIterationClustering wurde hinzugefügt (SPARK-19827)
  • Spark ML Listener für die Nachverfolgung ML Pipelinestatus hinzugefügt (SPARK-23674)
  • Anpassung an Validierungssatz wurde zu Gradient Boosted Trees in Python hinzugefügt (SPARK-24333)
  • RobustScaler-Transformator wurde hinzugefügt (SPARK-28399)
  • Klassifizierung und Regressor für Factorization Machines wurden hinzugefügt (SPARK-29224)
  • Gaussian Naive Bayes (SPARK-16872) und Complement Naive Bayes (SPARK-29942) wurden hinzugefügt.
  • ML Funktionsparität zwischen Scala und Python (SPARK-28958)
  • predictRaw wird in allen Klassifizierungsmodellen öffentlich gemacht. predictProbability wird in allen Klassifizierungsmodellen mit Ausnahme von LinearSVCModel (SPARK-30358) veröffentlicht.

Verhaltensänderungen für MLlib

In den folgenden Migrationsleitfäden werden Verhaltensänderungen zwischen Apache Spark 2.4 und 3.0 aufgeführt. Diese Änderungen erfordern möglicherweise Updates für Aufträge, die Sie in niedrigeren Databricks Runtime Versionen ausgeführt haben:

Die folgenden Verhaltensänderungen werden in diesem Migrationsleitfaden nicht behandelt:

  • In Spark 3.0 gibt eine logistische Regression mit mehreren Klassen in Pyspark jetzt (ordnungsgemäß) LogisticRegressionSummary und nicht die Unterklasse BinaryLogisticRegressionSummary zurück. Die zusätzlichen Methoden, die über BinaryLogisticRegressionSummary verfügbar gemacht werden, würden in diesem Fall ohnehin nicht funktionieren. (SPARK-31681)
  •  In Spark 3.0 stellen pyspark.ml.param.shared.Has*-Mixins keine set*(self, value)-Setter-Methoden mehr zur Verfügung, sondern verwenden stattdessen den jeweiligen self.set(self.*, value). Weitere Informationen finden Sie unter SPARK-29093. (SPARK-29093)

SparkR

  • Pfeiloptimierung in der SparkR-Interoperabilität (SPARK-26759)
  • Leistungsverbesserung über vektorisierte R gapply(), dapply(), createDataFrame, collect()
  • „Eager Execution“ für R-Shell, IDE (SPARK-24572)
  • R-API für Power Iteration Clustering (SPARK-19827)

Verhaltensänderungen für SparkR

In den folgenden Migrationsleitfäden werden Verhaltensänderungen zwischen Apache Spark 2.4 und 3.0 aufgeführt. Diese Änderungen erfordern möglicherweise Updates für Aufträge, die Sie in niedrigeren Databricks Runtime Versionen ausgeführt haben:

Veraltete Funktionen

  • Unterstützung für Python 2 als veraltet kennzeichnen (SPARK-27884)
  • Unterstützung für R < 3.4 als veraltet kennzeichnen (SPARK-26014)

Bekannte Probleme

  • Die Analyse des Tages des Jahres mit dem Buchstaben „D“ liefert ein falsches Ergebnis, wenn das Jahresfeld fehlt. Dies kann in SQL-Funktionen wie to_timestamp auftreten, die datetime-Zeichenfolgen mithilfe einer Musterzeichenfolge in datetime-Werte analysieren. (SPARK-31939)
  • Join-/Fenster-/Aggregatschlüssel innerhalb von Unterabfragen können zu falschen Ergebnissen führen, wenn die Schlüssel die Werte -0.0 und 0.0 aufweisen. (SPARK-31958)
  • Eine Fensterabfrage kann mit einem mehrdeutigen Selbstverknüpfungsfehler unerwartet fehlschlagen. (SPARK-31956)
  • Streamingabfragen mit dropDuplicates-Operator können möglicherweise nicht mit dem von Spark 2.x geschriebenen Prüfpunkt neu gestartet werden. (SPARK-31990)

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 7.0-Wartungsupdates.

Systemumgebung

  • Betriebssystem: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R-Version 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.4.5 cffi 1.14.0
chardet 3.0.4 cryptography 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.9.4 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 matplotlib 3.1.3
numpy 1.18.1 Pandas 1.0.1 parso 0.5.2
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.0.2 prompt-toolkit 3.0.3 psycopg2 2.8.4
ptyprocess 0.6.0 pyarrow 0.15.1 pycparser 2.19
Pygments 2.5.2 PyGObject 3.26.1 pyOpenSSL 19.1.0
pyparsing 2.4.6 PySocks 1.7.1 python-apt 1.6.5+ubuntu0.3
Python-dateutil 2.8.1 pytz 2019.3 pyzmq 18.1.1
requests 2.22.0 s3transfer 0.3.3 scikit-learn 0.22.1
scipy 1.4.1 seaborn 0.10.0 setuptools 45.2.0
sechs 1.14.0 ssh-import-id 5.7 statsmodels 0.11.0
tornado 6.0.3 traitlets 4.3.3 unattended-upgrades 0,1
urllib3 1.25.8 virtualenv 16.7.10 wcwidth 0.1.8
wheel 0.34.2

Installierte R-Bibliotheken

R-Bibliotheken werden aus (Microsoft CRAN-Momentaufnahme am 22.04.2020) installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
askpass 1.1 assertthat 0.2.1 backports 1.1.6
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 Blob 1.2.1
boot 1.3-25 brew 1.0-6 broom 0.5.6
callr 3.4.3 caret 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1.7 compiler 3.6.3
config 0,3 covr 3.5.0 crayon 1.3.4
crosstalk 1.1.0.1 curl 4.3 data.table 1.12.8
datasets 3.6.3 DBI 1.1.0 dbplyr 1.4.3
desc 1.2.0 devtools 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0,13 ellipsis 0.3.0
Evaluieren 0.14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
foreign 0.8-76 forge 0.2.0 fs 1.4.1
generics 0.0.2 ggplot2 3.3.0 gh 1.1.0
git2r 0.26.1 glmnet 3.0-2 globals 0.12.5
glue 1.4.0 gower 0.2.1 Grafiken 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.2.0
highr 0,8 hms 0.5.3 htmltools 0.4.0
htmlwidgets 1.5.1 httpuv 1.5.2 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.1 iterators 1.0.12
jsonlite 1.6.1 KernSmooth 2.23-17 knitr 1.28
labeling 0,3 later 1.0.0 lattice 0.20-41
lava 1.6.7 lazyeval 0.2.2 Lebenszyklus 0.2.0
lubridate 1.7.8 magrittr 1.5 markdown 1.1
MASS 7.3-51.6 Matrix 1.2-18 memoise 1.1.0
methods 3.6.3 mgcv 1.8-31 mime 0.9
ModelMetrics 1.2.2.2 modelr 0.1.6 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.1 parallel 3.6.3 pillar 1.4.3
pkgbuild 1.0.6 pkgconfig 2.0.3 pkgload 1.0.2
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.2
prodlim 2019.11.13 Fortschritt 1.2.2 promises 1.1.0
proto 1.0.0 ps 1.3.2 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.4.6 readr 1.3.1 readxl 1.3.1
recipes 0.1.10 rematch 1.0.1 rematch2 2.1.1
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.5
rmarkdown 2.1 RODBC 1.3-16 roxygen2 7.1.0
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.1
rvest 0.3.5 scales 1.1.0 selectr 0.4-2
sessioninfo 1.1.1 shape 1.4.4 shiny 1.4.0.2
sourcetools 0.1.7 sparklyr 1.2.0 SparkR 3.0.0
spatial 7.3-11 splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.2 stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 survival 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2,10
testthat 2.3.2 tibble 3.0.1 tidyr 1.0.2
tidyselect 1.0.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,22 tools 3.6.3 usethis 1.6.0
utf8 1.1.4 utils 3.6.3 vctrs 0.2.4
viridisLite 0.3.0 whisker 0,4 withr 2.2.0
xfun 0,13 xml2 1.3.1 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.0
net.snowflake spark-snowflake_2.12 2.5.9-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-column 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-encoding 1.10.1.2-databricks4
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity velocity 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52