Freigeben über

Databricks Runtime 16.0

  • Artikel

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.0, unterstützt von Apache Spark 3.5.0.

Databricks hat diese Version im November 2024 veröffentlicht.

Tipp

Hinweise zu Databricks-Runtime-Versionen, die das Ende des Supports (EoS) erreicht haben, finden Sie unter Versionshinweise zu Databricks Runtime am Ende des Supports. Die EoS-Databricks-Runtime-Versionen wurden eingestellt und werden möglicherweise nicht aktualisiert.

Änderungen des Verhaltens

Aktuelle Änderung: JDK 17 ist jetzt die Standardeinstellung

In Databricks Runtime 16.0 und höher wird die standardmäßige JDK-Version von JDK 8 auf JDK 17 umgestellt. Diese Änderung erfolgt aufgrund der geplanten Deaktivierung und des End-of-Support für JDK 8. Dies wirkt sich auf Folgendes aus:

  • Java-Code, der auf Azure Databricks ausgeführt wird, muss mit Java 17 kompatibel sein.
  • Skalarer Code, der in Notizbüchern oder Azure Databricks compute ausgeführt wird, muss mit Java 17 kompatibel sein.
  • Auf compute installierte Java- und Scala-Bibliotheken müssen mit Java 17 kompatibel sein.
  • Versionen des Apache Hive-Metastore-Clients unter 2.x. Das Festlegen der Spark-Konfiguration spark.sql.hive.metastore.version auf eine Version unter 2.x führt zu Kompatibilitätsproblemen mit Java 17 und Verbindungsfehlern mit dem Hive-Metastore. Databricks empfiehlt ein Upgrade von Hive auf eine Version über 2.0.0.

Wenn Sie auf Java 8 zurücksetzen müssen, fügen Sie den Spark-Umgebungsvariablen Folgendes hinzu, wenn Sie Ihre Azure Databricks-Berechnung konfigurieren:

JNAME=zulu8-ca-amd64

Wenn Sie ARM-Instanzen verwenden, verwenden Sie Folgendes:

JNAME=zulu8-ca-arm64

Weitere Informationen zum Angeben von JDK-Versionen mit Azure Databricks Compute finden Sie unter Erstellen eines Clusters, der JDK 17 verwendet.

Hilfe zum Migrieren ihres Codes aus Java 8 finden Sie in den folgenden Handbüchern:

Bahnbrechende Änderung: Gehostetes RStudio ist Ende der Lebensdauer

Mit dieser Version ist databricks-hosted RStudio Server ende-of-life und nicht für jeden Azure Databricks-Arbeitsbereich verfügbar, in dem Databricks Runtime 16.0 und höher ausgeführt wird. Weitere Informationen und eine Liste der Alternativen zu RStudio finden Sie unter "Hosted RStudio Server deprecation".

Unterbrechung der Änderung: Entfernen der Unterstützung für das Ändern bytevon Typen shortint und long Typen auf breitere Typen

In Databricks Runtime 15.4.3 und höher können die folgenden Datentypänderungen nicht mehr auf Tabellen angewendet werden, für die das Feature "Typverbreiterung" aktiviert ist:

  • byte, shortund int long bis decimal.
  • byte, shortund int bis double.

Diese Änderung wird vorgenommen, um ein einheitliches Verhalten in Delta- und Iceberg-Tabellen sicherzustellen. Weitere Informationen zur Typweiterung finden Sie unter "Typweiterung".

Korrigieren der Analyse von Regex-Mustern mit Negation in geschachtelter Zeichengruppierung

Diese Version enthält eine Änderung zur Unterstützung der korrekten Analyse von Regex-Mustern mit Negation in geschachtelter Zeichengruppierung. Beispielsweise wird [^[abc]] als „beliebiges Zeichen analysiert, das NICHT abc“ ist.

Darüber hinaus war das Photon-Verhalten mit Spark für geschachtelte Zeichenklassen inkonsistent. Regex-Muster, die geschachtelte Zeichenklassen enthalten, verwenden Photon nicht mehr und verwenden stattdessen Spark. Eine geschachtelte Zeichenklasse ist jedes Muster, das eckige Klammern in eckigen Klammern enthält, z. B. [[a-c][1-3]].

Verbessern der Erkennung doppelter Übereinstimmungen im Delta Lake MERGE

In Databricks Runtime 15.4 LTS und darunter schlagen Vorgänge fehl, MERGE wenn mehrere Zeilen in der Quelltabelle auf der Grundlage der MERGE in der ON Klausel angegebenen Bedingung mit derselben Zeile in der Zieltabelle übereinstimmen. In Databricks Runtime 16.0 und höher werden auch bedingungen berücksichtigt, MERGE die in der WHEN MATCHED Klausel angegeben sind. Siehe Ausführen eines Upsert-Vorgangs in einer Delta Lake-Tabelle mithilfe von „Merge“.

Die Clusterbibliothek-Installationsmethode kann nicht mehr außer Kraft gesetzt werden.

Die Spark-Konfigurationen und spark.databricks.libraries.enableCRANResolutionnow spark.databricks.libraries.enableMavenResolutionjetzt standardmäßig true und können nicht überschrieben spark.databricks.libraries.enableSparkPyPIwerden.

Standardtimeout von zwei Stunden für Installationen mit Clusterbereichsbibliothek

In Databricks Runtime 16.0 und höher verfügt die Clusterbibliothekinstallation über ein Standardtimeout von zwei Stunden. Bibliotheksinstallationen, die länger als dieses Timeout dauern, schlagen fehl, und die Installation wird beendet. Beim Konfigurieren eines Clusters können Sie den Timeoutzeitraum mithilfe der Spark-Konfiguration spark.databricks.driver.clusterLibraryInstallationTimeoutSecändern.

Installieren von Bibliotheken aus DBFS und Festlegen der Spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed sind deaktiviert

In Databricks Runtime 16.0 und höher ist die Installation von Bibliotheken aus DBFS vollständig deaktiviert. Diese Änderung wird vorgenommen, um die Sicherheit von Bibliotheken in einem Databricks-Arbeitsbereich zu verbessern. Darüber hinaus können Sie in Databricks Runtime 16.0 und höher die Spark-Konfiguration spark.databricks.driver.dbfsLibraryInstallationAllowednicht mehr verwenden.

Die addArtifact() Funktionalität ist jetzt in allen Computetypen konsistent.

Mit dieser Version wird das Archiv automatisch entpackt, wenn Sie addArtifact(archive = True) eine Abhängigkeit zu freigegebenen oder serverlosen Azure Databricks-Berechnungen hinzufügen. Durch diese Änderung wird das Verhalten "addArtifact(archive = True) für diese Computetypen im Einklang mit der Berechnung einzelner Benutzer, die bereits das automatische Entpacken von Archiven unterstützt.

Neue Features und Verbesserungen

Zuverlässigeres Neuladen von modifizierten Python-Modulen mit Verbesserungen autoreload

In Databricks Runtime 16.0 und höher verbessern Updates der autoreload Erweiterung die Sicherheit und Zuverlässigkeit des Neuladens von geänderten Python-Modulen, die aus Arbeitsbereichsdateien importiert wurden. Bei diesen Änderungen lädt nach autoreloadMöglichkeit nur der Teil eines Moduls neu, der sich anstelle des gesamten Moduls geändert hat. Darüber hinaus schlägt Azure Databricks jetzt automatisch vor, die autoreload Erweiterung zu verwenden, wenn sich das Modul seit dem letzten Import geändert hat. Siehe Autoreload für Python-Module.

Avro-Unterstützung für rekursives Schema

Sie können jetzt die Option mit der recursiveFieldMaxDepth from_avro Funktion und der avro Datenquelle verwenden. Diese Option legt die maximale Tiefe für die Schema rekursion in der Avro-Datenquelle fest. Siehe Lesen und Schreiben von Avro-Streamingdaten.

Erweiterte Unterstützung für confluent Schema Registry für Avro

Azure Databricks unterstützt jetzt avro schema reference with the Confluent Schema Registry. Siehe Authentifizieren bei einer externen Confluent-Schemaregistrierung.

Erzwingen der Neuclusterung auf Tischen mit flüssiger Clusterung

In Databricks Runtime 16.0 und höher können Sie die OPTIMIZE FULL Syntax verwenden, um die Neuclusterung aller Datensätze in einer Tabelle mit aktivierter Flüssigclusterung zu erzwingen. Siehe " Neuclustering erzwingen" für alle Datensätze.

Die Delta-APIs für Python und Scala unterstützen jetzt Identitätsspalten

Sie können jetzt die Delta-APIs für Python und Scala verwenden, um Tabellen mit Identitätsspalten zu erstellen. Weitere Informationen finden Sie unter Verwenden von Identitätsspalten in Delta Lake.

Feinkörnige Zugriffssteuerung für die Berechnung einzelner Benutzer ist allgemein verfügbar.

In Databricks Runtime 16.0 und höher ist eine differenzierte Zugriffssteuerung für die Berechnung einzelner Benutzer allgemein verfügbar. In Arbeitsbereichen, die für die serverlose Berechnung aktiviert sind, wenn eine Abfrage auf unterstützter Compute ausgeführt wird, z. B. einzelner Benutzer, und die Abfrage greift auf eines der folgenden Objekte zu, übergibt die Computeressource die Abfrage an den serverlosen Compute, um die Datenfilterung auszuführen:

  • Ansichten, die über Tabellen definiert sind, für die der Benutzer nicht über die SELECT Berechtigungen verfügt.
  • Dynamische Ansichten.
  • Tabellen mit angewendeten Zeilenfiltern oder Spaltenformaten.
  • Materialisierte Ansichten und Streamingtabellen.

Erstellen flüssiger gruppierter Tabellen während des Streaming-Schreibvorgangs

Sie können jetzt clusterBy das Liquid Clustering aktivieren, wenn Sie neue Tabellen mit strukturierten Streaming-Schreibvorgängen erstellen. Weitere Informationen finden Sie unter Aktivieren des Liquid Clustering.

Unterstützung für die OPTIMIZE FULL-Klausel

Databricks Runtime 16.0 unterstützt die OPTIMIZE FULL-Klausel . Diese Klausel optimiert alle Datensätze in einer Tabelle, die flüssigen Clustering verwendet, einschließlich Daten, die zuvor gruppiert wurden.

Unterstützung für die SPEZIFIKATION von WITH-Optionen in INSERT und Tabellenreferenz

Databricks Runtime 16.0 unterstützt eine Optionsspezifikation für Tabellenverweise und Tabellennamen einer INSERT Anweisung, die zum Steuern des Verhaltens von Datenquellen verwendet werden kann.

Neue SQL-Funktionen

Die folgenden SQL-Funktionen werden in Databricks Runtime 16.0 hinzugefügt:

  • try_url_decode

    Diese Funktion ist eine fehlertolerante Version von url_decode. Diese Funktion gibt zurück NULL , wenn die Eingabe keine gültige URL-codierte Zeichenfolge ist.

  • zeroifnull

    Wenn der Eingabeausdruck für die zeroifnull() Funktion lautet NULL, gibt die Funktion 0 zurück. Andernfalls wird der Wert des Eingabeausdrucks zurückgegeben.

  • nullifzero

    Gibt zurück NULL , wenn die Eingabe 0 oder die Eingabe ist, wenn sie nicht 0 ist. Wenn der Eingabeausdruck für die nullifzero() Funktion 0 ist, gibt die Funktion zurück NULL. Wenn der Eingabeausdruck nicht 0 ist, wird der Wert des Eingabeausdrucks zurückgegeben.

Aktivieren der automatischen Schemaentwicklung beim Zusammenführen von Daten in eine Delta-Tabelle

Diese Version fügt Unterstützung für das withSchemaEvolution() Mitglied der DeltaMergeBuilder Klasse hinzu. Wird verwendet withSchemaEvolution() , um die automatische Schemaentwicklung während des MERGE Betriebs zu aktivieren. Beispiel: mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}.

Weitere Änderungen

SparkR ist jetzt veraltet

In Databricks Runtime 16.0 und höher ist SparkR in Databricks in Vorbereitung auf seine Veraltetkeit in der kommenden Spark 4-Version veraltet . Siehe den Apache Spark Deprecate SparkR-Thread.

Databricks empfiehlt stattdessen die Verwendung von Sparklyr .

Databricks Runtime 16.0 wird mit PVC nicht unterstützt

Databricks Runtime 16.0 wird von Databricks Private Virtual Cloud (PVC) nicht unterstützt. Sie müssen Databricks Runtime 15.4 oder darunter mit allen PVC-Versionen verwenden.

Fehlerkorrekturen

Auto Loader rettet jetzt Avro-Datensatztypen mit leeren Schemas.

Beim Laden einer Avro-Datei in eine Delta-Tabelle mit auto Loader werden die Typen in der Datei, die über ein leeres Schema verfügen, record jetzt der spalte "gerettete Daten" hinzugefügt. Da Sie keine leeren komplexen Datentypen in eine Delta-Tabelle aufnehmen können, wird ein Problem beim Laden einiger Avro-Dateien behoben. Weitere Informationen zu geretteten Daten finden Sie unter Was ist die Spalte für gerettete Daten?.

Fehler beim Schreiben von Zeitstempeln mit Zeitzonen, die einen zweiten Offset enthalten.

Diese Version behebt einen Fehler, der sich auf einige Zeitstempel mit Zeitzonen auswirkt, die einen zweiten Offset enthalten. Dieser Fehler verursacht, dass die Sekunden beim Schreiben in JSON, XML oder CSV weggelassen werden, was zu falschen Zeitstempelwerten führt.

Um zum vorherigen Verhalten zurückzukehren, verwenden Sie beim Schreiben in eines der betroffenen Formate die folgende Option: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")

Bibliotheksupgrades

  • Aktualisierte Python-Bibliotheken:
    • azure-core von 1.30.2 bis 1.31.0
    • azure-storage-blob von 12.19.1 bis 12.23.0
    • azure-storage-file-datalake von 12.14.0 bis 12.17.0
    • schwarz von 23.3.0 bis 24.4.2
    • blinker von 1,4 bis 1.7.0
    • boto3 von 1.34.39 bis 1.34.69
    • Botocore von 1.34.39 bis 1.34.69
    • certifi from 2023.7.22 to 2024.6.2
    • cffi von 1.15.1 bis 1.16.0
    • klicken Sie von 8.0.4 bis 8.1.7
    • comm von 0.1.2 bis 0.2.1
    • Konturpy von 1.0.5 bis 1.2.0
    • Kryptografie von 41.0.3 bis 42.0.5
    • Cython von 0.29.32 bis 3.0.11
    • databricks-sdk von 0.20.0 bis 0.30.0
    • dbus-python von 1.2.18 bis 1.3.2
    • filelock von 3.13.4 auf 3.15.4
    • fonttools von 4.25.0 bis 4.51.0
    • GitPython von 3.1.43 bis 3.1.37
    • google-api-core von 2.18.0 bis 2.20.0
    • google-auth von 2.31.0 bis 2.35.0
    • google-cloud-storage von 2.17.0 bis 2.18.2
    • google-crc32c von 1.5.0 bis 1.6.0
    • google-resumable-media von 2.7.1 auf 2.7.2
    • googleapis-common-protos von 1.63.2 bis 1.65.0
    • httplib2 von 0.20.2 bis 0.20.4
    • idna von 3.4 bis 3.7
    • ipykernel von 6.25.1 bis 6.28.0
    • ipython von 8.15.0 bis 8.25.0
    • jedi von 0.18.1 bis 0.19.1
    • jmespath von 0.10.0 bis 1.0.1
    • joblib von 1.2.0 bis 1.4.2
    • jupyter_client von 7.4.9 bis 8.6.0
    • jupyter_core von 5.3.0 bis 5.7.2
    • launchpadlib von 1.10.16 bis 1.11.0
    • lazr.restfulclient von 0.14.4 bis 0.14.6
    • matplotlib von 3.7.2 bis 3.8.4
    • mlflow-skinny von 2.11.4 bis 2.15.1
    • more-itertools von 8.10.0 bis 10.3.0
    • mypy-extensions von 0.4.3 bis 1.0.0
    • nest-asyncio von 1.5.6 bis 1.6.0
    • numpy von 1.23.5 bis 1.26.4
    • oauthlib von 3.2.0 bis 3.2.2
    • Verpackung von 23.2 bis 24.1
    • Patsy von 0.5.3 bis 0.5.6
    • Pip von 23.2.1 bis 24.2
    • zeichnungsmäßig von 5.9.0 bis 5.22.0
    • prompt-toolkit von 3.0.36 bis 3.0.43
    • Pyarrow von 14.0.1 bis 15.0.2
    • Pydantisch von 1.10.6 bis 2.8.2
    • PyGObject von 3.42.1 bis 3.48.2
    • PyJWT von 2.3.0 bis 2.7.0
    • Pyodbc von 4.0.38 bis 5.0.1
    • python-dateutil von 2.8.2 bis 2.9.0.post0
    • python-lsp-jsonrpc von 1.1.1 bis 1.1.2
    • pytz von 2022.7 bis 2024.1
    • PyYAML von 6.0 bis 6.0.1
    • pyzmq von 23.2.0 bis 25.1.2
    • Anfragen von 2.31.0 bis 2.32.2
    • scikit-learn von 1.3.0 bis 1.4.2
    • scipy von 1.11.1 bis 1.13.1
    • seegeboren von 0.12.2 bis 0.13.2
    • setuptools von 68.0.0 bis 74.0.0
    • smmap von 5.0.1 bis 5.0.0
    • sqlparse von 0.5.0 bis 0.5.1
    • statsmodels from 0.14.0 to 0.14.2
    • Tornado von 6.3.2 bis 6.4.1
    • Traitlets von 5.7.1 bis 5.14.3
    • typing_extensions von 4.10.0 bis 4.11.0
    • ujson von 5.4.0 bis 5.10.0
    • virtualenv von 20.24.2 bis 20.26.2
    • Rad von 0.38.4 bis 0.43.0
    • zipp von 3.11.0 bis 3.17.0
  • Aktualisierte R-Bibliotheken:
    • Pfeil von 14.0.0.2 bis 16.1.0
    • Backports von 1.4.1 auf 1.5.0
    • Basis von 4.3.2 bis 4.4.0
    • Bitops von 1,0-7 bis 1,0-8
    • boot from 1.3-28 to 1.3-30
    • brio von 1.1.4 bis 1.1.5
    • Broom von 1.0.5 bis 1.0.6
    • bslib von 0.6.1 bis 0.8.0
    • cachem from 1.0.8 to 1.1.0
    • Callr von 3.7.3 bis 3.7.6
    • cli von 3.6.2 bis 3.6.3
    • Uhr von 0.7.0 bis 0.7.1
    • Cluster von 2.1.4 bis 2.1.6
    • Codetools von 0.2-19 bis 0.2-20
    • Farbraum von 2.1-0 bis 2.1-1
    • Compiler von 4.3.2 auf 4.4.0
    • Crayon von 1.5.2 bis 1.5.3
    • curl von 5.2.0 bis 5.2.1
    • data.table von 1.15.0 bis 1.15.4
    • Datasets von 4.3.2 bis 4.4.0
    • DBI von 1.2.1 bis 1.2.3
    • dbplyr von 2.4.0 bis 2.5.0
    • Digest von 0.6.34 auf 0.6.36
    • downlit from 0.4.3 to 0.4.4.4
    • von 0,23 bis 0.24.0 auswerten
    • weit von 2.1.1 bis 2.1.2
    • fastmap von 1.1.1 bis 1.2.0
    • fremd von 0,8-85 bis 0,8-86
    • fs von 1.6.3 bis 1.6.4
    • Zukunft von 1.33.1 bis 1.34.0
    • future.apply von 1.11.1 bis 1.11.2
    • gert von 2.0.1 bis 2.1.0
    • ggplot2 von 3.4.4 bis 3.5.1
    • gh von 1.4.0 bis 1.4.1
    • Globals von 0.16.2 bis 0.16.3
    • Grafiken von 4.3.2 bis 4.4.0
    • grDevices von 4.3.2 bis 4.4.0
    • Raster von 4.3.2 bis 4.4.0
    • gt von 0.10.1 bis 0.11.0
    • gtable von 0.3.4 bis 0.3.5
    • hardhat von 1.3.1 bis 1.4.0
    • highr von 0,10 auf 0,11
    • htmltools von 0.5.7 bis 0.5.8.1
    • httpuv von 1.6.14 bis 1.6.15
    • httr2 von 1.0.0 bis 1.0.2
    • ipred from 0.9-14 to 0.9-15
    • KernSmooth von 2.23-21 bis 2.23-22
    • knitr von 1.45 bis 1.48
    • Gitter von 0,21-8 bis 0,22-5
    • Lava von 1.7.3 bis 1.8.0
    • Markdown von 1.12 auf 1.13
    • MASS von 7.3-60 bis 7.3-60.0.1
    • Matrix von 1.5-4.1 bis 1.6-5
    • methoden von 4.3.2 bis 4.4.0
    • mgcv von 1,8-42 bis 1,9-1
    • mlflow von 2.10.0 bis 2.14.1
    • munsell von 0.5.0 bis 0.5.1
    • nlme von 3.1-163 bis 3.1-165
    • openssl von 2.1.1 bis 2.2.0
    • parallel von 4.3.2 bis 4.4.0
    • parallel von 1.36.0 bis 1.38.0
    • pkgbuild von 1.4.3 bis 1.4.4
    • pkgdown von 2.0.7 bis 2.1.0
    • pkgload von 1.3.4 bis 1.4.0
    • processx von 3.8.3 bis 3.8.4
    • prodlim von 2023.08.28 bis 2024.06.25
    • Zusagen von 1.2.1 bis 1.3.0
    • ps von 1.7.6 bis 1.7.7
    • Ragg von 1.2.7 bis 1.3.2
    • Rcpp von 1.0.12 bis 1.0.13
    • RcppEigen von 0.3.3.9.4 bis 0.3.4.0.0
    • reactR von 0.5.0 bis 0.6.0
    • Rezepte von 1.0.9 bis 1.1.0
    • remotes von 2.4.2.1 bis 2.5.0
    • Reprex von 2.1.0 auf 2.1.1
    • rlang von 1.1.3 bis 1.1.4
    • Markierung von 2.25 bis 2.27
    • roxygen2 von 7.3.1 bis 7.3.2
    • rpart von 4.1.21 bis 4.1.23
    • RSQLite von 2.3.5 bis 2.3.7
    • rstudioapi von 0.15.0 bis 0.16.0
    • rvest von 1.0.3 bis 1.0.4
    • sass von 0.4.8 bis 0.4.9
    • Shape von 1.4.6 bis 1.4.6.1
    • glanzvoll von 1.8.0 bis 1.9.1
    • sparklyr von 1.8.4 bis 1.8.6
    • raum von 7.3-15 bis 7.3-17
    • splines von 4.3.2 bis 4.4.0
    • Statistiken von 4.3.2 bis 4.4.0
    • stats4 von 4.3.2 bis 4.4.0
    • stringi von 1.8.3 bis 1.8.4
    • Überleben von 3,5-5 bis 3,6-4
    • swagger von 3.33.1 bis 5.17.14.1
    • systemfonts von 1.0.5 bis 1.1.0
    • tcltk von 4.3.2 bis 4.4.0
    • testthat from 3.2.1 to 3.2.1.1
    • Textshaping von 0.3.7 auf 0.4.0
    • aufräumen von 1.2.0 bis 1.2.1
    • Tinytex von 0,49 bis 0,52
    • Tools von 4.3.2 bis 4.4.0
    • usethis from 2.2.2 to 3.0.0
    • utils from 4.3.2 to 4.4.0
    • uuid von 1.2-0 bis 1.2-1
    • V8 von 4.4.1 bis 4.4.2
    • withr von 3.0.0 bis 3.0.1
    • xfun von 0,41 bis 0,46
    • xopen von 1.0.0 bis 1.0.1
    • yaml von 2.3.8 bis 2.3.10
  • Aktualisierte Java-Bibliotheken:
    • com.amazonaws.aws-java-sdk-autoscaling von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-config von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-core von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-directory von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-db von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-ecs von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-efs von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-emr von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-glacier von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-glue von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-iam von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-importexport von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-kms von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-lambda von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-logs von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-rds von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-redshift von 1.12.610 auf 1.12.638
    • com.amazonaws.aws-java-sdk-route53 von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-s3 von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-ses von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-sns von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-sqs von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-ssm von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-sts von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-support von 1.12.610 bis 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces von 1.12.610 bis 1.12.638
    • com.amazonaws.jmespath-java von 1.12.610 bis 1.12.638
    • com.google.protobuf.protobuf-java von 2.6.1 bis 3.25.1
    • io.airlift.aircompressor von 0.25 bis 0.27
    • io.delta.delta-sharing-client_2.12 von 1.1.3 bis 1.2.0
    • io.netty.netty-all von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-buffer from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-codec von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-codec-http von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-codec-http2 von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-codec-socken von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-common von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-handler von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-handler-proxy von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-resolver von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-transport from 4.1.96.Final to 4.1.108.Final
    • io.netty.netty-transport-classes-epoll von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue von 4.1.96.Final bis 4.1.108.Final
    • io.netty.netty-transport-native-epoll von 4.1.96.Final-linux-x86_64 bis 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue von 4.1.96.Final-osx-x86_64 bis 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common von 4.1.96.Final bis 4.1.108.Final
    • org.apache.ivy.ivy.ivy von 2.5.1 bis 2.5.2
    • org.apache.zookeeper.zookeeper von 3.6.3 bis 3.9.2
    • org.apache.zookeeper.zookeeper-jute von 3.6.3 bis 3.9.2
    • org.rocksdb.rocksdbjni von 8.11.4 bis 9.2.1
    • org.scalactic.scalactic_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-compatible von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-core_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-freespec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-funspec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-propspec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-refspec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 von 3.2.15 bis 3.2.16
    • org.scalatest.scalatest_2.12 von 3.2.15 bis 3.2.16

Apache Spark

Databricks Runtime 16.0 umfasst Apache Spark 3.5.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 15.4 LTS enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

  • [SPARK-49093] [DBRRM-1371] Wiederherstellen von "[SC-172958][SQL] GROUP BY mit MapType nes...
  • [SPARK-49898] [DBRRM-1282][SC-178410] Beheben der Dokumentation und standard für Ereignisprotokoll-Vorgangsmetriken akkumulator protokollierung flag von SPARK-42204
  • [SPARK-49743] [ES-1260022][VERHALTEN-157][SC-177475][SQL] OptimizeCsvJsonExpr sollte beim Löschen von GetArrayStructFields keine Schemafelder ändern
  • [SPARK-49816] [SC-177896][SQL] Sollte nur die out-going-ref-count für referenzierte äußere CTE-Beziehung aktualisieren
  • [SPARK-48939] [SC-177022][SC-172766][AVRO] Unterstützen des Lesens von Avro mit rekursiver Schemareferenz
  • [SPARK-49688] [SC-177468][ES-1242349][CONNECT] Korrigieren eines Datenrennens zwischen Unterbrechungs- und Ausführungsplan
  • [SPARK-49771] [SC-177466][PYTHON] Verbessern des UDF-Fehlers "Pandas Scalar Iter", wenn Ausgabezeilen Eingabezeilen überschreiten
  • [SPARK-48866] [SC-170772][SQL] Beheben Sie Hinweise auf gültige Zeichen in der Fehlermeldung von INVALID_PARAMETER_VALUE. ZEICHENSATZ
  • [SPARK-48195] [FIXFORWARD][SC-177267][CORE] Speichern und Wiederverwenden von RDD/Broadcast, das von SparkPlan erstellt wurde
  • [SPARK-49585] [CONNECT] Ersetzen der Ausführungszuordnung in SessionHolder durch operationID-Satz
  • [SPARK-49211] [SC-174257][SQL] V2-Katalog kann auch integrierte Datenquellen unterstützen
  • [SPARK-49684] Minimieren der Lebensdauer der Sitzungswiederherstellungssperre
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291] Strukturiertes Protokollframework auf der Java-Seite
  • [SPARK-48857] [SC-170661][SQL] Einschränken von Zeichenmengen in CSVOptions
  • [SPARK-49152] [SC-173690][SQL] V2SessionCatalog sollte V2Command verwenden
  • [SPARK-42846] [SC-176588][SQL] Fehlerbedingung _LEGACY_ERROR_TEMP_2011 entfernen
  • [SPARK-48195] [SC-177267][CORE] Speichern und Wiederverwenden von RDD/Broadcast, das von SparkPlan erstellt wurde
  • [SPARK-49630] [SC-177379][SS] Option "Flaches Hinzufügen" zum Verarbeiten von Sammlungstypen mit Statusdatenquellenleser
  • [SPARK-49699] [SC-177154][SS] Deaktivieren von PruneFilters für Streaming-Workloads
  • [SPARK-48781] [SC-175282][SQL] Hinzufügen von Katalog-APIs zum Laden gespeicherter Prozeduren
  • [SPARK-49667] [SC-177068][SQL] Unzulässige CS_AI Sortatoren mit Ausdrücken, die StringSearch verwenden
  • [SPARK-49737] [SC-177207][SQL] Bucketing für sortierte Spalten in komplexen Typen deaktivieren
  • [SPARK-48712] [SC-169794][SQL] Perf Improvement for encode with empty values or UTF-8 charset
  • [SPARK-49038] [SC-173933][SQL] SQLMetric sollte den Rohwert im Akkumulatorupdateereignis melden.
  • [SPARK-48541] [SC-169066][CORE] Hinzufügen eines neuen Beendigungscodes für von TaskReaper getötete Executoren
  • [SPARK-48774] [SC-170138][SQL] Verwenden von SparkSession in SQLImplicits
  • [SPARK-49719] [SC-177139][SQL] Ganze Zahl erstellen UUID und SHUFFLE akzeptieren seed
  • [SPARK-49713] [SC-177135][PYTHON][CONNECT] Funktion akzeptieren count_min_sketch Zahlenargumente
  • [SPARK-47601] [SC-162499][GRAPHX] Graphx: Migrieren von Protokollen mit Variablen zum strukturierten Protokollierungsframework
  • [SPARK-49738] [SC-177219][SQL] Endswith Bug Fix
  • [SPARK-48623] [SC-170822][CORE] Strukturierte Protokollierungsmigrationen [Teil 3]
  • [SPARK-49677] [SC-177148][SS] Stellen Sie sicher, dass Änderungsprotokolldateien beim Commit geschrieben werden und das Flag "forceSnapshot" ebenfalls zurückgesetzt wird.
  • [SPARK-49684] [SC-177040][CONNECT] Entfernen von globalen Sperren aus Sitzungs- und Ausführungs-Managern
  • [SPARK-48302] [SC-168814][PYTHON] Beibehalten von Nullen in Kartenspalten in PyArrow-Tabellen
  • [SPARK-48601] [SC-169025][SQL] Bereitstellen einer benutzerfreundlicheren Fehlermeldung beim Festlegen eines NULL-Werts für OPTION
  • [SPARK-48635] [SC-169263][SQL] Zuweisen von Klassen zu Verknüpfungstypfehlern und Verknüpfungsfehlern als Verknüpfungsfehler
  • [SPARK-49673] [SC-177032][CONNECT] Erhöhen Sie CONNECT_GRPC_ARROW_MAX_BATCH_SIZE auf 0,7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [SC-177071][PYTHON][CONNECT] Verfeinern der Zeichenfolgendarstellung von timedelta
  • [SPARK-49687] [SC-176901][SQL] Verzögern der Sortierung in validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][PS] Wechseln der Scatter Zeichnung zu beispielierten Daten
  • [SPARK-48472] [SC-169044] [SQL] Aktivieren von Reflektionsausdrücken mit sortierten Zeichenfolgen
  • [SPARK-48484] [SC-167484][SQL] Fix: V2Write verwendet dieselbe TaskAttemptId für verschiedene Vorgangsversuche.
  • [SPARK-48341] [SC-166560][CONNECT] Plug-Ins die Verwendung von QueryTest in ihren Tests zulassen
  • [SPARK-42252] [SC-168723][CORE] Hinzufügen spark.shuffle.localDisk.file.output.buffer und Veraltet spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][SS] Doppelte Cachedateien für FileStreamSource nicht mit Trigger.AvailableNow
  • [SPARK-49567] [SC-176241][PYTHON] Anstelle der vanilla PySpark-Codebasis verwenden classic
  • [SPARK-48374] [SC-167596][PYTHON] Unterstützung zusätzlicher PyArrow Table-Spaltentypen
  • [SPARK-48300] [SC-166481][SQL] Codegen-Unterstützung für from_xml
  • [SPARK-49412] [SC-177059][PS] Berechnen aller Boxplotmetriken in einem einzigen Auftrag
  • [SPARK-49692] [SC-177031][PYTHON][CONNECT] Verfeinern der Zeichenfolgendarstellung von Literaldatum und Datetime
  • [SPARK-49392] [ES-1130351][SC-176705][SQL] Erfassen von Fehlern beim Fehler beim Schreiben in externe Datenquelle
  • [SPARK-48306] [SC-166241][SQL] Verbessern von UDT in der Fehlermeldung
  • [SPARK-44924] [SC-166379][SS] Hinzufügen der Konfiguration für zwischengespeicherte FileStreamSource-Dateien
  • [SPARK-48176] [SC-165644][SQL] Anpassen des Namens FIELD_ALREADY_EXISTS Fehlerbedingung
  • [SPARK-49691] [SC-176988][PYTHON][CONNECT] Funktion substring sollte Spaltennamen akzeptieren
  • [SPARK-49502] [SC-176077][CORE] Vermeiden Von NPE in SparkEnv.get.shuffleManager.unregisterShuffle
  • [SPARK-49244] [SC-176703][SQL] Weitere Ausnahmeverbesserungen für Parser/Interpreter
  • [SPARK-48355] [SC-176684][SQL] Support für CASE-Anweisung
  • [SPARK-49355] [SC-175121][SQL] levenshtein sollte überprüfen, ob die collation Werte aller Parametertypen identisch sind.
  • [SPARK-49640] [SC-176953][PS] Anwenden der Reservoirsampling in SampledPlotBase
  • [SPARK-49678] [SC-176857][CORE] Support spark.test.master in SparkSubmitArguments
  • [SPARK-49680] [SC-176856][PYTHON] Buildparallelität standardmäßig auf 4 beschränken Sphinx
  • [SPARK-49396] Wiederherstellen von "[SC-176030][SQL] Ändern der Nullbarkeitsprüfung für CaseWhen-Ausdruck"
  • [SPARK-48419] [SC-167443][SQL] Faltbare Verteilung ersetzen faltbare Säulen-Shoul...
  • [SPARK-49556] [SC-176757][SQL] Hinzufügen einer SQL-Pipesyntax für den SELECT-Operator
  • [SPARK-49438] [SC-175237][SQL] Korrigieren Sie den hübschen Namen des & FromAvro ToAvro Ausdrucks
  • [SPARK-49659] [SC-1229924][SQL] Hinzufügen eines schönen benutzerbezogenen Fehlers für skalare Unterabfragen innerhalb der VALUES-Klausel
  • [SPARK-49646] [SC-176778][SQL] Korrigieren der Unterabfragendekorrelation für Union-/Set-Vorgänge, wenn parentOuterReferences Verweise enthält, die in "collectedChildOuterReferences" nicht behandelt werden
  • [SPARK-49354] [SC-175034][SQL] split_part sollte überprüfen, ob die collation Werte aller Parametertypen identisch sind.
  • [SPARK-49478] [SC-175914][CONNECT] Behandeln von NULL-Metriken in ConnectProgressExecutionListener
  • [SPARK-48358] [SC-176374][SQL] Unterstützung für REPEAT-Anweisung
  • [SPARK-49183] [SC-173680][SQL] V2SessionCatalog.createTable sollte PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [SC-176791][SQL] Einführung in TVF collations() und Entfernen des SHOW COLLATIONS Befehls
  • [SPARK-49261] [SC-176589][SQL] Ersetzen Sie Literale in Aggregatausdrücken nicht durch Gruppierungen nach Ausdrücken.
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace sollte benutzerdefinierten Sitzungskatalog respektieren
  • [SPARK-49594] [SC-176569][SS] Hinzufügen von Überprüfungen, ob columnFamilies zum Schreiben der StateSchemaV3-Datei hinzugefügt oder entfernt wurden
  • [SPARK-49578] [SC-176385][SQL] Entfernen des ANSI-Konfigurationsvorschlags in CAST_INVALID_INPUT und CAST_OVERFLOW
  • [SPARK-48882] [SC-174256][SS] Zuweisen von Namen zu Streamingausgabemodus-bezogenen Fehlerklassen
  • [SPARK-49155] [SC-176506][SQL][SS] Verwenden des passenderen Parametertyps zum Erstellen GenericArrayData
  • [SPARK-49519] [SC-176388][SQL] Zusammenführen von Tabellen- und Relationsoptionen beim Erstellen von FileScanBuilder
  • [SPARK-49591] [SC-176587][SQL] Spalte "Logischer Typ" zu Variant-Readme hinzufügen
  • [SPARK-49596] [SC-176423][SQL] Verbessern der Leistung von FormatString
  • [SPARK-49525] [SC-176044][SS][CONNECT] Kleinere Protokollverbesserung für serverseitiges Streaming-AbfragelistenerBus Listener
  • [SPARK-49583] [SC-176272][SQL] Definieren der Fehlerunterbedingung SECONDS_FRACTION für ungültiges Sekundenbruchmuster
  • [SPARK-49536] [SC-176242] Behandeln von Fehlern in Python Streaming-Datenquellendatensatz prefetching
  • [SPARK-49443] [SC-176273][SQL][PYTHON] Implementieren sie to_variant_object Ausdruck, und drucken Sie schema_of_variant Ausdrücke OBJECT für Variant-Objekte.
  • [SPARK-49544] [SASP-3990][SC-176557][CONNECT] Ersetzen der groben Sperre in SparkConnectExecutionManager durch Gleichzeitige Zuordnung
  • [SPARK-49548] [SASP-3990][SC-176556][CONNECT] Ersetzen der groben Sperre in SparkConnectSessionManager durch Gleichzeitige Zuordnung
  • [SPARK-49551] [SC-176218][SS] Verbessern des RocksDB-Protokolls für replayChangelog
  • [SPARK-49595] [SC-176396][CONNECT][SQL] Fix DataFrame.unpivot/melt in Spark Connect Scala Client
  • [SPARK-49006] [SC-176162] Implementieren der Bereinigung für OperatorStateMetadataV2- und StateSchemaV3-Dateien
  • [SPARK-49600] [SC-176426][PYTHON] Entfernen Python 3.6 and older-verwandter Logik aus try_simplify_traceback
  • [SPARK-49303] [SC-176013][SS] Implementieren von TTL für ValueState in transformWithStateInPandas-API
  • [SPARK-49191] [SC-176243][SS] Hinzufügen von Unterstützung für das Lesen von TransformWithState-Kartenzustandsvariablen mit Lesezugriff auf Zustandsdatenquellenleser
  • [SPARK-49593] [SC-176371][SS] Throw RocksDB exception to the caller on DB close if an error is seen
  • [SPARK-49334] [SC-174803][SQL] str_to_map sollte überprüfen, ob die collation Werte aller Parametertypen identisch sind.
  • [SPARK-42204] [SC-176126][CORE] Option zum Deaktivieren der redundanten Protokollierung interner TaskMetrics-Akkumulatoren in Ereignisprotokollen hinzufügen
  • [SPARK-49575] [SC-176256][SS] Hinzufügen der Protokollierung für die Sperrfreigabe nur, wenn "acquiredThreadInfo" nicht null ist
  • [SPARK-49539] [SC-176250][SS] Aktualisieren der internen Spaltenfamilien-Start-ID auf eine andere
  • [SPARK-49205] [SC-173853][SQL] KeyGroupedPartitioning sollte HashPartitioningLike erben
  • [SPARK-49396] [SC-176030][SQL] Ändern der Nullbarkeitsprüfung für CaseWhen-Ausdruck
  • [SPARK-49476] [SC-175700][SQL] Fix nullability of base64 function
  • [SPARK-47262] [SC-174829][SQL] Zuweisen von Namen zu Fehlerbedingungen für Parkettumwandlungen
  • [SPARK-47247] [SC-158349][SQL] Verwenden Sie kleinere Zielgröße beim Zusammenwachsen von Partitionen mit explodierenden Verknüpfungen.
  • [SPARK-49501] [SC-176166][SQL] Beheben der Doppelten Ausweichung der Tabellenposition
  • [SPARK-49083] [SC-173214][CONNECT] Zulassen, dass from_xml und from_json nativ mit JSON-Schemas arbeiten
  • [SPARK-49043] [SC-174673][SQL] Beheben der interpretierten Codepathgruppe nach Zuordnung mit sortierten Zeichenfolgen
  • [SPARK-48986] [SC-172265][CONNECT][SQL] Hinzufügen von ColumnNode-Zwischendarstellung
  • [SPARK-49326] [SC-176016][SS] Klassifizieren der Fehlerklasse für Benutzerfunktionsfehler der Foreach-Sink-Spüle
  • [SPARK-48348] [SC-175950][SPARK-48376][SQL] Einführung LEAVE und ITERATE Anweisungen
  • [SPARK-49523] [SC-175949][CONNECT] Erhöhen der maximalen Wartezeit, bis der Verbindungsserver zum Testen angezeigt wird
  • [SPARK-49000] [VERHALTEN-105][ES-1194747][SQL] Fix "select count(distinct 1) from t" where t is empty table by expanding RewriteDistinctAggregates - DBR version 16.x
  • [SPARK-49311] [SC-175038][SQL] Ermöglichen, dass große "Interval Second"-Werte in eine Dezimalzahl umzustellen sind
  • [SPARK-49200] [SC-173699][SQL] Beheben der Ausnahme der Nicht-Codegen-Sortierung des Nulltyps
  • [SPARK-49467] [SC-176051][SS] Hinzufügen von Unterstützung für Statusdatenquellenleser und Listenstatus
  • [SPARK-47307] [SC-170891][SQL] Hinzufügen einer Konfiguration zu optionalen Block base64-Zeichenfolgen
  • [SPARK-49391] [SC-176032][PS] Box plot select outliers by distance from zaun
  • [SPARK-49445] [SC-175845][UI] Unterstützung der QuickInfo in der Statusleiste der Benutzeroberfläche
  • [SPARK-49451] [SC-175702] Doppelte Schlüssel in parse_json zulassen.
  • [SPARK-49275] [SC-175701][SQL] Korrigieren der Nullwerte des Rückgabetyps des xpath-Ausdrucks
  • [SPARK-49021] [SC-175578][SS] Hinzufügen von Unterstützung für das Lesen von TransformWithState-Wertstatusvariablen mit Lesezugriff auf Zustandsdatenquellenleser
  • [SPARK-49474] [VERHALTEN-143][SC-169253][SC-175933][SS] Klassifizierungsfehlerklasse für FlatMapGroupsWithState-Benutzerfunktionsfehler
  • [SPARK-49408] [SC-175932][SQL] Verwenden von IndexedSeq in ProjectingInternalRow
  • [SPARK-49509] [SC-175853][CORE] Anstelle Platform.allocateDirectBuffer von ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][PS] Erstellen eines Framefeldplots zum ordnungsgemäßen Rendern der Fliers/Ausreißer
  • [SPARK-49002] [SC-172846][SQL] Konsistente Behandlung ungültiger Speicherorte in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49480] [SC-175699][CORE] Beheben von NullPointerException von SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][PYTHON] Fehlermeldung "Ungültiger Rückgabetyp" für Pandas udf verbessern
  • [SPARK-48693] [SC-169492][SQL] Vereinfachen und Vereinheitlichen von "ToString of Invoke" und "StaticInvoke"
  • [SPARK-49441] [SC-175716][ML] StringIndexer Sortieren von Arrays in Executoren
  • [SPARK-49347] [SC-175004][R] Veraltete SparkR
  • [SPARK-49357] [SC-175227][CONNECT][PYTHON] Tief geschachtelte Protobuf-Nachricht vertikal abschneiden
  • [SPARK-41982] [SC-120604][SQL] Partitions of type string should not be treated as numeric types
  • [SPARK-48776] [SC-170452][VERHALTEN-72] Korrigieren der Zeitstempelformatierung für JSON, XML und CSV
  • [SPARK-49223] [SC-174800][ML] Vereinfachen der StringIndexer.countByValue mit integrierten Funktionen
  • [SPARK-49016] Wiederherstellen von "[SC-174663][SQL] Wiederherstellen des Verhaltens, das von unformatierten CSV-Dateien abgefragt wird, sind unzulässig, wenn nur beschädigte Datensatzspalte eingeschlossen und Name zugewiesen wird _LEGACY_ERROR_TEMP_1285"
  • [SPARK-49041] [SC-172392][PYTHON][CONNECT] Auslösen eines ordnungsgemäßen Fehlers, wenn dropDuplicates falsch subset angegeben wird
  • [SPARK-49050] [SC-175235] Aktivieren des deleteIfExists-Operators in TWS mit virtuellen Spaltenfamilien
  • [SPARK-49216] [SC-173919][CORE]Behebung, dass der Nachrichtenkontext nicht protokolliert wird, wobei "LogEntry" explizit erstellt wurde, wenn "Strukturierte Protokollierung" deaktiviert ist
  • [SPARK-49252] [SC-175596][CORE] MakeTaskSetExcludeList and HeathTracker independent
  • [SPARK-49352] [SC-174971][SQL] Vermeiden redundanter Arraytransformationen für identischen Ausdruck
  • [SPARK-42307] [SC-173863][SQL] Zuweisen des Namens für fehler _LEGACY_ERROR_TEMP_2232
  • [SPARK-49197] [SC-173732][CORE] Redact-Ausgabe Spark Command im launcher Modul
  • [SPARK-48913] [SC-173934][SQL] Implementieren von IndentingXMLStreamWriter
  • [SPARK-49306] [SC-175363][PYTHON][SQL] Erstellen von SQL-Funktionsaliasen für "zeroifnull" und "nullifzero"
  • [SPARK-48344] [SQL] AUSFÜHRUNG von SQL-Skripts (einschließlich Spark Connect)
  • [SPARK-49402] [SC-175122][PYTHON] Fix binder integration in pySpark documentation
  • [SPARK-49017] [SC-174664][SQL] Insert-Anweisung schlägt fehl, wenn mehrere Parameter verwendet werden
  • [SPARK-49318] [SC-174733][SQL] Vorabfehler mit niedriger Priorität auf LCA bis zum Ende der Überprüfungsanalyse, um die Fehlererfahrung zu verbessern
  • [SPARK-49016] [SC-174663][SQL] Wiederherstellen des Verhaltens, dass Abfragen aus unformatierten CSV-Dateien nicht zulässig sind, wenn nur beschädigte Datensatzspalte eingeschlossen und Name zugewiesen wird _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387] [SC-175124][PYTHON] Korrigieren von Typhinweisen für accuracy in und percentile_approxapprox_percentile
  • [SPARK-49131] [SC-174666][SS] TransformWithState sollte implizite Gruppierungsschlüssel auch mit faulen Iteratoren ordnungsgemäß festlegen
  • [SPARK-49301] [SC-174795][SS] Blockpfeildaten, die an Python-Worker übergeben werden
  • [SPARK-49039] [SC-174651][UI] Kontrollkästchen zurücksetzen, wenn Executormetriken auf der Registerkarte "Phasen" geladen werden
  • [SPARK-48428] [SC-169806][SQL]: Fix IllegalStateException in NestedColumnAliasing
  • [SPARK-49353] [SC-174830][SQL] Aktualisieren von Dokumenten im UTF-32 Zusammenhang mit Codierung/Decodierung
  • [SPARK-48613] [SC-170966][SQL] SPJ: Unterstützung für automatisches Koppeln einer Seite + weniger Verknüpfungsschlüssel als Partitionsschlüssel
  • [SPARK-47473] [SC-160450][VERHALTEN-127][SQL] Behebung des Korrekturproblems beim Konvertieren von Infinity-Zeitstempeln in Postgres INFINITY
  • [SPARK-49142] [SC-173658][CONNECT][PYTHON] Nachverfolgung, um proto auf Zeichenfolgenleistungskosten zurückgesetzt zu werden
  • [SPARK-49300] [SC-175008][CORE] Beheben Sie hadoop-Delegierungstokenleck, wenn tokenRenewalInterval nicht festgelegt ist.
  • [SPARK-49367] [SC-175012][PS] Parallelisieren der KDE-Berechnung für mehrere Spalten (Plotly Back-End)
  • [SPARK-49365] [SC-175011][PS] Vereinfachen der Bucketaggregation in hist Plot
  • [SPARK-49372] [SC-175003][SS] Stellen Sie sicher, dass "latestSnapshot" auf "none" festgelegt ist, um nachfolgende Verwendung zu vermeiden.
  • [SPARK-49341] [SC-174785] Entfernen connector/docker zugunsten von Apache Spark Operator
  • [SPARK-49344] [SC-174894][PS] Unterstützung json_normalize der Pandas-API für Spark
  • [SPARK-49306] [SC-174794][SQL] Erstellen neuer SQL-Funktionen 'zeroifnull' und 'nullifzero'
  • [SPARK-48796] [SC-174668][SS] Laden der Spaltenfamilien-ID von RocksDBCheckpointMetadata für VCF beim Neustart
  • [SPARK-49342] [SC-174899][SQL] Festlegen TO_AVRO SQL-Funktion "jsonFormatSchema" optional
  • [SPARK-48628] [SC-174695][CORE] Hinzufügen von Heap-Speichermetriken für den Vorgangsspitzenstand
  • [SPARK-47407] [SC-159379][VERHALTEN-126][SQL] Unterstützung java.sql.Types.NULL-Zuordnung zu NullType
  • [SPARK-48628] [SC-173407][CORE] Hinzufügen von Heap-Speichermetriken für den Vorgangsspitzenstand
  • [SPARK-49166] [SC-173987][SQL] Unterstützen von OFFSET in korrelierten Unterabfragen
  • [SPARK-49269] [SC-174676][SQL] Werte()-Liste in AstBuilder mit Eifer auswerten
  • [SPARK-49281] [SC-174782][SQL] Optimze parkett binary getBytes mit getBytesUnsafe um Kopierkosten zu vermeiden
  • [SPARK-49113] [SC-174734] Keine Bestätigung bei Übersetzungsfehlern – verschlucken Sie die Ausnahme im Hintergrund
  • [SPARK-49098] [SC-173253][SQL] Hinzufügen von Schreiboptionen für INSERT
  • [SPARK-48638] [SC-174694][FOLGEN][CONNECT] Behebungsdokumentation für ExecutionInfo
  • [SPARK-49250] [ES-1222826][SQL] Fehlermeldung für geschachtelte UnresolvedWindowExpression in CheckAnalysis verbessern
  • [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark-Basisimplementierung und ValueState-Unterstützung
  • [SPARK-48966] [SC-174329][SQL] Verbessern der Fehlermeldung mit ungültigem nicht aufgelöstem Spaltenverweis im UDTF-Aufruf
  • [SPARK-46590] [SC-154115][SQL] Fehler beim Beheben der Koaleszenierung mit unerwarteten Partitionsfehlern
  • [SPARK-49235] [SC-174159][SQL] Refactor ResolveInlineTables-Regel, sodass die gesamte Struktur nicht durchläuft
  • [SPARK-49060] [SC-173107][CONNECT] Bereinigen von Mima-Regeln für SQL-Connect-Binärkompatibilitätsprüfungen
  • [SPARK-48762] [SC-172525][SQL] Einführung der clusterBy DataFrameWriter-API für Python
  • [SPARK-49207] [SC-173852][SQL] Beheben der 1:n-Fallzuordnung in SplitPart und StringSplitSQL
  • [SPARK-49204] [SC-173850][SQL] Beheben der Ersatzpaarbehandlung in StringInstr und StringLocate
  • [SPARK-36680] [SC-170640][SQL] Unterstützt Dynamische Tabellenoptionen für Spark SQL
  • [SPARK-49204] [SC-173849][SQL] Beheben der Ersatzpaarbehandlung in SubstringIndex
  • [SPARK-49204] [SC-173848][SQL] Beheben der Ersatzpaarbehandlung in StringTrim
  • [SPARK-48967] [SC-173993]Fix forward SparkConfigOwnershipSuite test for OPTIMIZE_INSERT_INTO_VALUES_PARSER
  • [SPARK-49204] [SC-173851][SQL] Beheben der Ersatzpaarbehandlung in StringReplace
  • [SPARK-48967] [SC-173993][SQL][16.x] Verbessern Sie die Leistung und den Speicherbedarf von "INSERT INTO ... VALUES" -Anweisungen
  • [SPARK-49099] Revert “[SC-173229][SQL] CatalogManager.setCurrent…
  • [SPARK-48347] [SC-173812][SQL] Unterstützung für WHILE-Anweisung
  • [SPARK-49128] [SC-173344][CORE] Unterstützung des benutzerdefinierten Verlaufsserver-UI-Titels
  • [SPARK-49146] [SC-173825][SS] Verschieben von Assertionsfehlern im Zusammenhang mit fehlendem Wasserzeichen im Anfügemodus-Streamingabfragen in das Fehlerframework
  • [SPARK-45787] [SC-172197][SQL] Unterstützen von Catalog.listColumns für Clusteringspalten
  • [SPARK-49099] [SC-173229][SQL] CatalogManager.setCurrentNamespace sollte benutzerdefinierten Sitzungskatalog respektieren
  • [SPARK-49138] [SC-173483][SQL] Korrigieren von CollationTypeCasts mehrerer Ausdrücke
  • [SPARK-49163] [SC-173666][SQL] Versuchen, eine Tabelle basierend auf fehlerhaften Parkettpartitionsdatenergebnissen zu erstellen, sollte ein benutzerorientierter Fehler zurückgegeben werden.
  • [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT] Reimplement hist plot with Spark SQL
  • [SPARK-49188] [SC-173682][SQL] Interner Fehler für concat_ws aufgerufen für Arrays von Arrays von Zeichenfolgen
  • [SPARK-49137] [SC-173677][SQL] Wenn die boolesche Bedingung in der if statement Meldungen ungültig ist, sollte eine Ausnahme ausgelöst werden.
  • [SPARK-49193] [SC-173672][SQL] Verbessern der Leistung von RowSetUtils.toColumnBasedSet
  • [SPARK-49078] [SC-173078][SQL] Unterstützung der Spaltensyntax in v2-Tabelle
  • [SPARK-49141] [SC-173388][SQL] Variant als inkompatibler Datentyp markieren
  • [SPARK-49059] [Kirschauswahl][15.x][SC-172528][CONNECT] Wechseln SessionHolder.forTesting(...) zum Testpaket
  • [SPARK-49111] [SC-173661][SQL] Move withProjectAndFilter to the companion object of DataSourceV2Strategy
  • [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT] Reimplement kde plot with Spark SQL
  • [SPARK-49178] [SC-173673][SQL] Optimieren der Leistung bei Verwendung von Row#getSeq Spark 3.5 mit Scala 2.12
  • [SPARK-49093] [SC-172958][SQL] GROUP BY mit in komplexem Typ geschachtelter MapType
  • [SPARK-49142] [SC-173469][CONNECT][PYTHON] Niedrigere Spark Connect-Clientprotokollebene zum Debuggen
  • [SPARK-48761] [SC-172048][SQL] Einführung der clusterBy DataFrameWriter-API für Scala
  • [SPARK-48346] [SC-173083][SQL] Unterstützung für IF ELSE-Anweisungen in SQL-Skripts
  • [SPARK-48338] [SC-173112][SQL] Verbessern von Ausnahmen, die von Parser/Interpreter ausgelöst werden
  • [SPARK-48658] [SC-169474][SQL] Codieren/Decodieren von Funktionen melden Codierungsfehler anstelle von Mojibake für nicht verwendbare Zeichen
  • [SPARK-49071] [SC-172954][SQL] ArraySortLike-Eigenschaft entfernen
  • [SPARK-49107] "Revert "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS supports RoutineType"" wiederherstellen
  • [SPARK-49070] [SC-172907][SS][SQL] TransformWithStateExec.initialState wird falsch umgeschrieben, um ungültigen Abfrageplan zu erzeugen.
  • [SPARK-49114] [SC-173217] Fehler beim Speichern des Zustands können von Unterkategorie nicht geladen werden.
  • [SPARK-49107] Zurücksetzen von "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS unterstützt RoutineType"
  • [SPARK-49048] [SC-173223][SS] Unterstützung für das Lesen relevanter Operatormetadaten bei gegebener Batch-ID hinzufügen
  • [SPARK-49094] [SC-173049][SQL] Fix ignoreCorruptFiles non-functioning for hive orc impl with mergeSchema off
  • [SPARK-49108] [SC-173102][BEISPIEL] Beispiel für das Hinzufügen von submit_pi.sh REST-API
  • [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS unterstützt RoutineType
  • [SPARK-48997] [SC-172484][SS] Implementieren einzelner Unloads für Wartungsthreadpoolthreadfehler
  • [SPARK-49063] [SC-173094][SQL] Fix Between with ScalarSubqueries
  • [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT] Hinzufügen von Unterstützung für Intervalltypen in der Variant-Spezifikation
  • [SPARK-49074] [VERHALTEN-110][SC-172815][SQL] Variante korrigieren mit df.cache()
  • [SPARK-49003] [SC-172613][SQL] Beheben von interpretierten Codepfadhashing zur Berücksichtigung der Sortierung
  • [SPARK-48740] [SC-172430][SQL] Fehler bei fehlender Fensterspezifikation frühzeitig erfassen
  • [SPARK-48999] [SC-172245][SS] Dividieren von PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] Implementieren der Überprüfung für den TransformWithStateExec-Operator mit OperatorStateMetadataV2
  • [SPARK-49053] [SC-172494][PYTHON][ML] Modell-Hilfsfunktionen zum Speichern/Laden von Spark-Sitzungen machen
  • [SPARK-49032] [Backport][15.x][SS] Hinzufügen des Schemapfads im Metadatentabelleneintrag, Überprüfen der erwarteten Version und Hinzufügen von Operatormetadaten im Zusammenhang mit dem Operatormetadatenformat v2
  • [SPARK-49034] [SC-172306][CORE] Unterstützen des serverseitigen sparkProperties Ersatzes in der REST-Übermittlungs-API
  • [SPARK-48931] [SC-171895][SS] Reduzieren der Kosten der Cloud Store-Listen-API für die Wartung von Zustandsspeichern
  • [SPARK-48849] [SC-172068][SS]Create OperatorStateMetadataV2 for the TransformWithStateExec operator
  • [SPARK-49013] [SC-172322] Ändern des Schlüssels in collationsMap für Zuordnungs- und Arraytypen in skalarer Reihenfolge
  • [SPARK-48414] [SC-171884][PYTHON] Beheben von unterbrechungsveränderenden Änderungen in Pythons fromJson
  • [SPARK-48910] [SC-171001][SQL] Verwenden von HashSet/HashMap, um lineare Suchvorgänge in PreprocessTableCreation zu vermeiden
  • [SPARK-49007] [SC-172204][CORE] Verbessern MasterPage , um benutzerdefinierten Titel zu unterstützen
  • [SPARK-49009] [SC-172263][SQL][PYTHON] Spalten-APIs und -Funktionen akzeptieren Enumerationen
  • [SPARK-49033] [SC-172303][CORE] Unterstützen des serverseitigen environmentVariables Ersatzes in der REST-Übermittlungs-API
  • [SPARK-48363] [SC-166470][SQL] Bereinigen einiger redundanter Codes in from_xml
  • [SPARK-46743] [SC-170867][SQL][VERHALTEN-84] Fehler zählen, nachdem SkalarSubqery gefaltet wurde, wenn es eine leere Beziehung hat
  • [SPARK-49040] [SC-172351][SQL] Dokument korrigieren sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ML] Metaalgorithmen speichern/laden modell mit SparkSession
  • [SPARK-48959] [SC-171708][SQL] NoSuchDatabaseException ErweiternNoSuchNamespaceException, um die Ausnahmebehandlung wiederherzustellen
  • [SPARK-48996] [SC-172130][SQL][PYTHON] Bare Literale für und und oder spalten zulassen
  • [SPARK-48990] [SC-171936] Nachverfolgung für #101759 – Testkorrektur
  • [SPARK-48338] [SC-171912][SQL] Überprüfen von Variablendeklarationen
  • [SPARK-48990] [SC-171936][SQL] Schlüsselwörter für einheitliche sql-syntaxbezogene Variablen
  • [SPARK-48988] [SC-171915][ML] Erstellen von DefaultParamsReader/Writer Handle-Metadaten mit Spark-Sitzung
  • [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB] Anstelle SparkSession.implicits von SQLContext.implicits
  • [SPARK-48760] [SC-170870][SQL] Fix CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] Protokollwarnung für das Aufrufen von unpersist() für lokal überprüfte RDDs
  • [SPARK-48760] [SC-170139][SQL] ALTER TABLE wird eingeführt... CLUSTER BY SQL-Syntax zum Ändern von Clusterspalten
  • [SPARK-48844] Wiederherstellen von "[SC-170669][SQL] USE INVALID_EMPTY_LOCATION anstelle von UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, wenn der Pfad leer ist"
  • [SPARK-48833] [SC-171914][SQL][VARIANT] Unterstützungsvariante in InMemoryTableScan
  • [SPARK-48975] [SC-171894][PROTOBUF] Entfernen einer unnötigen ScalaReflectionLock Definition aus protobuf
  • [SPARK-48970] [SC-171800][PYTHON][ML] Vermeiden Sie die Verwendung von SparkSession.getActiveSession in spark ML Reader/Writer.
  • [SPARK-48844] [SC-170669][SQL] USE INVALID_EMPTY_LOCATION anstelle von UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY, wenn der Pfad leer ist
  • [SPARK-48714] [SC-170136] Beheben fehlerhafter df.mergeInto-Tests in PySpark und UC
  • [SPARK-48957] [SC-171797][SS] Gibt die unterklassige Fehlerklasse beim Laden des Zustandsspeichers für hdfs und rocksdb-Anbieter zurück.
  • [SPARK-48891] [Backport][15x][SC-171677][SS] Umgestalten von StateSchemaCompatibilityChecker zum Vereinheitlichen aller Zustandsschemaformate
  • [SPARK-48972] [SC-171795][PYTHON] Vereinheitlichen der Literalzeichenfolgenbehandlung in Funktionen
  • [SPARK-48388] [SC-171337][SQL] Beheben des SET-Anweisungsverhaltens für SQL-Skripts
  • [SPARK-48743] [SC-170552][SQL][SS] MergeSessionIterator sollte besser behandelt werden, wenn getStruct null zurückgibt.
  • [SPARK-48623] [15.x][SC-171322][CORE] Migrieren von FileAppender-Protokollen zur strukturierten Protokollierung
  • [SPARK-36680] [DBRRM-1123] "[SC-170640][SQL] Unterstützt dynamische Tabellenoptionen für Spark SQL"
  • [SPARK-48841] [SC-170868][VERHALTEN-83][SQL] Einschließen collationName von sql()Collate
  • [SPARK-48941] [SC-171703][PYTHON][ML] RdD-Lese-/Schreib-API-Aufruf durch Dataframe-Lese-/Schreib-API ersetzen
  • [SPARK-48938] [SC-171577][PYTHON] Verbessern von Fehlermeldungen beim Registrieren von Python UDTFs
  • [SPARK-48350] [SC-171040][SQL] Einführung von benutzerdefinierten Ausnahmen für SQL-Skripting
  • [SPARK-48907] [SC-171158][SQL] Korrigieren des Werts explicitTypes in COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][PYTHON] Vereinfachen von regex-Funktionen mit lit
  • [SPARK-48944] [SC-171576][CONNECT] Vereinheitlichen der JSON-Formatschemabehandlung in Connect Server
  • [SPARK-48836] [SC-171569] Integrieren eines SQL-Schemas in Zustandsschema/Metadaten
  • [SPARK-48946] [SC-171504][SQL] NPE in redact-Methode, wenn die Sitzung null ist
  • [SPARK-48921] [SC-171412][SQL] ScalaUDF-Encoder in Unterabfragen sollten für MergeInto aufgelöst werden
  • [SPARK-45155] [SC-171048][CONNECT] Hinzufügen von API-Dokumenten für Spark Connect JVM/Scala-Client
  • [SPARK-48900] [SC-171319] Feld reason hinzufügen für cancelJobGroup und cancelJobsWithTag
  • [SPARK-48865] [SC-171154][SQL] Funktion try_url_decode hinzufügen
  • [SPARK-48851] [SC-170767][SQL] Ändern des Werts von SCHEMA_NOT_FOUND in namespacecatalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Unterstützen der UDAF-API toColumn in Spark Connect
  • [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT] Unterstützung from_xml des StructType-Schemas
  • [SPARK-48930] [SC-171304][CORE] Redact awsAccessKeyId by including accesskey pattern
  • [SPARK-48909] [SC-171080][ML][MLLIB] Verwendet SparkSession over SparkContext beim Schreiben von Metadaten
  • [SPARK-48883] [SC-171133][ML][R] RdD-Lese-/Schreib-API-Aufruf durch Dataframe-Lese-/Schreib-API ersetzen
  • [SPARK-48924] [SC-171313][PS] Hinzufügen einer Panda-ähnlichen make_interval Hilfsfunktion
  • [SPARK-48884] [SC-171051][PYTHON] Nicht verwendete Hilfsfunktion entfernen PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][SQL] Ausführen von Union Multi-Befehlen gemeinsam
  • [SPARK-48896] [SC-171079][ML][MLLIB] Vermeiden Der Neupartitionierung beim Schreiben der Metadaten
  • [SPARK-48892] [SC-171127][ML] Vermeiden von Zeilen-Param-Lesevorgängen Tokenizer
  • [SPARK-48927] [SC-171227][CORE] Anzeigen der Anzahl zwischengespeicherter RDDs in StoragePage
  • [SPARK-48886] [15.x][Backport][SC-171039][SS] Hinzufügen von Versionsinformationen zum Änderungsprotokoll v2, um eine einfachere Entwicklung zu ermöglichen
  • [SPARK-48903] [SC-171136][SS] Festlegen der letzten Snapshotversion von RocksDB bei Remotelast ordnungsgemäß
  • [SPARK-48742] [SC-170538][SS] Virtuelle Säulenfamilie für RocksDB
  • [SPARK-48726] [15.x][SC-170753][SS] Erstellen Sie das StateSchemaV3-Dateiformat, und schreiben Sie dies für den TransformWithStateExec-Operator.
  • [SPARK-48794] [SC-170882][CONNECT][15.x] df.mergeInto-Unterstützung für Spark Connect (Scala und Python)
  • [SPARK-48714] [SC-170136][PYTHON] Implementieren DataFrame.mergeInto in PySpark
  • [SPARK-48772] [SC-170642][SS][SQL] Feedlesemodus für Statusdatenquellenänderung
  • [SPARK-48666] [SC-170887][SQL] Keinen Pushdownfilter, wenn er PythonUDFs enthält
  • [SPARK-48845] [SC-170889][SQL] GenericUDF catch exceptions from children
  • [SPARK-48880] [SC-170974][CORE] Vermeiden des Auslösens von NullPointerException, wenn das Treiber-Plug-In nicht initialisiert werden kann
  • [SPARK-48888] [Backport][15x][SC-170973][SS] Entfernen der Erstellung von Momentaufnahmen basierend auf der Größe von Änderungsprotokollen
  • [SPARK-48871] [SC-170876] Beheben INVALID_NON_DETERMINISTIC_EXPRESSIONS Überprüfung in...
  • [SPARK-48883] [SC-170894][ML][R] RdD-Lese-/Schreib-API-Aufruf durch Dataframe-Lese-/Schreib-API ersetzen
  • [SPARK-36680] [SC-170640][SQL] Unterstützt Dynamische Tabellenoptionen für Spark SQL
  • [SPARK-48804] [SC-170558][SQL] Hinzufügen von classIsLoadable & OutputCommitter.isAssignableFrom check for output committer class configrations
  • [SPARK-46738] [SC-170791][PYTHON] Erneutes Durchführen einer Gruppe von Dokumententests
  • [SPARK-48858] [SC-170756][PYTHON] Entfernen veralteter setDaemon Methodenaufrufe in Threadlog_communication.py
  • [SPARK-48639] [SC-169801][CONNECT][PYTHON] Origin zu RelationCommon hinzufügen
  • [SPARK-48863] [SC-170770][ES-1133940][SQL] Beheben von ClassCastException beim Analysieren von JSON mit aktiviertem "spark.sql.json.enablePartialResults"
  • [SPARK-48343] [SC-170450][SQL] Einführung des SQL Scripting-Interpreters
  • [SPARK-48529] [SC-170755][SQL] Einführung von Bezeichnungen in SQL-Skripting
  • [SPARK-45292] Wiederherstellung von „[SC-151609][SQL][HIVE] Entfernen von Guava aus freigegebenen Klassen in IsolatedClientLoader“
  • [SPARK-48037] [SC-165330][CORE][3.5] Korrigieren von SortShuffleWriter fehlen shuffle-Schreibmetriken, was zu potenziell ungenauen Daten führt
  • [SPARK-48720] [SC-170551][SQL] Ausrichten des Befehls ALTER TABLE ... UNSET TBLPROPERTIES ... in v1 und v2
  • [SPARK-48485] [SC-167825][CONNECT][SS] Support interruptTag and interruptAll in Streaming-Abfragen
  • [SPARK-45292] [SC-151609][SQL][HIVE] Entfernung von Guava aus freigegebenen Klassen in IsolatedClientLoader
  • [SPARK-48668] [SC-169815][SQL] ALTER NAMESPACE unterstützen ... UNSET PROPERTIES in v2
  • [SPARK-47914] [SC-165313][SQL] Der Splits-Parameter wird im Bereich nicht angezeigt.
  • [SPARK-48807] [SC-170643][SQL] Binäre Unterstützung für CSV-Datenquelle
  • [SPARK-48220] [SC-167592][PYTHON][15.X] Übergeben der PyArrow-Tabelle zum Erstellen vonDataFrame() zulassen
  • [SPARK-48545] [SC-169543][SQL] Erstellen von to_avro- und from_avro SQL-Funktionen für die Übereinstimmung mit DataFrame-Entsprechungen
  • [SPARK-47577] [SC-168875][SPARK-47579] Korrigieren der irreführenden Verwendung von Protokollschlüsseln TASK_ID

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt ODBC-/JDBC-Treiber, die in den letzten 2 Jahren veröffentlicht wurden. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Systemumgebung

  • Betriebssystem: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Installierte Python-Bibliotheken

Bibliothek Version Bibliothek Version Bibliothek Version
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
AutoCommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 Klicken 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
Kryptografie 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 Als veraltet markiert 1.2.14 distlib 0.3.8
docstring-to-markdown 0,11 entrypoints 0,4 executing 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3,7 importlib-metadata 6.0.0 importlib_resources 6.4.0
beugen 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
Packen 24.1 Pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24,2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 Python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requests 2.32.2 rope 1.12.0 rsa 4,9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 sechs 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
Typen-6 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0,1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme des Posit Package Manager CRAN installiert.

Bibliothek Version Bibliothek Version Bibliothek Version
Pfeil 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1,0 - 8 Blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 Anmeldeinformationen 2.0.1 curl 5.2.1
data.table 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
Diagramm 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 Evaluieren 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
Grafiken 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0,11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1,48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
Lebenszyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 Methoden 4.4.0
mgcv 1.9-1 mime 0,12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 Fortschritt 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 stats 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 Swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,52 tools 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0,46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)

Gruppen-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics Datenstrom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0,27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx Sammlung 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
stax stax-api 1.0.1