Databricks Runtime 13.1 (EoS)
Hinweis
Die Unterstützung für diese Databricks-Runtime-Version wurde beendet. Den End-of-Support-Termin finden Sie im Verlauf des Supportendes. Alle unterstützten Versionen von Databricks Runtime finden Sie unter Versionshinweise, Versionen und Kompatibilität von Databricks Runtime.
Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 13.1, unterstützt von Apache Spark 3.4.0.
Diese Version wurde von Databricks im Mai 2023 veröffentlicht.
Neue Features und Verbesserungen
- Clusterunterstützung für JDK 17 (Public Preview)
- Hinzufügen, Ändern oder Löschen von Daten in Streamingtabellen
- Lesen von Kafka mit SQL
- Neue integrierte SQL-Funktionen
- Unity Catalog-Unterstützung für Python-Bibliotheken im Clusterbereich
- Erweiterte Standardaktivierung für optimierte Schreibvorgänge in Unity Catalog
- Erweiterte Unterstützung für zustandsbehaftete Operatoren in Workloads für strukturiertes Streaming
- Delta-Klon für Unity Catalog befindet sich in der Phase „Public Preview”
- Pub/Sub-Unterstützung für strukturiertes Streaming
- Löschen von Duplikaten innerhalb von Wasserzeichen in strukturiertem Streaming
- Erweiterte Unterstützung für Delta-Konvertierungen aus Iceberg-Tabellen mit abgeschnittenen Partitionsspalten
- Streamschemaänderungen mit Spaltenzuordnung in Delta Lake
- Entfernen von START VERSION
- Neue H3-Ausdrücke in Python verfügbar
Clusterunterstützung für JDK 17 (Public Preview)
Databricks bietet jetzt Clusterunterstützung für Java Development Kit (JDK) 17. Siehe Databricks SDK für Java.
Hinzufügen, Ändern oder Löschen von Daten in Streamingtabellen
Sie können jetzt DML-Anweisungen verwenden, um Streamingtabellen zu ändern, die von Delta Live Tables-Pipelines in Unity Catalog veröffentlicht wurden. Weitere Informationen finden Sie unter Hinzufügen, Ändern oder Löschen von Daten in einer Streamingtabelle und unter Hinzufügen, Ändern oder Löschen von Daten in einer Zielstreamingtabelle. Sie können auch DML-Anweisungen verwenden, um in Databricks SQL erstellte Streamingtabellen zu ändern.
Lesen von Kafka mit SQL
Sie können jetzt die SQL-Funktion read_kafka zum Lesen von Kafka-Daten verwenden. Streaming mit SQL wird nur in Delta Live Tables oder mit Streamingtabellen in Databricks SQL unterstützt. Siehe Tabellenwertfunktion „read_kafka“
Neue integrierte SQL-Funktionen
Die folgenden analytischen Funktionen wurden hinzugefügt:
- array_prepend(array, elem): Gibt
arraymit vorangestelltemelemzurück. - try_aes_decrypt(expr, key [, mode [, padding]]): Entschlüsselt eine Binärdatei, die mithilfe der AES-Verschlüsselung erstellt wurde, und gibt
NULLzurück, wenn ein Fehler vorliegt. - sql_keywords(): Gibt eine Tabelle mit Azure Databricks SQL-Schlüsselwörtern zurück.
Unity Catalog-Unterstützung für Python-Bibliotheken im Clusterbereich
Unity Catalog weist einige Einschränkungen bei der Bibliotheksnutzung auf. In Databricks Runtime 13.1 und höher werden clusterspezifische Python-Bibliotheken unterstützt, einschließlich Python-Wheel-Dateien, die als Arbeitsbereichsdateien hochgeladen werden. Bibliotheken, auf die mithilfe von Databricks File System(DBFS)-Dateipfaden verwiesen wird, werden nicht unterstützt, unabhängig davon, ob sie sich im DBFS-Stamm oder an einem externen Speicherort befinden, der in einem DBFS eingebunden ist. Nicht-Python-Bibliotheken werden nicht unterstützt. Weitere Informationen finden Sie unter Clusterbibliotheken.
In Databricks Runtime 13.0 und niedriger werden clusterspezifische Bibliotheken, die den Modus für den gemeinsamen Zugriff in einem Arbeitsbereich mit Unity Catalog-Unterstützung verwenden, nicht unterstützt.
Erweiterte Standardaktivierung für optimierte Schreibvorgänge in Unity Catalog
Die standardmäßige optimierte Schreibunterstützung für Delta-Tabellen, die in Unity Catalog registriert sind, wurde erweitert, um CTAS-Anweisungen und INSERT-Vorgänge für partitionierte Tabellen einzuschließen. Dieses Verhalten richtet sich an den Standardwerten in SQL-Warehouses aus. Weitere Informationen finden Sie unter Optimierte Schreibvorgänge für Delta Lake in Azure Databricks.
Erweiterte Unterstützung für zustandsbehaftete Operatoren in Workloads für strukturiertes Streaming
Sie können jetzt mehrere zustandsbehaftete Operatoren miteinander verketten, was bedeutet, dass Sie die Ausgabe eines Vorgangs, z. B. einer Fensteraggregation, an einen anderen zustandsbehafteten Vorgang wie z. B. eine Verknüpfung übertragen können. Siehe Was ist zustandsbehaftetes Streaming?.
Delta-Klon für Unity Catalog befindet sich in der Phase „Public Preview”
Sie können jetzt flache Klone verwenden, um neue verwaltete Unity Catalog-Tabellen aus vorhandenen verwalteten Unity Catalog-Tabellen zu erstellen. Siehe Flache Klone für verwaltete Unity Catalog-Tabellen.
Pub/Sub-Unterstützung für strukturiertes Streaming
Sie können jetzt einen integrierten Connector verwenden, um Google Pub/Sub mit strukturiertem Streaming zu abonnieren. Weitere Informationen finden Sie unter Abonnieren von Google Pub/Sub.
Löschen von Duplikaten innerhalb von Wasserzeichen in strukturiertem Streaming
Sie können jetzt dropDuplicatesWithinWatermark in Kombination mit einem angegebenen Wasserzeichen-Schwellenwert verwenden, um Datensätze in strukturiertem Streaming zu deduplizieren. Informationen finden Sie unter Löschen von Duplikaten innerhalb eines Wasserzeichens.
Erweiterte Unterstützung für Delta-Konvertierungen aus Iceberg-Tabellen mit abgeschnittenen Partitionsspalten
Sie können jetzt CLONE und CONVERT TO DELTA mit Iceberg-Tabellen verwenden, die Partitionen für abgeschnittene Spalten der Typen int, long und string definiert haben. Abgeschnittene Spalten vom Typ decimal werden nicht unterstützt.
Streamschemaänderungen mit Spaltenzuordnung in Delta Lake
Sie können jetzt einen Speicherort für die Schemanachverfolgung bereitstellen, um das Streaming von Delta-Tabellen mit aktivierter Spaltenzuordnung zu ermöglichen. Weitere Informationen finden Sie unter Streaming mit Spaltenzuordnung und Schemaänderungen.
Entfernen von START VERSION
START VERSION ist jetzt für ALTER SHARE veraltet.
Neue H3-Ausdrücke in Python verfügbar
Die Ausdrücke h3_coverash3 und h3_coverash3string sind in Python verfügbar.
Fehlerkorrekturen
Bei Parquet failOnUnknownFields werden Daten bei Typkonflikten nicht mehr automatisch gelöscht
Wenn eine Parquet-Datei nur mit der failOnUnknownFields-Option oder mit Autoloader im failOnNewColumns-Schemaentwicklungsmodus gelesen wird, schlagen Spalten mit unterschiedlichen Datentypen jetzt fehl und empfehlen die Verwendung von rescuedDataColumn. Autoloader liest jetzt korrekt Integer-, Short- und Byte-Typen, sodass keine Wiederherstellung erforderlich ist, wenn einer dieser Datentypen bereitgestellt wird. Die Parquet-Datei schlägt einen der beiden anderen Typen vor.
Aktuelle Änderungen
Upgrade der sqlite-jdbc-Version auf 3.42.0.0 zum Behandeln von CVE-2023-32697
Führen Sie ein Upgrade der sqlite-jdbc-Version von 3.8.11.2 auf 3.42.0.0 durch. Die APIs der Version 3.42.0.0 sind nicht vollständig mit 3.8.11.2 kompatibel. Wenn Sie sqlite-jdbc in Ihrem Code verwenden, überprüfen Sie den sqlite-jdbc-Kompatibilitätsbericht auf Details. Wenn Sie zu 13.1 migrieren und sqlite verwenden, bestätigen Sie Ihre Methoden und den Rückgabetyp in Version 3.42.0.0.
Bibliotheksupgrades
- Aktualisierte Python-Bibliotheken:
- facets-overview von 1.0.2 auf 1.0.3
- filelock von 3.10.7 auf 3.12.0
- pyarrow von 7.0.0 auf 8.0.0
- tenacity von 8.0.1 auf 8.1.0
- Aktualisierte R-Bibliotheken:
- Aktualisierte Java-Bibliotheken:
- com.github.ben-manes.caffeine.caffeine von 2.3.4 auf 2.9.3
- io.delta.delta-sharing-spark_2.12 von 0.6.8 bis 0.6.4
- net.snowflake.snowflake-providers von 3.13.29 bis 3.13.22
- org.checkerframework.checker-qual von 3.5.0 auf 3.19.0
- org.scalactic.scalactic_2.12 von 3.0.8 auf 3.2.15
- org.scalatest.scalatest_2.12 von 3.0.8 auf 3.2.15
- org.xerial.sqlite-jdbc von 3.8.11.2 auf 3.42.0.0
Apache Spark
Databricks Runtime 13.1 enthält Apache Spark 3.4.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 13.0 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen, die an Spark vorgenommen wurden:
- [SPARK-42719] [DBRRM-199][SC-131578] Zurücksetzen von [SC-125225] `MapOutputTracker#getMap…
- [SPARK-39696] [DBRRM-166][SC-130056][CORE] Zurücksetzen von [SC-127830]/
- [SPARK-43331] [SC-130064][CONNECT] Hinzufügen von SparkSession.interruptAll in Spark Connect
- [SPARK-43332] [SC-130051][CONNECT][PYTHON] Ermöglichen der Erweiterung von ChannelBuilder für SparkConnectClient
- [SPARK-43323] [SC-129966][SQL][PYTHON] Korrigieren von DataFrame.toPandas mit Arrow-Aktivierung, um Ausnahmen ordnungsgemäß zu behandeln
- [SPARK-42940] [SC-129896][SS][CONNECT] Verbessern der Sitzungsverwaltung für Streamingabfragen
- [SPARK-43032] [SC-125756] [CONNECT][SS] Hinzufügen von Streamingabfrage-Manager
- [SPARK-16484] [SC-129975][SQL] Hinzufügen von Unterstützung für Datasketches HllSketch
- [SPARK-43260] [SC-129281][PYTHON] Migrieren der Arrow-Typfehler von Spark SQL Pandas zur Fehlerklasse.
- [SPARK-41766] [SC-129964][CORE] Behandeln von Außerbetriebsetzungsanforderungen, die vor der Executorregistrierung gesendet werden
- [SPARK-43307] [SC-129971][PYTHON] Migrieren von PandasUDF-Wertfehlern zur Fehlerklasse
- [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() umfasst Stapelüberwachung
- [SPARK-43311] [SC-129905][SS] Hinzufügen von Verbesserungen an der Arbeitsspeicherverwaltung von RocksDB-Zustandsspeicheranbieter
- [SPARK-43237] [SC-129898][CORE] Behandeln von NULL-Ausnahmemeldung im Ereignisprotokoll
- [SPARK-43320] [SC-129899][SQL][HIVE] Direkter Aufruf von Hive 2.3.9-API
- [SPARK-43270] [SC-129897][PYTHON] Implementieren von
__dir__()inpyspark.sql.dataframe.DataFramezum Einschließen von Spalten - [SPARK-43183] Zurücksetzen von „[SC-128938][SS] Einführen eines neuen Rückrufs ...“
- [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
- [SPARK-43257] [SC-129675][SQL] Ersetzen der Fehlerklasse _LEGACY_ERROR_TEMP_2022 durch einen internen Fehler
- [SPARK-43198] [SC-129470][CONNECT] Korrigieren von „Klasse ammonite... konnte nicht initialisiert werden“ Fehler bei Verwendung des Filters
- [SPARK-43165] [SC-129777][SQL] Verschieben von canWrite zu DataTypeUtils
- [SPARK-43298] [SC-129729][PYTHON][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl
- [SPARK-43298] [SC-129700]Zurücksetzen von „[PYTHON][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl“
- [SPARK-43052] [SC-129663][CORE] Verarbeiten von stacktrace mit NULL-Dateinamen im Ereignisprotokoll
- [SPARK-43183] [SC-128938][SS] Einführen eines neuen Rückrufs „onQueryIdle“ für StreamingQueryListener
- [SPARK-43209] [SC-129190][CONNECT][PYTHON] Migrieren von Ausdrucksfehlern zur Fehlerklasse
- [SPARK-42151] [SC-128754][SQL] Ausrichten von UPDATE-Zuweisungen an Tabellenattributen
- [SPARK-43134] [SC-129468] [CONNECT] [SS] StreamingQuery exception()-API auf JVM-Client
- [SPARK-43298] [SC-129699][PYTHON][ML] predict_batch_udf mit skalarer Eingabe schlägt bei Batchgröße 1 fehl
- [SPARK-43248] [SC-129660][SQL] Unnötige Serialisierung/Deserialisierung von Pfad beim parallelen Sammeln von Partitionsstatistiken
- [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] Einführen von
PySparkNotImplementedError - [SPARK-43146] [SC-128804][CONNECT][PYTHON] Implementieren der Eager Evaluation für repr und repr_html
- [SPARK-42953] [SC-129469][Connect][Followup] Korrigieren des Maven-Testbuilds für Scala-Client-UDF-Tests
- [SPARK-43144] [SC-129280] DataStreamReader table()-API auf Scala-Client
- [SPARK-43136] [SC-129358][CONNECT] Hinzufügen der Funktionen groupByKey, mapGroup und coGroup
- [SPARK-43156] [SC-129672][SC-128532][SQL] Korrigieren des Fehlers
COUNT(*) is nullin korrelierter skalarer Unterabfrage - [SPARK-43046] [SC-129110] [SS] [Connect] Implementieren der Python-API dropDuplicatesWithinWatermark für Spark Connect
- [SPARK-43199] [SC-129467][SQL] Ermöglichen von Idempotenz für InlineCTE
- [SPARK-43293] [SC-129657][SQL]
__qualified_access_onlysollte in normalen Spalten ignoriert werden - [SPARK-43276] [SC-129461][CONNECT][PYTHON] Migrieren von Spark Connect-Fensterfehlern zur Fehlerklasse
- [SPARK-43174] [SC-129109][SQL] Korrigieren der SparkSQLCLIDriver-Vervollständigung
- [SPARK-43084] [SC-128654] [SS] Hinzufügen von ApplyInPandasWithState-Unterstützung für Spark Connect
- [SPARK-43119] [SC-129040][SQL] Unterstützen des dynamischen Abrufs von SQL-Schlüsselwörtern über JDBC-API und TVF
- [SPARK-43082] [SC-129112][CONNECT][PYTHON] Arrow-optimierte Python-UDFs in Spark Connect
- [SPARK-43085] [SC-128432][SQL] Unterstützen der DEFAULT-Spaltenzuweisung für mehrteilige Tabellennamen
- [SPARK-43226] [LC-671] Definieren von Extraktionsfunktionen für Dateikonstantenmetadaten
- [SPARK-43210] [SC-129189][CONNECT][PYTHON] Einführen von
PySparkAssertionError - [SPARK-43214] [SC-129199][SQL] Treiberseitig nachgeschaltete Metriken für LocalTableScanExec/CommandResultExec
- [SPARK-43285] [SC-129347] Korrigieren des konsistenten ReplE2ESuite-Fehlers mit JDK 17
- [SPARK-43268] [SC-129249][SQL] Verwenden der richtigen Fehlerklassen, wenn Ausnahmen mit einer Meldung erstellt werden
- [SPARK-43142] [SC-129299] Korrigieren von DSL-Ausdrücken für Attribute mit Sonderzeichen
- [SPARK-43129] [SC-128896] Scala-Core-API für das Streamen von Spark Connect
- [SPARK-43233] [SC-129250] [SS] Hinzufügen von Protokollierung für Kafka-Batchlesevorgänge für Themenpartition, Offsetbereich und Aufgaben-ID
- [SPARK-43249] [SC-129195][CONNECT] Korrigieren fehlender Statistiken für SQL-Befehl
- [SPARK-42945] [SC-129188][CONNECT] Unterstützen von PYSPARK_JVM_STACKTRACE_ENABLED in Spark Connect
- [SPARK-43178] [SC-129197][CONNECT][PYTHON] Migrieren von UDF-Fehlern in PySpark-Fehlerframework
- [SPARK-43123] [SC-128494][SQL] Interne Feldmetadaten sollten nicht an Kataloge weitergegeben werden
- [SPARK-43217] [SC-129205] Korrekte Rekursion in geschachtelten Karten/Arrays in findNestedField
- [SPARK-43243] [SC-129294][PYTHON][CONNECT] Hinzufügen eines Ebenenparameters zu printSchema für Python
- [SPARK-43230] [SC-129191][CONNECT] Vereinfachen von
DataFrameNaFunctions.fillna - [SPARK-43088] [SC-128403][SQL] Beachten von RequiresDistributionAndOrdering in CTAS/RTAS
- [SPARK-43234] [SC-129192][CONNECT][PYTHON] Migrieren von
ValueErrorvon Connect DataFrame zur Fehlerklasse - [SPARK-43212] [SC-129187][SS][PYTHON] Migrieren von Fehlern beim strukturierten Streaming in die Fehlerklasse
- [SPARK-43239] [SC-129186][PS] Entfernen von
null_countsaus info() - [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput sollte mit der untergeordneten Ausgabe konsistent sein
- [SPARK-43191] [SC-128924][CORE] Ersetzen der Reflexion durch direktes Aufrufen für Hadoop CallerContext
- [SPARK-43193] [SC-129042][SS] Entfernen der Problemumgehung für HADOOP-12074
- [SPARK-42657] [SC-128621][CONNECT] Unterstützung für das Suchen und Übertragen clientseitiger REPL-Klassendateien auf den Server als Artefakte
- [SPARK-43098] [SC-77059][SQL] Korrigieren der Richtigkeit von „COUNT bug“, wenn die skalare Unterabfrage eine „group by“-Klausel aufweist
- [SPARK-43213] [SC-129062][PYTHON] Hinzufügen von
DataFrame.offsetzu Vanilla PySpark - [SPARK-42982] [SC-128400][CONNECT][PYTHON] Korrigieren von createDataFrame zum Berücksichtigen der angegebenen Schema-DDL
- [SPARK-43124] [SC-129011][SQL] Lokales Projizieren von CommandResults mit Dataset.show
- [SPARK-42998] [SC-127422][CONNECT][PYTHON] Korrigieren von DataFrame.collect mit NULL-Struktur
- [SPARK-41498] [SC-125343]Zurücksetzen von „Weitergeben von Metadaten über Union“
- [SPARK-42960] [SC-129010] [CONNECT] [SS] Hinzufügen von await_termination()- und exception()-API für Streamingabfrage in Python
- [SPARK-42552] [SC-128824][SQL] Korrigieren der zweistufigen Parsingstrategie des antlr-Parsers
- [SPARK-43207] [SC-128937][CONNECT] Hinzufügen von Hilfsfunktionen zum Extrahieren von Werten aus literalen Ausdrücken
- [SPARK-43186] [SC-128841][SQL][HIVE] Entfernen der Problemumgehung für FileSinkDesc
- [SPARK-43107] [SC-128533][SQL] Zusammenfügen von Buckets in Join, die auf der Broadcastjoin-Streamseite angewendet wurden
- [SPARK-43195] [SC-128922][CORE] Entfernen unnötiger serialisierbarer Wrapper in HadoopFSUtils
- [SPARK-43137] [SC-128828][SQL] Verbessern von ArrayInsert, wenn die Position faltbar und positiv ist
- [SPARK-37829] [SC-128827][SQL] Der äußere Join von Dataframe.joinWith sollte einen NULL-Wert für nicht übereinstimmende Zeilen zurückgeben
- [SPARK-43042] [SC-128602] [SS] [Connect] Hinzufügen von table()-API-Unterstützung für DataStreamReader
- [SPARK-43153] [SC-128753][CONNECT] Überspringen der Spark-Ausführung bei lokalem Dataframe
- [SPARK-43064] [SC-128496][SQL] SQL-Registerkarte in Spark SQL CLI sollte nur einmal eine Anweisung anzeigen
- [SPARK-43126] [SC-128447][SQL] Markieren von zwei Hive-UDF-Ausdrücke als zustandsbehaftet
- [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] Zusammenführen geschachtelter
if-Anweisungen in einzelneif-Anweisungen - [SPARK-43113] [SC-128749][SQL] Auswerten streamseitiger Variablen beim Generieren von Code für eine gebundene Bedingung
- [SPARK-42895] [SC-127258][CONNECT] Verbessern von Fehlermeldungen für beendete Spark-Sitzungen
- [SPARK-42884] [SC-126662][CONNECT] Hinzufügen der Ammonite-REPL-Integration
- [SPARK-43168] [SC-128674][SQL] Entfernen der Methode zum Abrufen von PhysicalDataType aus der Datatype-Klasse
- [SPARK-43121] [SC-128455][SQL] Verwenden von
BytesWritable.copyBytesstatt manueller Kopie in HiveInspectors - [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog behält Char/Varchar-Metadaten auf der Leseseite bei
- [SPARK-43050] [SC-128550][SQL] Korrigieren von Konstruktaggregatausdrücken durch Ersetzen von Gruppierungsfunktionen
- [SPARK-43095] [SC-128549][SQL] Idempotenz der Strategie "Einmal vermeiden" für den Batch unterbrochen:
Infer Filters - [SPARK-43130] [SC-128597][SQL] Verschieben von InternalType zu PhysicalDataType
- [SPARK-43105] [SC-128456][CONNECT] Abkürzen von Bytes und Zeichenfolgen in Proto-Nachricht
- [SPARK-43099] [SC-128596][SQL] Verwenden von
getNameanstelle vongetCanonicalName, um den Namen der Builderklasse beim Registrieren der UDF bei FunctionRegistry abzurufen - [SPARK-42994] [SC-128586][ML][CONNECT] Unterstützung von PyTorch-Verteiler für lokalen Modus
- [SPARK-42859] Zurücksetzen von "[SC-127935][CONNECT][PS] Grundlegende Unterstützung für Pandas-API in Spark Connect"
- [SPARK-43021] [SC-128472][SQL]
CoalesceBucketsInJoinfunktioniert nicht bei Verwendung von AQE - [SPARK-43125] [SC-128477][CONNECT] Korrigieren des Problems, dass Connect-Server keine Ausnahme mit NULL-Nachricht verarbeiten kann
- [SPARK-43147] [SC-128594] Korrigieren von Flake8-Lint für die lokale Überprüfung
- [SPARK-43031] [SC-128360] [SS] [Connect] Aktivieren von Komponententest und Doctest für Streaming
- [SPARK-43039] [LC-67] Unterstützen benutzerdefinierter Felder in der _metadata-Spalte der Dateiquelle
- [SPARK-43120] [SC-128407][SS] Hinzufügen von Unterstützung für die Nachverfolgung der Speicherauslastung angehefteter Blöcke für den RocksDB-Zustandsspeicher
- [SPARK-43110] [SC-128381][SQL] Verschieben von asIntegral zu PhysicalDataType
- [SPARK-43118] [SC-128398][SS] Entfernen von unnötigem Assert für UninterruptibleThread in KafkaMicroBatchStream
- [SPARK-43055] [SC-128331][CONNECT][PYTHON] Unterstützen doppelter geschachtelter Feldnamen
- [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable ermöglicht das Angeben der Speicherebene
- [SPARK-42985] [SC-128332][CONNECT][PYTHON] Korrigieren von createDataFrame zum Berücksichtigen der SQL-Konfigurationen
- [SPARK-39696] [SC-127830][CORE] Korrigieren des Data Race beim Zugriff auf TaskMetrics.externalAccums
- [SPARK-43103] [SC-128335][SQL] Verschieben von Integral zu PhysicalDataType
- [SPARK-42741] [SC-125547][SQL] Kein Aufheben der Umschließung von Umwandlungen im binären Vergleich, wenn Literal NULL ist
- [SPARK-43057] [SC-127948][CONNECT][PYTHON] Migrieren von Spark Connect-Spaltenfehlern zur Fehlerklasse
- [SPARK-42859] [SC-127935][CONNECT][PS] Grundlegende Unterstützung für Pandas-API in Spark Connect
- [SPARK-43013] [SC-127773][PYTHON] Migrieren von
ValueErrorvon DataFrame zuPySparkValueError - [SPARK-43089] [SC-128051][CONNECT] Bearbeiten von Debugzeichenfolge in der Benutzeroberfläche
- [SPARK-43028] [SC-128070][SQL] Hinzufügen der Fehlerklasse SQL_CONF_NOT_FOUND
- [SPARK-42999] [SC-127842][CONNECT] Dataset#foreach, foreachPartition
- [SPARK-43066] [SC-127937][SQL] Hinzufügen eines Tests für dropDuplicates in JavaDatasetSuite
- [SPARK-43075] [SC-127939][CONNECT] Ändern von
gRPCingrpcio, wenn keine Installation vorliegt - [SPARK-42953] [SC-127809][Connect] Typisieren von filter, map, flatMap, mapPartitions
- [SPARK-42597] [SC-125506][SQL] Unterstützen des Aufhebens der Umschließung des Datumstyps in den Zeitstempeltyp
- [SPARK-42931] [SC-127933][SS] Einführen von dropDuplicatesWithinWatermark
- [SPARK-43073] [SC-127943][CONNECT] Hinzufügen von Proto-Datentypkonstanten
- [SPARK-43077] [SC-128050][SQL] Verbessern der Fehlermeldung von UNRECOGNIZED_SQL_TYPE
- [SPARK-42951] [SC-128030][SS][Connect] DataStreamReader-APIs
- [SPARK-43049] [SC-127846][SQL] Verwenden von CLOB anstelle von VARCHAR(255) für StringType für Oracle JDBC
- [SPARK-43018] [SC-127762][SQL] Beheben des Fehlers für INSERT-Befehle mit Zeitstempelliteralen
- [SPARK-42855] [SC-127722][SQL] Verwenden von NULL-Überprüfungen zur Laufzeit in TableOutputResolver
- [SPARK-43030] [SC-127847][SQL] Deduplizieren von Beziehungen mit Metadatenspalten
- [SPARK-42993] [SC-127829][ML][CONNECT] Herstellen von Kompatibilität des PyTorch-Verteilers mit Spark Connect
- [SPARK-43058] [SC-128072][SQL] Verschieben von Numeric und Fractional zu PhysicalDataType
- [SPARK-43056] [SC-127946][SS] RocksDB-Zustandsspeichercommit sollte Hintergrundaufgaben nur im angehaltenen Zustand fortsetzen
- [SPARK-43059] [SC-127947][CONNECT][PYTHON] Migrieren von TypeError aus DataFrame(Reader|Writer) zur Fehlerklasse
- [SPARK-43071] [SC-128018][SQL] Unterstützen von SELECT DEFAULT mit ORDER BY, LIMIT, OFFSET für INSERT-Quellbeziehung
- [SPARK-43061] [SC-127956][CORE][SQL] Einführen von PartitionEvaluator für die Ausführung des SQL-Operators
- [SPARK-43067] [SC-127938][SS] Korrigieren des Speicherorts der Fehlerklassen-Ressourcendatei im Kafka-Connector
- [SPARK-43019] [SC-127844][SQL] Verschieben von Ordering zu PhysicalDataType
- [SPARK-43010] [SC-127759][PYTHON] Migrieren von Spaltenfehlern zur Fehlerklasse
- [SPARK-42840] [SC-127782][SQL] Ändern des Fehlers
_LEGACY_ERROR_TEMP_2004in internen Fehler - [SPARK-43041] [SC-127765][SQL] Wiederherstellen der Konstruktoren von Ausnahmen zur Kompatibilität in der Connector-API
- [SPARK-42939] [SC-127761][SS][CONNECT] Core-Streaming-Python-API für Spark Connect
- [SPARK-42844] [SC-127766][SQL] Aktualisieren der Fehlerklasse
_LEGACY_ERROR_TEMP_2008aufINVALID_URL - [SPARK-42316] [SC-127720][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP_2044
- [SPARK-42995] [SC-127723][CONNECT][PYTHON] Migrieren von Spark Connect-DataFrame-Fehlern zur Fehlerklasse
- [SPARK-42983] [SC-127717][CONNECT][PYTHON] Korrigieren von createDataFrame zum ordnungsgemäßen Verarbeiten von NumPy-Array der Dimension 0
- [SPARK-42955] [SC-127476][SQL] Überspringen von classifyException und Umschließen von AnalysisException für SparkThrowable
- [SPARK-42949] [SC-127255][SQL] Vereinfachen von Code für NAAJ
- [SPARK-43011][SC-127577][SQL]
array_insertsollte mit Index 0 fehlschlagen - [SPARK-42974] [SC-127487][CORE] Wiederherstellen von
Utils.createTempDirzum Verwenden vonShutdownHookManagerund Bereinigen der MethodeJavaUtils.createTempDir - [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' bedeutet auch, dass die Tabelle bereits vorhanden ist
- [SPARK-42978] [SC-127351][SQL] Derby&PG: RENAME kann new-table-Name nicht mit schema-Name qualifizieren
- [SPARK-37980] [SC-127668][SQL] Zugreifen auf row_index über _metadata in Tests, falls möglich
- [SPARK-42655] [SC-127591][SQL] Fehler durch falschen mehrdeutigen Spaltenverweis
- [SPARK-43009] [SC-127596][SQL]
sql()mitAny-Konstanten parametrisiert - [SPARK-43026] [SC-127590][SQL] Anwenden von AQE mit Nicht-Exchange-Tabellencache
- [SPARK-42963] [SC-127576][SQL] Erweitern von SparkSessionExtensions, um Regeln in die Stageoptimierung der AQE-Abfrage einzufügen
- [SPARK-42918] [SC-127357] Verallgemeinern der Verarbeitung von Metadatenattributen in FileSourceStrategy
- [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] Hinzufügen von Unterstützung für
Catalog - [SPARK-42997] [SC-127535][SQL] TableOutputResolver muss in Fehlermeldungen für Arrays und Zuordnungen die richtigen Spaltenpfade verwenden
- [SPARK-43006] [SC-127486][PYSPARK] Korrigieren eines Tippfehlers in StorageLevel eq()
- [SPARK-43005] [SC-127485][PYSPARK] Korrigieren eines Tippfehlers in pyspark/pandas/config.py
- [SPARK-43004] [SC-127457][CORE] Korrigieren eines Tippfehlers in ResourceRequest.equals()
- [SPARK-42907] [SC-126984][CONNECT][PYTHON] Implementieren von Avro-Funktionen
- [SPARK-42979] [SC-127272][SQL] Definieren von Literalkonstruktoren als Schlüsselwörter
- [SPARK-42946] [SC-127252][SQL] Bearbeiten sensibler Daten, die durch Variablenersetzung geschachtelt werden
- [SPARK-42952] [SC-127260][SQL] Vereinfachen des Parameters der Analyseregel PreprocessTableCreation und DataSourceAnalysis
- [SPARK-42683] [LC-75] Automatisches Umbenennen in Konflikt stehender Metadatenspalten
- [SPARK-42853] [SC-126101][FollowUp] Beheben von Konflikten
- [SPARK-42929] [SC-126748][CONNECT] Ermöglichen der Unterstützung von mapInPandas/mapInArrow für „is_barrier“
- [SPARK-42968] [SC-127271][SS] Hinzufügen der Option zum Überspringen des Commitkoordinators als Teil der StreamingWrite-API für DSv2-Quellen/-Senken
- [SPARK-42954] [SC-127261][PYTHON][CONNECT] Hinzufügen von
YearMonthIntervalTypezum PySpark- und Spark Connect-Python-Client - [SPARK-41359] [SC-127256][SQL] Verwenden von
PhysicalDataTypeanstelle von DataType in UnsafeRow - [SPARK-42873] [SC-127262][SQL] Definieren von Spark SQL-Typen als Schlüsselwörter
- [SPARK-42808] [SC-126302][CORE] Vermeiden, dass jedes Mal availableProcessors in
MapOutputTrackerMaster#getStatisticsabgerufen werden - [SPARK-42937] [SC-126880][SQL]
PlanSubqueriessollteInSubqueryExec#shouldBroadcastauf TRUE festgelegen - [SPARK-42896] [SC-126729][SQL][PYTHON] Ermöglichen der Unterstützung von
mapInPandas/mapInArrowfür die Ausführung des Barrieremodus - [SPARK-42874] [SC-126442][SQL] Aktivieren eines neuen goldenen Dateitestframeworks für die Analyse aller Eingabedateien
- [SPARK-42922] [SC-126850][SQL] Wechsel von Random zu SecureRandom
- [SPARK-42753] [SC-126369] ReusedExchange bezieht sich auf nicht vorhandene Knoten
- [SPARK-40822] [SC-126274][SQL] Stabile abgeleitete Spaltenaliase
- [SPARK-42908] [SC-126856][PYTHON] Auslösen von RuntimeError, wenn SparkContext erforderlich, aber nicht initialisiert ist
- [SPARK-42779] [SC-126042][SQL] Zulassen von V2-Schreibvorgängen, um Größenempfehlung für Shufflepartitionen anzugeben
- [SPARK-42914] [SC-126727][PYTHON] Wiederverwenden von
transformUnregisteredFunctionfürDistributedSequenceID - [SPARK-42878] [SC-126882][CONNECT] Tabellen-API in DataFrameReader kann auch Optionen akzeptieren
- [SPARK-42927] [SC-126883][CORE] Ändern des Zugriffsbereichs von
o.a.spark.util.Iterators#sizeinprivate[util] - [SPARK-42943] [SC-126879][SQL] Verwenden von LONGTEXT anstelle von TEXT für StringType für effektive Länge
- [SPARK-37677] [SC-126855][CORE] Beim Entzippen können Dateiberechtigungen beibehalten werden
- [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] Implementieren der CoGrouped Map-API
- [SPARK-41876] [SC-126849][CONNECT][PYTHON] Implementieren von DataFrame.toLocalIterator
- [SPARK-42930] [SC-126761][CORE][SQL] Ändern des Zugriffsbereichs von mit
ProtobufSerDeverwandten Implementierungen inprivate[protobuf] - [SPARK-42819] [SC-125879][SS] Hinzufügen von Unterstützung für das Festlegen von max_write_buffer_number und write_buffer_size für beim Streaming verwendete RocksDB
- [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] Erläutern des Kommentars parametrisierter SQL-Argumente
- [SPARK-42748] [SC-126455][CONNECT] Serverseitige Artefaktverwaltung
- [SPARK-42816] [SC-126365][CONNECT] Unterstützen einer maximalen Nachrichtengröße von bis zu 128 MB
- [SPARK-42850] [SC-126109][SQL] Entfernen duplizierter Regel „CombineFilters“ im Optimierer
- [SPARK-42662] [SC-126355][CONNECT][PS] Hinzufügen einer Proto-Nachricht für Pandas-API im Spark-Standardindex
- [SPARK-42720] [SC-126136][PS][SQL] Verwendet Ausdruck für Standardindex mit verteilter Sequenz anstelle von Plan
- [SPARK-42790] [SC-126174][SQL] Abstrahieren der ausgeschlossenen Methode zum besseren Testen für JDBC-Docker-Tests
- [SPARK-42900] [SC-126473][CONNECT][PYTHON] Korrigieren von createDataFrame zum Berücksichtigen von Rückschluss und Spaltennamen
- [SPARK-42917] [SC-126657][SQL] Korrigieren von GetUpdateColumnNullabilityQuery für DerbyDialect
- [SPARK-42684] [SC-125157][SQL] v2-Katalog sollte standardmäßig keinen Spaltenstandardwert zulassen
- [SPARK-42861] [SC-126635][SQL] Verwenden von private[sql] anstelle von protected[sql], um das Generieren einer API-Dokumentation zu vermeiden
- [SPARK-42920] [SC-126728][CONNECT][PYTHON] Aktivieren von Tests für UDF mit UDT
- [SPARK-42791] [SC-126617][SQL] Erstellen eines neuen goldenen Dateitestframeworks für die Analyse
- [SPARK-42911] [SC-126652][PYTHON] Einführen grundlegenderer Ausnahmen
- [SPARK-42904] [SC-126634][SQL] Char/Varchar-Unterstützung für JDBC-Katalog
- [SPARK-42901] [SC-126459][CONNECT][PYTHON] Verschieben von
StorageLevelin eine separate Datei, um das potenzielle Problemfile recursively importszu vermeiden - [SPARK-42894] [SC-126451][CONNECT] Unterstützen von
cache/persist/unpersist/storageLevelfür Spark Connect-JVM-Client - [SPARK-42792] [SC-125852][SS] Hinzufügen von Unterstützung für WRITE_FLUSH_BYTES für beim Streaming zustandsbehafteter Operatoren verwendete RocksDB
- [SPARK-41233] [SC-126441][CONNECT][PYTHON] Hinzufügen von array_prepend zum Spark Connect-Python-Client
- [SPARK-42681] [SC-125149][SQL] Lockern der Sortiereinschränkung für ALTER TABLE ADD|REPLACE-Spaltendeskriptor
- [SPARK-42889] [SC-126367][CONNECT][PYTHON] Implementieren von cache, persist, unpersist und storageLevel
- [SPARK-42824] [SC-125985][CONNECT][PYTHON] Angeben einer eindeutigen Fehlermeldung für nicht unterstützte JVM-Attribute
- [SPARK-42340] [SC-126131][CONNECT][PYTHON] Implementieren der Grouped Map-API
- [SPARK-42892] [SC-126454][SQL] Verschieben von sameType und relevanten Methoden aus DataType
- [SPARK-42827] [SC-126126][CONNECT] Unterstützen von
functions#array_prependfür Scala Connect-Client - [SPARK-42823] [SC-125987][SQL]
spark-sql-Shell unterstützt mehrteilige Namespaces für die Initialisierung - [SPARK-42817] [SC-125960][CORE] Einmalies Protokollieren des Shuffle-Dienstnamens in ApplicationMaster
- [SPARK-42786] [SC-126438][Connect] Typisierte Select-Methode
- [SPARK-42800] [SC-125868][CONNECT][PYTHON] Implementieren der ML-Funktion
{array_to_vector, vector_to_array} - [SPARK-42052] [SC-126439][SQL] Codegen-Unterstützung für HiveSimpleUDF
- [SPARK-41233] [SC-126110][SQL][PYTHON] Hinzufügen der Funktion
array_prepend - [SPARK-42864] [SC-126268][ML][3.4] Festlegen von
IsotonicRegression.PointsAccumulatorals privat - [SPARK-42876] [SC-126281][SQL] PhysicalDataType von DataType muss private[sql] sein
- [SPARK-42101] [SC-125437][SQL] Ermöglichen der Unterstützung von AQE für inMemoryTableScanExec
- [SPARK-41290] [SC-124030][SQL] Unterstützen von GENERATED ALWAYS AS-Ausdrücken für Spalten in CREATE/REPLACE TABLE-Anweisungen
- [SPARK-42870] [SC-126220][CONNECT] Verschieben von
toCatalystValuezuconnect-common - [SPARK-42247] [SC-126107][CONNECT][PYTHON] Korrigieren von UserDefinedFunction mit returnType
- [SPARK-42875] [SC-126258][CONNECT][PYTHON] Korrigieren von toPandas, um Zeitzonen- und Zuordnungstypen ordnungsgemäß zu behandeln
- [SPARK-42757] [SC-125626][CONNECT] Implementieren von textFile für DataFrameReader
- [SPARK-42803] [SC-126081][CORE][SQL][ML] Verwenden der getParameterCount-Funktion anstelle von getParameterTypes.length
- [SPARK-42833] [SC-126043][SQL] Umgestalten von
applyExtensionsinSparkSession - [SPARK-41765] Zurücksetzen von „[SC-123550][SQL] Abrufen von v1-Schreibmetriken...“
- [SPARK-42848] [SC-126105][CONNECT][PYTHON] Implementieren von DataFrame.registerTempTable
- [SPARK-42020] [SC-126103][CONNECT][PYTHON] Unterstützen von UserDefinedType in Spark Connect
- [SPARK-42818] [SC-125861][CONNECT][PYTHON] Implementieren von DataFrameReader/Writer.jdbc
- [SPARK-42812] [SC-125867][CONNECT] Hinzufügen von client_type zu AddArtifactsRequest-Protobuf-Nachricht
- [SPARK-42772] [SC-125860][SQL] Ändern des Standardwerts der JDBC-Optionen für Pushdown in TRUE
- [SPARK-42771] [SC-125855][SQL] Umgestalten von HiveGenericUDF
- [SPARK-25050] [SC-123839][SQL] Avro: Schreiben komplexer Unions
- [SPARK-42765] [SC-125850][CONNECT][PYTHON] Aktivieren des Imports von
pandas_udfauspyspark.sql.connect.functions - [SPARK-42719] [SC-125225][CORE]
MapOutputTracker#getMapLocationsolltespark.shuffle.reduceLocality.enabledberücksichtigen - [SPARK-42480] [SC-125173][SQL] Verbessern der Leistung beim Löschen von Partitionen
- [SPARK-42689] [SC-125195][CORE][SHUFFLE] Ermöglichen der Deklaration der zuverlässigen Speicherung von Shuffledaten für ShuffleDriverComponent
- [SPARK-42726] [SC-125279][CONNECT][PYTHON] Implementieren von
DataFrame.mapInArrow - [SPARK-41765] [SC-123550][SQL] Abrufen von v1-Schreibmetriken in WriteFiles
- [SPARK-41171] [SC-124191][SQL] Rückschließen und Herabsetzen des Fensterlimits, wenn partitionSpec leer ist
- [SPARK-42686] [SC-125292][CORE] Zurückstellen der Formatierung für Debugnachrichten in TaskMemoryManager
- [SPARK-42756] [SC-125443][CONNECT][PYTHON] Hilfsfunktion zum Konvertieren von Proto-Literal in einen Wert im Python-Client
- [SPARK-42793] [SC-125627][CONNECT]
connect-Modul erfordertbuild_profile_flags - [SPARK-42701] [SC-125192][SQL] Hinzufügen der
try_aes_decrypt()-Funktion - [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame funktioniert nicht mit einem Non-Nullable-Schema
- [SPARK-42733] [SC-125542][CONNECT][Followup] Schreiben ohne Pfad oder Tabelle
- [SPARK-42777] [SC-125525][SQL] Unterstützen der Konvertierung von TimestampNTZ-Katalogstatistiken in Planstatistiken
- [SPARK-42770] [SC-125558][CONNECT] Hinzufügen von
truncatedTo(ChronoUnit.MICROS), damitSQLImplicitsTestSuitein Java 17 die tägliche Test-GA-Aufgabe erfolgreich durchläuft - [SPARK-42752] [SC-125550][PYSPARK][SQL] Ermöglichen des Druckens von PySpark-Ausnahmen während der Initialisierung
- [SPARK-42732] [SC-125544][PYSPARK][CONNECT] Unterstützen der getActiveSession-Methode der Spark Connect-Sitzung
- [SPARK-42755] [SC-125442][CONNECT] Ausklammern der Literalwertkonvertierung in
connect-common - [SPARK-42747] [SC-125399][ML] Korrigieren eines falschen internen Status von LoR und AFT
- [SPARK-42740] [SC-125439][SQL] Beheben des Fehlers, dass ein Pushdown von Offset oder Paging für einen integrierten Dialekt ungültig ist
- [SPARK-42745] [SC-125332][SQL] AliasAwareOutputExpression wurde verbessert und funktioniert mit DSv2
- [SPARK-42743] [SC-125330][SQL] Unterstützen der Analyse von TimestampNTZ-Spalten
- [SPARK-42721] [SC-125371][CONNECT] RPC-Protokollierungsinterceptor
- [SPARK-42691] [SC-125397][CONNECT][PYTHON] Implementieren von Dataset.semanticHash
- [SPARK-42688] [SC-124922][CONNECT] Umbenennen von client_id in session_id in Connect-Proto-Anforderung
- [SPARK-42310] [SC-122792][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP_1289
- [SPARK-42685] [SC-125339][CORE] Optimieren von Utils.bytesToString-Routinen
- [SPARK-42725] [SC-125296][CONNECT][PYTHON] Ermöglichen der Unterstützung von LiteralExpression für Arrayparameter
- [SPARK-42702] [SC-125293][SPARK-42623][SQL] Unterstützen parametrisierter Abfragen in Unterabfragen und CTE
- [SPARK-42697] [SC-125189][WEBUI] Korrigieren von /api/v1/applications, um die Gesamtverfügbarkeit anstelle von 0 im Feld für die Dauer zurückzugeben
- [SPARK-42733] [SC-125278][CONNECT][PYTHON] Korrigieren von DataFrameWriter.save für die Funktion ohne path-Parameter
- [SPARK-42376] [SC-124928][SS] Einführen der Wasserzeichenweitergabe zwischen Operatoren
- [SPARK-42710] [SC-125205][CONNECT][PYTHON] Umbenennen von FrameMap-Proto in MapPartitions
- [SPARK-37099] [SC-123542][SQL] Einführen des Fenster-Gruppengrenzwerts für rangbasierte Filter zur Optimierung der Top-K-Berechnung
- [SPARK-42630] [SC-125207][CONNECT][PYTHON] Einführen von UnparsedDataType und Verzögern des Parsens der DDL-Zeichenfolge, bis SparkConnectClient verfügbar ist
- [SPARK-42690] [SC-125193][CONNECT] Implementieren von CSV-/JSON-Parsingfunktionen für den Scala-Client
- [SPARK-42709] [SC-125172][PYTHON] Entfernen der Annahme, dass
__file__verfügbar ist - [SPARK-42318] [SC-122648][SPARK-42319][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP(2123|2125)
- [SPARK-42723] [SC-125183][SQL] Unterstützen der Parserdatentyp-JSON „timestamp_ltz“ als TimestampType
- [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() sollte das Schema nicht zwischenspeichern
- [SPARK-42643] [SC-125152][CONNECT][PYTHON] Registrieren benutzerdefinierter Java-Funktionen (aggregiert)
- [SPARK-42656] [SC-125177][CONNECT][Followup] Korrigieren des spark-connect-Skripts
- [SPARK-41516] [SC-123899] [SQL] Ermöglichen des Überschreibens der Abfrage zum Erstellen einer Tabelle für JDBC-Dialekte
- [SPARK-41725] [SC-124396][CONNECT] Eager Execution von DF.sql()
- [SPARK-42687] [SC-124896][SS] Verbesserte Fehlermeldung für nicht unterstützten
pivot-Vorgang in Streaming - [SPARK-42676] [SC-124809][SS] Schreiben temporärer Prüfpunkte zum Streamen von Abfragen an das lokale Dateisystem, auch wenn Standard-FS anders festgelegt ist
- [SPARK-42303] [SC-122644][SQL] Zuweisen eines Namens zu _LEGACY_ERROR_TEMP_1326
- [SPARK-42553] [SC-124560][SQL] Sicherstellen von mindestens einer Zeiteinheit nach „Intervall“
- [SPARK-42649] [SC-124576][CORE] Entfernen des Apache-Standardlizenzheaders vom Anfang der Quelldateien von Drittanbietern
- [SPARK-42611] [SC-124395][SQL] Einfügen von Char-/Varchar-Längenüberprüfungen für innere Felder während der Auflösung
- [SPARK-42419] [SC-124019][CONNECT][PYTHON] Migrieren zum Fehlerframework für die Spark Connect-Spalten-API
- [SPARK-42637] [SC-124522][CONNECT] Hinzufügen von SparkSession.stop()
- [SPARK-42647] [SC-124647][PYTHON] Ändern des Alias für veraltete und entfernte NumPy-Typen
- [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver darf nur gestartete hive sessionState schließen
- [SPARK-42593] [SC-124405][PS] Einstellen und Entfernen der APIs, die in Pandas 2.0 entfernt werden.
- [SPARK-41870] [SC-124402][CONNECT][PYTHON] Korrigieren von createDataFrame zum Behandeln doppelter Spaltennamen
- [SPARK-42569] [SC-124379][CONNECT] Auslösen von Ausnahmen für nicht unterstützte Sitzungs-API
- [SPARK-42631] [SC-124526][CONNECT] Unterstützen benutzerdefinierter Erweiterungen im Scala-Client
- [SPARK-41868] [SC-124387][CONNECT][PYTHON] Korrigieren von createDataFrame zum Unterstützen von Dauerangaben
- [SPARK-42572] [SC-124171][SQL][SS] Korrigieren des Verhaltens für StateStoreProvider.validateStateRowFormat
Wartungsupdates
Informationen finden Sie unter Wartungsupdates für Databricks Runtime 13.1.
Systemumgebung
- Betriebssystem: Ubuntu 22.04.2 LTS
- Java: Zulu 8.70.0.23-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.2.2
- Delta Lake: 2.4.0
Installierte Python-Bibliotheken
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | Klicken | 8.0.4 | cryptography | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | dbus-python | 1.2.18 |
| debugpy | 1.5.1 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | docstring-to-markdown | 0,12 | entrypoints | 0,4 |
| executing | 1.2.0 | facets-overview | 1.0.3 | fastjsonschema | 2.16.3 |
| filelock | 3.12.0 | fonttools | 4.25.0 | googleapis-common-protos | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
| jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| Notebook | 6.4.12 | numpy | 1.21.5 | oauthlib | 3.2.0 |
| Packen | 21,3 | Pandas | 1.4.4 | pandocfilters | 1.5.0 |
| parso | 0.8.3 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 9.2.0 |
| pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 8.0.0 |
| pycparser | 2.21 | pydantic | 1.10.6 | pyflakes | 3.0.1 |
| Pygments | 2.11.2 | PyGObject | 3.42.1 | PyJWT | 2.3.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | Python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 | pytz | 2022.1 |
| pyzmq | 23.2.0 | requests | 2.28.1 | rope | 1.7.0 |
| s3transfer | 0.6.0 | scikit-learn | 1.1.1 | scipy | 1.9.1 |
| seaborn | 0.11.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| setuptools | 63.4.1 | sechs | 1.16.0 | soupsieve | 2.3.1 |
| ssh-import-id | 5.11 | stack-data | 0.6.2 | statsmodels | 0.13.2 |
| tenacity | 8.1.0 | terminado | 0.13.1 | testpath | 0.6.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.1 | typing_extensions | 4.3.0 |
| ujson | 5.4.0 | unattended-upgrades | 0,1 | urllib3 | 1.26.11 |
| virtualenv | 20.16.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | whatthepatch | 1.0.2 | wheel | 0.37.1 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
Installierte R-Bibliotheken
R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 10.02.2023 installiert.
| Bibliothek | Version | Bibliothek | Version | Bibliothek | Version |
|---|---|---|---|---|---|
| Pfeil | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | Blob | 1.2.3 |
| boot | 1.3-28 | brew | 1,0 - 8 | brio | 1.1.3 |
| broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | Anmeldeinformationen | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| ellipsis | 0.3.2 | Evaluieren | 0,20 | fansi | 1.0.4 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | generics | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.1 | Grafiken | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0,10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.1 | Lebenszyklus | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
| MASS | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
| methods | 4.2.2 | mgcv | 1.8-41 | mime | 0,12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | Fortschritt | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2,20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | spatial | 7.3-15 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.44 | Tools | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0,37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)
| Gruppen-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | Datenstrom | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0,21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.4 |
| io.dropwizard.metrics | metrics-core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | Sammlung | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4,22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-security | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-webapp | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2,36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2,36 |
| org.glassfish.jersey.core | jersey-client | 2,36 |
| org.glassfish.jersey.core | jersey-common | 2,36 |
| org.glassfish.jersey.core | jersey-server | 2,36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2,36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | shims | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |