Delen via

Databricks Runtime 14.3 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 14.3 LTS, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in februari 2024.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Tip

Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Nieuwe functies en verbeteringen

Ondersteuning voor werkruimtebestandssysteem in Door de gebruiker gedefinieerde functies van PySpark (UDF's) op gedeelde clusters

PySpark UDF's op gedeelde clusters kunnen nu Python-modules importeren uit Git-mappen, werkruimtebestandenof UC volumes.

Zie Werken met Python- en R-modules voor meer informatie over het werken met modules in Git-mappen of werkruimtebestanden.

Ondersteuning voor optimalisaties van verwijderingsvectoren MERGE zonder Photon

Photon is niet langer vereist voor MERGE bewerkingen om optimalisaties voor verwijderingsvectoren te gebruiken. Zie Wat zijn verwijderingsvectoren?

Spark catalog API's worden nu volledig ondersteund in de modus voor gedeelde toegang

U kunt nu alle functies in de spark.catalog API in zowel Python als Scala gebruiken op berekeningen die zijn geconfigureerd met de modus voor gedeelde toegang.

Delta UniForm is nu algemeen beschikbaar

UniForm is nu algemeen beschikbaar en maakt gebruik van de functie IcebergCompatV2table. U kunt nu op bestaande tablesUniForm inschakelen of upgraden. Zie Delta-tables lezen met Iceberg-clients.

Nieuwe SQL-functie EXECUTE IMMEDIATE

U kunt nu de EXECUTE IMMEDIATE syntaxis gebruiken om geparameteriseerde query's in SQL te ondersteunen. Zie EXECUTE IMMEDIATE.

Statistieken voor het overslaan van gegevens opnieuw compileren voor Delta tables

U kunt nu de statistieken die in het Delta-logboek zijn opgeslagen opnieuw berekenen, nadat u columns hebt gewijzigd dat wordt gebruikt voor gegevensoverslaan. Zie Specificeer Delta-statistieken columns.

Querystatusinformatie voor stateful streamingquery's

U kunt nu query's uitvoeren op structured streamingstatusgegevens en metagegevens. Zie Informatie over de status Structured Streaming lezen.

Microsoft Entra-id gebruiken voor Kafka-verificatie op gedeelde clusters

U kunt nu Event Hubs-services verifiëren via OAuth met Microsoft Entra-id op rekenkracht die is geconfigureerd met de modus voor gedeelde toegang. Zie Service Principal-verificatie met Microsoft Entra ID en Azure Event Hubs.

Ondersteuning toegevoegd voor bestand- en partition-snoeien om de queryprestaties te verbeteren

Om sommige query's te versnellen die afhankelijk zijn van null-tolerante gelijkheid in JOIN omstandigheden, ondersteunen we nu DynamicFilePruning en DynamicPartitionPruning voor de EqualNullSafe-operator in JOI's.

Tijdelijke variabelen declareren in een SQL-sessie

In deze release maakt u kennis met de mogelijkheid om tijdelijke variabelen in een sessie te declareren die kunnen worden set en waarnaar vervolgens vanuit query's wordt verwezen. Zie variabelen.

Thriftserver-updates voor remove ongebruikte functies

De Thriftserver-code is bijgewerkt naar remove code voor verouderde functies. Vanwege deze wijzigingen worden de volgende configuraties niet meer ondersteund:

  • De Hive-hulp-JAR's, geconfigureerd met behulp van de eigenschap hive.aux.jars.path, worden niet meer ondersteund voor hive-thriftserverconnections.
  • Het globale Hive-init-bestand (.hiverc), waarvan de locatie is geconfigureerd met behulp van de eigenschap hive.server2.global.init.file.location of de HIVE_CONF_DIR omgevingsvariabele, wordt niet meer ondersteund voor hive-thriftserverconnections.

Truststore- en keystore-bestanden gebruiken in Unity Catalogvolumes

U kunt nu truststore- en keystore-bestanden in Unity Catalogvolumes gebruiken om te verifiëren bij een Confluent Schema Registry voor avro- of protocolbuffergegevens. Raadpleeg de documentatie voor avro - of protocolbuffers.

Ondersteuning voor systeemeigen XML-bestandsindelingen (openbare preview)

Ondersteuning voor systeemeigen XML-bestandsindeling is nu beschikbaar in openbare preview. Ondersteuning voor XML-bestandsindeling maakt opname, query's en parsering van XML-gegevens mogelijk voor batchverwerking of streaming. Het kan automatisch schema en gegevenstypen afleiden en verbeteren, SQL-expressies zoals from_xmlondersteunen, en XML-documenten generate. Het vereist geen externe jar's en werkt naadloos met Auto Loader, read_files, COPY INTOen Delta Live Tables. Zie XML-bestanden lezen en schrijven.

Ondersteuning voor Cloudflare R2-opslag (openbare preview)

U kunt Cloudflare R2 nu gebruiken als cloudopslag voor gegevens die zijn geregistreerd in Unity Catalog. Cloudflare R2 is voornamelijk bedoeld voor gebruiksscenario's voor Delta Sharing waarin u de kosten voor uitgaand gegevensverkeer wilt vermijden die in rekening worden gebracht door de cloud providers wanneer gegevens door regio's worden gekruist. R2-opslag ondersteunt alle Databricks-gegevens en AI-assets die worden ondersteund in AWS S3, Azure Data Lake Storage Gen2 en Google Cloud Storage. Zie Cloudflare R2-replica's gebruiken of opslag migreren naar R2 en een opslagreferentie maken om verbinding te maken met Cloudflare R2.

Spark- en dbutils-toegang tot werkruimtebestanden bieden ondersteuning voor Unity-Catalog-clusters met gedeelde toegang

Spark en dbutils lees- en schrijftoegang tot werkruimtebestanden worden nu ondersteund op Unity-Catalog-clusters in modus voor gedeelde toegang. Zie Werken met werkruimtebestanden.

Ondersteuning voor Init-scripts en clusterbibliotheek op Unity-Catalog-clusters met gedeelde toegang

Installatie van init-scripts met clusterbereik en Python- en JAR-bibliotheken op Unity-Catalog-clusters in modus voor gedeelde toegang, inclusief installatie met clusterbeleid, is nu algemeen beschikbaar. Databricks raadt aan init-scripts en -bibliotheken te installeren vanuit Unity-Catalogvolumes.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • fastjsonschema van 2.19.0 tot 2.19.1
    • filelock van 3.12.4 tot 3.13.1
    • googleapis-common-protos van 1.61.0 tot 1.62.0
    • verpakking van 22.0 tot 23.2
  • Bijgewerkte R-bibliotheken:
    • buitenlandse van 0,8-82 tot 0,8-85
    • nlme van 3.1-162 tot 3.1-163
    • rpart van 4.1.19 tot 4.1.21
  • Bijgewerkte Java-bibliotheken:
    • com.databricks.databricks-sdk-java van 0.7.0 tot 0.13.0
    • org.apache.orc.orc-core van 1.9.1-shaded-protobuf tot 1.9.2-shaded-protobuf
    • org.apache.orc.orc-mapreduce van 1.9.1-shaded-protobuf naar 1.9.2-shaded-protobuf
    • org.apache.orc.orc-shims van 1.9.1 tot 1.9.2
    • org.scala-lang.modules.scala-collection-compat_2.12 van 2.9.0 tot 2.11.0

Apache Spark

Databricks Runtime 14.3 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 14.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-46541] [SC-153546][SQL][CONNECT] Los de dubbelzinnige column-referentie in zelf-join op
  • [SPARK-45433] "[SC-145163][SQL] CSV/JSON herstellen schema afleiden...
  • [SPARK-46723] [14.3][SASP-2792][SC-153425][VERBINDING MAKEN][SCALA] AddArtifact opnieuw proberen
  • [SPARK-46660] [SC-153391][VERBINDING MAKEN] ReattachExecute vraagt de levendigheid van SessionHolder bijwerken
  • [SPARK-46670] [SC-153273][PYTHON][SQL] DataSourceManager zelf klonen mogelijk maken door statische en runtime python-gegevensbronnen te scheiden
  • [SPARK-46720] [SC-153410][SQL][PYTHON] Python-gegevensbron herstructureren zodat deze overeenkomt met andere ingebouwde DSv2-gegevensbronnen
  • [SPARK-46684] [SC-153275][PYTHON][VERBINDING MAKEN] CoGroup.applyInPandas/Arrow corrigeren om argumenten correct door te geven
  • [SPARK-46667] [SC-153271][SC-153263][SQL] XML: Fout bij meerdere XML-gegevensbronnen weergeven
  • [SPARK-46382] [SC-151881][SQL]XML: Default ignoreSurroundingSpaces to true
  • [SPARK-46382] [SC-153178][SQL] XML: Update doc voor ignoreSurroundingSpaces
  • [SPARK-45292] “[SC-151609][SQL][HIVE] Remove Guava uit gedeelde klassen van IsolatedClientLoader terugdraaien”
  • [SPARK-45292] [SC-151609][SQL][HIVE] Remove Guava uit gedeelde klassen van IsolatedClientLoader
  • [SPARK-46311] [SC-150137][CORE] De uiteindelijke status van stuurprogramma's registreren tijdens Master.removeDriver
  • [SPARK-46413] [SC-151052][PYTHON] ReturnType van Pijl python UDF valideren
  • [SPARK-46633] [WARMFIX][SC-153092][SQL] Avro-lezer herstellen om blokken met lengte nul te verwerken
  • [SPARK-46537] [SC-151286][SQL] NPE converteren en asserties van opdrachten naar interne fouten
  • [SPARK-46179] [SC-151678][SQL] Voeg CrossDbmsQueryTestSuites toe, die andere DBMS uitvoert op gouden bestanden met andere DBMS, te beginnen met Postgres
  • [SPARK-44001] [SC-151413][PROTOBUF] Optie toevoegen om het uitpakken van protobuf bekende wrappertypen toe te staan
  • [SPARK-40876] [SC-151786][SQL] Verbreed typepromotie voor decimalen met grotere schaal in Parquet-lezers
  • [SPARK-46605] [SC-151769][VERBINDING MAKEN] Ondersteuning voor functie maken lit/typedLit in connect-module s.c.immutable.ArraySeq
  • [SPARK-46634] [SC-153005]Letterlijke validatie van [SQL] mag niet inzoomen op null-velden
  • [SPARK-37039] [SC-153094][PS] Oplossing Series.astype om goed te werken met ontbrekende waarde
  • [SPARK-46312] [SC-150163][CORE] Gebruiken lower_camel_case in store_types.proto
  • [SPARK-46630] [SC-153084][SQL] XML: De naam van het XML-element valideren bij schrijven
  • [SPARK-46627] [SC-152981][SS][UI] Inhoud van tijdlijnknopinfo in streaminggebruikersinterface herstellen
  • [SPARK-46248] [SC-151774][SQL] XML: Ondersteuning voor ignoreCorruptFiles en ignoreMissingFiles-opties
  • [SPARK-46386] [SC-150766][PYTHON] Beweringen van observaties verbeteren (pyspark.sql.observation)
  • [SPARK-46581] [SC-151789][CORE] Update opmerking over isZero in AccumulatorV2
  • [SPARK-46601] [SC-151785] [CORE] Logboekfout in handleStatusMessage oplossen
  • [SPARK-46568] [SC-151685][PYTHON] Opties voor Python-gegevensbronnen een hoofdlettergevoelige woordenlijst maken
  • [SPARK-46611] [SC-151783][CORE] Remove ThreadLocal door SimpleDateFormat te vervangen door DateTimeFormatter
  • [SPARK-46604] [SC-151768][SQL] Ondersteuning maken Literal.applys.c.immuable.ArraySeq
  • [SPARK-46324] [SC-150223][SQL][PYTHON] De uitvoernaam van pyspark.sql.functions.user en session_user herstellen
  • [SPARK-46621] [SC-151794][PYTHON] Adres null van Exception.getMessage in een vastgelegde Py4J-uitzondering
  • [SPARK-46598] [SC-151767][SQL] OrcColumnarBatchReader moet de geheugenmodus respecteren bij het maken van column vectoren voor de ontbrekende column
  • [SPARK-46613] [SC-151778][SQL][PYTHON] Volledige uitzondering registreren bij het opzoeken van Python-gegevensbronnen
  • [SPARK-46559] [SC-151364][MLLIB] export De naam van het pakket verpakken met backticks
  • [SPARK-46522] [SC-151784][PYTHON] Registratie van Python-gegevensbronnen met naamconflicten blokkeren
  • [SPARK-45580] [SC-149956][SQL] Handle case where een geneste subquery wordt een bestaan join
  • [SPARK-46609] [SC-151714][SQL] Vermijd exponentiële explosie in PartitioningPreservingUnaryExecNode
  • [SPARK-46535] [SC-151288][SQL] NullPointerException herstellen bij het uitvoerig beschrijven van een column zonder kolomstatistieken
  • [SPARK-46599] [SC-147661][SC-151770][SQL] XML: TypeCoercion.findTightestCommonType gebruiken voor compatibiliteitscontrole
  • [SPARK-40876] [SC-151129][SQL] Niveauverhogingen van het type breder maken in Parquet-lezers
  • [SPARK-46179] [SC-151069][SQL] Code ophalen naar herbruikbare functies in SQLQueryTestSuite
  • [SPARK-46586] [SC-151679][SQL] Ondersteuning s.c.immutable.ArraySeq zoals customCollectionCls in MapObjects
  • [SPARK-46585] [SC-151622][CORE] Rechtstreeks samengesteld metricPeaks als een immutable.ArraySeq in plaats van te gebruiken mutable.ArraySeq.toSeq in Executor
  • [SPARK-46488] [SC-151173][SQL] TrimAll-aanroep overslaan tijdens het parseren van tijdstempels
  • [SPARK-46231] [SC-149724][PYTHON] Alle resterende NotImplementedError & TypeError naar het PySpark-foutframework migreren
  • [SPARK-46348] [SC-150281][CORE] Steunen spark.deploy.recoveryTimeout
  • [SPARK-46313] [SC-150164][CORE] Duur van logboekherstel Spark HA
  • [SPARK-46358] [SC-150307][VERBINDING MAKEN] Vereenvoudig de voorwaardecontrole in de ResponseValidator#verifyResponse
  • [SPARK-46380] [SC-151078][SQL]Vervang de huidige tijd/datum voordat u inline-table expressies evalueert.
  • [SPARK-46563] [SC-151441][SQL] SimpleString weergeven volgt niet conf spark.sql.debug.maxToStringFields
  • [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] Verklein de stackdiepte door te vervangen (tekenreeks|matrix).grootte door (tekenreeks|matrix).lengte
  • [SPARK-46539] [SC-151469][SQL] SELECT * UITZONDEREN(alle velden uit een struct) resulteert in een assertiefout
  • [SPARK-46565] [SC-151414][PYTHON] Foutklassen en foutberichten voor Python-gegevensbronnen verfijnen
  • [SPARK-46576] [SC-151614][SQL] Foutberichten voor niet-ondersteunde gegevensbronopslagmodus verbeteren
  • [SPARK-46540] [SC-151355][PYTHON] Respecteer column namen wanneer de leesfunctie in Python-gegevensbron benoemde Rij-objecten uitvoert
  • [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite lekt hive's SessionState
  • [SPARK-44556] [SC-151562][SQL] Opnieuw gebruiken OrcTail wanneer vectorizedReader wordt ingeschakeld
  • [SPARK-46587] [SC-151618][SQL] XML: XSD-conversie van groot geheel getal herstellen
  • [SPARK-46382] [SC-151297][SQL] XML: Vastleggen values tussen elementen
  • [SPARK-46567] [SC-151447][CORE] Remove ThreadLocal for ReadAheadInputStream
  • [SPARK-45917] [SC-151269][PYTHON][SQL] Automatische registratie van Python-gegevensbron bij het opstarten
  • [SPARK-28386] [SC-151014][SQL] Kan ORDER BYcolumns niet oplossen met GROUP BY en HAVING
  • [SPARK-46524] [SC-151446][SQL] Foutberichten voor ongeldige opslagmodus verbeteren
  • [SPARK-46294] [SC-150672][SQL] Semantiek van init versus nulwaarde opschonen
  • [SPARK-46301] [SC-150100][CORE] Steunen spark.worker.(initial|max)RegistrationRetries
  • [SPARK-46542] [SC-151324][SQL] Remove de controle van c>=0 bij ExternalCatalogUtils#needsEscaping aangezien het altijd waar is
  • [SPARK-46553] [SC-151360][PS] FutureWarning voor interpolate met object dtype
  • [SPARK-45914] [SC-151312][PYTHON] Ondersteuning voor doorvoeren en afbreken van API voor Schrijven van Python-gegevensbron
  • [SPARK-46543] [SC-151350][PYTHON][VERBINDING MAKEN] Maak json_tuple PySparkValueError voor lege velden
  • [SPARK-46520] [SC-151227][PYTHON] Ondersteuning voor overschrijfmodus voor schrijven van Python-gegevensbronnen
  • [SPARK-46502] [SC-151235][SQL] Ondersteuning voor tijdstempeltypen in UnwrapCastInBinaryComparison
  • [SPARK-46532] [SC-151279][CONNECT] Bericht doorgeven parameters in metagegevens van ErrorInfo
  • [SPARK-46397] Herstel "[SC-151311][PYTHON][CONNECT] Functie sha2 moet worden gegenereerd PySparkValueError voor ongeldige numBits"
  • [SPARK-46170] [SC-149472][SQL] Ondersteuning voor het injecteren van adaptieve query's na planner-strategieregels in SparkSessionExtensions
  • [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable mag de table niet laden
  • [SPARK-46397] [SC-151311][PYTHON][VERBINDING MAKEN] De functie sha2 moet worden geactiveerd PySparkValueError voor ongeldig numBits
  • [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables genereert geen uitzondering wanneer de table of weergave niet wordt gevonden
  • [SPARK-46272] [SC-151012][SQL] Ondersteuning voor CTAS met behulp van DSv2-bronnen
  • [SPARK-46480] [SC-151127][CORE][SQL] NPE herstellen bij table poging tot cachetaak
  • [SPARK-46100] [SC-149051][CORE][PYTHON] Verklein de stackdiepte door te vervangen (tekenreeks|matrix).grootte door (tekenreeks|matrix).lengte
  • [SPARK-45795] [SC-150764][SQL] DS V2 ondersteunt push-downmodus
  • [SPARK-46485] [SC-151133][SQL] V1Write mag geen sortering toevoegen wanneer dit niet nodig is
  • [SPARK-46468] [SC-151121] [SQL] AANTAL-fout verwerken voor EXISTS-subquery's met aggregaties zonder groeperingssleutels
  • [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE SQL-ondersteuning
  • [SPARK-46498] [SC-151199][CORE] RemoveshuffleServiceEnabled uit o.a.spark.util.Utils#getConfiguredLocalDirs
  • [SPARK-46440] [SC-150807][SQL] Set de rebase-configuraties standaard naar de CORRECTED modus
  • [SPARK-45525] [SC-151120][SQL][PYTHON] Ondersteuning voor schrijven van Python-gegevensbronnen met behulp van DSv2
  • [SPARK-46505] [SC-151187][VERBINDING MAKEN] Drempelwaarde voor bytes configureren in ProtoUtils.abbreviate
  • [SPARK-46447] [SC-151025][SQL] Remove de verouderde SQL-configuraties voor het aanpassen van datum/tijd
  • [SPARK-46443] [SC-151123][SQL] Decimaal precisie en schaal moeten worden bepaald door H2 dialect.
  • [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] Probleem met stackgrafiek voor bewerkingsduur op gestructureerde streamingpagina oplossen
  • [SPARK-46207] [SC-151068][SQL] Ondersteuning voor MergeInto in DataFrameWriterV2
  • [SPARK-46452] [SC-151018][SQL] Een nieuwe API toevoegen in DataWriter om een iterator van records te schrijven
  • [SPARK-46273] [SC-150313][SQL] Ondersteuning voor INSERT INTO/OVERWRITE met behulp van DSv2-bronnen
  • [SPARK-46344] [SC-150267][CORE] Waarschuwen wanneer er een stuurprogramma bestaat, maar de verbinding met de master is verbroken
  • [SPARK-46284] [SC-149944][PYTHON][VERBINDING MAKEN] Functie toevoegen session_user aan Python
  • [SPARK-46043] [SC-149786][SQL] Ondersteuning voor het maken van table met behulp van DSv2-bronnen
  • [SPARK-46323] [SC-150191][PYTHON] De uitvoernaam van pyspark.sql.functions.now herstellen
  • [SPARK-46465] [SC-151059][PYTHON][VERBINDING MAKEN] Toevoegen Column.isNaN in PySpark
  • [SPARK-46456] [SC-151050][CORE] Voeg spark.ui.jettyStopTimeout toe aan set time-out voor het stoppen van SparkContext voor het deblokkeren van SparkContext
  • [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: upcasting unsigned integer types toestaan
  • [SPARK-46399] [SC-151013][14.x][Core] Afsluitstatus toevoegen aan de gebeurtenis Application End voor het gebruik van Spark Listener
  • [SPARK-46423] [SC-150752][PYTHON][SQL] Het Python-gegevensbronexemplaren maken op DataSource.lookupDataSourceV2
  • [SPARK-46424] [SC-150765][PYTHON][SQL] Metrische Python-gegevens in Python-gegevensbron ondersteunen
  • [SPARK-46330] [SC-151015] Het laden van Spark UI-blokken voor een lange periode wanneer HybridStore is ingeschakeld
  • [SPARK-46378] [SC-150397][SQL] Nog steeds remove Sorteren na het converteren van aggregaties naar Project
  • [SPARK-45506] [SC-146959][VERBINDING MAKEN] Ivy URI-ondersteuning toevoegen aan SparkConnect addArtifact
  • [SPARK-45814] [SC-147871][VERBINDING MAKEN][SQL]Maak ArrowConverters.createEmptyArrowBatch call close() om geheugenlekken te voorkomen
  • [SPARK-46427] [SC-150759][PYTHON][SQL] De beschrijving van de Python-gegevensbron wijzigen zodat deze netjes in explain wordt weergegeven.
  • [SPARK-45597] [SC-150730][PYTHON][SQL] Ondersteuning voor het maken van table met behulp van een Python-gegevensbron in SQL (DSv2 exec)
  • [SPARK-46402] [SC-150700][PYTHON] GetMessageParameters en getQueryContext-ondersteuning toevoegen
  • [SPARK-46453] [SC-150897][VERBINDING MAKEN] Uitzondering van internalError() inwerpen SessionHolder
  • [SPARK-45758] [SC-147454][SQL] Een mapper introduceren voor hadoop-compressiecodecs
  • [SPARK-46213] [PYTHON] Introduceren PySparkImportError voor foutframework
  • [SPARK-46230] [SC-149960][PYTHON] Migreren RetriesExceeded naar PySpark-fout
  • [SPARK-45035] [SC-145887][SQL] Fix ignoreCorruptFiles/ignoreMissingFiles with multiline CSV/JSON will report error
  • [SPARK-46289] [SC-150846][SQL] Ondersteuning voor het ordenen van UDT's in de geïnterpreteerde modus
  • [SPARK-46229] [SC-150798][PYTHON][VERBINDING MAKEN] ApplyInArrow toevoegen aan groupBy en cogroup in Spark Connect
  • [SPARK-46420] [SC-150847][SQL] Remove ongebruikt transport in SparkSQLCLIDriver
  • [SPARK-46226] [PYTHON] Alle resterende RuntimeError migreren naar het PySpark-foutframework
  • [SPARK-45796] [SC-150613][SQL] Support MODE() WITHIN GROUP (ORDER BY col)
  • [SPARK-40559] [SC-149686][PYTHON][14.X] ApplyInArrow toevoegen aan groupBy en cogroup
  • [SPARK-46069] [SC-149672][SQL] Ondersteuning voor tijdstempeltype voor uitpakken tot datumtype
  • [SPARK-46406] [SC-150770][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1023
  • [SPARK-46431] [SC-150782][SS] Converteren IllegalStateException naar internalError in sessie-iterators
  • [SPARK-45807] [SC-150751][SQL] ViewCatalog-API verbeteren
  • [SPARK-46009] [SC-149771][SQL][VERBINDING MAKEN] De parseringsregel van PercentileCont en PercentileDisc samenvoegen in functionCall
  • [SPARK-46403] [SC-150756][SQL] Parquet-binair decoderen met getBytesUnsafe-methode
  • [SPARK-46389] [SC-150779][CORE] Sluit het RocksDB/LevelDB exemplaar handmatig wanneer checkVersion er een uitzondering wordt gegenereerd
  • [SPARK-46360] [SC-150376][PYTHON] Foutopsporing verbeteren met nieuwe getMessage API
  • [SPARK-46233] [SC-149766][PYTHON] Alle resterende AttributeError migreren naar het PySpark-foutframework
  • [SPARK-46394] [SC-150599][SQL] Herstel spark.catalogproblemen met .listDatabases() voor schema's met speciale tekens wanneer spark.sql.legacy.keepCommandOutputSchemaset tot waar
  • [SPARK-45964] [SC-148484][SQL] Remove privé SQL-accessor in XML- en JSON-pakket in het katalysatorpakket
  • [SPARK-45856] [SC-148691] ArtifactManager van Spark Connect verplaatsen naar SparkSession (sql/core)
  • [SPARK-46409] [SC-150714][VERBINDING MAKEN] Startscript spark-connect-scala-client herstellen
  • [SPARK-46416] [SC-150699][CORE] Toevoegen @tailrec aan HadoopFSUtils#shouldFilterOutPath
  • [SPARK-46115] [SC-149154][SQL] Tekenssets beperken in encode()
  • [SPARK-46253] [SC-150416][PYTHON] Python-gegevensbron plannen met MapInArrow
  • [SPARK-46339] [SC-150266][SS] Map met naam van batchnummer mag niet worden behandeld als metagegevenslogboek
  • [SPARK-46353] [SC-150396][CORE] Herstructureren om de dekking van eenheidstests te verbeteren RegisterWorker
  • [SPARK-45826] [SC-149061][SQL] Een SQL-configuratie voor stacktraceringen toevoegen in de DataFrame-querycontext
  • [SPARK-45649] [SC-150300][SQL] Het voorbereidingsframe samenvoegen voor OffsetWindowFunctionFrame
  • [SPARK-46346] [SC-150282][CORE] Master herstellen om een werkrol te update van UNKNOWN naar ALIVE op RegisterWorker msg
  • [SPARK-46388] [SC-150496][SQL] HiveAnalysis mist de patroonbescherming van query.resolved
  • [SPARK-46401] [SC-150609][CORE] !isEmpty() Gebruiken RoaringBitmap in plaats van getCardinality() > 0 inRemoteBlockPushResolver
  • [SPARK-46393] [SC-150603][SQL] Uitzonderingen classificeren in de JDBC-tablecatalog
  • [SPARK-45798] [SC-150513][VERBINDING MAKEN] Opvolgen: serverSessionId toevoegen aan SessionHolderInfo
  • [SPARK-46153] [SC-146564][SC-150508][SQL] XML: TimestampNTZType-ondersteuning toevoegen
  • [SPARK-46075] [SC-150393][VERBINDING MAKEN] Verbeteringen in SparkConnectSessionManager
  • [SPARK-46357] [SC-150596] Vervang onjuist documentatiegebruik van setConf door conf.set
  • [SPARK-46202] [SC-150420][VERBINDING MAKEN] Nieuwe ArtifactManager-API's beschikbaar maken ter ondersteuning van aangepaste doelmappen
  • [SPARK-45824] [SC-147648][SQL] De foutklasse afdwingen in ParseException
  • [SPARK-45845] [SC-148163][SS][UI] Aantal verwijderde statusrijen toevoegen aan streaminggebruikersinterface
  • [SPARK-46316] [SC-150181][CORE] Inschakelen buf-lint-action in core module
  • [SPARK-45816] [SC-147656][SQL] Retourneren NULL wanneer overlopen tijdens het gieten van tijdstempels naar gehele getallen
  • [SPARK-46333] [SC-150263][SQL] Vervangen IllegalStateException door SparkException.internalError in katalysator
  • [SPARK-45762] [SC-148486][CORE] Ondersteuning voor shuffle-managers die zijn gedefinieerd in gebruikers-JAR's door de opstartvolgorde te wijzigen
  • [SPARK-46239] [SC-149752][CORE] Informatie verbergen Jetty
  • [SPARK-45886] [SC-148089][SQL] Volledige stacktracering uitvoeren in callSite dataframe-context
  • [SPARK-46290] [SC-150059][PYTHON] SaveMode wijzigen in een booleaanse vlag voor DataSourceWriter
  • [SPARK-45899] [SC-148097][CONNECT] Set errorClass in errorInfoToThrowable
  • [SPARK-45841] [SC-147657][SQL] Stacktracering beschikbaar maken op DataFrameQueryContext
  • [SPARK-45843] [SC-147721][CORE] Ondersteuning killall in REST Submission API
  • [SPARK-46234] [SC-149711][PYTHON] Introduceren PySparkKeyError voor PySpark-foutframework
  • [SPARK-45606] [SC-147655][SQL] Releasebeperkingen voor runtimefilter met meerdere lagen
  • [SPARK-45725] [SC-147006][SQL] Remove het niet-standaard IN subquery runtimefilter
  • [SPARK-45694] [SC-147314][SPARK-45695][SQL] Afgeschaft API-gebruik View.force opschonen en ScalaNumberProxy.signum
  • [SPARK-45805] [SC-147488][SQL] Algemener maken withOrigin
  • [SPARK-46292] [SC-150086][CORE][UI] Een samenvatting van werkrollen weergeven in MasterPage
  • [SPARK-45685] [SC-146881][CORE][SQL] Gebruiken LazyList in plaats van Stream
  • [SPARK-45888] [SC-149945][SS] Foutklasseframework toepassen op statusgegevensbron (metagegevens)
  • [SPARK-46261] [SC-150111][VERBINDING MAKEN] DataFrame.withColumnsRenamed moet de volgorde van dicteren/kaarten behouden
  • [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI] SeqOps.view Opschonen en ArrayOps.view conversies
  • [SPARK-46029] [SC-149255][SQL] Escape the single quote, _ and % for DS V2 pushdown
  • [SPARK-46275] [SC-150189] Protobuf: Retourneer null in de permissieve modus wanneer deserialisatie mislukt.
  • [SPARK-46320] [SC-150187][CORE] Steunen spark.master.rest.host
  • [SPARK-46092] [SC-149658][SQL] Push geen Parquet-rijgroepfilters die overlopen
  • [SPARK-46300] [SC-150097][PYTHON][CONNECT] Stem klein gedrag af in Column met volledige testdekking
  • [SPARK-46298] [SC-150092][PYTHON][CONNECT] Depreciatiewaarschuwing, testcase en fout van Catalog.createExternalTable
  • [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL] Het afgeschafte API-gebruik opschonen met betrekking tot StringContext/StringOps/RightProjection/LeftProjection/Either en het type gebruik van BufferedIterator/CanBuildFrom/Traversable
  • [SPARK-33393] [SC-148407][SQL] Ondersteuning SHOW TABLE EXTENDED in v2
  • [SPARK-45737] [SC-147011][SQL] Remove onnodige .toArray[InternalRow] in SparkPlan#executeTake
  • [SPARK-46249] [SC-149797][SS] Exemplaarvergrendeling vereisen voor het verkrijgen van metrische gegevens van RocksDB om race met achtergrondbewerkingen te voorkomen
  • [SPARK-46260] [SC-149940][PYTHON][SQL] DataFrame.withColumnsRenamed moet de volgorde van de dicteren respecteren
  • [SPARK-46274] [SC-150043] [SQL] Fix Range operator computeStats() om lange geldigheid te controleren voordat deze wordt geconverteerd
  • [SPARK-46040] [SC-149767][SQL][Python] Update UDTF-API voor 'analyseren' partitioneren/ordenen columns ter ondersteuning van algemene expressies
  • [SPARK-46287] [SC-149949][PYTHON][VERBINDING MAKEN] DataFrame.isEmpty moet werken met alle gegevenstypen
  • [SPARK-45678] [SC-146825][CORE] Cover BufferReleasingInputStream.available/reset under tryOrFetchFailedException
  • [SPARK-45667] [SC-146716][CORE][SQL][VERBINDING MAKEN] Het afgeschafte API-gebruik opschonen met betrekking tot IterableOnceExtensionMethods.
  • [SPARK-43980] [SC-148992][SQL] introductiesyntaxis select * except
  • [SPARK-46269] [SC-149816][PS] Meer NumPy-compatibiliteitsfunctietests inschakelen
  • [SPARK-45807] [SC-149851][SQL] CreateOrReplaceView(..) / replaceView(..) toevoegen aan ViewCatalog
  • [SPARK-45742] [SC-147212][CORE][VERBINDING MAKEN][MLLIB][PYTHON] Introduceer een impliciete functie voor Scala Array om in immutable.ArraySeqte pakken.
  • [SPARK-46205] [SC-149655][CORE] Prestaties verbeteren PersistenceEngine met KryoSerializer
  • [SPARK-45746] [SC-149359][Python] Retourneer specifieke foutberichten als de UDTF-methode 'analyze' of 'eval' verkeerde argumenten accepteert of retourneert values
  • [SPARK-46186] [SC-149707][VERBINDING MAKEN] Ongeldige statusovergang oplossen wanneer ExecuteThreadRunner werd onderbroken voordat deze werd gestart
  • [SPARK-46262] [SC-149803][PS] Test inschakelen voor np.left_shift Pandas-on-Spark-object.
  • [SPARK-45093] [SC-149679][VERBINDING MAKEN][PYTHON] Foutafhandeling en conversie voor AddArtifactHandler op de juiste manier ondersteunen
  • [SPARK-46188] [SC-149571][Doc][3.5] Corrigeer de CSS van de gegenereerde tables
  • [SPARK-45940] [SC-149549][PYTHON] InputPartition toevoegen aan de DataSourceReader-interface
  • [SPARK-43393] [SC-148301][SQL] Overloopfout in adresreeksexpressie.
  • [SPARK-46144] [SC-149466][SQL] Mislukt INSERT INTO ... REPLACE-instructie als de voorwaarde subquery bevat
  • [SPARK-46118] [SC-149096][SQL][SS][VERBINDING MAKEN] Gebruiken SparkSession.sessionState.conf in plaats van SQLContext.conf en markeren SQLContext.conf als afgeschaft
  • [SPARK-45760] [SC-147550][SQL] Toevoegen met expressie om te voorkomen dat expressies worden gedupliceerd
  • [SPARK-43228] [SC-149670][SQL] Join sleutels komen ook overeen met PartitioningCollection in CoalesceBucketsInJoin
  • [SPARK-46223] [SC-149691][PS] SparkPandasNotImplementedError testen met het opschonen van ongebruikte code
  • [SPARK-46119] [SC-149205][SQL] toString Onderdrukkingsmethode voor UnresolvedAlias
  • [SPARK-46206] [SC-149674][PS] Een beperktere scope-uitzondering gebruiken voor SQL-processor
  • [SPARK-46191] [SC-149565][CORE] Fout msg verbeteren FileSystemPersistenceEngine.persist in het geval van het bestaande bestand
  • [SPARK-46036] [SC-149356][SQL] Foutklasse verwijderen uit raise_error functie
  • [SPARK-46055] [SC-149254][SQL] Herschrijf Catalog Database-API's
  • [SPARK-46152] [SC-149454][SQL] XML: DecimalType-ondersteuning toevoegen in XML-schema deductie
  • [SPARK-45943] [SC-149452][SQL] DetermineTableStats verplaatsen naar oplossingsregels
  • [SPARK-45887] [SC-148994][SQL] Implementatie van codegen en niet-codegen uitlijnen Encode
  • [SPARK-45022] [SC-147158][SQL] Context opgeven voor api-fouten in de gegevensset
  • [SPARK-45469] [SC-145135][CORE][SQL][VERBINDING MAKEN][PYTHON] Vervangen toIterator door iterator voor IterableOnce
  • [SPARK-46141] [SC-149357][SQL] Standaard wijzigen voor spark.sql.legacy.ctePrecedencePolicy in CORRECTED
  • [SPARK-45663] [SC-146617][CORE][MLLIB] Vervangen IterableOnceOps#aggregate door IterableOnceOps#foldLeft
  • [SPARK-45660] [SC-146493][SQL] Letterlijke objecten opnieuw gebruiken in de computeCurrentTime-regel
  • [SPARK-45803] [SC-147489][CORE] Remove de niet meer gebruikte RpcAbortException
  • [SPARK-46148] [SC-149350][PS] Test pyspark.pandas.mlflow.load_model opgelost (Python 3.12)
  • [SPARK-46110] [SC-149090][PYTHON] Gebruik foutklassen in catalog, conf, connect, observation, pandas-modules
  • [SPARK-45827] [SC-149203][SQL] Oplossingen voor varianten waarbij codegen en vectorized reader zijn uitgeschakeld
  • [SPARK-46080] [SC-149012][PYTHON] Cloudpickle upgraden naar 3.0.0"
  • [SPARK-45460] [SC-144852][SQL] Vervangen scala.collection.convert.ImplicitConversions door scala.jdk.CollectionConverters
  • [SPARK-46073] [SC-149019][SQL] Remove de speciale resolutie van UnresolvedNamespace voor bepaalde opdrachten
  • [SPARK-45600] [SC-148976][PYTHON] Sessieniveau voor registratie van Python-gegevensbron maken
  • [SPARK-46074] [SC-149063][VERBINDING MAKEN][SCALA] Onvoldoende details in foutbericht over UDF-fout
  • [SPARK-46114] [SC-149076][PYTHON] PySparkIndexError toevoegen voor foutframework
  • [SPARK-46120] [SC-149083][CONNECT][PYTHON] Remove helperfunctie DataFrame.withPlan
  • [SPARK-45927] [SC-148660][PYTHON] Update padverwerking voor Python-gegevensbron
  • [SPARK-46062] [14.x][SC-148991][SQL] Sync de isStreaming-vlag tussen de CTE-definitie en verwijzing
  • [SPARK-45698] [SC-146736][CORE][SQL][SS] Het afgeschafte API-gebruik opschonen met betrekking tot Buffer
  • [SPARK-46064] [SC-148984][SQL][SS] Verwijder EliminateEventTimeWatermark naar de analyse en wijzig deze zodat deze alleen van kracht wordt op opgeloste onderliggende items
  • [SPARK-45922] [SC-149038][VERBINDING MAKEN][CLIENT] Kleine herstructurering van nieuwe pogingen (opvolging van meerdere beleidsregels)
  • [SPARK-45851] [SC-148419][VERBINDING MAKEN][SCALA] Ondersteuning voor meerdere beleidsregels in scala-client
  • [SPARK-45974] [SC-149062][SQL] Scan.filterAttributes niet-leeg oordeel toevoegen voor RowLevelOperationRuntimeGroupFiltering
  • [SPARK-46085] [SC-149049][VERBINDING MAKEN] Dataset.groupingSets in Scala Spark Connect-client
  • [SPARK-45136] [SC-146607][VERBINDING MAKEN] ClosureCleaner verbeteren met Ammonite-ondersteuning
  • [SPARK-46084] [SC-149020][PS] De cast-bewerking van het gegevenstype herstructureren voor categorisch type.
  • [SPARK-46083] [SC-149018][PYTHON] SparkNoSuchElementException maken als een canonieke fout-API
  • [SPARK-46048] [SC-148982][PYTHON][VERBINDING MAKEN] Ondersteuning voor DataFrame.groupingSets in Python Spark Connect
  • [SPARK-46080] [SC-149012][PYTHON] Cloudpickle upgraden naar 3.0.0
  • [SPARK-46082] [SC-149015][PYTHON][VERBINDING MAKEN] Protobuf-tekenreeksweergave voor Pandas Functions-API oplossen met Spark Connect
  • [SPARK-46065] [SC-148985][PS] Herstructureren (DataFrame|Series).factorize() om te gebruiken create_map.
  • [SPARK-46070] [SC-148993][SQL] Compileer regex-patroon in SparkDateTimeUtils.getZoneId buiten de hot-lus
  • nl-NL: [SPARK-46063] [SC-148981][PYTHON][CONNECT] Foutberichten met betrekking tot argumenttypen verbeteren in cute, rollup, groupby en pivot
  • [SPARK-44442] [SC-144120][MESOS] Remove Mesos-ondersteuning
  • [SPARK-45555] [SC-147620][PYTHON] Bevat een foutopsporingsobject voor mislukte assertie
  • [SPARK-46048] [SC-148871][PYTHON][SQL] Ondersteuning voor DataFrame.groupingSets in PySpark
  • [SPARK-45768] [SC-147304][SQL][PYTHON] Een runtimeconfiguratie maken voor python-uitvoering in SQL
  • [SPARK-45996] [SC-148586][PYTHON][VERBINDING MAKEN] De juiste afhankelijkheidsvereisten voor Spark Connect weergeven
  • [SPARK-45681] [SC-146893][UI] Kloon een js-versie van UIUtils.errorMessageCell voor consistente foutweergave in de gebruikersinterface
  • [SPARK-45767] [SC-147225][CORE] Verwijderen TimeStampedHashMap en de bijbehorende UT
  • [SPARK-45696] [SC-148864][CORE] Methode tryCompleteWith in trait Promise is afgeschaft
  • [SPARK-45503] [SC-146338][SS] Configuratie toevoegen aan Set RocksDB-compressie
  • [SPARK-45338] [SC-143934][CORE][SQL] Vervangen scala.collection.JavaConverters door scala.jdk.CollectionConverters
  • [SPARK-44973] [SC-148804][SQL] Oplossing ArrayIndexOutOfBoundsException in conv()
  • [SPARK-45912] [SC-144982][SC-148467][SQL] Uitbreiding van XSDToSchema-API: Wijzigen in HDFS-API voor toegankelijkheid in cloudopslag
  • [SPARK-45819] [SC-147570][CORE] Ondersteuning clear in REST Submission API
  • [SPARK-45552] [14.x][SC-146874][PS] Introduceer flexibele parameters aan assertDataFrameEqual
  • [SPARK-45815] [SC-147877][SQL][Streaming][14.x][CHERRY-PICK] Een interface bieden voor andere streamingbronnen om _metadatacolumns toe te voegen
  • [SPARK-45929] [SC-148692][SQL] Ondersteuning voor groupingSets-bewerking in dataframe-API
  • [SPARK-46012] [SC-148693][CORE] EventLogFileReader mag geen rolling logboeken lezen als het app-statusbestand ontbreekt
  • [SPARK-45965] [SC-148575][SQL] DSv2-partitioneringsexpressies verplaatsen naar functions.partitioning
  • [SPARK-45971] [SC-148541][CORE][SQL] Corrigeer de pakketnaam van SparkCollectionUtils aan org.apache.spark.util
  • [SPARK-45688] [SC-147356][SPARK-45693][CORE] Het afgeschafte API-gebruik opschonen met betrekking tot MapOps & fix method += in trait Growable is deprecated
  • [SPARK-45962] [SC-144645][SC-148497][SQL] RemovetreatEmptyValuesAsNulls en gebruik in plaats daarvan nullValue optie in XML
  • [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Typehints corrigeren voor het afhandelen list van GenericAlias in Python 3.11+
  • [SPARK-45999] [SC-148595][PS] PandasProduct Toegewezen gebruiken in cumprod
  • [SPARK-45986] [SC-148583][ML][PYTHON] Oplossing pyspark.ml.torch.tests.test_distributor in Python 3.11
  • [SPARK-45994] [SC-148581][PYTHON] Wijzigen description-file in description_file
  • [SPARK-45575] [SC-146713][SQL] Opties voor tijdreizen voor df-lees-API ondersteunen
  • [SPARK-45747] [SC-148404][SS] Gebruik voorvoegselsleutelinformatie in statusmetagegevens om de leesstatus voor sessie-window aggregatie te behandelen.
  • [SPARK-45898] [SC-148213][SQL] Herschrijf catalogtable API's voor het gebruik van niet-opgelost logisch plan
  • [SPARK-45828] [SC-147663][SQL] Remove verouderde methode in dsl
  • [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][VERBINDING MAKEN] Upgrade protobuf naar 4.25.1 ter ondersteuning Python 3.11
  • [SPARK-45911] [SC-148226][CORE] TLS1.3 de standaardwaarde maken voor RPC SSL
  • [SPARK-45955] [SC-148429][UI] Ondersteuning voor Flamegraph- en threaddumpdetails samenvouwen
  • [SPARK-45936] [SC-148392][PS] OptimizeIndex.symmetric_difference
  • [SPARK-45389] [SC-144834][SQL][3.5] Juiste metaException-overeenkomende regel voor het ophalen van partition metagegevens
  • [SPARK-45655] [SC-148085][SQL][SS] Niet-deterministische expressies in AggregateFunctions in CollectMetrics toestaan
  • [SPARK-45946] [SC-148448][SS] Probleem opgelost met het gebruik van afgeschafte FileUtils-schrijfbewerkingen om standaard charset door te geven in RocksDBSuite
  • [SPARK-45511] [SC-148285][SS] Statusgegevensbron - Lezer
  • [SPARK-45918] [SC-148293][PS] OptimizeMultiIndex.symmetric_difference
  • [SPARK-45813] [SC-148288][VERBINDING MAKEN][PYTHON] De waargenomen metrische gegevens van opdrachten retourneren
  • [SPARK-45867] [SC-147916][CORE] Steunen spark.worker.idPattern
  • [SPARK-45945] [SC-148418][VERBINDING MAKEN] Een helperfunctie toevoegen voor parser
  • [SPARK-45930] [SC-148399][SQL] Ondersteuning voor niet-deterministische UDF's in MapInPandas/MapInArrow
  • [SPARK-45810] [SC-148356][Python] Python UDTF-API maken om te stoppen met het consumeren van rijen uit de invoer table
  • [SPARK-45731] [SC-147929][SQL] Ook updatepartition statistieken met ANALYZE TABLE opdracht
  • [SPARK-45868] [SC-148355][VERBINDING MAKEN] Zorg ervoor dat spark.table u dezelfde parser gebruikt met vanille spark
  • [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec-doorgifte van partitionering moet de CoalescedHashPartitioning respecteren
  • [SPARK-45710] [SC-147428][SQL] Namen toewijzen aan fout _LEGACY_ERROR_TEMP_21[59.60.61.62]
  • [SPARK-45915] [SC-148306][SQL] Decimaal(x, 0) hetzelfde behandelen als IntegralType in PromoteStrings
  • [SPARK-45786] [SC-147552][SQL] Onnauwkeurige decimale vermenigvuldigings- en delingsresultaten corrigeren
  • [SPARK-45871] [SC-148084][VERBINDING MAKEN] Conversie van verzameling optimalisaties gerelateerd aan .toBuffer in de connect modules
  • [SPARK-45822] [SC-147546][VERBINDING MAKEN] SparkConnectSessionManager kan een gestopte sparkcontext opzoeken
  • [SPARK-45913] [SC-148289][PYTHON] Maak de interne kenmerken privé van PySpark-fouten.
  • [SPARK-45827] [SC-148201][SQL] Voeg een variantgegevenstype toe in Spark.
  • [SPARK-44886] [SC-147876][SQL] Introduceer CLUSTER BY clausule voor CREATE/REPLACE TABLE
  • [SPARK-45756] [SC-147959][CORE] Steunen spark.master.useAppNameAsAppId.enabled
  • [SPARK-45798] [SC-147956][VERBINDING MAKEN] Sessie-id aan serverzijde bevestigen
  • [SPARK-45896] [SC-148091][SQL] Samenstellen ValidateExternalType met het juiste verwachte type
  • [SPARK-45902] [SC-148123][SQL] Remove ongebruikte functie resolvePartitionColumns uit DataSource
  • [SPARK-45909] [SC-148137][SQL] RemoveNumericType cast als deze veilig kan worden omgezet in IsNotNull
  • [SPARK-42821] [SC-147715][SQL] Remove ongebruikte parameters in splitFiles-methoden
  • [SPARK-45875] [SC-148088][CORE] RemoveMissingStageTableRowData uit core module
  • [SPARK-45783] [SC-148120][PYTHON][CONNECT] Foutberichten verbeteren wanneer de Spark Connect-modus is ingeschakeld, maar de externe URL niet is opgegeven set
  • [SPARK-45804] [SC-147529][UI] Spark.ui.threadDump.flamegraphEnabled-configuratie toevoegen om vlamgrafiek in/uit te schakelen
  • [SPARK-45664] [SC-146878][SQL] Een mapper introduceren voor orc-compressiecodecs
  • [SPARK-45481] [SC-146715][SQL] Een mapper introduceren voor parquet-compressiecodecs
  • [SPARK-45752] [SC-148005][SQL] Vereenvoudig de code voor het controleren van niet-deductie CTE-relaties
  • [SPARK-44752] [SC-146262][SQL] XML: Update Spark Docs
  • [SPARK-45752] [SC-147869][SQL] Niet-deductie CTE moet allemaal worden gecontroleerd door CheckAnalysis0
  • [SPARK-45842] [SC-147853][SQL] Herstructureren Catalog Functie-API's voor het gebruik van analyzer
  • [SPARK-45639] [SC-147676][SQL][PYTHON] Ondersteuning voor het laden van Python-gegevensbronnen in DataFrameReader
  • [SPARK-45592] [SC-146977][SQL] Probleem met juistheid in AQE met InMemoryTableScanExec
  • [SPARK-45794] [SC-147646][SS] Een bron voor statusmetagegevens introduceren om een query uit te voeren op de metagegevensgegevens van de streamingstatus
  • [SPARK-45739] [SC-147059][PYTHON] IoException vangen in plaats van EOFException alleen voor faulthandler
  • [SPARK-45677] [SC-146700] Betere logboekregistratie van fouten voor observatie-API
  • [SPARK-45544] [SC-146873][CORE] SSL-ondersteuning integreren in TransportContext
  • [SPARK-45654] [SC-147152][PYTHON] Schrijf-API voor Python-gegevensbronnen toevoegen
  • [SPARK-45771] [SC-147270][CORE] Standaard inschakelen spark.eventLog.rolling.enabled
  • [SPARK-45713] [SC-146986][PYTHON] Ondersteuning voor het registreren van Python-gegevensbronnen
  • [SPARK-45656] [SC-146488][SQL] Observatie oplossen wanneer benoemde waarnemingen met dezelfde naam op verschillende gegevenssets staan
  • [SPARK-45808] [SC-147571][VERBINDING MAKEN][PYTHON] Betere foutafhandeling voor SQL-uitzonderingen
  • [SPARK-45774] [SC-147353][CORE][UI] Ondersteuning spark.master.ui.historyServerUrl in ApplicationPage
  • [SPARK-45776] [SC-147327][CORE] Remove de defensieve null-controle voor MapOutputTrackerMaster#unregisterShuffle toegevoegd in SPARK-39553
  • [SPARK-45780] [SC-147410][VERBINDING MAKEN] Alle Threadlocals van de Spark Connect-client doorgeven in InheritableThread
  • [SPARK-45785] [SC-147419][CORE] Ondersteuning spark.deploy.appNumberModulo voor het roteren van het app-nummer
  • [SPARK-45793] [SC-147456][CORE] De ingebouwde codecs voor compressie verbeteren
  • [SPARK-45757] [SC-147282][ML] Vermijd herberekening van NNZ in Binarizer
  • [SPARK-45209] [SC-146490][CORE][UI] Flame Graph-ondersteuning voor de dumppagina van executorthread
  • [SPARK-45777] [SC-147319][CORE] Ondersteuning spark.test.appId in LocalSchedulerBackend
  • [SPARK-45523] [SC-146331][PYTHON] De null-controle herstructureren om snelkoppelingen te hebben
  • [SPARK-45711] [SC-146854][SQL] Een mapper introduceren voor avro-compressiecodecs
  • [SPARK-45523] [SC-146077][Python] Geeft een nuttige foutmelding als UDTF None retourneert voor elke niet-nullable column
  • [SPARK-45614] [SC-146729][SQL] Namen toewijzen aan fout _LEGACY_ERROR_TEMP_215[6,7,8]
  • [SPARK-45755] [SC-147164][SQL] Dataset.isEmpty() verbeteren door globale limit1
  • [SPARK-45569] [SC-145915][SQL] Naam toewijzen aan de fout _LEGACY_ERROR_TEMP_2153
  • [SPARK-45749] [SC-147153][CORE][WEBUI] Spark History Server herstellen om Durationcolumn correct te sorteren
  • [SPARK-45754] [SC-147169][CORE] Steunen spark.deploy.appIdPattern
  • [SPARK-45707] [SC-146880][SQL] Vereenvoudigen DataFrameStatFunctions.countMinSketch met CountMinSketchAgg
  • [SPARK-45753] [SC-147167][CORE] Steunen spark.deploy.driverIdPattern
  • [SPARK-45763] [SC-147177][CORE][UI] MasterPage verbeteren om alleen Resourcecolumn weer te geven wanneer deze bestaat
  • [SPARK-45112] [SC-143259][SQL] Oplossing op basis van UnresolvedFunction gebruiken in SQL Dataset-functies

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 14.3.

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 3.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 bleken 4.1.0
oogklep 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffiffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptografie 39.0.1 wielrijder 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
foutopsporing 1.6.7 decorateur 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0,11 invoerpunten 0,4
Uitvoeren 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.1
filelock 3.13.1 fonttools 4.25.0 googleapis-common-protos 1.62.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 jupyter-server 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 sleutelhanger 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 Mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
notebook 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 verpakking 23.2 Pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 pit 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0,5 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 touw 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
Zes 1.16.0 sniffio 1.2.0 soepsieve 2.3.2.post1
ssh-import-id 5,11 stack-data 0.2.0 statsmodels 0.13.5
vasthoudendheid 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 upgrades zonder toezicht 0,1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wiel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Pakketbeheer CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.5 bslib 0.5.0 cachem 1.0.8
beller 3.7.3 caret 6.0-94 cellranger 1.1.0
Chron 2.3-61 class 7.3-22 cli 3.6.1
clipr 0.8.0 klok 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 configuratie 0.3.1 Strijd 1.2.0
cpp11 0.4.4 Crayon 1.5.2 credentials 1.3.2
curl 5.0.1 gegevens.table 1.14.8 gegevenssets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 Desc 1.4.2
devtools 2.4.5 diagram 1.6.5 diffobj 0.3.5
verteren 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 beletselteken 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 buitenlands 0.8-85 smeden 0.2.0
Fs 1.6.2 toekomst 1.33.0 future.apply 1.11.0
gorgelen 1.5.1 Generics 0.1.3 Gert 1.9.2
ggplot2 3.4.2 Gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 lijm 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
afbeeldingen 4.3.1 grDevices 4.3.1 rooster 4.3.1
gridExtra 2.3 gsubfn 0,7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
Hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 breiwerk 1,43
Labeling 0.4.2 later 1.3.1 latwerk 0.21-8
lava 1.7.2.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 Markdown 1,7
MASSA 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
methoden 4.3.1 mgcv 1.8-42 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallel 1.36.0 pilaar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 loven 1.0.0
prettyunits 1.1.1 Proc 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
leesbewerking 2.1.4 readxl 1.4.3 recepten 1.0.6
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.21 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 Sass 0.4.6 weegschaal 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 vorm 1.4.6
glanzend 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
ruimtelijk 7.3-15 Splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 Stats 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 overleving 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 tekstvorm 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
timechange 0.2.0 timeDate 4022.108 tinytex 0,45
tools 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
Vroom 1.6.3 Waldo 0.5.1 snor 0.4.1
withr 2.5.0 xfun 0,39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
ritssluiting 2.3.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.13.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.cafeïne cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.3
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrische gegevensgrafiet 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow pijlvector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-gearceerd 4.23
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1