Delen via

Databricks Runtime 13.2 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 13.2, mogelijk gemaakt door Apache Spark 3.4.0.

Databricks heeft deze versie uitgebracht in juli 2023.

Nieuwe functies en verbeteringen

Changelog-controlepunten voor rocksDB-statusarchief

U kunt changelog-controlepunten inschakelen om de duur van het controlepunt en de end-to-end latentie voor stateful gestructureerde streaming-workloads te verlagen. Databricks raadt aan controlepunten in het wijzigingenlogboek in te schakelen voor alle stateful query's voor gestructureerd streamen. Zie Controlepunten voor wijzigingenlogboek inschakelen.

Verbeterde betrouwbaarheid voor VACUUM met ondiepe kloon in Unity Catalog.

Wanneer u beheerde tabellen van Unity Catalog gebruikt voor de bron en het doel van een ondiepe kloonbewerking, beheert Unity Catalog de onderliggende gegevensbestanden om de betrouwbaarheid voor de bron en het doel van de kloonbewerking te verbeteren. Als deze wordt uitgevoerd VACUUM op de bron van een ondiepe kloon, wordt de gekloonde tabel niet verbroken. Bekijk ondiepe kloonnen van Vacuum en Unity Catalog.

Ondersteuning voor Python UDF's in SQL

U kunt nu door de gebruiker gedefinieerde functies declareren met behulp van Python in SQL-instructies CREATE FUNCTION in Unity Catalog. Zie door de gebruiker gedefinieerde functies (UDF's) in Unity Catalog.

Delta Lake UniForm for Iceberg is in openbare preview

Met Delta Lake Universal Format (UniForm) kunt u Delta-tabellen lezen met Iceberg-clients. Zie UniForm gebruiken om Delta-tabellen te lezen met Iceberg-clients.

Delta Lake liquid clustering is in openbare preview

Delta Lake liquid clustering vervangt tabelpartitionering en vereenvoudigt beslissingen over de gegevensindeling en ZORDER optimaliseert de queryprestaties. Zie Liquid clustering gebruiken voor Delta-tabellen.

Archiveringsondersteuning in Azure Databricks

Archiveringsondersteuning in Azure Databricks introduceert een verzameling mogelijkheden waarmee u levenscyclusbeleid in de cloud kunt gebruiken voor cloudobjectopslag met Delta-tabellen om bestanden naar archiveringsopslaglagen te verplaatsen. Zie de archiveringsondersteuning in Azure Databricks.

Ondersteuning voor ID-componenten

Gebruik IDENTIFIER(:mytable) dit om tabel-, kolom-, functie- en schemanamen veilig te parameteriseren in veel SQL-instructies.

Ondersteuning voor Unity Catalog voor Door de gebruiker gedefinieerde Functies van Python en Pandas (UDF's)

In Databricks Runtime 13.2 en hoger worden door de gebruiker gedefinieerde functies (UDF's) die zijn geschreven in Python ondersteund op clusters die gebruikmaken van de modus voor gedeelde toegang in een werkruimte met Unity Catalog. Dit omvat Python- en Pandas UDF's. Zie Door de gebruiker gedefinieerde scalaire functies - Python voor meer informatie over Python UDF's.

Schema's delen met Delta Sharing

Databricks Runtime 13.2 voegt de mogelijkheid toe om ALTER SHARE <share-name> ADD SCHEMA <schema-name> een volledig schema te delen met Delta Sharing, zodat de ontvanger toegang heeft tot alle tabellen en weergaven in het schema op het moment dat u het deelt, samen met tabellen en weergaven die in de toekomst aan het schema worden toegevoegd. Zie Schema's toevoegen aan een share en ALTER SHARE.

Bugfixes

  • Er is een fout opgelost met de JSON-lezer, waarbij records werden geparseerd in PERMISSIVE de modus als failOnUnknownFieldsmode deze is ingeschakeld. Records worden nu verwijderd in DROPMALFORMEDparser de modus of worden weggeschreven naar de badRecordsPath, als een van deze opties is ingesteld. FAILFAST genereert een fout als een kolomtype niet overeenkomt.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • nodeenv van 1.7.0 tot 1.8.0
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:
    • io.delta.delta-sharing-spark_2.12 van 0.6.7 tot 0.7.0

Apache Spark

Databricks Runtime 13.2 bevat Apache Spark 3.4.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 13.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-42750] [SC-133452][DBRRM-273] Ondersteuning voor invoegen op naam-instructie
  • [SPARK-43133] [SC-133728] Ondersteuning voor Scala Client DataStreamWriter Foreach
  • [SPARK-43663] [SC-134135][VERBINDING MAKEN][PS] Inschakelen SeriesParityTests.test_compare
  • [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][VERBINDING MAKEN][PS] Oplossing (NullOps|NumOps).(eq|ne) voor Spark Connect.
  • [SPARK-44021] [SC-134109][SQL] Voeg spark.sql.files.maxPartitionNum toe
  • [SPARK-43910] [SC-132936][SQL] Verwijderen __auto_generated_subquery_name uit id's in fouten
  • [SPARK-43976] [SC-133375][CORE] Het geval afhandelen waarbij modifiedConfigs niet bestaat in gebeurtenislogboeken
  • [SPARK-32559] [SC-133992][SQL] De trimlogica heeft ascii-besturingstekens niet correct verwerkt
  • [SPARK-43421] [SC-132930][SS] Controlepunten op basis van Changelog implementeren voor RocksDB State Store-provider
  • [SPARK-43594] [SC-133851][SQL] LocalDateTime toevoegen aan anyToMicros
  • [SPARK-43884] [SC-133867] Param-markeringen in DDL
  • [SPARK-43398] [SC-133894][CORE] Time-out van uitvoerder moet maximaal inactief zijn in willekeurige volgorde en rdd-time-out
  • [SPARK-43610] [SC-133892][VERBINDING MAKEN][PS] Inschakelen InternalFrame.attach_distributed_column in Spark Connect.
  • [SPARK-43971] [SC-133826][VERBINDING MAKEN][PYTHON] Ondersteuning bieden voor het createDataFrame van Python op streaming-wijze
  • [SPARK-44006] [SC-133652][VERBINDING MAKEN][PYTHON] Ondersteuning voor cacheartefacten
  • [SPARK-43790] [SC-133468][PYTHON][VERBINDING MAKEN][ML] API toevoegen copyFromLocalToFs
  • [SPARK-43921] [SC-133461][PROTOBUF] Protobuf-descriptorbestanden genereren tijdens de build
  • [SPARK-43906] [SC-133638][SC-133404][PYTHON][VERBINDING MAKEN] De bestandsondersteuning implementeren in SparkSession.addArtifacts
  • [SPARK-44010] [SC-133744][PYTHON][SS][SECUNDAIR] Python StreamingQueryProgress rowsPerSecond type fix
  • [SPARK-43768] [SC-132398][PYTHON][VERBINDING MAKEN] Ondersteuning voor Python-afhankelijkheidsbeheer in Python Spark Connect
  • [SPARK-43979] [13.X] Revert "[SC-133456][SQL] CollectedMetrics moet worden behandeld als dezelfde voor self-join"
  • [SPARK-42290] [SC-133696][SQL] De OOM-fout kan niet worden gerapporteerd wanneer AQE is ingeschakeld
  • [SPARK-43943] [SC-133648][SQL][PYTHON][VERBINDING MAKEN] Wiskundige SQL-functies toevoegen aan Scala en Python
  • [SPARK-43747] [SC-132047][PYTHON][VERBINDING MAKEN] De pyfile-ondersteuning implementeren in SparkSession.addArtifacts
  • [SPARK-43700] [SC-133726][SPARK-43701][VERBINDING MAKEN][PS] Inschakelen TimedeltaOps.(sub|rsub) met Spark Connect
  • [SPARK-43712] [SC-133641][SPARK-43713][VERBINDING MAKEN][PS] Pariteitstest inschakelen: test_line_plot, test_pie_plot.
  • [SPARK-43867] [SC-132895][SQL] Voorgestelde kandidaten voor onopgeloste kenmerk verbeteren
  • [SPARK-43901] [SC-133454][SQL] Avro ter ondersteuning van aangepast decimaaltype ondersteund door Long
  • [SPARK-43267] [SC-133024][JDBC] Postgres onbekende door de gebruiker gedefinieerde kolom verwerken als tekenreeks in matrix
  • [SPARK-43935] [SC-133637][SQL][PYTHON][VERBINDING MAKEN] Functies xpath_* toevoegen aan Scala en Python
  • [SPARK-43916] [SC-133647][SQL][PYTHON][VERBINDING MAKEN] Percentiel toevoegen aan Scala- en Python-API
  • [SPARK-43717] [SC-133455][VERBINDING MAKEN] Scala-client reduce agg kan geen null-partities verwerken voor scala primitieve invoer
  • [SPARK-43984] [SC-133469][SQL][PROTOBUF] Wijzigen om te gebruiken foreach wanneer map er geen resultaten worden geproduceerd
  • [SPARK-43612] [SC-132011][VERBINDING MAKEN][PYTHON] SparkSession.addArtifact(s) implementeren in de Python-client
  • [SPARK-44002] [SC-133606][VERBINDING MAKEN] De handler voor artefactstatussen herstellen
  • [SPARK-43933] [SC-133470][SQL][PYTHON][VERBINDING MAKEN] Statistische functies voor lineaire regressie toevoegen aan Scala en Python
  • [SPARK-43920] [SC-133614][SQL][VERBINDING MAKEN] Sql/API-module maken
  • [SPARK-43979] [SC-133456][SQL] CollectedMetrics moet worden behandeld als dezelfde voor self-join
  • [SPARK-43977] [SC-133373][VERBINDING MAKEN] Onverwacht controleresultaat van opgelost dev/connect-jvm-client-mima-check
  • [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: opsommingen herstellen als ints bug
  • [SPARK-43930] [SC-133406][SQL][PYTHON][VERBINDING MAKEN] Unix_*-functies toevoegen aan Scala en Python
  • [SPARK-43807] [SC-132545][SQL] _LEGACY_ERROR_TEMP_1269 migreren naar PARTITION_SCHEMA_IS_EMPTY
  • [SPARK-43956] [SC-133123][SQL] De sql van de kolom voor Percentiel[Cont| wordt niet weergegeven door de bugSchijf]
  • [SPARK-42626] [SC-133248][VERBINDING MAKEN] Destructieve Iterator toevoegen voor SparkResult
  • [SPARK-43333] [SC-132898][SQL] Toestaan dat Avro het samenvoegtype converteert naar SQL met veldnaam stabiel met type
  • [SPARK-43953] [SC-133134][VERBINDING MAKEN] Verwijderen pass
  • [SPARK-43970] [SC-133403][PYTHON][VERBINDING MAKEN] Niet-ondersteunde dataframemethoden verbergen voor automatisch aanvullen
  • [SPARK-43973] [SC-133272][SS][UI] In de gestructureerde streaming-ui moeten mislukte query's correct worden weergegeven
  • [SPARK-42577] [SC-125445][CORE] Maximum aantal pogingen voor fasen toevoegen om potentiële oneindige nieuwe pogingen te voorkomen
  • [SPARK-43841] [SC-132699][SQL] Kandidaatkenmerken afhandelen zonder voorvoegsel in StringUtils#orderSuggestedIdentifiersBySimilarity
  • [SPARK-41497] [SC-124795][CORE][Opvolgen] spark.rdd.cache.visibilityTracking.enabled Configuratieondersteuningsversie wijzigen in 3.5.0
  • [SPARK-37942] [SC-130983][CORE][SQL] Foutklassen migreren
  • [SPARK-43898] [SC-132926][CORE] Automatisch registreren bij immutable.ArraySeq$ofRef KryoSerializer Scala 2.13
  • [SPARK-43775] [SC-132891][SQL] DataSource V2: Toestaan dat updates worden weergegeven als verwijderingen en invoegingen
  • [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Ondersteuning voor UserDefinedType in createDataFrame van pandas DataFrame en toPandas
  • [SPARK-43418] [SC-132753][SC-130685][VERBINDING MAKEN] SparkSession.Builder.getOrCreate toevoegen
  • [SPARK-43549] [SC-132383][SQL] Converteer _LEGACY_ERROR_TEMP_0036 naar INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
  • [SPARK-41497] [SC-124644][CORE] Het oplossen van het aantal accumulators in het geval van de taak voor opnieuw proberen met rdd-cache
  • [SPARK-43892] [SC-133006][PYTHON] Ondersteuning voor automatisch aanvullen toevoegen voor df[|] in pyspark.sql.dataframe.DataFrame
  • [SPARK-43881] [SC-133140][SQL][PYTHON][VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listDatabases
  • [SPARK-43205] [SC-132623] ID-component
  • [SPARK-43545] [SC-132378][SQL][PYTHON] Ondersteuning voor geneste tijdstempeltype
  • [SPARK-43949] [SC-133048][PYTHON] Cloudpickle upgraden naar 2.2.1
  • [SPARK-43760] [SC-132809][SQL] Null-baarheid van scalaire subqueryresultaten
  • [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Oplossing TimedeltaOps voor Spark Connect
  • [SPARK-43895] [SC-132897][VERBINDING MAKEN][GO] Het pad naar het go-pakket voorbereiden
  • [SPARK-43894] [SC-132892][PYTHON] Fout opgelost in df.cache()
  • [SPARK-43509] [SC-131625][VERBINDING MAKEN] Ondersteuning voor het maken van meerdere Spark Connect-sessies
  • [SPARK-43882] [SC-132888][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2122
  • [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Oplossing NumOps voor Spark Connect
  • [SPARK-43604] [SC-132165][SQL] Herstructureren INVALID_SQL_SYNTAX om te voorkomen dat de tekst van de fout in de broncode wordt ingesloten
  • [SPARK-43859] [SC-132883][SQL] ToString overschrijven in LateralColumnAliasReference
  • [SPARK-43792] [SC-132939][SQL][PYTHON][VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listCatalogs
  • [SPARK-43353] Herstel '[SC-132734][PYTHON] Resterende sessiefouten migreren naar foutklasse'
  • [SPARK-43375] [SC-130309][VERBINDING MAKEN] De foutberichten voor INVALID_CONNECT_URL verbeteren
  • [SPARK-43863] [SC-132721][VERBINDING MAKEN] toSeq Redundant verwijderen uit Scala SparkConnectPlanner 2.13
  • [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Oplossing DatetimeOps voor Spark Connect
  • [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Oplossing BinaryOps voor Spark Connect
  • [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Oplossing NullOps voor Spark Connect
  • [SPARK-43782] [SC-132885][CORE] Ondersteuning voor configuratie op logboekniveau met statische Spark-conf
  • [SPARK-43132] [SC-131623] [SS] [VERBINDING MAKEN] Python Client DataStreamWriter foreach() API
  • [SPARK-43290] [SC-131961][SQL] Voegt AES IV- en AAD-ondersteuning toe aan ExpressionImplUtils
  • [SPARK-43795] [SC-132532][VERBINDING MAKEN] Parameters verwijderen die niet worden gebruikt voor SparkConnectPlanner
  • [SPARK-42317] [SC-129194][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
  • [SPARK-43597] [SC-131960][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_0017
  • [SPARK-43834] [SC-132679][SQL] Foutklassen gebruiken in de compilatiefouten van ResolveDefaultColumns
  • [SPARK-43749] [SC-132423][SPARK-43750][SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_240[4-5]
  • [SPARK-43576] [SC-132533][CORE] Ongebruikte declaraties verwijderen uit de Core-module
  • [SPARK-43314] [SC-129970][VERBINDING MAKEN][PYTHON] Spark Connect-clientfouten migreren naar foutklasse
  • [SPARK-43799] [SC-132715][PYTHON] Binaire optie voor de descriptor toevoegen aan de Pyspark Protobuf-API
  • [SPARK-43837] [SC-132678][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_103[1-2]
  • [SPARK-43862] [SC-132750][SQL] Een naam toewijzen aan de foutklasse LEGACY_ERROR_TEMP(1254 & 1315)
  • [SPARK-43886] [SC-132808][PYTHON] Accept generics tuple as type hints of Pandas UDF
  • [SPARK-43530] [SC-132653][PROTOBUF] Descriptorbestand slechts één keer lezen
  • [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_241[1-7]
  • [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Oplossing CategoricalOps voor Spark Connect
  • [SPARK-39979] [SC-132685][SQL] Optie toevoegen voor het gebruik van grote variabelenbreedtevectors voor pijl-UDF-bewerkingen
  • [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Oplossing StringOps voor Spark Connect
  • [SPARK-43353] [SC-132734][PYTHON] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-43815] [SC-132781][SQL] Alias toevoegen to_varchar voor to_char
  • [SPARK-43543] [13.x][SC-131839][PYTHON] Geneste MapType-gedrag opgelost in Pandas UDF
  • [SPARK-43361] [SC-131789][PROTOBUF] updatedocumentatie voor fouten met betrekking tot enumserialisatie
  • [SPARK-43740] [SC-132035][PYTHON][VERBINDING MAKEN] Niet-ondersteunde session methoden verbergen voor automatisch aanvullen
  • [SPARK-43022] [SC-131681][VERBINDING MAKEN] Ondersteuning voor protobuf-functies voor Scala-client
  • [SPARK-43304] [13.x][SC-129969][VERBINDING MAKEN][PYTHON] Migreren NotImplementedError naar PySparkNotImplementedError
  • [SPARK-43860] [SC-132713][SQL] Tail-recursion waar mogelijk inschakelen
  • [SPARK-42421] [SC-132695][CORE] Gebruik de hulpmiddelen om de switch op te halen voor dynamische toewijzing die wordt gebruikt in het lokale controlepunt
  • [SPARK-43590] [SC-132012][VERBINDING MAKEN] Maken connect-jvm-client-mima-check ter ondersteuning van mima-controle met protobuf module
  • [SPARK-43315] [13.x][VERBINDING MAKEN][PYTHON][SS] Resterende fouten migreren vanuit DataFrame(Reader|Schrijver) in foutklasse
  • [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: sta serde with enum as ints
  • [SPARK-43789] [SC-132397][R] Maakt standaard gebruik van 'spark.sql.execution.arrow.maxRecordsPerBatch' in R createDataFrame met Pijl
  • [SPARK-43596] [SC-126994][SQL] Handle IsNull predicaat in rewriteDomainJoins
  • [SPARK-42249] [SC-122565][SQL] Html-koppeling verfijnen voor documentatie in foutberichten.
  • [SPARK-43128] [SC-131628][VERBINDING MAKEN][SS] Consistent maken recentProgress en lastProgress retourneren StreamingQueryProgress met de systeemeigen Scala-API
  • [SPARK-43387] [SC-130448][SQL] Geef een door mensen leesbare foutcode op voor _LEGACY_ERROR_TEMP_1168.
  • [SPARK-43334] [SC-132358] [UI] Fout opgelost tijdens het serialiseren van ExecutorPeakMetricsDistributions in API-antwoord
  • [SPARK-42958] [SC-131475][VERBINDING MAKEN] Herstructureren connect-jvm-client-mima-check ter ondersteuning van mima-controle met avro-module
  • [SPARK-43591] [SC-131977][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_0013
  • [SPARK-38464] [SC-132211][CORE] Foutklassen gebruiken in org.apache.spark.io
  • [SPARK-43759] [SC-132189][SQL][PYTHON] TimestampNTZType beschikbaar maken in pyspark.sql.types
  • [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_240[1-3]
  • [SPARK-43719] [SC-132016][WEBUI] Veld Verwerken missing row.excludedInStages
  • [SPARK-42956] [SC-127257][VERBINDING MAKEN] Avro-functies voor Scala-client ondersteunen
  • [SPARK-43487] [SC-131975][SQL] Geneste CTE-foutbericht opgelost
  • [SPARK-43265] [SC-129653] Foutframework verplaatsen naar een algemene utils-module
  • [SPARK-40912] [SC-131547][CORE]Overhead van uitzonderingen in KryoDeserializationStream
  • [SPARK-43583] [SC-131976][CORE] get MergedBlockedMetaReqHandler van de gemachtigde in plaats van het SaslRpcHandler-exemplaar
  • [SPARK-42996] [SC-131997][VERBINDING MAKEN][PS][ML] Maak en wijs de juiste JIRA-tickets toe voor alle mislukte tests.
  • [SPARK-38469] [SC-131425][CORE] Foutklasse gebruiken in org.apache.spark.network
  • [SPARK-43718] [SC-132014][SQL] Null-waarde correct instellen voor sleutels in USING-joins
  • [SPARK-43502] [SC-131419][PYTHON][VERBINDING MAKEN] DataFrame.drop moet lege kolom accepteren
  • [SPARK-43743] [SC-132038][SQL] Poort HIVE-12188(DoAs werkt niet goed in niet-kerberos beveiligde HS2)
  • [SPARK-43598] [SC-131929][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2400
  • [SPARK-43138] [SC-131031][CORE] ClassNotFoundException tijdens migratie herstellen
  • [SPARK-43360] [SC-131526][SS][VERBINDING MAKEN] Scala-client StreamingQueryManager
  • [SPARK-38467] [SC-131025][CORE] Foutklassen gebruiken in org.apache.spark.memory
  • [SPARK-43345] [SC-131790][SPARK-43346][SQL] Wijzig de naam van de foutklassen LEGACY_ERROR_TEMP[0041|1206]
  • [SPARK-42815] [SC-126450][SQL] Subexpressie-afschaffing ondersteunt snelkoppelingsexpressie
  • [SPARK-38462] [SC-130449][CORE] Foutklasse toevoegen INTERNAL_ERROR_EXECUTOR
  • [SPARK-43589] [SC-131798][SQL] Oplossing cannotBroadcastTableOverMaxTableBytesError voor gebruik bytesToString
  • [SPARK-43539] [SC-131830][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_0003
  • [SPARK-43157] [SC-131688][SQL] InMemoryRelation gecached plan klonen om te voorkomen dat gekloond plan verwijst naar dezelfde objecten
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] INTERNAL_ERROR uitbreiden met categorieën en foutklasse toevoegen INTERNAL_ERROR_BROADCAST
  • [SPARK-43281] [SC-131370][SQL] Probleem met gelijktijdige writer werkt geen metrische bestandsgegevens bij
  • [SPARK-43383] [SC-130660][SQL] Statistieken toevoegen rowCount aan LocalRelation
  • [SPARK-43574] [SC-131739][PYTHON][SQL] Ondersteuning voor het instellen van python-uitvoerbare bestanden voor UDF- en pandas-functie-API's in werkrollen tijdens runtime
  • [SPARK-43569] [SC-131694][SQL] Tijdelijke oplossing voor HADOOP-14067 verwijderen
  • [SPARK-43183] [SC-128938][SS][13.x] Een nieuwe callback 'onQueryIdle' introduceren bij StreamingQueryListener
  • [SPARK-43528] [SC-131531][SQL][PYTHON] Ondersteuning voor dubbele veldnamen in createDataFrame met pandas DataFrame
  • [SPARK-43548] [SC-131686][SS] Tijdelijke oplossing verwijderen voor HADOOP-16255
  • [SPARK-43494] [SC-131272][CORE] Rechtstreeks oproepen replicate() HdfsDataOutputStreamBuilder naar in plaats van reflectie in SparkHadoopUtil#createFile
  • [SPARK-43471] [SC-131063][CORE] Ontbrekende hadoopProperties en metricsProperties verwerken
  • [SPARK-42899] [SC-126456][SQL] Probleem opgelost DataFrame.to(schema) om de case af te handelen waarbij er een niet-null-geneste veld in een null-veld is
  • [SPARK-43302] [SC-129747][SQL] Python UDAF een AggregateFunction maken
  • [SPARK-43223] [SC-131270][Verbinding maken] Getypte wisselknop, reductiefuncties, RelationalGroupedDataset#as
  • [SPARK-43482] [SC-131375][SS] QueryTerminatedEvent uitvouwen om foutklasse te bevatten als deze bestaat in uitzondering
  • [SPARK-43359] [SC-131463][SQL] Verwijderen uit hive-tabel moet 'UNSUPPORTED_FEATURE. TABLE_OPERATION"
  • [SPARK-43284] [SC-130313] Terugschakelen naar tekenreeksen met URL-codering
  • [SPARK-43492] [SC-131227][SQL] 3 args-functiealiassen DATE_ADD toevoegen en DATE_DIFF
  • [SPARK-43473] [SC-131372][PYTHON] Ondersteuning voor structtype in createDataFrame van pandas DataFrame
  • [SPARK-43386] [SC-131110][SQL] Lijst met voorgestelde kolom/kenmerken in UNRESOLVED_COLUMN.WITH_SUGGESTION foutklasse verbeteren
  • [SPARK-43443] [SC-131332][SQL] Benchmark toevoegen voor deductie van het type Timestamp wanneer ongeldige waarde wordt gebruikt
  • [SPARK-43518] [SC-131420][SQL] Converteren _LEGACY_ERROR_TEMP_2029 naar INTERNAL_ERROR
  • [SPARK-42604] [SC-130648][VERBINDING MAKEN] Functions.typedlit implementeren
  • [SPARK-42323] [ES-669513] [SC-123479][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2332"
  • [SPARK-43357] [SC-130649][SQL] Datum van aanhalingsdatum filteren
  • [SPARK-43410] [SC-130526][SQL] Vectorized lus verbeteren voor Packed skipValues
  • [SPARK-43441] [SC-130995][CORE] makeDotNode mag niet mislukken wanneer DeterministicLevel afwezig is
  • [SPARK-43324] [SC-130455][SQL] UPDATE-opdrachten voor deltabronnen verwerken
  • [SPARK-43272] [SC-131168][CORE] Rechtstreeks bellen createFile in plaats van weerspiegeling
  • [SPARK-43296] [13.x][SC-130627][VERBINDING MAKEN][PYTHON] Spark Connect-sessiefouten migreren naar foutklasse
  • [SPARK-43405] [SC-130987][SQL] Nutteloos getRowFormatSQLverwijderen, outputRowFormatSQL inputRowFormatSQLmethode
  • [SPARK-43447] [SC-131017][R] Ondersteuning voor R 4.3.0
  • [SPARK-43425] [SC-130981][SQL] Toevoegen TimestampNTZType aan ColumnarBatchRow
  • [SPARK-41532] [SC-130523][VERBINDING MAKEN][CLIENT] Controle toevoegen voor bewerkingen die betrekking hebben op meerdere gegevensframes
  • [SPARK-43262] [SC-129270][VERBINDING MAKEN][SS][PYTHON] Spark Connect Structured Streaming-fouten migreren naar foutklasse
  • [SPARK-42992] [13.x][SC-129465][PYTHON] PySparkRuntimeError introduceren
  • [SPARK-43422] [SC-130982][SQL] Tags behouden voor LogicalRelation met metagegevensuitvoer
  • [SPARK-43390] [SC-130646][SQL] Met DSv2 kan CTAS/RTAS de null-beschikbaarheid van schema's reserveren
  • [SPARK-43430] [SC-130989][VERBINDING MAKEN][PROTO] ExecutePlanRequest ondersteunt willekeurige aanvraagopties.
  • [SPARK-43313] [SC-130254][SQL] Ontbrekende kolomSTANDAARDwaarden toevoegen voor MERGE INSERT-acties
  • [SPARK-42842] [SC-130438][SQL] De foutklasse _LEGACY_ERROR_TEMP_2006 samenvoegen in REGEX_GROUP_INDEX
  • [SPARK-43377] [SC-130405][SQL] Standaard inschakelen spark.sql.thriftServer.interruptOnCancel
  • [SPARK-43292] [SC-130525][CORE][VERBINDING MAKEN] Verplaatsen ExecutorClassLoader naar core module en vereenvoudigen Executor#addReplClassLoaderIfNeeded
  • [SPARK-43040] [SC-130310][SQL] Ondersteuning voor timestampNTZ-typen in JDBC-gegevensbron verbeteren
  • [SPARK-43343] [SC-130629][SS] FileStreamSource moet een extra controle voor bestandsglob uitschakelen bij het maken van DataSource
  • [SPARK-43312] [SC-130294][PROTOBUF] Optie voor het converteren van velden naar JSON
  • [SPARK-43404] [SC-130586][SS] Sla het sst-bestand voor dezelfde versie van rocksDB-statusopslag over om te voorkomen dat de id niet overeenkomt
  • [SPARK-43397] [SC-130614][CORE] Duur van uit bedrijf nemen van logboekuitvoering in executorLost methode
  • [SPARK-42388] [SC-128568][SQL] Vermijd parquet-voetteksten die twee keer worden gelezen in een vectorlezer
  • [SPARK-43306] [13.x][SC-130320][PYTHON] ValueError migreren van Spark SQL-typen naar foutklasse
  • [SPARK-43337] [SC-130353][UI][3.4] Asc/desc-pijlpictogrammen voor het sorteren van de kolom worden niet weergegeven in de tabelkolom
  • [SPARK-43279] [SC-130351][CORE] Ongebruikte leden opschonen van SparkHadoopUtil
  • [SPARK-43250] [SC-130147][SQL] Vervang de foutklasse _LEGACY_ERROR_TEMP_2014 door een interne fout
  • [SPARK-43363] [SC-130299][SQL][PYTHON] Maak alleen een aanroep astype naar het categorietype wanneer het pijltype niet is opgegeven
  • [SPARK-43261] [SC-130154][PYTHON] Migreren TypeError van Spark SQL-typen naar foutklasse
  • [SPARK-41971] [SC-130230][SQL][PYTHON] Een configuratie voor pandas-conversie toevoegen voor het verwerken van structtypen
  • [SPARK-43381] [SC-130464][VERBINDING MAKEN] 'transformStatCov' lui maken
  • [SPARK-43362] [SC-130481][SQL] Speciale verwerking van het JSON-type voor MySQL-connector
  • [SPARK-42843] [SC-130196][SQL] De foutklasse _LEGACY_ERROR_TEMP_2007 bijwerken naar REGEX_GROUP_INDEX
  • [SPARK-42585] [SC-129968][VERBINDING MAKEN] Streaming van lokale relaties
  • [SPARK-43181] [SC-130476][SQL] UI WebURL weergeven in spark-sql shell
  • [SPARK-43051] [SC-130194][VERBINDING MAKEN] Optie toevoegen om standaardwaarden te verzenden
  • [SPARK-43204] [SC-129296][SQL] SAMENVOEGtoewijzingen uitlijnen met tabelkenmerken
  • [SPARK-43348] [SC-130082][PYTHON] Ondersteuning Python 3.8 in PyPy3
  • [SPARK-42845] [SC-130078][SQL] De foutklasse bijwerken _LEGACY_ERROR_TEMP_2010 naar InternalError
  • [SPARK-43211] [SC-128978][HIVE] Hadoop2-ondersteuning verwijderen in IsolatedClientLoader

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 bleken 4.1.0
oogklep 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffiffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 cryptografie 37.0.1
wielrijder 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 foutopsporing 1.5.1 decorateur 5.1.1
defusedxml 0.7.1 distlib 0.3.6 docstring-to-markdown 0,12
invoerpunten 0,4 Uitvoeren 1.2.0 facets-overview 1.0.3
fastjsonschema 2.16.3 filelock 3.12.0 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 sleutelhanger 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 verpakking 21.3 Pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
Patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.2.0 pit 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
touw 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Zes 1.16.0
soepsieve 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 vasthoudendheid 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 upgrades zonder toezicht 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wiel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.3 bslib 0.4.2 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 klok 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
Crayon 1.5.2 aanmeldingsgegevens 1.3.2 curl 5.0.0
data.table 1.14.6 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 verteren 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
beletselteken 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 buitenlands 0.8-82
smeden 0.2.0 Fs 1.6.1 toekomst 1.31.0
future.apply 1.10.0 gorgelen 1.3.0 Generics 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 afbeeldingen 4.2.2 grDevices 4.2.2
rooster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 breiwerk 1.42
Labeling 0.4.2 later 1.3.0 latwerk 0.20-45
lava 1.7.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASSA 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallel 1.34.0 pilaar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 loven 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
leesbewerking 2.1.3 readxl 1.4.2 recepten 1.0.4
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 weegschaal 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 vorm 1.4.6
glanzend 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 ruimtelijk 7.3-15 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
overleving 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 tekstvorm 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
snor 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 ritssluiting 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.cafeïne cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.0
io.dropwizard.metrics metrische gegevenskern 4.2.10
io.dropwizard.metrics metrische gegevensgrafiet 4.2.10
io.dropwizard.metrics metrische statuscontroles 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-sokken 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow pijlvector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.22
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-vervolg 9.4.50.v20221201
org.eclipse.jetty jetty-http 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty jetty-security 9.4.50.v20221201
org.eclipse.jetty jetty-server 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty jetty-webapp 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-api 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-client 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-server 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1