Delen via

Databricks Runtime 15.2 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Geschiedenis van einde van ondersteuningvoor de einddatum van de ondersteuning. Zie voor alle ondersteunde Databricks Runtime-versies de releaseopmerkingen over Databricks Runtime-versies en compatibiliteit.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 15.2, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in mei 2024.

Tip

Zie de releaseopmerkingen voor Databricks Runtime-versies die het einde van hun ondersteuning (EoS) hebben bereikt, in End-of-support Databricks Runtime releaseopmerkingen. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Gedragswijzigingen

Vacuum COPY INTO metagegevensbestanden opschonen

Door VACUUM uit te voeren op een table die is geschreven met COPY INTO worden nu niet-gerelateerde metadata opgeschoond die zijn gekoppeld aan het bijhouden van ingesloten bestanden. Er is geen invloed op de operationele semantiek van COPY INTO.

Lakehouse Federation is nu algemeen beschikbaar (GA)

In Databricks Runtime 15.2 en hoger zijn Lakehouse Federation connectors voor de volgende databasetypen algemeen beschikbaar:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Sneeuwvlok
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

In deze release worden ook de volgende verbeteringen geïntroduceerd:

  • Ondersteuning voor eenmalige aanmelding (SSO)-verificatie in de Snowflake- en Microsoft SQL Server-connectors.

  • Ondersteuning voor Azure Private Link voor de SQL Server-connector vanuit serverloze rekenomgevingen. Zie stap 3: regels voor privé-eindpunten maken.

  • Ondersteuning voor extra pushdowns (tekenreeks, wiskunde en diverse functies).

  • Verbetering in het slagingspercentage voor pushdown bij verschillende queryvormen.

  • Aanvullende mogelijkheden voor foutopsporing met pushdown.

    • In de uitvoer van EXPLAIN FORMATTED wordt de tekst weergegeven van de query die naar beneden is geduwd.
    • In de gebruikersinterface van het queryprofiel worden de doorgegeven querytekst, federatieve knooppunt-id's en uitvoeringstijden van JDBC-query's (in gedetailleerde modus) weergegeven. Zie Door het systeem gegenereerde federatieve query's weergeven.

BY POSITION voor toewijzing van column met behulp van COPY INTO met csv-bestanden zonder headers

In Databricks Runtime 15.2 en hoger kunt u de BY POSITION sleutelwoorden (of alternatieve syntaxis ( col_name [ , <col_name> ... ] )) gebruiken met COPY INTO voor headerloze CSV-bestanden om de bron-column naar tablecolumn toe te wijzen te vereenvoudigen. Zie Parameters.

Geheugenverbruik verminderen wanneer Spark-taken mislukken met een Resubmitted-fout

In Databricks Runtime 15.2 en hoger is de retourwaarde van de Methode Spark TaskInfo.accumulables() leeg wanneer taken mislukken met een Resubmitted fout. Voorheen retourneerde de methode de values van een eerdere geslaagde taakpoging. Deze gedragswijziging is van invloed op de volgende consumenten:

  • Spark-taken die gebruikmaken van de EventLoggingListener-klasse.
  • Aangepaste Spark-Listeners.

Om het vorige gedrag te restore, setspark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled naar false.

Uitvoeringsplanversies voor adaptieve query's weergeven is uitgeschakeld

Om het geheugenverbruik te verminderen, worden de versies van het AQE-abonnement (Adaptive Query Execution) nu standaard uitgeschakeld in de Spark-gebruikersinterface. Als u het weergeven van AQE-planversies in de Spark-gebruikersinterface wilt inschakelen, set de spark.databricks.sql.aqe.showPlanChangesInUI.enabled naar true.

Limit voor bewaarde query's wordt verlaagd om het geheugengebruik van de Spark-gebruikersinterface te verminderen

Om in Databricks Runtime 15.2 en hoger het geheugen te verminderen dat wordt gebruikt door de Spark-gebruikersinterface in Azure Databricks compute, wordt de limit over het aantal query's dat zichtbaar is in de gebruikersinterface verlaagd van 1000 tot 100. Als u de limitwilt wijzigen, set u een nieuwe waarde met behulp van de spark.sql.ui.retainedExecutions Spark-configuratie.

DESCRIBE HISTORY toont nu clustering columns voor tables die gebruikmaken van liquide clustering

Wanneer u een DESCRIBE HISTORY-query uitvoert, wordt in de operationParameterscolumn standaard een clusterBy veld weergegeven voor CREATE OR REPLACE- en OPTIMIZE bewerkingen. Voor een Delta-table die gebruikmaakt van liquide clustering, wordt het clusterBy veld gevuld met de tableclustering columns. Als de table geen gebruikmaakt van liquide clustering, is het veld leeg.

Nieuwe functies en verbeteringen

Ondersteuning voor primaire en refererende sleutels is algemeen beschikbaar.

Ondersteuning voor primaire en vreemde sleutels in Databricks Runtime is nu algemeen beschikbaar. De GA-release bevat de volgende wijzigingen in de bevoegdheden die zijn vereist voor het gebruik van primaire en vreemde sleutels:

  • Als u een buitenlandse sleutel wilt definiëren, moet u de SELECT-rechten hebben op de table met de primaire sleutel waarnaar de buitenlandse sleutel verwijst. U hoeft niet de eigenaar te zijn van de table met de eerder vereiste primaire sleutel.
  • Het verwijderen van een primaire sleutel met behulp van de CASCADE-clausule vereist geen bevoegdheden op de tables die de verwijzende sleutels definiëren die naar de primaire sleutel verwijzen. Voorheen moest u de verwijzings-tablesbezitten.
  • Voor het verwijderen van een table met beperkingen zijn nu dezelfde bevoegdheden vereist als het verwijderen van tables die geen beperkingen bevatten.

Zie clausule CONSTRAINT, clausule ADD CONSTRAINTen clausule DROP CONSTRAINTvoor meer informatie over het gebruik van primaire en vreemde sleutels met tables of views.

Liquid clustering is GA

Ondersteuning voor liquide clustering is nu algemeen beschikbaar met Databricks Runtime 15.2 en hoger. Zie Liquid Clustering gebruiken voor Delta tables.

Type widening is beschikbaar als openbare preview

U kunt nu type widening inschakelen op tables ondersteund door Delta Lake. Tables, met typebreiding ingeschakeld, kunt u het type van columns wijzigen naar een breder gegevenstype zonder de onderliggende gegevensbestanden opnieuw te schrijven. Zie type-uitbreiding.

Schema evolutiecomponent toegevoegd aan de syntaxis van SQL-samenvoeging

U kunt nu de WITH SCHEMA EVOLUTION component toevoegen aan een SQL-samenvoegingsinstructie om schema evolutie voor de bewerking mogelijk te maken. Zie Schema evolutiesyntaxis voor samenvoeging.

Aangepaste pySpark-gegevensbronnen zijn beschikbaar in openbare preview

Een PySpark DataSource kan worden gemaakt met behulp van de Python DataSource-API (PySpark), waarmee u kunt lezen uit aangepaste gegevensbronnen en schrijven naar aangepaste gegevenssinks in Apache Spark met behulp van Python. Zie aangepaste gegevensbronnen van PySpark

applyInPandas en mapInPandas nu beschikbaar op Unity Catalog compute met de modus voor gedeelde toegang

Als onderdeel van een Databricks Runtime 14.3 LTS-onderhoudsrelease worden applyInPandas en mapInPandas UDF-typen nu ondersteund op de modus voor gedeelde toegang, waarop Databricks Runtime 14.3 en hoger wordt uitgevoerd.

Gebruik dbutils.widgets.getAll() om alle widgets in een notitieblok te get

Gebruik dbutils.widgets.getAll() om alle widget-values te get in een notitieblok. Dit is vooral handig bij het doorgeven van meerdere widgets values aan een Spark SQL-query.

ondersteuning voor Vacuum inventaris

U kunt nu een inventaris opgeven van bestanden waarmee u rekening moet houden bij het uitvoeren van de opdracht VACUUM op een Delta-table. Zie de OSS Delta-documenten.

Ondersteuning voor Zstandard-compressiefuncties

U kunt nu de functies zst_compress, zstd_decompressen try_zstd_decompress gebruiken om BINARY gegevens te comprimeren en decomprimeren.

Bugfixes

Queryplannen in de SQL-gebruikersinterface worden nu correct weergegeven PhotonWriteStage

Wanneer ze in de SQL-gebruikersinterface worden weergegeven, tonen write-opdrachten in queryplannen ten onrechte PhotonWriteStage als operator. Met deze release wordt de gebruikersinterface bijgewerkt om PhotonWriteStage als fase weer te geven. Dit is alleen een wijziging in de gebruikersinterface en heeft geen invloed op de wijze waarop query's worden uitgevoerd.

Ray wordt bijgewerkt om problemen met het starten van Ray-clusters op te lossen

Deze release bevat een patchversie van Ray waarmee een wijziging die fouten kan veroorzaken, wordt opgelost waardoor Ray-clusters niet kunnen beginnen met Databricks Runtime voor Machine Learning. Deze wijziging zorgt ervoor dat ray-functionaliteit identiek is aan versies van Databricks Runtime die eerder zijn dan 15.2.

Foutklasse gecorrigeerd voor DataFrame.sort()- en DataFrame.sortWithinPartitions()-functies

Deze release bevat een update voor de functies PySpark DataFrame.sort() en DataFrame.sortWithinPartitions() om ervoor te zorgen dat de foutklasse ZERO_INDEX wordt gegenereerd wanneer 0 wordt doorgegeven als het indexargument. Eerder werd de foutklasse INDEX_NOT_POSITIVE gegeven.

ipywidgets wordt gedowngraded van 8.0.4 naar 7.7.2

Om fouten op te lossen die zijn geïntroduceerd door een upgrade van ipywidgets naar 8.0.4 in Databricks Runtime 15.0, wordt ipywidgets ge downgraded naar 7.7.2 in Databricks Runtime 15.2. Dit is dezelfde versie die is opgenomen in eerdere Databricks Runtime-versies.

Bibliotheekverbeteringen

  • Bijgewerkte Python-bibliotheken:
    • GitPython van 3.1.42 tot 3.1.43
    • google-api-core van 2.17.1 tot 2.18.0
    • google-auth van 2.28.1 tot 2.29.0
    • google-cloud-storage van 2.15.0 tot 2.16.0
    • googleapis-common-protos van 1.62.0 tot 1.63.0
    • ipywidgets van 8.0.4 tot 7.7.2
    • mlflow-skinny van 2.11.1 tot 2.11.3
    • s3transfer van 0.10.0 naar 0.10.1
    • sqlparse van 0.4.4 tot 0.5.0
    • typing_extensions van 4.7.1 tot 4.10.0
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:
    • com.amazonaws.aws-java-sdk-autoscaling van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-config van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-core van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-directory van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ecs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-efs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-emr van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-glacier van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-glue van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-iam van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-importexport van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-kms van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-lambda van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-logs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-rds van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-redshift van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-route53 van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-s3 van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ses van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-sns van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-sqs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ssm van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-sts van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-support van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces van 1.12.390 tot 1.12.610
    • com.amazonaws.jmespath-java van 1.12.390 tot 1.12.610

Apache Spark

Databricks Runtime 15.2 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 15.1 (EoS), evenals de volgende aanvullende foutoplossingen en verbeteringen in Spark:

  • [SPARK-47941] [SC-163568] [SS] [Verbinding] ForeachBatch-worker-initialisatiefouten doorgeven aan gebruikers voor PySpark
  • [SPARK-47412] [SC-163455][SQL] Ondersteuning voor sortering toevoegen voor LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Plaats 'bang' onder een configuratie
  • [SPARK-46820] [SC-157093][PYTHON] Regressie van foutbericht herstellen door new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource managers: gestructureerde migratie van logboekregistratie
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Variantfuncties toevoegen aan Scala en Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Pagina Environment toevoegen aan Master UI
  • [SPARK-47805] [SC-163459][SS] TTL implementeren voor MapState
  • [SPARK-47900] [SC-163326] Controle voor impliciete sortering (UTF8_BINARY) corrigeren
  • [SPARK-47902] [SC-163316][SQL]Compute Current Time* expressies vouwbaar maken
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Ondersteuning Column type in split-functie voor Scala en Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Ondersteuning voor het lezen van multidimensionale matrices
  • [SPARK-47416] [SC-163001][SQL] Nieuwe functies toevoegen aan CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Aggregatiefout opgelost in RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Is_variant_null-expressie implementeren
  • [SPARK-47883] [SC-163184][SQL] CollectTailExec.doExecute lui maken met RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect onderscheidt TIMESTAMP van TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Een DEBUG-log toevoegen aan DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Regressie van ExpressionSet-prestaties herstellen in scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] PySpark-werkpool bestendigheid tegen crashes
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Pyspark.resource compatibel maken met pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Remove ongebruikte import spark/connect/common.proto uit spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Maak pyspark.worker_utils compatibel met pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: Ondersteuning voor multidimensionale matrix aan de schrijfzijde
  • [SPARK-47617] [SC-162513][SQL] Testinfrastructuur voor sorteringen toevoegen TPC-DS
  • [SPARK-47356] [SC-162858][SQL] Ondersteuning toevoegen voor ConcatWs & Elt (alle sorteringen)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] dict als MapType van Pandas DataFrame afleiden om het maken van een DataFrame mogelijk te maken.
  • [SPARK-47863] [SC-162974][SQL] Repareer startsWith & endsWith collatie-bewuste implementatie voor ICU
  • [SPARK-47867] [SC-162966][SQL] Ondersteuningsvariant in JSON-scan.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] VariantVal voor PySpark toevoegen
  • [SPARK-47803] [SC-162726][SQL] Ondersteuning voor cast naar variant.
  • [SPARK-47769] [SC-162841][SQL] Schema_of_variant_agg expressie toevoegen.
  • [SPARK-47420] [SC-162842][SQL] Testuitvoer repareren
  • [SPARK-47430] [SC-161178][SQL] Ondersteuning GROUP BY voor MapType
  • [SPARK-47357] [SC-162751][SQL] Ondersteuning toevoegen voor Upper, Lower, InitCap (alle sorteringen)
  • [SPARK-47788] [SC-162729][SS] Zorg voor dezelfde hashpartitionering voor streaming stateful ops
  • [SPARK-47776] [SC-162291][SS] De sortering van binaire ongelijkheid mag niet worden gebruikt in sleutel-schema van stateful operator
  • [SPARK-47673] [SC-162824][SS] TTL implementeren voor ListState
  • [SPARK-47818] [SC-162845][CONNECT] Plancache introduceren in SparkConnectPlanner om de prestaties van het analyseren van aanvragen te verbeteren
  • [SPARK-47694] [SC-162783][CONNECT] Maximale berichtgrootte aan de clientzijde configureren
  • [SPARK-47274] Revert “[SC-162479][PYTHON][SQL] Meer nuttige informatie bieden..."
  • [SPARK-47616] [SC-161193][SQL] Gebruikersdocument toevoegen voor het mappen van Spark SQL-gegevenstypen vanuit MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Los het genereren van proto-bestanden op
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Releasescript wijzigen om pyspark-connect vrij te geven
  • [SPARK-47410] [SC-162518][SQL] UTF8String en CollationFactory herstructureren
  • [SPARK-47807] [SC-162505][PYTHON][ML] Pyspark.ml compatibel maken met pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Speciale verwerking van JSON-type voor MySQL Connector/J 5.x
  • [SPARK-47765] Maak "[SC-162636][SQL] SET SORTERING toevoegen aan pars..." ongedaan
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Verbeteren van de bruikbaarheid van de Voortgangshandler
  • [SPARK-47289] [SC-161877][SQL] Uitbreidingen toestaan om uitgebreide informatie in explain-abonnement te registreren
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Geef nuttigere context voor PySpark DataFrame-API-fouten
  • [SPARK-47765] [SC-162636][SQL] SET COLLATIE toevoegen aan parserregels
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite mislukt met een ongeldig abonnement
  • [SPARK-47812] [SC-162696][CONNECT] Ondersteuning voor serialisatie van SparkSession voor ForEachBatch-werker
  • [SPARK-47253] [SC-162698][CORE] LiveEventBus stoppen zonder dat de gebeurteniswachtrij volledig leeg is
  • [SPARK-47827] [SC-162625][PYTHON] Ontbrekende waarschuwingen voor afgeschafte functies
  • [SPARK-47733] [SC-162628][SS] Aangepaste metrische gegevens toevoegen voor de transformWithState-operator die deel uitmaakt van de voortgang van de query
  • [SPARK-47784] [SC-162623][SS] TTLMode en TimeoutMode samenvoegen in één TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Ondersteuning voor resterende scalaire typen in de variantspecificatie.
  • [SPARK-47736] [SC-162503][SQL] Ondersteuning voor AbstractArrayType toevoegen
  • [SPARK-47081] [SC-161758][CONNECT] Ondersteuning voor uitvoering en voortgang van query's
  • [SPARK-47682] [SC-162138][SQL] Ondersteuningscast van variant.
  • [SPARK-47802] [SC-162478][SQL] Keer () van betekenis struct() terug naar betekenis *
  • [SPARK-47680] [SC-162318][SQL] Variant_explode-expressie toevoegen.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression moet de fout controleren voor elke codegenmodus
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementeer SQLStringFormatter met WithRelations
  • [SPARK-47693] [SC-162326][SQL] Optimalisatie toevoegen voor vergelijking van kleine letters van UTF8String die wordt gebruikt in UTF8_BINARY_LCASE sortering
  • [SPARK-47541] [SC-162006][SQL] Geordende tekenreeksen in complexe typen die bewerkingen ondersteunen zoals omkeren, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] MapInPandas / mapInArrow-ondersteuning voor ResourceProfile maken
  • [SPARK-47727] [SC-161982][PYTHON] SparkConf naar het hoofdniveau maken zowel voor SparkSession als voor SparkContext
  • [SPARK-47406] [SC-159376][SQL] TIJDSTEMPEL en DATUM/TIJD verwerken in MYSQLDialect
  • [SPARK-47081] Herstel van “[SC-161758][CONNECT] Ondersteuning voor Query-uitvoeri...
  • [SPARK-47681] [SC-162043][SQL] Schema_of_variant-expressie toevoegen.
  • [SPARK-47783] [SC-162222] Voeg enkele ontbrekende SQLSTATEs toe en maak de YY000 schoon om te gebruiken…
  • [SPARK-47634] [SC-161558][SQL] Verouderde ondersteuning toevoegen voor het uitschakelen van normalisatie van kaartsleutels
  • [SPARK-47746] [SC-162022] Op ordinaal gebaseerde bereikcodering implementeren in de RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec moet altijd de context.session gebruiken
  • [SPARK-47643] [SC-161534][SS][PYTHON] Pyspark-test toevoegen voor python-streamingbron
  • [SPARK-47582] [SC-161943][SQL] Catalyst logInfo migreren met variabelen naar gestructureerd framework voor logboekregistratie
  • [SPARK-47558] [SC-162007][SS] Status-TTL-ondersteuning voor ValueState
  • [SPARK-47358] [SC-160912][SQL][SORTERING] Ondersteuning voor herhalingsexpressies verbeteren om het juiste gegevenstype te retourneren
  • [SPARK-47504] [SC-162044][SQL] Los AbstractDataType simpleStrings op voor StringTypeCollated
  • [SPARK-47719] '[SC-161909][SQL] Wijzigen spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Ondersteuning voor sorteringsfilters per bestandsbron implementeren
  • [SPARK-47081] [SC-161758][CONNECT] Ondersteuning voor de voortgang van query-uitvoering
  • [SPARK-47744] [SC-161999] Ondersteuning toevoegen voor bytes met een negatieve waarde in bereikcoderingsprogramma
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Een self-join-fout oplossen
  • [SPARK-47310] [SC-161930][SS] Micro-benchmark toevoegen voor samenvoegbewerkingen voor meerdere values in waardegedeelte van het statusarchief
  • [SPARK-47700] [SC-161774][SQL] Opmaak van foutberichten met treeNode oplossen
  • [SPARK-47752] [SC-161993][PS][CONNECT] Pyspark.pandas compatibel maken met pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] LogWarning/logInfo-API implementeren in gestructureerd logboekregistratieframework
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementeer partition lezer voor python-streaminggegevensbron
  • [SPARK-47553] [SC-161772][SS] Java-ondersteuning voor transformWithState-operator-API's toevoegen
  • [SPARK-47719] [SC-161909][SQL] Wijzig de standaardinstelling spark.sql.legacy.timeParserPolicy in CORRECTED
  • [SPARK-47655] [SC-161761][SS] Timer integreren met initiële statusafhandeling voor status-v2
  • [SPARK-47665] [SC-161550][SQL] Gebruik SMALLINT om ShortType naar MYSQL te schrijven
  • [SPARK-47210] [SC-161777][SQL] Toevoeging van impliciete cast-conversie zonder onbepaalde ondersteuning
  • [SPARK-47653] [SC-161767][SS] Ondersteuning toevoegen voor negatieve numerieke typen en het coderingsprogramma voor bereikscansleutels
  • [SPARK-46743] [SC-160777][SQL] Telfout na constante optimalisatie
  • [SPARK-47525] [SC-154568][SQL] Ondersteuning voor het samenvoegen van subquerycorrelaties met kaartattributen.
  • [SPARK-46366] [SC-151277][SQL] Gebruik de WITH-expressie in BETWEEN om dubbele expressies te voorkomen
  • [SPARK-47563] [SC-161183][SQL] Kaartnormalisatie toevoegen bij het maken
  • [SPARK-42040] [SC-161171][SQL] SPJ: introduceer een nieuwe API voor V2-invoer partition om partition statistieken te rapporteren
  • [SPARK-47679] [SC-161549][SQL] Gebruik rechtstreeks namen van HiveConf.getConfVars of Hive-conf
  • [SPARK-47685] [SC-161566][SQL] Restore de ondersteuning voor Stream type in Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Geef NULL terug voor ongeldige invoer in try_to_number.
  • [SPARK-47366] [SC-161324][PYTHON] Pyspark en dataframe toevoegen parse_json aliassen
  • [SPARK-47491] [SC-161176][CORE] Voeg eerst slf4j-api JAR toe aan het classpad voordat de anderen van jars map
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projects CommandResults lokaal
  • [SPARK-47364] [SC-158927][CORE] PluginEndpoint moet waarschuwen wanneer plugins reageren op een eenrichtingsbericht
  • [SPARK-47280] [SC-158350][SQL] Removetimezone beperking voor ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Variant_get expressie toevoegen.
  • [SPARK-47559] [SC-161255][SQL] Codegen-ondersteuning voor variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Window ervoor zorgen dat partitionSpec orderbaar is.
  • [SPARK-47546] [SC-161241][SQL] Validatie verbeteren bij het lezen van variant van Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] dict als MapType afleiden uit Pandas DataFrame om het aanmaken van DataFrame mogelijk te maken
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Maak column met sorteringen in dataframe-API
  • [SPARK-47641] [SC-161376][SQL] De prestaties voor UnaryMinus en Abs verbeteren
  • [SPARK-47631] [SC-161325][SQL] Remove ongebruikte methode SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Standaard spark.metrics.appStatusSource.enabled inschakelen
  • [SPARK-47273] [SC-161162][SS][PYTHON] python-interface voor gegevensstroomschrijver implementeren.
  • [SPARK-47637] [SC-161408][SQL] Gebruik errorCapturingIdentifier op meer plaatsen
  • [SPARK-47497] Terugdraaien “Terugdraaien “[SC-160724][SQL] To_csv ondersteuning bieden voor de uitvoer van array/struct/map/binary als leesbare tekenreeksen””
  • [SPARK-47492] [SC-161316][SQL] Ruimteregels in lexer verruimen
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Valideer de naam van de column met schema in de cache
  • [SPARK-47638] [SC-161339][PS][CONNECT] Sla column naamvalidatie over in PS
  • [SPARK-47363] [SC-161247][SS] Initiële status zonder implementatie van statuslezer voor State API v2.
  • [SPARK-47447] [SC-160448][SQL] Het lezen van Parquet TimestampLTZ als TimestampNTZ toestaan
  • [SPARK-47497] '[SC-160724][SQL] to_csv support intrekken voor de uitvoer van array/struct/map/binary als aantrekkelijke tekenreeksen'
  • [SPARK-47434] [SC-160122][WEBUI] Koppeling statistics in StreamingQueryPage herstellen
  • [SPARK-46761] [SC-159045][SQL] Aanhalingstekenreeksen in een JSON-pad moeten ? ondersteunen. karakters
  • [SPARK-46915] [SC-155729][SQL] Vereenvoudig UnaryMinusAbs en lijn de foutklasse uit
  • [SPARK-47431] [SC-160919][SQL] Standaardsortering op sessieniveau toevoegen
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Een helperfunctie toevoegen om columns te sorteren
  • [SPARK-47570] [SC-161165][SS] Bereikscancoderingswijzigingen integreren met timer-implementatie
  • [SPARK-47497] [SC-160724][SQL] Zorg ervoor dat to_csv de uitvoer van array/struct/map/binary als mooie tekenreeksen ondersteunt
  • [SPARK-47562] [SC-161166][CONNECT] Verwerking van letterlijke waarden buiten plan.py
  • [SPARK-47509] [SC-160902][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
  • [SPARK-47539] [SC-160750][SQL] De retourwaarde van de methode castToString moet worden Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Ondersteuning toevoegen voor op bereikscan gebaseerde sleutelstatuscoderingsprogramma voor gebruik met statusarchiefprovider
  • [SPARK-47517] [SC-160642][CORE][SQL] Geef de voorkeur aan Utils.bytesToString voor grootteweergave
  • [SPARK-47243] [SC-158059][SS] Corrigeer de pakketnaam van StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Ondersteuning voor Python-gegevensbronnen met Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Gebruik Utils.tryWithResource tijdens het lezen van shuffle-gegevens uit externe opslag
  • [SPARK-47474] [SC-160522][CORE] Spark-47461 herstellen en enkele opmerkingen toevoegen
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Vermijd RPC om column naam te valideren met schema in de cache
  • [SPARK-47451] [SC-160749][SQL] Ondersteuning to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] UserDefinedType-ondersteuning toevoegen aan DataTypeUtils.canWrite
  • [SPARK-44708] Revert “[SC-160734][PYTHON] Migrate test_reset_index assert_eq om assertDataFrameEqual te gebruiken”
  • [SPARK-47506] [SC-160740][SQL] Ondersteuning toevoegen aan alle bestandsindelingen voor gesorteerde gegevenstypen
  • [SPARK-47256] [SC-160784][SQL] Namen toewijzen aan foutklassen _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Primaire resource-JAR die twee keer is toegevoegd aan spark.jars in de k8s-clustermodus
  • [SPARK-47398] [SC-160572][SQL] Extraheer een kenmerk voor InMemoryTableScanExec om uitbreidingsfunctionaliteit mogelijk te maken
  • [SPARK-47479] [SC-160623][SQL] Optimize kan geen gegevens naar relaties met meerdere paden schrijven - foutlog
  • [SPARK-47483] [SC-160629][SQL] Ondersteuning toevoegen voor aggregatie- en join-bewerkingen voor matrices met gesorteerde tekenreeksen
  • [SPARK-47458] [SC-160237][CORE] Los het probleem op met het berekenen van het maximum aantal gelijktijdige taken voor de barrièrefase
  • [SPARK-47534] [SC-160737][SQL] o.a.s.variant verplaatsen naar o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Een algemene toewijzing voor TIME WITHOUT TIME ZONE toevoegen aan TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migreer test_reset_index assert_eq om assertDataFrameEqual te gebruiken
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: schema deductietests toevoegen voor waardetags
  • [SPARK-47007] [SC-160630][SQL] De MapSort-expressie toevoegen
  • [SPARK-47523] [SC-160645][SQL] Vervangen afgeschafte JsonParser#getCurrentName door JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Probleem opgelost bij het pushen van niet-ondersteunde syntaxis naar MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Labelbewerkingstype dat wordt gebruikt met het exemplaarvergrendelings-/release van rocksDB-statusarchief
  • [SPARK-47346] [SC-159425][PYTHON] De daemonmodus configureren bij het maken van Python Planner-werkrollen
  • [SPARK-47446] [SC-160163][CORE] Maak BlockManager waarschuwen voordat removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Ondersteuning LIMIT over gecorreleerde subquery's where alleen verwijzingen naar buitenste table
  • [SPARK-47461] [SC-160297][CORE] Remove privéfunctie totalRunningTasksPerResourceProfile uit ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Ondersteuning voor gesorteerde tekenreeksen in matrixbewerkingen
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Factoriseer column naamverwerking buiten plan.py
  • [SPARK-47383] [SC-160144][CORE] Ondersteuning van spark.shutdown.timeout configuratie
  • [SPARK-47342] [SC-159049]Herstel "[SQL] Ondersteuning van TimestampNTZ voor DB2 TIMESTAMP MET TIJDZONE"
  • [SPARK-47486] [SC-160491][CONNECT] Remove ongebruikte privé-ArrowDeserializers.getString methode
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Client & Serverlogica voor streamingquerylistener aan clientzijde
  • [SPARK-47487] [SC-160534][SQL] Vereenvoudigen van code in AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Window Aggregaatondersteuning voor collaties
  • [SPARK-47296] [SC-160457][SQL][SORTERING] Mislukt niet-ondersteunde functies voor niet-binaire sorteringen
  • [SPARK-47380] [SC-160164][CONNECT] Zorg ervoor dat de SparkSession hetzelfde is aan de serverzijde
  • [SPARK-47327] [SC-160069][SQL] Sorteersleutels gelijktijdigheidstest verplaatsen naar CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Migratiedocument toevoegen voor de gedragswijziging van Parquet-timestampdeductie sinds Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Het herstructureren en splitsen van list/timer unittests
  • [SPARK-46473] [SC-155663][SQL] getPartitionedFile methode opnieuw gebruiken
  • [SPARK-47423] [SC-160068][SQL] Sorteringen - Set bewerkingsondersteuning voor tekenreeksen met sorteringen
  • [SPARK-47439] [SC-160115][PYTHON] Documenteer de Python-gegevensbron-API in de API-referentiepagina
  • [SPARK-47457] [SC-160234][SQL] IsolatedClientLoader.supportsHadoopShadedClient oplossen om Hadoop 3.4+ te ondersteunen
  • [SPARK-47366] [SC-159348][SQL] Implementeer parse_json.
  • [SPARK-46331] [SC-152982][SQL] CodegenFallback verwijderen uit subset van DateTime-expressies en version()-expressie
  • [SPARK-47395] [SC-159404] Samenvoeging en sortering toevoegen aan andere API's
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Corrigeer de foutklasse voor DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] SparkConnectListenerBusListener voor streamingquerylistener aan clientzijde
  • [SPARK-47324] [SC-158720][SQL] Ontbrekende tijdstempelconversie toevoegen voor geneste JDBC-typen
  • [SPARK-46962] [SC-158834][SS][PYTHON] Interface toevoegen voor de API voor python-streaminggegevensbron en python-werkrol implementeren om python-streaminggegevensbron uit te voeren
  • [SPARK-45827] [SC-158498][SQL] Gegevenstypecontroles verplaatsen naar CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Ondersteun TimestampNTZ voor DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Gegenereerde columns uitschakelen voor expressies met sorteringen
  • [SPARK-47146] [SC-158247][CORE] Mogelijk draadlek bij sorteren en samenvoegen join
  • [SPARK-46913] [SC-159149][SS] Ondersteuning toevoegen voor timers op basis van verwerking/gebeurtenistijd met transformWithState-operator
  • [SPARK-47375] [SC-159063][SQL] Richtlijnen toevoegen voor tijdstempeltoewijzing in JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Ondersteuning voor TIJDSTEMPEL MET TIJDZONE voor H2Dialect
  • [SPARK-45827] Revert “[SC-158498][SQL] Gegevenstypecontroles verplaatsen naar ...
  • [SPARK-47208] [SC-159279][CORE] Overschrijven van basisoverheadgeheugen toestaan
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Ondersteuning voor Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0 bijwerken
  • [SPARK-46906] [SC-157205][SS] Een controle toevoegen voor wijziging van stateful operators bij streaming.
  • [SPARK-47391] [SC-159283][SQL] Remove de tijdelijke oplossing voor de testcase voor JDK 8
  • [SPARK-47272] [SC-158960][SS] MapState-implementatie toevoegen voor State API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Corrigeer een fout in JDBC's preferTimestampNTZ option doc
  • [SPARK-42328] [SC-157363][SQL] Remove _LEGACY_ERROR_TEMP_1175 uit foutklassen
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Corrigeer de beschrijving van de optie PreferTimestampNTZ in JDBC-document
  • [SPARK-47344] [SC-159146] Breid INVALID_IDENTIFIER foutmelding uit buiten het ondervangen van '-' in een niet-geciteerd identifier en corrigeer "IS ! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Wijzig "collate" in de StringType-typenaam naar kleine letters
  • [SPARK-47087] [SC-157077][SQL] Spark-uitzondering veroorzaken met een foutklasse bij de configuratiewaardebeoordeling
  • [SPARK-47327] [SC-158824][SQL] Thread-veiligheidsprobleem in ICU Collator oplossen
  • [SPARK-47082] [SC-157058][SQL] Foutvoorwaarde buiten de grenzen oplossen
  • [SPARK-47331] [SC-158719][SS] Serialisatie met behulp van caseklassen/primitieven/POJO op basis van SQL-encoder voor Willekeurige status-API v2.
  • [SPARK-47250] [SC-158840][SS] Aanvullende validaties en NERF-wijzigingen toevoegen voor rocksDB-statusprovider en het gebruik van column families
  • [SPARK-47328] [SC-158745][SQL] Hernoem UCS_BASIC sortering naar UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Ondersteuning spark.driver.timeout en DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Migratiedocument toevoegen: TimestampNTZ-type-inferentie voor Parquet-bestanden
  • [SPARK-47309] [SC-158827][SQL][XML] schema inferentie-eenheidstests toevoegen
  • [SPARK-47295] [SC-158850][SQL] ICU StringSearch toegevoegd voor de functies startsWith en endsWith
  • [SPARK-47343] [SC-158851][SQL] NPE herstellen wanneer sqlString variabele waarde null-tekenreeks is in uitvoeren onmiddellijk
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Gebruik protobuf transitieve afhankelijkheid
  • [SPARK-46795] [SC-154143][SQL] Vervang UnsupportedOperationException door SparkUnsupportedOperationException in sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sync PySpark-afhankelijkheden in docs en ontwikkelvereisten
  • [SPARK-47169] [SC-158848][SQL] Bucketing uitschakelen bij gesorteerde gegevensverzamelingen columns
  • [SPARK-42332] [SC-153996][SQL] Wijzigen van de vereiste voor een SparkException in ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Gegevenstypecontroles verplaatsen naar CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Opdrachten vervangen door relaties in een paar tests in SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Vervang de foutklasse _LEGACY_ERROR_TEMP_2020 door een interne fout
  • [SPARK-47248] [SC-158494][SQL][COLLATIE] Verbeterde ondersteuning voor tekenreeksfuncties: bevat
  • [SPARK-47334] [SC-158716][SQL] Laat withColumnRenamed de implementatie van withColumnsRenamed opnieuw gebruiken
  • [SPARK-46442] [SC-153168][SQL] DS V2 ondersteunt het doordrukken van PERCENTILE_CONT en PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] scala.MatchError-verwerking toegevoegd in QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Variant singletontype voor Java toevoegen
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Db2 Docker-installatiekopieën upgraden naar versie 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Trefwoord als collatie gebruiken identifier
  • [SPARK-46817] [SC-154196][CORE] spark-daemon.sh gebruik herstellen door decommission opdracht toe te voegen
  • [SPARK-46739] [SC-153553][SQL] De foutklasse toevoegen UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Voeg de COLLATION_ENABLED configuratievlag toe
  • [SPARK-46774] [SC-153925][SQL][AVRO] Gebruik mapreduce.output.fileoutputformat.compress in plaats van afgeschafte mapred.output.compress in Avro-schrijftaken
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Time-out als de worker geen verbinding maakt.
  • [SPARK-46835] [SC-158355][SQL][Sorteringen] Join ondersteuning voor niet-binaire sorteringen
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Stringfunctieondersteuning: bevat, begint met, eindigt met
  • [SPARK-46077] [SC-157839][SQL] Overweeg het type dat is gegenereerd door TimestampNTZConverter in JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Python-uitzonderingen onderdrukken where PySpark zich niet in het Python-pad bevindt
  • [SPARK-47319] [SC-158599][SQL] De berekening van missingInput verbeteren
  • [SPARK-47316] [SC-158606][SQL] Fix TimestampNTZ in Postgres-array
  • [SPARK-47268] [SC-158158][SQL][Collations] Ondersteuning voor repartitioneren met collations
  • [SPARK-47191] [SC-157831][SQL] Vermijd onnodig opzoeken van relaties bij het ontcachen van table/view
  • [SPARK-47168] [SC-158257][SQL] Schakel parquet-filter pushdown uit bij het werken met niet-standaard gecolleerde tekenreeksen
  • [SPARK-47236] [SC-158015][CORE] deleteRecursivelyUsingJavaIO herstellen om niet-bestaande bestandsinvoer over te slaan
  • [SPARK-47238] [SC-158466][SQL] Verminder het geheugengebruik van uitvoerders door gegenereerde code in WSCG een broadcastvariabele te maken
  • [SPARK-47249] [SC-158133][CONNECT] Opgeloste fout where alle verbindingsuitvoeringen worden beschouwd als verlaten, ongeacht de werkelijke status
  • [SPARK-47202] [SC-157828][PYTHON] Typfouten met tzinfo corrigeren
  • [SPARK-46834] [SC-158139][SQL][Sorteringen] Ondersteuning voor aggregaties
  • [SPARK-47277] [SC-158351][3.5] PySpark util-functie assertDataFrameEqual mag streaming DF niet ondersteunen
  • [SPARK-47155] [SC-158473][PYTHON] Foutklasseprobleem oplossen
  • [SPARK-47245] [SC-158163][SQL] Foutcode voor INVALID_PARTITION_COLUMN_DATA_TYPE verbeteren
  • [SPARK-39771] [SC-158425][CORE] Voeg een waarschuwing bericht toe in Dependency wanneer een te groot aantal shuffle-blokken moet worden gemaakt.
  • [SPARK-47277] [SC-158329] PySpark util function assertDataFrameEqual mag geen ondersteuning bieden voor streaming DF
  • [SPARK-47293] [SC-158356][CORE] BatchSchema bouwen met sparkSchema in plaats van één voor één toe te voegen
  • [SPARK-46732] [SC-153517][CONNECT]Subquery/Broadcast-thread werken met het artefactbeheer van Connect
  • [SPARK-44746] [SC-158332][PYTHON] Voeg meer Python UDTF-documentatie toe voor functies die invoer accepteren tables
  • [SPARK-47120] [SC-157517][SQL] Het pushen van de gegevensfilter met null-vergelijking uit een deelquery leidt tot een NPE in Parquet-filter
  • [SPARK-47251] [SC-158291][PYTHON] Ongeldige typen blokkeren uit het argument args voor sql opdracht
  • [SPARK-47251] Teruggaan naar “[SC-158121][PYTHON] Ongeldige typen blokkeren uit het argument args voor sql opdracht”
  • [SPARK-47015] [SC-157900][SQL] Partitionering uitschakelen voor gegroepeerde columns
  • [SPARK-46846] [SC-154308][CORE] WorkerResourceInfoSerializable expliciet uitbreiden
  • [SPARK-46641] [SC-156314][SS] Drempelwaarde voor maxBytesPerTrigger toevoegen
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner interne functies privé maken
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate hetzelfde type retourneren als de invoer
  • [SPARK-46961] [SC-158183][SS] ProcessorContext gebruiken om handle op te slaan en op te halen
  • [SPARK-46862] [SC-154548][SQL] CSV-column verwijderen uitschakelen in de modus met meerdere regels
  • [SPARK-46950] [SC-155803][CORE][SQL] not available codec foutklasse uitlijnen
  • [SPARK-46368] [SC-153236][CORE] Ondersteuning readyz in REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] Het foutbericht voor Spark verbeteren.table wanneer het argumenttype onjuist is
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Genegeerde PySpark Connect-tekenreekssortering opgelost
  • [SPARK-46552] [SC-151366][SQL] Vervang UnsupportedOperationException door SparkUnsupportedOperationException in catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Fout met pySpark-gesorteerde tekenreeksconversie oplossen
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Spark Connect-sorteringsfout oplossen door collateId protobuf-veld toe te voegen
  • [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi opnieuw probeervol maken en flakiness van ThriftServerWithSparkContextInHttpSuite herstellen
  • [SPARK-46696] [SC-153832][CORE] In ResourceProfileManager moeten functieaanroepen plaatsvinden na variabeledeclaraties
  • [SPARK-47214] [SC-157862][Python] Maak UDTF-API voor analysemethode om constante NULL-argumenten en andere typen argumenten te onderscheiden
  • [SPARK-46766] [SC-153909][SQL][AVRO] ZSTD-buffergroepondersteuning voor AVRO-gegevensbron
  • [SPARK-47192] [SC-157819] Enkele _LEGACY_ERROR_TEMP_0035-fouten converteren
  • [SPARK-46928] [SC-157341][SS] Ondersteuning voor ListState toevoegen in Willekeurige status-API v2.
  • [SPARK-46881] [SC-154612][CORE] Ondersteuning spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Ondersteuning spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Los de fout op waarbij een onjuiste parquet-compressiecodec lz4raw wordt gebruikt.
  • [SPARK-46791] [SC-154018][SQL] Ondersteuning voor Java-Set in JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migreer CatalogNotFoundException naar de foutklasse CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Laat de standaardwaarde van een breder type zich in v2 hetzelfde gedragen als in v1 door het tot een klein letterlijke waarde te versmallen.
  • [SPARK-46664] [SC-153181][CORE] Verbeter Master om snel te herstellen in het geval van zero workers en apps
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz en zstandard ondersteunen compressieniveau voor avro-bestanden

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (ODBC-downloaden, JDBC-downloaden).

Zie onderhoudsupdates voor Databricks Runtime 15.2.

Systeemomgeving

  • besturingssysteem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python-: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
zwart 23.3.0 richtingaanwijzer 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cloudpickle 2.2.1 communicatie 0.1.2
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorateur 5.1.1 distlib 0.3.8
invoerpunten 0.4 Uitvoeren 0.8.3 facettenoverzicht 1.1.1
bestandsvergrendeling 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 sleutelhanger 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 verpakking 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 pit 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-hulpmiddel 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
Verzoeken 2.31.0 RSA 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Zes 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stapelgegevens 0.2.0 statsmodels 0.14.0 vasthoudendheid 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 upgrades zonder toezicht 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wiel 0.38.4 zipp 3.11.0

geïnstalleerde R-bibliotheken

De R-bibliotheken worden geïnstalleerd vanuit de Posit Package Manager CRAN-snapshot.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
terugporteringen 1.4.1 basis 4.3.2 base64enc 0.1-3
bigD 0.2.0 beetje 4.0.5 64-bits 4.0.5
bitops 1.0-7 Blob 1.2.4 laars 1.3-28
brouwsel 1.0-10 Brio 1.1.4 bezem 1.0.5
bslib 0.6.1 cachem 1.0.8 beller 3.7.3
Caret 6.0-94 cellranger 1.1.0 Chron 2.3-61
klas 7.3-22 CLI 3.6.2 clipr 0.8.0
klok 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
configuratie 0.3.2 Tegenstrijdig 1.2.0 cpp11 0.4.7
Crayon 1.5.2 credentials 2.0.1 krul 5.2.0
gegevens.table 1.15.0 gegevenssets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Beschrijving 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 samenvatting 0.6.34
naar beneden gerichte verlichting 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 beletselteken 0.3.2 evalueren 0.23
fansi 1.0.6 kleuren 2.1.1 snelkaart 1.1.1
fontawesome 0.5.2 voor katten 1.0.0 foreach 1.5.2
buitenlands 0.8-85 smeden 0.2.0 Fs 1.6.3
toekomst 1.33.1 future.apply 1.11.1 gorgelen 1.5.2
Generieken 0.1.3 Gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globale variabelen 0.16.2 lijm 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafische elementen 4.3.2 grDevices 4.3.2 raster 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 veiligheidshelm 1.3.1 haven 2.5.4
hoger 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Labeling 0.4.3
later 1.3.2 latwerk 0.21-8 lava 1.7.3
levenscyclus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matrix 1.5-4.1 memoriseren 2.0.1 Methoden 4.3.2
mgcv 1.8-42 Mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 evenwijdig 4.3.2
parallel 1.36.0 pilaar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 prijzen 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 vooruitgang 1.2.3
progressr 0.14.0 Beloften 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 lezer 2.1.5 readxl 1.4.3
Recepten 1.0.9 Rematch 2.0.0 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2.1 reproduceerbaar voorbeeld 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
weegschaal 1.3.0 selectr 0.4-2 sessie-informatie 1.2.2
vorm 1.4.6 glanzend 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 ruimtelijk 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Statistieken 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
overleven 3.5-5 Branie 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
tekstvormgeving 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 tijdwijziging 0.3.0
tijdDatum 4032.109 tinytex 0.49 gereedschap 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 gebruik deze 2.2.2
utf8 1.2.4 hulpprogramma's 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 snor 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 ritssluiting 2.3.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-inheemsen
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-oorspronkelijke inwoners
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-inheemsen
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone foutgevoelige_annotaties 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-bestandsupload commons-bestandsupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrics-Graphite 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreeksjabloon 3.2.1
org.apache.ant mier 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pijlnotatie 15.0.0
org.apache.arrow pijl-geheugen-kern 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pijlvector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-cliënt 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus publiek-aantekeningen 0.13.0
org.apache.zookeeper dierentuinverzorger 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security (beveiligingsmodule van Jetty) 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap vulplaatjes 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1