Delen via

Databricks Runtime 15.2 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Geschiedenis van einde van ondersteuningvoor de einddatum van de ondersteuning. Zie voor alle ondersteunde Databricks Runtime-versies de releaseopmerkingen over Databricks Runtime-versies en compatibiliteit.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 15.2, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in mei 2024.

Tip

Zie de releaseopmerkingen voor Databricks Runtime-versies die het einde van hun ondersteuning (EoS) hebben bereikt, in End-of-support Databricks Runtime releaseopmerkingen. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Gedragswijzigingen

Vacuüm schoont COPY INTO metagegevensbestanden op

Door VACUUM uit te voeren op een tabel die is geschreven met COPY INTO, worden nu niet-gerefereerde metadata opgeschoond die zijn gekoppeld aan het bijhouden van geïngestieerde bestanden. Er is geen invloed op de operationele semantiek van COPY INTO.

Lakehouse Federation is nu algemeen beschikbaar (GA)

In Databricks Runtime 15.2 en hoger zijn Lakehouse Federation connectors voor de volgende databasetypen algemeen beschikbaar:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Sneeuwvlok
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

In deze release worden ook de volgende verbeteringen geïntroduceerd:

  • Ondersteuning voor eenmalige aanmelding (SSO)-verificatie in de Snowflake- en Microsoft SQL Server-connectors.

  • Ondersteuning voor Azure Private Link voor de SQL Server-connector vanuit serverloze rekenomgevingen. Zie stap 3: regels voor privé-eindpunten maken.

  • Ondersteuning voor extra pushdowns (tekenreeks, wiskunde en diverse functies).

  • Verbetering in het slagingspercentage voor pushdown bij verschillende queryvormen.

  • Aanvullende mogelijkheden voor foutopsporing met pushdown.

    • In de uitvoer van EXPLAIN FORMATTED wordt de tekst weergegeven van de query die naar beneden is geduwd.
    • In de gebruikersinterface van het queryprofiel worden de doorgegeven querytekst, federatieve knooppunt-id's en uitvoeringstijden van JDBC-query's (in gedetailleerde modus) weergegeven. Zie Door het systeem gegenereerde federatieve query's weergeven.

BY POSITION voor kolomtoewijzing met behulp van COPY INTO met csv-bestanden zonder koptekst

In Databricks Runtime 15.2 en hoger kunt u de BY POSITION sleutelwoorden (of alternatieve syntaxis ( col_name [ , <col_name> ... ] )) gebruiken met COPY INTO voor CSV-bestanden zonder kop, om de toewijzing van bronkolommen naar doeltabelkolommen te vereenvoudigen. Zie Parameterwaarden.

Geheugenverbruik verminderen wanneer Spark-taken mislukken met een Resubmitted-fout

In Databricks Runtime 15.2 en hoger is de retourwaarde van de Methode Spark TaskInfo.accumulables() leeg wanneer taken mislukken met een Resubmitted fout. Voorheen retourneerde de methode de waarden van een eerdere geslaagde taakpoging. Deze gedragswijziging is van invloed op de volgende consumenten:

  • Spark-taken die gebruikmaken van de EventLoggingListener-klasse.
  • Aangepaste Spark-Listeners.

Als u het vorige gedrag wilt herstellen, stelt u spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled in op false.

Uitvoeringsplanversies voor adaptieve query's weergeven is uitgeschakeld

Om het geheugenverbruik te verminderen, worden de versies van het AQE-abonnement (Adaptive Query Execution) nu standaard uitgeschakeld in de Spark-gebruikersinterface. Als u weergave van AQE-abonnementsversies in de Spark-gebruikersinterface wilt inschakelen, stelt u de spark.databricks.sql.aqe.showPlanChangesInUI.enabled in op true.

Limiet voor bewaarde query's wordt verlaagd om het geheugengebruik van de Spark-gebruikersinterface te verminderen

In Databricks Runtime 15.2 en hoger, om het geheugenverbruik door de Spark UI in Azure Databricks te verminderen, wordt de limiet voor het aantal query's dat zichtbaar is in de gebruikersinterface verlaagd van 1000 naar 100. Als u de limiet wilt wijzigen, stelt u een nieuwe waarde in met behulp van de spark.sql.ui.retainedExecutions Spark-configuratie.

DESCRIBE HISTORY toont nu clusterkolommen voor tabellen die gebruikmaken van liquide clustering

Wanneer u een DESCRIBE HISTORY-query uitvoert, wordt in de kolom operationParameters standaard een clusterBy veld weergegeven voor CREATE OR REPLACE- en OPTIMIZE-bewerkingen. Voor een Delta-tabel die gebruikmaakt van liquide clustering, wordt het clusterBy veld gevuld met de clusterkolommen van de tabel. Als de tabel geen gebruikmaakt van liquide clustering, is het veld leeg.

Nieuwe functies en verbeteringen

Ondersteuning voor primaire en refererende sleutels is algemeen beschikbaar.

Ondersteuning voor primaire en vreemde sleutels in Databricks Runtime is nu algemeen beschikbaar. De GA-release bevat de volgende wijzigingen in de bevoegdheden die zijn vereist voor het gebruik van primaire en vreemde sleutels:

  • Als u een vreemde sleutel wilt definiëren, moet u de SELECT bevoegdheid voor de tabel hebben met de primaire sleutel waarnaar de vreemde sleutel verwijst. U hoeft niet de eigenaar van de tabel te zijn met de primaire sleutel, die eerder vereist was.
  • Het verwijderen van een primaire sleutel met behulp van de CASCADE-clausule heeft geen bevoegdheden nodig voor de tabellen die foreign keys definiëren die verwijzen naar de primaire sleutel. Voorheen moest u eigenaar zijn van de verwijzende tabellen.
  • Voor het verwijderen van een tabel met beperkingen zijn nu dezelfde bevoegdheden vereist als het verwijderen van tabellen die geen beperkingen bevatten.

Zie CONSTRAINT clausule, ADD CONSTRAINT clausuleen DROP CONSTRAINT clausuleom te leren hoe u primaire en refererende sleutels kunt gebruiken met tabellen of weergaven.

Liquid clustering is GA

Ondersteuning voor liquide clustering is nu algemeen beschikbaar met Databricks Runtime 15.2 en hoger. Zie Liquid Clustering gebruiken voor Delta-tabellen.

Type widening is beschikbaar als openbare preview

U kunt nu typebreedheid inschakelen voor tabellen die worden ondersteund door Delta Lake. Tabellen waarvoor typebreiding is ingeschakeld, kunnen het type kolommen wijzigen in een breder gegevenstype zonder onderliggende gegevensbestanden opnieuw te schrijven. Zie type-uitbreiding.

Component voor schemaontwikkeling toegevoegd aan de syntaxis van SQL-samenvoeging

U kunt nu de WITH SCHEMA EVOLUTION-component toevoegen aan een SQL-samenvoegingsinstructie om schemaontwikkeling voor de bewerking mogelijk te maken. Zie schema-evolutie syntaxis voor het samenvoegen van.

Aangepaste pySpark-gegevensbronnen zijn beschikbaar in openbare preview

Een PySpark DataSource kan worden gemaakt met behulp van de Python DataSource-API (PySpark), waarmee u kunt lezen uit aangepaste gegevensbronnen en schrijven naar aangepaste gegevenssinks in Apache Spark met behulp van Python. Zie aangepaste gegevensbronnen van PySpark

applyInPandas en mapInPandas nu beschikbaar op Unity Catalog-rekenproces met modus voor gedeelde toegang

Als onderdeel van een Databricks Runtime 14.3 LTS-onderhoudsrelease worden applyInPandas en mapInPandas UDF-typen nu ondersteund op de modus voor gedeelde toegang, waarop Databricks Runtime 14.3 en hoger wordt uitgevoerd.

Dbutils.widgets.getAll() gebruiken om alle widgets in een notebook op te halen

Gebruik dbutils.widgets.getAll() en om alle waarden van widgets in een notebookop te halen. Dit is vooral handig wanneer u meerdere widgetswaarden doorgeeft aan een Spark SQL-query.

Ondersteuning voor vacuüminventaris

U kunt nu een inventaris opgeven van bestanden waarmee u rekening moet houden bij het uitvoeren van de opdracht VACUUM in een Delta-tabel. Zie de OSS Delta-documenten.

Ondersteuning voor Zstandard-compressiefuncties

U kunt nu de functies zst_compress, zstd_decompressen try_zstd_decompress gebruiken om BINARY gegevens te comprimeren en decomprimeren.

Bugfixes

Queryplannen in de SQL-gebruikersinterface worden nu correct weergegeven PhotonWriteStage

Wanneer ze in de SQL-gebruikersinterface worden weergegeven, tonen write-opdrachten in queryplannen ten onrechte PhotonWriteStage als operator. Met deze release wordt de gebruikersinterface bijgewerkt om PhotonWriteStage als fase weer te geven. Dit is alleen een wijziging in de gebruikersinterface en heeft geen invloed op de wijze waarop query's worden uitgevoerd.

Ray wordt bijgewerkt om problemen met het starten van Ray-clusters op te lossen

Deze release bevat een patchversie van Ray waarmee een wijziging die fouten kan veroorzaken, wordt opgelost waardoor Ray-clusters niet kunnen beginnen met Databricks Runtime voor Machine Learning. Deze wijziging zorgt ervoor dat ray-functionaliteit identiek is aan versies van Databricks Runtime die eerder zijn dan 15.2.

Foutklasse gecorrigeerd voor DataFrame.sort()- en DataFrame.sortWithinPartitions()-functies

Deze release bevat een update voor de PySpark-DataFrame.sort()- en DataFrame.sortWithinPartitions()-functies om ervoor te zorgen dat de foutklasse ZERO_INDEX wordt gegenereerd wanneer 0 wordt doorgegeven als het indexargument. Eerder werd de foutklasse INDEX_NOT_POSITIVE gegeven.

ipywidgets wordt gedowngraded van 8.0.4 naar 7.7.2

Om fouten op te lossen die zijn geïntroduceerd door een upgrade van ipywidgets naar 8.0.4 in Databricks Runtime 15.0, wordt ipywidgets ge downgraded naar 7.7.2 in Databricks Runtime 15.2. Dit is dezelfde versie die is opgenomen in eerdere Databricks Runtime-versies.

Bibliotheekverbeteringen

  • Bijgewerkte Python-bibliotheken:
    • GitPython van 3.1.42 tot 3.1.43
    • google-api-core van 2.17.1 tot 2.18.0
    • google-auth van 2.28.1 tot 2.29.0
    • google-cloud-storage van 2.15.0 tot 2.16.0
    • googleapis-common-protos van 1.62.0 tot 1.63.0
    • ipywidgets van 8.0.4 tot 7.7.2
    • mlflow-skinny van 2.11.1 tot 2.11.3
    • s3transfer van 0.10.0 naar 0.10.1
    • sqlparse van 0.4.4 tot 0.5.0
    • typing_extensions van 4.7.1 tot 4.10.0
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:
    • com.amazonaws.aws-java-sdk-autoscaling van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-config van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-core van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-directory van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ecs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-efs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-emr van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-glacier van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-glue van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-iam van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-importexport van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-kms van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-lambda van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-logs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-rds van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-redshift van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-route53 van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-s3 van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ses van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-sns van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-sqs van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-ssm van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-sts van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-support van 1.12.390 tot 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces van 1.12.390 tot 1.12.610
    • com.amazonaws.jmespath-java van 1.12.390 tot 1.12.610

Apache Spark

Databricks Runtime 15.2 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 15.1 (EoS), evenals de volgende aanvullende foutoplossingen en verbeteringen in Spark:

  • [SPARK-47941] [SC-163568] [SS] [Verbinding] ForeachBatch-worker-initialisatiefouten doorgeven aan gebruikers voor PySpark
  • [SPARK-47412] [SC-163455][SQL] Ondersteuning voor sortering toevoegen voor LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Plaats 'bang' onder een configuratie
  • [SPARK-46820] [SC-157093][PYTHON] Regressie van foutbericht herstellen door new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource managers: gestructureerde migratie van logboekregistratie
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Variantfuncties toevoegen aan Scala en Python.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Pagina Environment toevoegen aan Master UI
  • [SPARK-47805] [SC-163459][SS] TTL implementeren voor MapState
  • [SPARK-47900] [SC-163326] Controle voor impliciete sortering (UTF8_BINARY) corrigeren
  • [SPARK-47902] [SC-163316][SQL]Compute Current Time* expressies vouwbaar maken
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Ondersteuning kolomtype in splitsfunctie voor scala en Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Ondersteuning voor het lezen van multidimensionale matrices
  • [SPARK-47416] [SC-163001][SQL] Nieuwe functies toevoegen aan CollationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Aggregatiefout opgelost in RewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Is_variant_null-expressie implementeren
  • [SPARK-47883] [SC-163184][SQL] CollectTailExec.doExecute lui maken met RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect onderscheidt TIMESTAMP van TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Een DEBUG-log toevoegen aan DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Regressie van ExpressionSet-prestaties herstellen in scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] PySpark-werkpool bestendigheid tegen crashes
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Pyspark.resource compatibel maken met pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Ongebruikte import spark/connect/common.proto verwijderen uit spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Maak pyspark.worker_utils compatibel met pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: Ondersteuning voor multidimensionale matrix aan de schrijfzijde
  • [SPARK-47617] [SC-162513][SQL] Testinfrastructuur voor sorteringen toevoegen TPC-DS
  • [SPARK-47356] [SC-162858][SQL] Ondersteuning toevoegen voor ConcatWs & Elt (alle sorteringen)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] dict als MapType van Pandas DataFrame afleiden om het maken van een DataFrame mogelijk te maken.
  • [SPARK-47863] [SC-162974][SQL] Repareer startsWith & endsWith collatie-bewuste implementatie voor ICU
  • [SPARK-47867] [SC-162966][SQL] Ondersteuningsvariant in JSON-scan.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] VariantVal voor PySpark toevoegen
  • [SPARK-47803] [SC-162726][SQL] Ondersteuning voor cast naar variant.
  • [SPARK-47769] [SC-162841][SQL] Schema_of_variant_agg expressie toevoegen.
  • [SPARK-47420] [SC-162842][SQL] Testuitvoer repareren
  • [SPARK-47430] [SC-161178][SQL] Ondersteuning GROUP BY voor MapType
  • [SPARK-47357] [SC-162751][SQL] Ondersteuning toevoegen voor Upper, Lower, InitCap (alle sorteringen)
  • [SPARK-47788] [SC-162729][SS] Zorg voor dezelfde hashpartitionering voor streaming stateful ops
  • [SPARK-47776] [SC-162291][SS] Binaire ongelijkheidsvergelijking is niet toegestaan in het sleutelschema van een toestandsafhankelijke operator.
  • [SPARK-47673] [SC-162824][SS] TTL implementeren voor ListState
  • [SPARK-47818] [SC-162845][CONNECT] Plancache introduceren in SparkConnectPlanner om de prestaties van het analyseren van aanvragen te verbeteren
  • [SPARK-47694] [SC-162783][CONNECT] Maximale berichtgrootte aan de clientzijde configureren
  • [SPARK-47274] Revert “[SC-162479][PYTHON][SQL] Meer nuttige informatie bieden..."
  • [SPARK-47616] [SC-161193][SQL] Gebruikersdocument toevoegen voor het mappen van Spark SQL-gegevenstypen vanuit MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Los het genereren van proto-bestanden op
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Releasescript wijzigen om pyspark-connect vrij te geven
  • [SPARK-47410] [SC-162518][SQL] UTF8String en CollationFactory herstructureren
  • [SPARK-47807] [SC-162505][PYTHON][ML] Pyspark.ml compatibel maken met pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Speciale verwerking van JSON-type voor MySQL Connector/J 5.x
  • [SPARK-47765] Maak "[SC-162636][SQL] SET SORTERING toevoegen aan pars..." ongedaan
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Verbeteren van de bruikbaarheid van de Voortgangshandler
  • [SPARK-47289] [SC-161877][SQL] Uitbreidingen toestaan om uitgebreide informatie in het uitlegplan vast te leggen
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Geef nuttigere context voor PySpark DataFrame-API-fouten
  • [SPARK-47765] [SC-162636][SQL] SET COLLATIE toevoegen aan parserregels
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite mislukt met een ongeldig abonnement
  • [SPARK-47812] [SC-162696][CONNECT] Ondersteuning voor serialisatie van SparkSession voor ForEachBatch-werker
  • [SPARK-47253] [SC-162698][CORE] LiveEventBus stoppen zonder dat de gebeurteniswachtrij volledig leeg is
  • [SPARK-47827] [SC-162625][PYTHON] Ontbrekende waarschuwingen voor afgeschafte functies
  • [SPARK-47733] [SC-162628][SS] Aangepaste metrische gegevens toevoegen voor de transformWithState-operator die deel uitmaakt van de voortgang van de query
  • [SPARK-47784] [SC-162623][SS] TTLMode en TimeoutMode samenvoegen in één TimeMode.
  • [SPARK-47775] [SC-162319][SQL] Ondersteuning voor resterende scalaire typen in de variantspecificatie.
  • [SPARK-47736] [SC-162503][SQL] Ondersteuning voor AbstractArrayType toevoegen
  • [SPARK-47081] [SC-161758][CONNECT] Ondersteuning voor uitvoering en voortgang van query's
  • [SPARK-47682] [SC-162138][SQL] Ondersteuningscast van variant.
  • [SPARK-47802] [SC-162478][SQL] Keer () van betekenis struct() terug naar betekenis *
  • [SPARK-47680] [SC-162318][SQL] Variant_explode-expressie toevoegen.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression moet de fout controleren voor elke codegenmodus
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementeer SQLStringFormatter met WithRelations
  • [SPARK-47693] [SC-162326][SQL] Optimalisatie toevoegen voor vergelijking van kleine letters van UTF8String die wordt gebruikt in UTF8_BINARY_LCASE sortering
  • [SPARK-47541] [SC-162006][SQL] Geordende tekenreeksen in complexe typen die bewerkingen ondersteunen zoals omkeren, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] MapInPandas / mapInArrow-ondersteuning voor ResourceProfile maken
  • [SPARK-47727] [SC-161982][PYTHON] SparkConf naar het hoofdniveau maken zowel voor SparkSession als voor SparkContext
  • [SPARK-47406] [SC-159376][SQL] TIJDSTEMPEL en DATUM/TIJD verwerken in MYSQLDialect
  • [SPARK-47081] Herstel van “[SC-161758][CONNECT] Ondersteuning voor Query-uitvoeri...
  • [SPARK-47681] [SC-162043][SQL] Schema_of_variant-expressie toevoegen.
  • [SPARK-47783] [SC-162222] Voeg enkele ontbrekende SQLSTATEs toe en maak de YY000 schoon om te gebruiken…
  • [SPARK-47634] [SC-161558][SQL] Verouderde ondersteuning toevoegen voor het uitschakelen van normalisatie van kaartsleutels
  • [SPARK-47746] [SC-162022] Op ordinaal gebaseerde bereikcodering implementeren in de RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec moet altijd de context.session gebruiken
  • [SPARK-47643] [SC-161534][SS][PYTHON] Pyspark-test toevoegen voor python-streamingbron
  • [SPARK-47582] [SC-161943][SQL] Catalyst logInfo migreren met variabelen naar gestructureerd framework voor logboekregistratie
  • [SPARK-47558] [SC-162007][SS] Status-TTL-ondersteuning voor ValueState
  • [SPARK-47358] [SC-160912][SQL][SORTERING] Ondersteuning voor herhalingsexpressies verbeteren om het juiste gegevenstype te retourneren
  • [SPARK-47504] [SC-162044][SQL] Los AbstractDataType simpleStrings op voor StringTypeCollated
  • [SPARK-47719] '[SC-161909][SQL] Wijzigen spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Ondersteuning voor sorteringsfilters per bestandsbron implementeren
  • [SPARK-47081] [SC-161758][CONNECT] Ondersteuning voor uitvoering en voortgang van query's
  • [SPARK-47744] [SC-161999] Ondersteuning toevoegen voor bytes met een negatieve waarde in bereikcoderingsprogramma
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Een self-joinfout oplossen
  • [SPARK-47310] [SC-161930][SS] Micro-benchmark toevoegen voor samenvoegbewerkingen voor meerdere waarden in het waardegedeelte van het statusarchief
  • [SPARK-47700] [SC-161774][SQL] Opmaak van foutberichten met treeNode oplossen
  • [SPARK-47752] [SC-161993][PS][CONNECT] Pyspark.pandas compatibel maken met pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] LogWarning/logInfo-API implementeren in gestructureerd logboekregistratieframework
  • [SPARK-47107] [SC-161201][SS][PYTHON] Partitielezer implementeren voor python-streaminggegevensbron
  • [SPARK-47553] [SC-161772][SS] Java-ondersteuning voor transformWithState-operator-API's toevoegen
  • [SPARK-47719] [SC-161909][SQL] Wijzig de standaardinstelling spark.sql.legacy.timeParserPolicy in CORRECTED
  • [SPARK-47655] [SC-161761][SS] Timer integreren met initiële statusafhandeling voor status-v2
  • [SPARK-47665] [SC-161550][SQL] Gebruik SMALLINT om ShortType naar MYSQL te schrijven
  • [SPARK-47210] [SC-161777][SQL] Toevoeging van impliciete cast-conversie zonder onbepaalde ondersteuning
  • [SPARK-47653] [SC-161767][SS] Ondersteuning toevoegen voor negatieve numerieke typen en het coderingsprogramma voor bereikscansleutels
  • [SPARK-46743] [SC-160777][SQL] Telfout na constante optimalisatie
  • [SPARK-47525] [SC-154568][SQL] Ondersteuning voor het samenvoegen van subquerycorrelaties met kaartattributen.
  • [SPARK-46366] [SC-151277][SQL] Gebruik de WITH-expressie in BETWEEN om dubbele expressies te voorkomen
  • [SPARK-47563] [SC-161183][SQL] Kaartnormalisatie toevoegen bij het maken
  • [SPARK-42040] [SC-161171][SQL] SPJ: Een nieuwe API voor V2-invoerpartitie introduceren om partitiestatistieken te rapporteren
  • [SPARK-47679] [SC-161549][SQL] Gebruik rechtstreeks namen van HiveConf.getConfVars of Hive-conf
  • [SPARK-47685] [SC-161566][SQL] Herstel de ondersteuning voor Stream type in Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Geef NULL terug voor ongeldige invoer in try_to_number.
  • [SPARK-47366] [SC-161324][PYTHON] Pyspark en dataframe toevoegen parse_json aliassen
  • [SPARK-47491] [SC-161176][CORE] Voeg eerst slf4j-api JAR toe aan het classpad voordat de anderen van jars map
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projects CommandResults lokaal
  • [SPARK-47364] [SC-158927][CORE] PluginEndpoint moet waarschuwen wanneer plugins reageren op een eenrichtingsbericht
  • [SPARK-47280] [SC-158350][SQL] Tijdzonebeperking verwijderen voor ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Variant_get expressie toevoegen.
  • [SPARK-47559] [SC-161255][SQL] Codegen-ondersteuning voor variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Zorg ervoor dat Window partitionSpec orderbaar is.
  • [SPARK-47546] [SC-161241][SQL] Validatie verbeteren bij het lezen van variant van Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] dict als MapType van Pandas DataFrame afleiden om het maken van een DataFrame mogelijk te maken.
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Kolom maken met sorteringen in dataframe-API
  • [SPARK-47641] [SC-161376][SQL] De prestaties voor UnaryMinus en Abs verbeteren
  • [SPARK-47631] [SC-161325][SQL] Ongebruikte SQLConf.parquetOutputCommitterClass methode verwijderen
  • [SPARK-47674] [SC-161504][CORE] Standaard spark.metrics.appStatusSource.enabled inschakelen
  • [SPARK-47273] [SC-161162][SS][PYTHON] python-interface voor gegevensstroomschrijver implementeren.
  • [SPARK-47637] [SC-161408][SQL] Gebruik errorCapturingIdentifier op meer plaatsen
  • [SPARK-47497] Terugdraaien “Terugdraaien “[SC-160724][SQL] To_csv ondersteuning bieden voor de uitvoer van array/struct/map/binary als leesbare tekenreeksen””
  • [SPARK-47492] [SC-161316][SQL] Ruimteregels in lexer verruimen
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Valideer de kolomnaam met een schema in de cache
  • [SPARK-47638] [SC-161339][PS][CONNECT] Kolomnaamvalidatie overslaan in PS
  • [SPARK-47363] [SC-161247][SS] Initiële status zonder implementatie van statuslezer voor State API v2.
  • [SPARK-47447] [SC-160448][SQL] Het lezen van Parquet TimestampLTZ als TimestampNTZ toestaan
  • [SPARK-47497] '[SC-160724][SQL] to_csv support intrekken voor de uitvoer van array/struct/map/binary als aantrekkelijke tekenreeksen'
  • [SPARK-47434] [SC-160122][WEBUI] Koppeling statistics in StreamingQueryPage herstellen
  • [SPARK-46761] [SC-159045][SQL] Aanhalingstekenreeksen in een JSON-pad moeten ? ondersteunen. karakters
  • [SPARK-46915] [SC-155729][SQL] Vereenvoudig UnaryMinusAbs en lijn de foutklasse uit
  • [SPARK-47431] [SC-160919][SQL] Standaardsortering op sessieniveau toevoegen
  • [SPARK-47620] [SC-161242][PYTHON][VERBINDING] Een helperfunctie toevoegen om kolommen te sorteren
  • [SPARK-47570] [SC-161165][SS] Bereikscancoderingswijzigingen integreren met timer-implementatie
  • [SPARK-47497] [SC-160724][SQL] Zorg ervoor dat to_csv de uitvoer van array/struct/map/binary als mooie tekenreeksen ondersteunt
  • [SPARK-47562] [SC-161166][CONNECT] Verwerking van letterlijke waarden buiten plan.py
  • [SPARK-47509] [SC-160902][SQL] Subquery-expressies blokkeren in lambda- en hogere volgordefuncties
  • [SPARK-47539] [SC-160750][SQL] De retourwaarde van de methode castToString moet worden Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Ondersteuning toevoegen voor op bereikscan gebaseerde sleutelstatuscoderingsprogramma voor gebruik met statusarchiefprovider
  • [SPARK-47517] [SC-160642][CORE][SQL] Geef de voorkeur aan Utils.bytesToString voor grootteweergave
  • [SPARK-47243] [SC-158059][SS] Corrigeer de pakketnaam van StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Ondersteuning voor Python-gegevensbronnen met Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Gebruik Utils.tryWithResource tijdens het lezen van shuffle-gegevens uit externe opslag
  • [SPARK-47474] [SC-160522][CORE] Spark-47461 herstellen en enkele opmerkingen toevoegen
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Vermijd RPC om kolomnaam te valideren met schema in cache
  • [SPARK-47451] [SC-160749][SQL] Ondersteuning to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] UserDefinedType-ondersteuning toevoegen aan DataTypeUtils.canWrite
  • [SPARK-44708] Revert “[SC-160734][PYTHON] Migrate test_reset_index assert_eq om assertDataFrameEqual te gebruiken”
  • [SPARK-47506] [SC-160740][SQL] Ondersteuning toevoegen aan alle bestandsindelingen voor gesorteerde gegevenstypen
  • [SPARK-47256] [SC-160784][SQL] Namen toewijzen aan foutklassen _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Primaire resource-JAR die twee keer is toegevoegd aan spark.jars in de k8s-clustermodus
  • [SPARK-47398] [SC-160572][SQL] Extraheer een kenmerk voor InMemoryTableScanExec om uitbreidingsfunctionaliteit mogelijk te maken
  • [SPARK-47479] [SC-160623][SQL] Optimaliseren kan geen gegevens schrijven naar relaties met meerdere paden
  • [SPARK-47483] [SC-160629][SQL] Ondersteuning toevoegen voor aggregatie- en joinbewerkingen voor matrices met gesorteerde tekenreeksen
  • [SPARK-47458] [SC-160237][CORE] Los het probleem op met het berekenen van het maximum aantal gelijktijdige taken voor de barrièrefase
  • [SPARK-47534] [SC-160737][SQL] o.a.s.variant verplaatsen naar o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Een algemene toewijzing voor TIME WITHOUT TIME ZONE toevoegen aan TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migreer test_reset_index assert_eq om assertDataFrameEqual te gebruiken
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Schemadeductietests toevoegen voor waardetags
  • [SPARK-47007] [SC-160630][SQL] De MapSort-expressie toevoegen
  • [SPARK-47523] [SC-160645][SQL] Vervangen afgeschafte JsonParser#getCurrentName door JsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Probleem opgelost bij het pushen van niet-ondersteunde syntaxis naar MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Labelbewerkingstype dat wordt gebruikt met het exemplaarvergrendelings-/release van rocksDB-statusarchief
  • [SPARK-47346] [SC-159425][PYTHON] De daemonmodus configureren bij het maken van Python Planner-werkrollen
  • [SPARK-47446] [SC-160163][CORE] Maak BlockManager waarschuwen voordat removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Ondersteunt LIMIT over gecorreleerde subquery's waarbij de predicaten enkel naar de buitenste tabel verwijzen
  • [SPARK-47461] [SC-160297][CORE] Privéfunctie totalRunningTasksPerResourceProfile verwijderen uit ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Ondersteuning voor gesorteerde tekenreeksen in matrixbewerkingen
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Splitsing van de kolomnaamverwerking uit plan.py
  • [SPARK-47383] [SC-160144][CORE] Ondersteuning van spark.shutdown.timeout configuratie
  • [SPARK-47342] [SC-159049]Herstel "[SQL] Ondersteuning van TimestampNTZ voor DB2 TIMESTAMP MET TIJDZONE"
  • [SPARK-47486] [SC-160491][CONNECT] Ongebruikte privé-ArrowDeserializers.getString methode verwijderen
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Client & Serverlogica voor streamingquerylistener aan clientzijde
  • [SPARK-47487] [SC-160534][SQL] Vereenvoudigen van code in AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Window Aggregate-ondersteuning voor sorteringen
  • [SPARK-47296] [SC-160457][SQL][SORTERING] Mislukt niet-ondersteunde functies voor niet-binaire sorteringen
  • [SPARK-47380] [SC-160164][CONNECT] Zorg ervoor dat de SparkSession hetzelfde is aan de serverzijde
  • [SPARK-47327] [SC-160069][SQL] Sorteersleutels gelijktijdigheidstest verplaatsen naar CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Migratiedocument toevoegen voor de gedragswijziging van Parquet-timestampdeductie sinds Spark 3.3
  • [SPARK-47449] [SC-160372][SS] Herstructureren en splitsen van eenheidslijsten/timer testen
  • [SPARK-46473] [SC-155663][SQL] getPartitionedFile methode opnieuw gebruiken
  • [SPARK-47423] [SC-160068][SQL] Sorteringen - Ondersteuning voor bewerkingen instellen voor tekenreeksen met sorteringen
  • [SPARK-47439] [SC-160115][PYTHON] Documenteer de Python-gegevensbron-API in de API-referentiepagina
  • [SPARK-47457] [SC-160234][SQL] IsolatedClientLoader.supportsHadoopShadedClient oplossen om Hadoop 3.4+ te ondersteunen
  • [SPARK-47366] [SC-159348][SQL] Implementeer parse_json.
  • [SPARK-46331] [SC-152982][SQL] CodegenFallback verwijderen uit subset van DateTime-expressies en version()-expressie
  • [SPARK-47395] [SC-159404] Samenvoeging en sortering toevoegen aan andere API's
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Corrigeer de foutklasse voor DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] SparkConnectListenerBusListener voor streamingquerylistener aan clientzijde
  • [SPARK-47324] [SC-158720][SQL] Ontbrekende tijdstempelconversie toevoegen voor geneste JDBC-typen
  • [SPARK-46962] [SC-158834][SS][PYTHON] Interface toevoegen voor de API voor python-streaminggegevensbron en python-werkrol implementeren om python-streaminggegevensbron uit te voeren
  • [SPARK-45827] [SC-158498][SQL] Gegevenstypecontroles verplaatsen naar CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Ondersteun TimestampNTZ voor DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Gegenereerde kolommen uitschakelen voor expressies met sorteringen
  • [SPARK-47146] [SC-158247][CORE] Mogelijke threadlek bij het uitvoeren van sorteer-merge-join
  • [SPARK-46913] [SC-159149][SS] Ondersteuning toevoegen voor timers op basis van verwerking/gebeurtenistijd met transformWithState-operator
  • [SPARK-47375] [SC-159063][SQL] Richtlijnen toevoegen voor tijdstempeltoewijzing in JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Ondersteuning voor TIJDSTEMPEL MET TIJDZONE voor H2Dialect
  • [SPARK-45827] Revert “[SC-158498][SQL] Gegevenstypecontroles verplaatsen naar ...
  • [SPARK-47208] [SC-159279][CORE] Overschrijven van basisoverheadgeheugen toestaan
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Ondersteuning voor Oracle TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [SC-156916][PYTHON] MyPy 1.8.0 bijwerken
  • [SPARK-46906] [SC-157205][SS] Een controle toevoegen voor wijziging van stateful operators bij streaming.
  • [SPARK-47391] [SC-159283][SQL] Verwijder de tijdelijke oplossing voor de testcase voor JDK 8
  • [SPARK-47272] [SC-158960][SS] MapState-implementatie toevoegen voor State API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Corrigeer een fout in JDBC's preferTimestampNTZ option doc
  • [SPARK-42328] [SC-157363][SQL] Verwijder _LEGACY_ERROR_TEMP_1175 uit foutklassen
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Corrigeer de beschrijving van de optie PreferTimestampNTZ in JDBC-document
  • [SPARK-47344] [SC-159146] Breid INVALID_IDENTIFIER fout uit buiten het ondervangen van '-' in een niet-quote id en corrigeer "IS ! NULL" et al.
  • [SPARK-47340] [SC-159039][SQL] Wijzig "collate" in de StringType-typenaam naar kleine letters
  • [SPARK-47087] [SC-157077][SQL] Spark-uitzondering veroorzaken met een foutklasse bij de configuratiewaardebeoordeling
  • [SPARK-47327] [SC-158824][SQL] Thread-veiligheidsprobleem in ICU Collator oplossen
  • [SPARK-47082] [SC-157058][SQL] Foutvoorwaarde buiten de grenzen oplossen
  • [SPARK-47331] [SC-158719][SS] Serialisatie met behulp van caseklassen/primitieven/POJO op basis van SQL-encoder voor Willekeurige status-API v2.
  • [SPARK-47250] [SC-158840][SS] Aanvullende validaties en NERF-wijzigingen toevoegen voor de statusprovider RocksDB en het gebruik van kolomfamilies
  • [SPARK-47328] [SC-158745][SQL] Hernoem UCS_BASIC sortering naar UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Ondersteuning spark.driver.timeout en DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Doc] Migratiedocument toevoegen: TimestampNTZ-type-inferentie voor Parquet-bestanden
  • [SPARK-47309] [SC-158827][SQL][XML] Schema-afleidingsunittests toevoegen
  • [SPARK-47295] [SC-158850][SQL] ICU StringSearch toegevoegd voor de functies startsWith en endsWith
  • [SPARK-47343] [SC-158851][SQL] NPE herstellen wanneer sqlString variabele waarde null-tekenreeks is in uitvoeren onmiddellijk
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Gebruik protobuf transitieve afhankelijkheid
  • [SPARK-46795] [SC-154143][SQL] Vervang UnsupportedOperationException door SparkUnsupportedOperationException in sql/core
  • [SPARK-46087] [SC-149023][PYTHON] PySpark-afhankelijkheden synchroniseren in docs- en dev-vereisten
  • [SPARK-47169] [SC-158848][SQL] Bucketing uitschakelen voor gesorteerde kolommen
  • [SPARK-42332] [SC-153996][SQL] Wijzigen van de vereiste voor een SparkException in ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Gegevenstypecontroles verplaatsen naar CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Opdrachten vervangen door relaties in een paar tests in SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Vervang de foutklasse _LEGACY_ERROR_TEMP_2020 door een interne fout
  • [SPARK-47248] [SC-158494][SQL][COLLATIE] Verbeterde ondersteuning voor tekenreeksfuncties: bevat
  • [SPARK-47334] [SC-158716][SQL] Laat withColumnRenamed de implementatie van withColumnsRenamed opnieuw gebruiken
  • [SPARK-46442] [SC-153168][SQL] DS V2 ondersteunt het doordrukken van PERCENTILE_CONT en PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] scala.MatchError-verwerking toegevoegd in QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Variant singletontype voor Java toevoegen
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Db2 Docker-installatiekopieën upgraden naar versie 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] COLLATE-zoekwoord als identificator
  • [SPARK-46817] [SC-154196][CORE] spark-daemon.sh gebruik herstellen door decommission opdracht toe te voegen
  • [SPARK-46739] [SC-153553][SQL] De foutklasse toevoegen UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Voeg de COLLATION_ENABLED configuratievlag toe
  • [SPARK-46774] [SC-153925][SQL][AVRO] Gebruik mapreduce.output.fileoutputformat.compress in plaats van afgeschafte mapred.output.compress in Avro-schrijftaken
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Time-out als de worker geen verbinding maakt.
  • [SPARK-46835] [SC-158355][SQL][Collations] Join-ondersteuning voor niet-binaire sorteringen
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Stringfunctieondersteuning: bevat, begint met, eindigt met
  • [SPARK-46077] [SC-157839][SQL] Overweeg het type dat is gegenereerd door TimestampNTZConverter in JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Python-uitzonderingen onderdrukken waarbij PySpark zich niet in het Python-pad bevindt
  • [SPARK-47319] [SC-158599][SQL] De berekening van missingInput verbeteren
  • [SPARK-47316] [SC-158606][SQL] Fix TimestampNTZ in Postgres-array
  • [SPARK-47268] [SC-158158][SQL][Collations] Ondersteuning voor repartitioneren met collations
  • [SPARK-47191] [SC-157831][SQL] Vermijd onnodige relationele opzoekactie bij het verwijderen van de tabel en weergave uit cache.
  • [SPARK-47168] [SC-158257][SQL] Schakel parquet-filter pushdown uit bij het werken met niet-standaard gecolleerde tekenreeksen
  • [SPARK-47236] [SC-158015][CORE] deleteRecursivelyUsingJavaIO herstellen om niet-bestaande bestandsinvoer over te slaan
  • [SPARK-47238] [SC-158466][SQL] Verminder het geheugengebruik van uitvoerders door gegenereerde code in WSCG een broadcastvariabele te maken
  • [SPARK-47249] [SC-158133][CONNECT] Opgeloste fout waarbij alle verbindingsuitvoeringen worden beschouwd als verlaten, ongeacht hun werkelijke status
  • [SPARK-47202] [SC-157828][PYTHON] Typfouten met tzinfo corrigeren
  • [SPARK-46834] [SC-158139][SQL][Sorteringen] Ondersteuning voor aggregaties
  • [SPARK-47277] [SC-158351][3.5] PySpark util-functie assertDataFrameEqual mag streaming DF niet ondersteunen
  • [SPARK-47155] [SC-158473][PYTHON] Foutklasseprobleem oplossen
  • [SPARK-47245] [SC-158163][SQL] Foutcode voor INVALID_PARTITION_COLUMN_DATA_TYPE verbeteren
  • [SPARK-39771] [SC-158425][CORE] Voeg een waarschuwing bericht toe in Dependency wanneer een te groot aantal shuffle-blokken moet worden gemaakt.
  • [SPARK-47277] [SC-158329] PySpark util function assertDataFrameEqual mag geen ondersteuning bieden voor streaming DF
  • [SPARK-47293] [SC-158356][CORE] BatchSchema bouwen met sparkSchema in plaats van één voor één toe te voegen
  • [SPARK-46732] [SC-153517][CONNECT]Subquery/Broadcast-thread werken met het artefactbeheer van Connect
  • [SPARK-44746] [SC-158332][PYTHON] Voeg meer Python UDTF-documentatie toe voor functies die invoertabellen accepteren
  • [SPARK-47120] [SC-157517][SQL] Het pushen van de gegevensfilter met null-vergelijking uit een deelquery leidt tot een NPE in Parquet-filter
  • [SPARK-47251] [SC-158291][PYTHON] Ongeldige typen blokkeren uit het argument args voor sql opdracht
  • [SPARK-47251] Teruggaan naar “[SC-158121][PYTHON] Ongeldige typen blokkeren uit het argument args voor sql opdracht”
  • [SPARK-47015] [SC-157900][SQL] Partitionering uitschakelen voor gesorteerde kolommen
  • [SPARK-46846] [SC-154308][CORE] WorkerResourceInfoSerializable expliciet uitbreiden
  • [SPARK-46641] [SC-156314][SS] Drempelwaarde voor maxBytesPerTrigger toevoegen
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner interne functies privé maken
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate hetzelfde type retourneren als de invoer
  • [SPARK-46961] [SC-158183][SS] ProcessorContext gebruiken om handle op te slaan en op te halen
  • [SPARK-46862] [SC-154548][SQL] CSV-kolom snoeien uitschakelen in de modus met meerdere lijnen
  • [SPARK-46950] [SC-155803][CORE][SQL] not available codec foutklasse uitlijnen
  • [SPARK-46368] [SC-153236][CORE] Ondersteuning readyz in REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] Foutbericht voor spark.table verbeteren wanneer argumenttype onjuist is
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Genegeerde PySpark Connect-tekenreekssortering opgelost
  • [SPARK-46552] [SC-151366][SQL] Vervang UnsupportedOperationException door SparkUnsupportedOperationException in catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Fout met pySpark-gesorteerde tekenreeksconversie oplossen
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Spark Connect-sorteringsfout oplossen door collateId protobuf-veld toe te voegen
  • [SPARK-46575] [SC-153200][SQL][HIVE] HiveThriftServer2.startWithContext DevelopApi opnieuw probeervol maken en flakiness van ThriftServerWithSparkContextInHttpSuite herstellen
  • [SPARK-46696] [SC-153832][CORE] In ResourceProfileManager moeten functieaanroepen plaatsvinden na variabeledeclaraties
  • [SPARK-47214] [SC-157862][Python] Maak UDTF-API voor analysemethode om constante NULL-argumenten en andere typen argumenten te onderscheiden
  • [SPARK-46766] [SC-153909][SQL][AVRO] ZSTD-buffergroepondersteuning voor AVRO-gegevensbron
  • [SPARK-47192] [SC-157819] Enkele _LEGACY_ERROR_TEMP_0035-fouten converteren
  • [SPARK-46928] [SC-157341][SS] Ondersteuning voor ListState toevoegen in Willekeurige status-API v2.
  • [SPARK-46881] [SC-154612][CORE] Ondersteuning spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Ondersteuning spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Los de fout op waarbij een onjuiste parquet-compressiecodec lz4raw wordt gebruikt.
  • [SPARK-46791] [SC-154018][SQL] Ondersteuning voor Java Set in JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migreer CatalogNotFoundException naar de foutklasse CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Laat de standaardwaarde van een breder type zich in v2 hetzelfde gedragen als in v1 door het tot een klein letterlijke waarde te versmallen.
  • [SPARK-46664] [SC-153181][CORE] Verbeter Master om snel te herstellen in het geval van zero workers en apps
  • [SPARK-46759] [SC-153839][SQL][AVRO] Codec xz en zstandard ondersteunen compressieniveau voor avro-bestanden

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (ODBC-downloaden, JDBC-downloaden).

Zie onderhoudsupdates voor Databricks Runtime 15.2.

Systeemomgeving

  • besturingssysteem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python-: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
zwart 23.3.0 richtingaanwijzer 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cloudpickle 2.2.1 communicatie 0.1.2
contourpy 1.0.5 cryptografie 41.0.3 wielrijder 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorateur 5.1.1 distlib 0.3.8
invoerpunten 0.4 Uitvoeren 0.8.3 facettenoverzicht 1.1.1
bestandsvergrendeling 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 sleutelhanger 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 verpakking 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.4.0 pit 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-hulpmiddel 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
Verzoeken 2.31.0 RSA 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Zes 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stapelgegevens 0.2.0 statsmodels 0.14.0 vasthoudendheid 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 upgrades zonder toezicht 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wiel 0.38.4 zipp 3.11.0

geïnstalleerde R-bibliotheken

De R-bibliotheken worden geïnstalleerd vanuit de Posit Package Manager CRAN-snapshot.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
terugporteringen 1.4.1 basis 4.3.2 base64enc 0.1-3
bigD 0.2.0 beetje 4.0.5 64-bits 4.0.5
bitops 1.0-7 Blob 1.2.4 laars 1.3-28
brouwsel 1.0-10 Brio 1.1.4 bezem 1.0.5
bslib 0.6.1 cachem 1.0.8 beller 3.7.3
Caret 6.0-94 cellranger 1.1.0 Chron 2.3-61
klas 7.3-22 CLI 3.6.2 clipr 0.8.0
klok 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
configuratie 0.3.2 Tegenstrijdig 1.2.0 cpp11 0.4.7
Crayon 1.5.2 geloofsbrief 2.0.1 krul 5.2.0
data.table 1.15.0 gegevenssets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Beschrijving 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 samenvatting 0.6.34
naar beneden gerichte verlichting 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 beletselteken 0.3.2 evalueren 0.23
fansi 1.0.6 kleuren 2.1.1 snelkaart 1.1.1
fontawesome 0.5.2 voor katten 1.0.0 foreach 1.5.2
buitenlands 0.8-85 smeden 0.2.0 Fs 1.6.3
toekomst 1.33.1 future.apply 1.11.1 gorgelen 1.5.2
Generieken 0.1.3 Gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globale variabelen 0.16.2 lijm 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafische elementen 4.3.2 grDevices 4.3.2 raster 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 veiligheidshelm 1.3.1 haven 2.5.4
hoger 0.10 HMS 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Labeling 0.4.3
later 1.3.2 latwerk 0.21-8 lava 1.7.3
levenscyclus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matrix 1.5-4.1 memoriseren 2.0.1 Methoden 4.3.2
mgcv 1.8-42 Mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 evenwijdig 4.3.2
parallel 1.36.0 pilaar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 prijzen 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 vooruitgang 1.2.3
progressr 0.14.0 Beloften 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 lezer 2.1.5 readxl 1.4.3
Recepten 1.0.9 Rematch 2.0.0 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2.1 reproduceerbaar voorbeeld 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 Sass 0.4.8
weegschaal 1.3.0 selectr 0.4-2 sessie-informatie 1.2.2
vorm 1.4.6 glanzend 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 ruimtelijk 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 Statistieken 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
overleven 3.5-5 Branie 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
tekstvormgeving 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 tijdwijziging 0.3.0
tijdDatum 4032.109 tinytex 0.49 gereedschap 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 gebruik deze 2.2.2
utf8 1.2.4 hulpprogramma's 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 snor 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 ritssluiting 2.3.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-inheemsen
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-inheemsen
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-inheemsen
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-inheemsen
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone foutgevoelige_annotaties 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-bestandsupload commons-bestandsupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrics-Graphite 4.2.19
io.dropwizard.metrics metrische statuscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-sokken 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreeksjabloon 3.2.1
org.apache.ant mier 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pijlnotatie 15.0.0
org.apache.arrow pijl-geheugen-kern 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pijlvector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-cliënt 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common (if no translation is needed for understanding, the original can be kept as is) 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus publiek-aantekeningen 0.13.0
org.apache.zookeeper dierentuinverzorger 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security (beveiligingsmodule van Jetty) 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap vulplaatjes 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1