Delen via


Databricks Runtime 13.3 LTS

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 13.3 LTS, mogelijk gemaakt door Apache Spark 3.4.1.

Databricks heeft deze versie uitgebracht in augustus 2023.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Tip

Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Nieuwe functies en verbeteringen

Scala-ondersteuning voor gedeelde clusters

Gedeelde clusters met Unity Catalog ondersteunen nu Scala wanneer u Databricks Runtime 13.3 en hoger gebruikt.

Allowlist voor init-scripts, JAR's en Maven-coördinaten in gedeelde Unity Catalog-clusters is in openbare preview

U kunt nu de Unity Catalog allowlist gebruiken om de installatie van init-scripts, JAR's en Maven-coördinaten te beheren voor berekening met de modus voor gedeelde toegang waarop Databricks Runtime 13.3 en hoger wordt uitgevoerd. Zie Allowlist-bibliotheken en init-scripts voor gedeelde berekeningen.

Volumesondersteuning voor init-scripts en JAR's is beschikbaar als openbare preview

U kunt nu Unity Catalog-volumes gebruiken om init-scripts en JAR's op te slaan op rekenkracht met toegewezen of gedeelde toegangsmodi waarop Databricks Runtime 13.3 en hoger wordt uitgevoerd. Zie Waar kunnen init-scripts worden geïnstalleerd? en bibliotheken met clusterbereik.

Veilige casting standaard ingeschakeld voor Delta Lake-bewerkingen

Delta UPDATE en MERGE bewerkingen resulteren nu in een fout wanneer waarden niet veilig kunnen worden omgezet naar het type in het doeltabelschema. Alle impliciete casts in Delta volgen spark.sql.storeAssignmentPolicy nu in plaats van spark.sql.ansi.enabled. Zie ANSI-naleving in Databricks Runtime.

Introductie van tags met Unity Catalog

Met Databricks Runtime 13.3 LTS en hoger kunt u tags toepassen op uw beveiligbare objecten. Met tags kunt u beveiligbare objecten organiseren en het zoeken en ontdekken van uw gegevensassets vereenvoudigen. Zie Tags toepassen op beveiligbare objecten in Unity Catalog.

Databricks Runtime retourneert een fout als een bestand wordt gewijzigd tussen queryplanning en aanroep

Databricks Runtime-query's retourneren nu een fout als een bestand wordt bijgewerkt tussen queryplanning en aanroep. Vóór deze wijziging zou Databricks Runtime een bestand tussen deze fasen lezen, wat af en toe tot onvoorspelbare resultaten leidt.

Schema overschrijven blokkeren bij het gebruik van dynamische partitieoverschrijven

U kunt niet instellen overwriteSchema op true in combinatie met dynamische partitieoverschrijven in Delta Lake. Hierdoor voorkomt u mogelijke tabelbeschadiging vanwege niet-overeenkomende schema's. Zie Dynamische partitieoverschrijven.

CopyFile-API integreren in dbutils.fs.cp

De opdracht dbutils kopiëren is dbutils.fs.cp nu geoptimaliseerd voor sneller kopiëren. Met deze verbetering kunnen kopieerbewerkingen maximaal 100x sneller zijn, afhankelijk van de bestandsgrootte. De functie is beschikbaar in alle bestandssystemen die toegankelijk zijn in Azure Databricks, waaronder voor Unity Catalog-volumes en databricks-bestandssysteemkoppelingen.

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Azure Databricks ondersteunt ODBC- en JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download het nieuwste stuurprogramma bij ODBC-stuurprogramma downloaden en JDBC-stuurprogramma downloaden.

Ondersteuning voor parametermarkeringen zonder naam (positionele)

De SparkSession.sql() API ondersteunt nu geparameteriseerde query's met behulp van de ? syntaxis naast geparameteriseerde query's met behulp van de :parm syntaxis. Zie parametermarkeringen.

Labelen van tijdreekskolommen inschakelen

U kunt nu tijdreekskolommen labelen bij het maken van beperkingen voor primaire sleutels.

Nieuwe bitmap-SQL-functies

Azure Databricks biedt nu een set functies die kunnen worden gebruikt om integrale numerieke waarden toe te wijzen aan een bitmap en deze samen te voegen. Dit kan worden gebruikt om het aantal afzonderlijke waarden vooraf te berekenen.

Verbeterde versleutelingsfuncties

De functies aes_encrypt, aes_decrypt en try_aes_decrypt zijn verbeterd met ondersteuning voor initialisatievectors (IV) en geverifieerde aanvullende gegevens (AAD).

Ondersteuning voor Unity Catalog voor REFRESH FOREIGN

U kunt nu refererende catalogi, schema's en tabellen in Unity Catalog bijwerken met behulp van REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAen REFRESH FOREIGN TABLE. Zie REFRESH FOREIGN (CATALOG, SCHEMA en TABLE).

INVOEGEN OP NAAM

Wanneer u rijen in een tabel invoegt, kunt u nu in Azure Databricks kolommen en velden in de bronquery automatisch laten toewijzen aan de kolommen van de tabel op naam. Zie INSERT INTO.

Gerealiseerde weergaven delen met Delta Sharing

De INSTRUCTIE ALTER SHARE ondersteunt nu gerealiseerde weergaven.

Wijzigingen die fouten veroorzaken

Wijzigingen in impliciete cast-conversie bij het opslaan van rijen in een tabel met MERGE INTO en UPDATE

Azure Databricks volgt nu de configuratie spark.sql.storeAssignmentPolicy voor impliciete cast-conversie bij het opslaan van rijen in een tabel. De standaardwaarde ANSI genereert een fout bij het opslaan van waarden die overlopen. Eerder worden waarden standaard opgeslagen NULL .

Zoals in het volgende voorbeeld kunt u overloop aanpakken door de tabel te herschrijven om een breder type te gebruiken voor de kolom die de fout veroorzaakt.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Wijzigingen in Parquet-schemadeductie

Bij het uitstellen van schema's uit Parquet-bestanden die niet zijn geschreven door Spark, int64 worden tijdstempelkolommen met isAdjustedToUTC=false aantekeningen nu standaard getypt TIMESTAMP_NTZ . Voorheen werden deze afgeleid als TIMESTAMP type. Deze update verbetert de nauwkeurigheid van het toewijzen van Parquet-typen aan Spark SQL-typen.

Als gevolg hiervan kan het lezen van gegevens uit externe Parquet-bestanden in een Delta-tabel leiden tot een fout als de timestampNtz functie niet is ingeschakeld. De fout wordt als volgt weergegeven:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Als u het vorige gedrag wilt behouden en deze fout wilt voorkomen, kunt u de Spark-configuratieparameter spark.sql.parquet.inferTimestampNTZ.enabled instellen op false.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • foutopsporing van 1.5.1 tot 1.6.0
    • distlib van 0.3.6 tot 0.3.7
    • fastjsonschema van 2.16.3 tot 2.18.0
    • filelock van 3.12.0 tot 3.12.2
  • Bijgewerkte R-bibliotheken:
    • SparkR van 3.4.0 tot 3.4.1
  • Bijgewerkte Java-bibliotheken:
    • org.apache.orc.orc-core van 1.8.3-shaded-protobuf tot 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims van 1.8.3 tot 1.8.4
    • org.eclipse.jetty.jetty-client van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-vervolg van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet van 9.4.50.v20221201 tot 9.4.51.v20230217
    • org.xerial.snappy.snappy-java van 1.1.8.4 tot 1.1.10.1

Apache Spark

Databricks Runtime 13.3 bevat Apache Spark 3.4.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 13.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • U kunt nu een clusteromgevingsvariabele SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 instellen voor het gebruik van Spark-snowflake-connector v2.12.0.
  • [SPARK-43380] [DBRRM-383] [SC-133100][SQL] Avro-gegevenstype conver herstellen...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Verwijder de provider waardoor het DB-exemplaar wordt gesloten en resources worden vrijgegeven bij een onderhoudstaakfout
  • [SPARK-44059] [SC-137023] Analyseondersteuning van benoemde argumenten toevoegen voor ingebouwde functies
  • [SPARK-44485] [SC-137653][SQL] TreeNode.generateTreeString optimaliseren
  • [SPARK-42944] [SC-137164][SS][PYTHON] ForeachBatch streamen in Python
  • [SPARK-44446] [SC-136994][PYTHON] Controles voor verwacht lijsttype toevoegen, speciale gevallen
  • [SPARK-44439] [SC-136973][VERBINDING MAKEN][SS]Opgeloste listListeners om alleen id's naar de client te verzenden
  • [SPARK-44216] [SC-136941] [PYTHON] AssertSchemaEqual-API openbaar maken
  • [SPARK-44201] [SC-136778][VERBINDING MAKEN][SS]Ondersteuning voor streaminglistener toevoegen in Scala voor Spark Connect
  • [SPARK-43915] [SC-134766][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Ondersteuning voor door de gebruiker gedefinieerde python-tabelfuncties
  • [SPARK-44398] [SC-136720][VERBINDING MAKEN] Scala foreachBatch-API
  • [SPARK-44476] [SC-137169][CORE][VERBINDING MAKEN] De populatie van artefacten voor een JobArtifactState oplossen zonder gekoppelde artefacten
  • [SPARK-44269] [SC-135817][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] TVF-argumenten bijwerken om haakjes rond id te vereisen na het trefwoord TABLE
  • [SPARK-43915] [SC-134766][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][VERBINDING MAKEN] Ondersteuning voor UDFRegistration toevoegen aan de Connect Scala-client
  • [SPARK-44109] [SC-134755][CORE] Dubbele voorkeurslocaties van elke RDD-partitie verwijderen
  • [SPARK-44169] [SC-135497][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][VERBINDING MAKEN] Scala foreachBatch-API
  • [SPARK-44153] [SC-134977][CORE][UI] Ondersteuningskolom Heap Histogram op Executors tabblad
  • [SPARK-44044] [SC-135695][SS] Foutbericht voor Vensterfuncties verbeteren met streaming
  • [SPARK-43914] [SC-135414][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] Aangepaste precisie toestaan voor ongeveer gelijkheid van fp
  • [SPARK-44370] [SC-136575][VERBINDING MAKEN] Alfa van de Buf-generatie migreren naar externe invoegtoepassingen
  • [SPARK-44410] [SC-136930][PYTHON][VERBINDING MAKEN] Actieve sessie instellen in maken, niet alleen getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][VERBINDING MAKEN][PYTHON] Opnieuw in te schakelen test_artifact met relevante wijzigingen
  • [SPARK-44145] [SC-136698][SQL] Callback wanneer deze gereed is voor uitvoering
  • [SPARK-44264] [SC-136870][PYTHON][ML] Klasse FunctionPickler
  • [SPARK-43986] [SC-135623][SQL] Foutklassen maken voor aanroepen van de HyperLogLog-functie
  • [SPARK-44139] [SC-134967][SQL] Volledig gepushte filters verwijderen in samenvoegbewerkingen op basis van groepen
  • [SPARK-44338] [SC-136718][SQL] Foutbericht over niet-overeenkomende weergaveschema's oplossen
  • [SPARK-44208] [SC-135505][CORE][SQL] Duidelijke foutklassenamen toewijzen voor bepaalde logica die rechtstreeks gebruikmaakt van uitzonderingen
  • [SPARK-44364] [SC-136773] [PYTHON] Ondersteuning toevoegen voor het gegevenstype List[Row] voor verwacht
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils moet ResolveTimeZone toepassen
  • [SPARK-43389] [SC-136772][SQL] Er is een null-controle toegevoegd voor de optie lineSep
  • [SPARK-44388] [SC-136695][VERBINDING MAKEN] Probleem met protobuf cast oplossen wanneer het UDF-exemplaar wordt bijgewerkt
  • [SPARK-44352] [SC-136373][VERBINDING MAKEN] Zet sameType en vrienden terug in DataType.
  • [SPARK-43975] [SC-134265][SQL] DataSource V2: UPDATE-opdrachten verwerken voor op groepen gebaseerde bronnen
  • [SPARK-44360] [SC-136461][SQL] Ondersteuning voor het verwijderen van schema's in samenvoegbewerkingen op basis van verschillen
  • [SPARK-44138] [SC-134907][SQL] Niet-deterministische expressies, subquery's en aggregaties in MERGE-voorwaarden verbieden
  • [SPARK-43321] [SC-136678][Verbinding maken][Opvolgen] Betere namen voor API's die worden gebruikt in Scala Client JoinWith
  • [SPARK-44263] [SC-136447][VERBINDING MAKEN] Ondersteuning voor aangepaste interceptors
  • [SPARK-39851] [SC-123383][SQL] Schatting van joinstatistieken verbeteren als één kant uniekheid kan behouden
  • [SPARK-44390] [SC-136677][CORE][SQL] Naam wijzigen SparkSerDerseUtils in SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] Wijs een naam toe en verbeter het foutbericht voor frequente VEROUDERDE fouten.
  • [SPARK-44322] [SC-136204][VERBINDING MAKEN] Maak parser gebruik van SqlApiConf in plaats van SQLConf.
  • [SPARK-44271] [SC-136347][SQL] Standaardwaardenfuncties van StructType verplaatsen naar ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][CORE][WEBUI] De sorteerfout van de kolom Executor-id op de gebruikersinterfacepagina van de uitvoerders oplossen
  • [SPARK-44282] [SC-135948][VERBINDING MAKEN] DataType-parsering voorbereiden voor gebruik in Spark Connect Scala Client
  • [SPARK-44349] [SC-136581][R] Wiskundige functies toevoegen aan SparkR
  • [SPARK-44397] [SC-136647][PYTHON] AssertDataFrameEqual beschikbaar maken in pyspark.testing.utils
  • [SPARK-42981] [SC-136620][VERBINDING MAKEN] Directe pijlserialisatie toevoegen
  • [SPARK-44373] [SC-136577][SQL] Wrap withActive for Dataset API w/parse logic to make parser related configuration work
  • [SPARK-44340] [SC-136574][SQL] De rekenlogica definiëren via PartitionEvaluator-API en deze gebruiken in WindowGroupLimitExec
  • [SPARK-43665] [SC-136573][VERBINDING MAKEN][PS] PandasSQLStringFormatter.vformat inschakelen om te werken met Spark Connect
  • [SPARK-44325] [SC-136572][SQL] PartitionEvaluator-API gebruiken in SortMergeJoinExec
  • [SPARK-44315] [SC-136171][SQL][VERBINDING MAKEN] DefinedByConstructorParams verplaatsen naar sql/api
  • [SPARK-44275] [SC-136184][VERBINDING MAKEN] Configureerbaar mechanisme voor opnieuw proberen toevoegen aan Scala Spark Connect
  • [SPARK-44326] [SC-136208][SQL][VERBINDING MAKEN] Hulpprogramma's verplaatsen die worden gebruikt van scala-client naar de algemene modules
  • [SPARK-43321] [SC-136156][Verbinding maken] Gegevensset#Joinwith
  • [SPARK-44343] [SC-136372][VERBINDING MAKEN] ScalaReflection voorbereiden op de verplaatsing naar SQL/API
  • [SPARK-44313] [SC-136081][SQL] Validatie van gegenereerde kolomexpressie herstellen wanneer er een char-/varchar-kolom in het schema staat
  • [SPARK-43963] [SC-134145][SQL] DataSource V2: MERGE-opdrachten verwerken voor op groepen gebaseerde bronnen
  • [SPARK-44363] [SC-136433] [PYTHON] Percentage ongelijke rijen weergeven in DataFrame-vergelijking
  • [SPARK-44251] [SC-136432][SQL] Stel nullable correct in op de samengevoegde joinsleutel in full outer USING join
  • [SPARK-43948] [SC-133366][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][VERBINDING MAKEN][PYTHON] Hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt toevoegen aan Scala en Python
  • [SPARK-44351] [SC-136353][SQL] Syntactische vereenvoudiging maken
  • [SPARK-44281] [SC-135963][SQL] QueryCompilation-fout die door DataType wordt gebruikt naar sql/api verplaatsen als DataTypeErrors
  • [SPARK-44283] [SC-136109][VERBINDING MAKEN] Oorsprong verplaatsen naar SQL/API
  • [SPARK-43926] [SC-135590][VERBINDING MAKEN][PYTHON] Voeg array_agg, array_size, kardinaliteit, count_min_sketch,masker,named_struct,json_* toe aan Scala en Python
  • [SPARK-44327] [SC-136187][SQL][VERBINDING MAKEN] any Functies en len Scala toevoegen
  • [SPARK-44290] [SC-136300][VERBINDING MAKEN] Op sessies gebaseerde bestanden en archieven in Spark Connect
  • [SPARK-44061] [SC-136299][PYTHON] De functie assertDataFrameEqual util toevoegen
  • [SPARK-44331] [SC-136324][VERBINDING MAKEN][PYTHON] Bitmapfuncties toevoegen aan Scala en Python
  • [SPARK-44342] [SC-136334][SQL] SQLContext vervangen door SparkSession voor GenTPCDSData
  • [SPARK-42583] [SC-124190][SQL] Verwijder de outer join als ze allemaal afzonderlijke statistische functies zijn
  • [SPARK-44333] [SC-136206][VERBINDING MAKEN][SQL] EnhancedLogicalPlan verplaatsen uit ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][VERBINDING MAKEN][PYTHON] Try_*-functies toevoegen aan Scala en Python
  • [SPARK-44193] [SC-135886][VERBINDING MAKEN] GRPC-uitzonderingen onderscheppen implementeren voor conversie
  • [SPARK-44284] [SC-136107][VERBINDING MAKEN] Eenvoudig conf-systeem maken voor sql/api
  • [SPARK-43913] [SC-133368][SQL] Namen toewijzen aan de foutklasse LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Onjuiste schema voor bereikquery herstellen
  • [SPARK-44312] [SC-136185][VERBINDING MAKEN][PYTHON] Toestaan om een gebruikersagent in te stellen met een omgevingsvariabele
  • [SPARK-44154] [SC-136060] Bitmapfuncties implementeren
  • [SPARK-43885] [SC-133996][SQL] DataSource V2: MERGE-opdrachten afhandelen voor bronnen op basis van verschillen
  • [SPARK-43924] [SC-135161][VERBINDING MAKEN][PYTHON] Misc-functies toevoegen aan Scala en Python
  • [SPARK-43969] [SC-134556][SQL] Namen herstructureren en toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL] Inconsistent pad tussen catalogus- en gegevensbewerkingen corrigeren
  • [SPARK-44073] [SC-134562][SQL][PYTHON][VERBINDING MAKEN] Datum/tijdfuncties toevoegen aan Scala, Python en Verbinding maken - deel 2
  • [SPARK-43942] [SC-134527][VERBINDING MAKEN][PYTHON] Tekenreeksfuncties toevoegen aan Scala en Python - deel 1
  • [SPARK-44266] [SC-135813][SQL] Util.truncatedString verplaatsen naar sql/api
  • [SPARK-44195] [SC-135722][R] JobTag-API's toevoegen aan SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL] Parserregel voor TABLE-argumenten voor TableValuedFunction ondersteunen
  • [SPARK-44254] [SC-135709][SQL] QueryExecutionErrors verplaatsen die door DataType worden gebruikt naar sql/api als DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][VERBINDING MAKEN] Onjuist schema voor bereikquery herstellen
  • [SPARK-43922] [SC-135612][SQL] Ondersteuning voor benoemde parameters toevoegen in parser voor functie-aanroepen
  • [SPARK-44300] [SC-135882][VERBINDING MAKEN] Het opschonen van artefacten herstellen om het verwijderingsbereik te beperken tot sessiespecifieke artefacten
  • [SPARK-44293] [SC-135849][VERBINDING MAKEN] Ongeldige URI herstellen voor aangepaste JAR's in Spark Connect
  • [SPARK-44215] [SC-135850][SHUFFLE] Als aantal chunks 0 zijn, moet de server een RuntimeException gooien
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests moeten illustratief zijn
  • [SPARK-44274] [SC-135814][VERBINDING MAKEN] Hulpprogrammafuncties die door ArtifactManager worden gebruikt, verplaatsen naar common/utils
  • [SPARK-44194] [SC-135815][PYTHON][CORE] JobTag-API's toevoegen aan PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL] Meer expliciete Python-typeaantekeningen voor GroupedData
  • [SPARK-44079] [SC-135486][SQL] Oplossing ArrayIndexOutOfBoundsException bij parseren van matrix als struct met behulp van PERMISSIVE-modus met beschadigde record
  • [SPARK-44255] [SC-135809][SQL] StorageLevel verplaatsen naar algemene/hulpprogramma's
  • [SPARK-42169] [SC-135795] [SQL] Codegeneratie implementeren voor to_csv functie (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] PythonUDTFRunner herstructureren om het retourtype afzonderlijk te verzenden
  • [SPARK-43353] [SC-132734][PYTHON] Resterende sessiefouten migreren naar foutklasse
  • [SPARK-44211] [SC-135718][PYTHON][VERBINDING MAKEN] SparkSession.is_stopped implementeren
  • [SPARK-42784] [SC-135691] moet nog steeds subDir maken wanneer het aantal subDir in samenvoegings-dir kleiner is dan conf
  • [SPARK-41599] [SC-135616] Geheugenlek in FileSystem.CACHE bij het verzenden van apps om het cluster te beveiligen met behulp van InProcessLauncher
  • [SPARK-44241] [SC-135613][Core] Als u io.connectionTimeout/connectionCreationTimeout per ongeluk instelt op nul of negatief, leidt dit tot onopvallende uitvoerderscons/vernietigingen
  • [SPARK-44133] [SC-134795][13.X][PYTHON] MyPy upgraden van 0.920 naar 0,982
  • [SPARK-42941] [SC-134707][SS][VERBINDING MAKEN][1/2] StreamingQueryListener - Event Serde in JSON-indeling
  • [SPARK-44188] [SC-135173][CORE] Nutteloze resetAllPartitions methode verwijderen in ActiveJob
  • [SPARK-43757] [SC-135418][VERBINDING MAKEN] Clientcompatibiliteit van acceptatielijst wijzigen in lijst weigeren
  • [SPARK-43474] [SC-135521] [SS] [VERBINDING MAKEN] Voeg een Spark Connect-toegang toe tot runtime Dataframes op id.
  • [SPARK-44183] [SC-135209][PYTHON] Minimale versie maken PyArrow tot 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] Voorkeurslocatie toevoegen in kafka-bron v2
  • [SPARK-43929] [SC-134510][SQL][PYTHON][VERBINDING MAKEN] Datum/tijdfuncties toevoegen aan Scala, Python en Connect-API - deel 1
  • [SPARK-44161] [SC-135326][Verbinding maken] Rijinvoer voor UDF's verwerken
  • [SPARK-44227] [SC-135520][SQL] SchemaUtils extraheren uit StructField
  • [SPARK-44064] [SC-135116][CORE][SQL] Een nieuwe apply functie toevoegen aan NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] Wijs namen toe aan de foutklasse LEGACY_ERROR_TEMP[2279-2282] en verwijder enkele ongebruikte foutklassen
  • [SPARK-44056] [SC-134758][SQL] UDF-naam opnemen in foutbericht over mislukte uitvoering van UDF, indien beschikbaar
  • [SPARK-44205] [SC-135422][SQL] Katalysatorcode extraheren uit DecimalType
  • [SPARK-44220] [SC-135484][SQL] StringConcat verplaatsen naar sql/api
  • [SPARK-44146] [SC-135230][VERBINDING MAKEN] Spark Connect-sessie-JAR's en klassebestanden isoleren
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][SQL] Het oplossen van testcaseinterpretatiequery's kan Codegen uitvoeren
  • [SPARK-44204] [SC-135253][SQL][HIVE] Ontbrekende recordHiveCall toevoegen voor getPartitionNames
  • [SPARK-44237] [SC-135485][CORE] DirectByteBuffer-constructorzoeklogica vereenvoudigen
  • [SPARK-44189] [SC-135170][VERBINDING MAKEN][PYTHON] Positionele parameters ondersteunen op sql()
  • [SPARK-44140] [SC-134893][SQL][PYTHON] Positionele parameters in Python ondersteunen sql()
  • [SPARK-44164] [SC-135158][SQL] Methode toAttribute extraheren van StructField naar Util-klasse
  • [SPARK-44178] [SC-135113][VERBINDING MAKEN] Positionele parameters ondersteunen in sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader moet de barrièreklasse InputStream sluiten na het lezen
  • [SPARK-43063] [SC-128382][SQL] df.show handle null should print NULL in plaats van null
  • [SPARK-42539] [SC-124464][SQL][HIVE] Elimineren van afzonderlijke classloader wanneer u de Hive-versie van 'builtin' gebruikt voor de metagegevensclient
  • [SPARK-43992] [SC-133645][SQL][PYTHON][VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listFunctions
  • [SPARK-44066] [SC-134878][SQL] Positionele parameters in Scala/Java ondersteunen sql()
  • [SPARK-44078] [SC-134869][VERBINDING MAKEN][CORE] Ondersteuning toevoegen voor isolatie van classloader/resource
  • [SPARK-43470] [SC-135187][CORE] Besturingssysteem-, Java-, Python-versiegegevens toevoegen aan toepassingslogboek
  • [SPARK-43136] [SC-135238][VERBINDING MAKEN][Opvolgen] Tests voor KeyA's toevoegen
  • [SPARK-39740] [SC-135093][UI]: Upgrade naar tijdlijn 7.7.2 om CVE-2020-28487 te herstellen
  • [SPARK-42298] [SC-133952][SQL] Naam toewijzen aan _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][VERBINDING MAKEN] Optioneel patroon toevoegen voor Catalog.listTables
  • [SPARK-44026] [SC-135181] Initiële waarde voor SQLMetrics toestaan
  • [SPARK-44202] [SC-135244][CORE] JobTag-API's toevoegen aan JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL] DataTypeExpression implementeren om unapply for expression aan te bieden
  • [SPARK-43876] [SC-134603][SQL] Snelle hashmap inschakelen voor afzonderlijke query's
  • [SPARK-40082] [SC-126437] Schedule mergeFinalize when push merge shuffleMapStage retry but no running tasks
  • [SPARK-43888] [SC-132893][CORE] Logboekregistratie verplaatsen naar algemene/hulpmiddelen
  • [SPARK-43474] [SC-134400] [SS] [VERBINDING MAKEN] SessionHolder toevoegen aan SparkConnectPlanner
  • [SPARK-43944] [SC-134490][VERBINDING MAKEN][PYTHON] Tekenreeksfuncties toevoegen aan Scala en Python - deel 2
  • [SPARK-44134] [SC-134954][CORE] Herstel het instellen van resources (GPU/FPGA) op 0 wanneer ze zijn ingesteld in spark-defaults.conf
  • [SPARK-44142] [SC-134947][PYTHON] Type vervangen door tpe in het hulpprogramma om Python-typen te converteren naar Spark-typen
  • [SPARK-43952] [SC-134695][CORE][VERBINDING MAKEN][SQL] SparkContext-API's toevoegen voor het annuleren van query's per tag
  • [SPARK-44000] [SC-133634][SQL] Hint toevoegen om uitzending uit te schakelen en één kant van join te repliceren
  • [SPARK-43937] [SC-134362][VERBINDING MAKEN][PYTHON] Ifnull,isnotnull,equal_null,nullif,nvl,nvl,nvl2 toevoegen aan Scala en Python
  • [SPARK-43624] [13.x][SC-134557][PS][VERBINDING MAKEN] Toevoegen EWM aan SparkConnectPlanner.
  • [SPARK-44040] [SC-134366][SQL] Rekenstatistieken oplossen wanneer het AggregateExec-knooppunt boven QueryStageExec
  • [SPARK-43485] [SC-131264][SQL] Het foutbericht voor het unit argument van de datum/tijd toevoegen/diff-functies oplossen
  • [SPARK-43794] [SC-132561][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][VERBINDING MAKEN][SS]MapGroupsWithState en FlatMapGroupsWithState-API's geïmplementeerd voor Spark Connect
  • [SPARK-43529] [SQL] Ondersteuning voor CREATE/REPLACE TABLE OPTIONS-expressies + codeopruiming
  • [SPARK-44106] [SC-134750][PYTHON][VERBINDING MAKEN] Toevoegen __repr__ voor GroupedData
  • [SPARK-42299] [SC-133190] Naam toewijzen aan _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL] Er wordt ondersteuning toegevoegd voor aes_encrypt-ID's en AAD
  • [SPARK-43932] [SC-134138][SQL][PYTHON][VERBINDING MAKEN] Like functions toevoegen current aan Scala en Python
  • [SPARK-43934] [SC-134108][SQL][PYTHON][VERBINDING MAKEN] Regexp_*-functies toevoegen aan Scala en Python
  • [SPARK-44107] [SC-134746][VERBINDING MAKEN][PYTHON] Niet-ondersteunde kolommethoden verbergen voor automatisch aanvullen
  • [SPARK-42941] [SC-134707][SS][VERBINDING MAKEN][1/2] StreamingQueryListener - Event Serde in JSON-indeling
  • [SPARK-43773] [SC-132659][VERBINDING MAKEN][PYTHON] Levenshtein(str1, str2[, threshold])' functies implementeren in python-client
  • [SPARK-44125] [SC-134745][R] Ondersteuning voor Java 21 in SparkR
  • [SPARK-43919] [SC-133374][SQL] JSON-functionaliteit uit rij extraheren
  • [SPARK-43769] [SC-132520][VERBINDING MAKEN] Levenshtein(str1, str2[, threshold])'-functies implementeren
  • [SPARK-44012] [SC-134662][SS] KafkaDataConsumer om een leesstatus af te drukken
  • [SPARK-43876] [SC-134603][SQL] Snelle hashmap inschakelen voor afzonderlijke query's
  • [SPARK-44024] [SC-134497][SQL] Wijzigen in gebruik map wanneer unzip alleen wordt gebruikt om één element te extraheren
  • [SPARK-43928] [SC-134467][SQL][PYTHON][VERBINDING MAKEN] Bitbewerkingen toevoegen aan Scala, Python en Connect-API
  • [SPARK-44092] [SC-134506][CORE] Modulepas toevoegen Utils.isJavaVersionAtLeast21 en maken core met Java 21
  • [SPARK-44018] [SC-134512][SQL] De hashCode en toString voor sommige DS V2-expressies verbeteren
  • [SPARK-44105] [SC-134582][SQL] LastNonNull moet lazily worden opgelost
  • [SPARK-44081] [SC-134434] PartitionedFileUtil-API een beetje vereenvoudigen
  • [SPARK-43791] [SC-132531][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Niet-opgelost definiëren en gebruiken[Leaf|Unary]Knooppunteigenschappen.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL] Standaardresolutie van kolomwaarden herstructureren
  • [SPARK-43493] [SC-132063][SQL] Een argument voor maximale afstand toevoegen aan de functie levenshtein()
  • [SPARK-44075] [SC-134382][VERBINDING MAKEN] Lui maken transformStatCorr
  • [SPARK-43925] [SC-134381][SQL][PYTHON][VERBINDING MAKEN] Voeg een aantal, bool_or,bool_and toe aan Scala, Python en Connect
  • [SPARK-43931] [SC-134158][SQL][PYTHON][VERBINDING MAKEN] Functies make_* toevoegen aan Scala en Python
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Namen toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][SQL] Foutberichten verbeteren: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, , CANNOT_READ_FILE_FOOTER. CANNOT_RECOGNIZE_HIVE_TYPE
  • [SPARK-43938] [SC-133887][VERBINDING MAKEN][PYTHON] To_*-functies toevoegen aan Scala en Python
  • [SPARK-44055] [SC-134321][CORE] Redundante override functies verwijderen uit CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL] Codegen herstellen voor unhex en unbase64 met failOnError=true
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Door de gebruiker gedefinieerde Python-tabelfuncties ondersteunen
  • [SPARK-43941] [SC-134286][SQL][PYTHON][VERBINDING MAKEN] Any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, reduceer naar Scala, Python en Connect API
  • [SPARK-43380] [SC-133100][SQL] Problemen met conversie van Avro-gegevenstypen oplossen om onjuiste resultaten te voorkomen
  • [SPARK-43803] [SC-133729] [SS] [VERBINDING MAKEN] De verbinding met awaitTermination() verbeteren om de verbinding met de client af te handelen
  • [SPARK-43179] [SC-129070][SHUFFLE] Apps toestaan om te bepalen of hun metagegevens worden opgeslagen in de database door de External Shuffle-service

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (download ODBC, download JDBC).

Zie onderhoudsupdates voor Databricks Runtime 13.3.

Systeemomgeving

  • Besturingssysteem: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 zwart 22.6.0 bleken 4.1.0
oogklep 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffiffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.4 cryptografie 37.0.1
wielrijder 0.11.0 Cython 0.29.32 databricks-sdk 0.1.6
dbus-python 1.2.18 foutopsporing 1.6.0 decorateur 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0,12
invoerpunten 0,4 Uitvoeren 1.2.0 facets-overview 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 sleutelhanger 23.5.0
kiwisolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 mistune 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 notebook 6.4.12 numpy 1.21.5
oauthlib 3.2.0 verpakking 21.3 Pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
Patsy 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Kussen 9.2.0 pit 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 requests 2.28.1
touw 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Zes 1.16.0
soepsieve 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 vasthoudendheid 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornado 6.1 traitlets 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 upgrades zonder toezicht 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
wiel 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2023-02-10.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.3
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.3 bslib 0.4.2 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-59 class 7.3-21 cli 3.6.0
clipr 0.8.0 klok 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.8.1
compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
Crayon 1.5.2 aanmeldingsgegevens 1.3.2 curl 5.0.0
data.table 1.14.6 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 verteren 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
beletselteken 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 buitenlands 0.8-82
smeden 0.2.0 Fs 1.6.1 toekomst 1.31.0
future.apply 1.10.0 gorgelen 1.3.0 Generics 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 afbeeldingen 4.2.2 grDevices 4.2.2
rooster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 breiwerk 1.42
Labeling 0.4.2 later 1.3.0 latwerk 0.20-45
lava 1.7.1 levenscyclus 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 Markdown 1.5
MASSA 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
parallel 1.34.0 pilaar 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 loven 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.13.0 Beloften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
leesbewerking 2.1.3 readxl 1.4.2 recepten 1.0.4
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 weegschaal 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 vorm 1.4.6
glanzend 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 ruimtelijk 7.3-15 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.2.2
stats4 4.2.2 stringi 1.7.12 stringr 1.5.0
overleving 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 tekstvorm 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 Vroom 1.6.1 Waldo 0.4.0
snor 0.4.1 withr 2.5.0 xfun 0,37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 ritssluiting 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.cafeïne cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 3.0.3
dev.netje.netlib Blas 3.0.3
dev.netje.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrische gegevenskern 4.2.10
io.dropwizard.metrics metrische gegevensgrafiet 4.2.10
io.dropwizard.metrics metrische statuscontroles 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metrics-servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-sokken 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow pijlnotatie 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow pijlvector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.22
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-vervolg 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Shims 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1