Delen via

Databricks Runtime 16.1

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 16.1, mogelijk gemaakt door Apache Spark 3.5.0.

Databricks heeft deze versie uitgebracht in december 2024.

Tip

Zie de releaseopmerkingen voor Databricks Runtime-versies die het einde van hun support (EoS) hebben bereikt. Raadpleeg End-of-support Databricks Runtime release-opmerkingen. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Gedragswijzigingen

Brekende verandering: De verwerking van reguliere expressies in Photon is nu consistent met Apache Spark

In Databricks Runtime 15.4 en hoger wordt de normale verwerking van expressies in Photon bijgewerkt zodat deze overeenkomt met het gedrag van de normale verwerking van apache Spark-expressies. Voorheen hebben reguliere expressiefuncties die worden uitgevoerd door Photon, zoals split() en regexp_extract(), enkele reguliere expressies geaccepteerd die zijn geweigerd door de Spark-parser. Om consistentie met Apache Spark te behouden, mislukken Photon-query's nu voor reguliere expressies die door Spark als ongeldig worden beschouwd.

Vanwege deze wijziging ziet u mogelijk fouten als uw Spark-code ongeldige reguliere expressies bevat. De expressie split(str_col, '{'), die een niet-overeenkomende accolade bevat en eerder door Photon is geaccepteerd, mislukt nu. Als u deze expressie wilt herstellen, kunt u het accoladeteken escapen: split(str_col, '\\{').

Foton- en Spark-gedrag verschillen ook voor een aantal reguliere expressies die overeenkomen met niet-ASCII-tekens. Dit wordt ook bijgewerkt, zodat Photon overeenkomt met het Apache Spark-gedrag.

Het VARIANT gegevenstype kan niet meer worden gebruikt met bewerkingen waarvoor vergelijkingen zijn vereist

In Databricks Runtime 16.1 en hoger kunt u de volgende componenten of operators niet gebruiken in query's met een VARIANT gegevenstype:

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

Bovendien kunt u deze DataFrame-functies niet gebruiken:

  • df.dropDuplicates()
  • df.repartition()

Deze bewerkingen voeren vergelijkingen uit en vergelijkingen die gebruikmaken van het gegevenstype VARIANT produceren niet-gedefinieerde resultaten en worden niet ondersteund in Databricks. Als u het VARIANT-type in uw Azure Databricks-workloads of -tabellen gebruikt, raadt Databricks de volgende wijzigingen aan:

  • Werk query's en expressies bij om expliciet VARIANT-waarden om te zetten naar niet-VARIANT-gegevens typen.
  • Als u velden hebt die moeten worden gebruikt met een van de bovenstaande bewerkingen, extraheert u deze velden uit het VARIANT gegevenstype en slaat u deze op met niet-VARIANT gegevenstypen.

Zie Query variantgegevensvoor meer informatie.

Nieuwe functies en verbeteringen

Ondersteuning voor sorteringen in Apache Spark bevindt zich in openbare preview

U kunt nu taalbewuste, niet-hoofdlettergevoelige en niet-toegangsgevoelige sorteringen toewijzen aan STRING kolommen en expressies. Deze sorteringen worden gebruikt in tekenreeksvergelijkingen, sortering, groeperingsbewerkingen en veel tekenreeksfuncties. Zie Collatie.

Ondersteuning voor sorteringen in Delta Lake bevindt zich in publieke preview

U kunt nu sorteringen definiëren voor kolommen bij het maken of wijzigen van een Delta-tabel. Zie Collatieondersteuning voor Delta Lake.

LITE modus voor vacuüm bevindt zich in openbare preview

U kunt nu VACUUM table_name LITE gebruiken om een lichtere vacuümbewerking uit te voeren die gebruikmaakt van metagegevens in het Delta-transactielogboek. Zie Full versus lite mode en VACUUM.

Ondersteuning voor het parameteriseren van de USE CATALOG with IDENTIFIER-component

In Databricks Runtime 16.1 en hoger wordt de IDENTIFIER clausule ondersteund voor de USE CATALOG-verklaring. Met deze ondersteuning kunt u de huidige catalogus parameteriseren op basis van een tekenreeksvariabele of parametermarkering.

COMMENT ON COLUMN ondersteuning voor tabellen en weergaven

In Databricks Runtime 16.1 en hoger ondersteunt de COMMENT ON instructie het wijzigen van opmerkingen voor weergave- en tabelkolommen.

Nieuwe SQL-functies

In Databricks Runtime 16.1 en hoger zijn de volgende nieuwe ingebouwde SQL-functies beschikbaar:

  • dayname(expr) retourneert de drieletterige Engelse acroniem voor de dag van de week voor de opgegeven datum.
  • uniform(expr1, expr2 [,seed]) retourneert een willekeurige waarde met onafhankelijke en identiek verdeelde waarden binnen het opgegeven bereik van getallen.
  • randstr(lengte) retourneert een willekeurige tekenreeks van length alfanumerieke tekens.

Aanroep van benoemde parameters voor meer functies

In Databricks Runtime 16.1 en hoger ondersteunen de volgende functies benoemde parameter aanroep:

De parameter SYNC METADATA voor de opdracht REPAIR TABLE wordt ondersteund met de Hive-metastore

In Databricks Runtime 16.1 en hoger kunt u de parameter SYNC METADATA gebruiken met de opdracht REPAIR TABLE om de metagegevens van een beheerde Hive-metastore-tabel bij te werken. Zie REPAIR TABLE.

Verbeterde gegevensintegriteit voor gecomprimeerde Apache Arrow-batches

In Databricks Runtime 16.1 en hoger worden, om verdere bescherming tegen datacorruptie te bieden, in elke LZ4 gecomprimeerde Arrow-batch nu de LZ4 controlesommen voor inhoud en blok opgenomen. Zie LZ4 Frameformaatbeschrijving.

Ondersteuning toegevoegd voor Scala-methoden in computemodus met gedeelde toegang in Unity Catalog.

In Databricks Runtime 16.1 en hoger, op Unity Catalog gedeelde toegangsmode compute, wordt ondersteuning toegevoegd voor de volgende Scala-methoden: Dataset.flatMapGroups(), Dataset.mapGroups()en DataStreamWriter.foreach().

Ingebouwd Teradata JDBC-stuurprogramma

In Databricks Runtime 16.1 en hoger is het Teradata JDBC-stuurprogramma ingebouwd in Azure Databricks. Als u een door de klant geüploade JAR van het JDBC-stuurprogramma via DriverManagergebruikt, moet u scripts herschrijven om expliciet het aangepaste JAR-bestand te gebruiken. Anders wordt het ingebouwde stuurprogramma gebruikt. Dit stuurprogramma ondersteunt alleen Lakehouse Federation. Voor andere toepassingen moet u uw eigen stuurprogramma opgeven.

StreamingQueryListener-ondersteuning voor Scala

U kunt nu StreamingQueryListener in Scala gebruiken voor berekeningen die zijn geconfigureerd met de modus voor gedeelde toegang.

Ingebouwd Oracle JDBC-stuurprogramma

In Databricks Runtime 16.1 en hoger is het Oracle JDBC-stuurprogramma ingebouwd in Azure Databricks. Als u een door de klant geüploade JAR van het JDBC-stuurprogramma via DriverManagergebruikt, moet u scripts herschrijven om expliciet het aangepaste JAR-bestand te gebruiken. Anders wordt het ingebouwde stuurprogramma gebruikt. Dit stuurprogramma ondersteunt alleen Lakehouse Federation. Voor andere toepassingen moet u uw eigen stuurprogramma opgeven.

Gedetailleerdere fouten voor Delta-tabellen die via paden worden benaderd

Er is nu een nieuwe foutmelding beschikbaar voor Delta-tabellen die worden geopend via paden. Alle uitzonderingen worden nu doorgestuurd naar de gebruiker. De uitzondering DELTA_MISSING_DELTA_TABLE is nu gereserveerd voor wanneer onderliggende bestanden niet kunnen worden gelezen als een Delta-tabel.

Andere wijzigingen

Hernoemde foutcodes voor de cloudFiles Structured Streaming-bron

Deze release bevat een wijziging om de naam van de volgende foutcodes te wijzigen:

  • _LEGACY_ERROR_TEMP_DBR_0143 wordt gewijzigd in CF_INCORRECT_STREAM_USAGE.
  • _LEGACY_ERROR_TEMP_DBR_0260 wordt gewijzigd in CF_INCORRECT_BATCH_USAGE .

Foutenoplossingen

Geneste typen accepteren nu op de juiste manier NULL-beperkingen.

In deze release wordt een fout opgelost die invloed heeft op sommige door Delta gegenereerde kolommen van geneste typen, bijvoorbeeld STRUCT. Deze kolommen wijzen soms ten onrechte expressies af op basis van NULL- of NOT NULL-restricties van geneste velden. Dit is opgelost.

Bibliotheekverbeteringen

  • Bijgewerkte Python-bibliotheken:
    • ipyflow-core van 0.0.198 tot 0.0.201
    • pyccolo van 0.0.52 tot 0.0.65
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:
    • io.delta.delta-sharing-client_2.12 van 1.2.1 tot 1.2.2
    • org.lz4.lz4-java van 1.8.0 naar 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider van 1.6.2-linux-x86_64 tot 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 bevat Apache Spark 3.5.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 16.0, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-50482] [SC-182879][CORE] verouderd verklaard no-op spark.shuffle.spill configuratie
  • [SPARK-50032] [SC-182706][SQL][16.x] Gebruik van volledig gekwalificeerde sorteringsnaam toestaan
  • [SPARK-50467] [SC-182823][PYTHON] __all__ toevoegen voor ingebouwde functies
  • [SPARK-48898] [SC-182828][SQL] Fout opgelost bij het ontleden van varianten
  • [SPARK-50441] [SC-182668][SQL] Fix geparametriseerde identifiers die niet werken bij het verwijzen naar CTE's
  • [SPARK-50446] [SC-182639][PYTHON] Gelijktijdig niveau in python-geoptimaliseerde Python UDF
  • [SPARK-50430] [SC-182536][CORE] Gebruik de standaard Properties.clone in plaats van handmatig klonen
  • [SPARK-50471] [SC-182790][PYTHON] Ondersteuning voor Python-gegevensbronschrijver op basis van pijlen
  • [SPARK-50466] [SC-182791][PYTHON] Verfijn de docstring voor tekenreeksfuncties - deel 1
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integratie van nieuwe timer-API en API voor initiële status met timer
  • [SPARK-50437] [SC-182586][SS] Verminder de overhead van het maken van deserializers in TransformWithStateExec
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Ondersteuning voor koppelen toevoegen...
  • [SPARK-49294] [SC-182730][UI] Breedtekenmerk toevoegen voor het selectievakje shuffle-write-time.
  • [SPARK-50426] [SC-182540][PYTHON] Voorkomen dat statische Python-gegevensbronzoekacties worden gebruikt bij het gebruik van ingebouwde of Java-gegevensbronnen
  • [SPARK-48356] [SC-182603][SQL] Ondersteuning voor FOR-instructie
  • [SPARK-50333] [SC-182136][SQL] Codegen Support for CsvToStructs (by Invoke & RuntimeReplaceable)
  • [SPARK-50285] [SC-182575] Metrische gegevens voor commits naar StagedTable-exemplaren
  • [SPARK-50081] [SC-182344][SQL] Codegen Support for XPath*(by Invoke & RuntimeReplaceable)
  • [SPARK-50440] [SC-182592] [SQL] AttributeSeq.resolveCandidates herstructureren
  • [SPARK-50067] [SC-179648][SQL] Codegen-ondersteuning voor SchemaOfCsv(door Invoke & RuntimeReplaceable)
  • [SPARK-49873] [SC-178577][SQL] fout na samenvoegen oplossen bij fouttests
  • [SPARK-50118] [SC-181259][CONNET] Geïsoleerde statuscache opnieuw instellen wanneer taken worden uitgevoerd
  • [SPARK-49873] [SC-178577][SQL] De juiste foutklasse toewijzen voor _LEGACY_ERROR_TEMP_1325
  • [SPARK-50381] [SC-182197][CORE] Ondersteuning spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][SQL] De functie DAYNAME toevoegen
  • [SPARK-50270] [SC-181179][SS][PYTHON] Aangepaste statusmetrieken toegevoegd voor TransformWithStateInPandas
  • [SPARK-50118] '[SC-181259][CONNET] Geïsoleerde statuscache opnieuw instellen wanneer taken worden uitgevoerd'
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] DataFrame-API's toevoegen voor tabelwaardefuncties
  • [SPARK-49470] [SC-175736][UI] DataTables-opmaakmodellen en javascripts bijwerken van 1.13.5 naar 1.13.11
  • [SPARK-50235] Terugdraaien “[SC-180786][SQL] ColumnVector-resource opruimen nadat alle rijen in ColumnarToRowExec zijn verwerkt”
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] Zorg ervoor dat createDataFrameConfig RPC hoogstens één keer triggert
  • [SPARK-50387] [SC-182441][SS] Updatevoorwaarde voor het verlopen van de timer en relevante test
  • [SPARK-50287] [SC-182400][SQL] Samenvoegopties van tabel en relatie bij het maken van WriteBuilder in FileTable
  • [SPARK-50066] [SC-181484][SQL] Codegen Support for SchemaOfXml (by Invoke & RuntimeReplaceable)
  • [SPARK-50092] [SC-181568][SQL] PostgreSQL-connectorgedrag voor multidimensionale matrices oplossen
  • [SPARK-50318] [SC-181641][SQL] IntervalUtils.makeYearMonthInterval toevoegen om code te ontdubbelen tussen geïnterpreteerd en codegen
  • nl-NL: [SPARK-50312] [SC-181646][SQL] Fout bij het doorgeven van parameters aan SparkThriftServer createServer wanneer kerberos waar is.
  • [SPARK-50246] [SC-181468][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] Van json/xml mogen geen collaties in het opgegeven schema wijzigen
  • [SPARK-50250] [SC-181466][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] Geïsoleerde statuscache opnieuw instellen wanneer taken worden uitgevoerd
  • [SPARK-50235] [SC-180786][SQL] ColumnVector-resource opschonen nadat alle rijen in ColumnarToRowExec zijn verwerkt
  • [SPARK-50156] [SC-180781][SQL] Integreer _LEGACY_ERROR_TEMP_2113 in UNRECOGNIZED_STATISTIC
  • [SPARK-50069] [SC-180163][SQL] Integreer _LEGACY_ERROR_TEMP_0028 in UNSUPPORTED_FROM_TO_EXPRESSION
  • [SPARK-50154] [SC-180663][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] Codegen-ondersteuning voor StructsToJson(to_json)
  • [SPARK-50055] [SC-180978][SQL] Voeg TryMakeInterval-alternatief toe
  • [SPARK-50397] [SC-182367][CORE] Afgeschafte --ip en -i argumenten verwijderen uit Master/Worker
  • [SPARK-50238] [SC-181434][PYTHON] Variantondersteuning toevoegen in PySpark UDF's/UDTFs/UDAFs en Python UC UDF's
  • [SPARK-50079] [SC-179830][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][VOORBEELD] submit-sql.sh REST API-voorbeeld toevoegen
  • [SPARK-49966] [SC-179501][SQL] Gebruik Invoke om JsonToStructs(from_json) te implementeren
  • [SPARK-50302] [SC-182518][SS] Zorg ervoor dat secundaire indexgrootten gelijk zijn aan primaire indexgrootten voor TransformWithState stateful variabelen met TTL
  • [SPARK-50301] [SC-182241][SS][16.x] Zorg ervoor dat TransformWithState-scores hun intuïtieve betekenis hebben
  • [SPARK-50175] [SC-182140][SQL] Sorteringsprioriteitsberekening wijzigen
  • [SPARK-50148] [SC-180292][SQL] Maak StaticInvoke compatibel met de methode die verklaart een uitzondering te gooien.
  • [SPARK-50280] [SC-181214][PYTHON] Resultaatsortering en lege bins vullen herstructureren in compute_hist
  • [SPARK-50190] [SC-182458][PYTHON] Directe afhankelijkheid van Numpy verwijderen uit Histogram
  • [SPARK-50382] [SC-182368][CONNECT] Documentatie toevoegen voor algemene informatie over het ontwikkelen van toepassingen met/uitbreiden van Spark Connect
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] Vermijd het gebruik van een klasseproperty in threadpool voor de Python Connect-client
  • [SPARK-49566] [SC-182239][SQL] SQL-pijpsyntaxis toevoegen voor de OPERATOR EXTEND
  • [SPARK-50036] [SC-179533][CORE][PYTHON] Neem SPARK_LOG_SCHEMA op in de context van REPL-shell
  • [SPARK-49859] [SC-178259][CONNECT] Vervangen multiprocessing.ThreadPool met ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][PYTHON] lpad en rpad zo maken dat ze argumenten van het type kolom accepteren
  • [SPARK-50379] [SC-182142][SQL] Afhandeling van DayTimeIntervalType in WindowExecBase herstellen
  • [SPARK-49954] [SC-179110][SQL] Codegen-ondersteuning voor SchemaOfJson (door Invoke & RuntimeReplaceable)
  • [SPARK-50398] [SC-182341][CORE] Gebruik ExitCode-0 voor --help gebruik in Spark-scripts
  • [SPARK-50377] [SC-182238][SQL] Mogelijk maken om vouwbare RuntimeReplaceable te evalueren
  • [SPARK-50241] [SC-181444][SQL] Vervang NullIntolerant Mixin door de methode Expression.nullIntolerant
  • [SPARK-50084] [SC-179672][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] Integreer _LEGACY_ERROR_TEMP_0039 in UNSUPPORTED_SQL_STATEMENT
  • [SPARK-50378] [SC-182235][SS] Voeg een aangepaste metriek toe voor het bijhouden van de geïnvesteerde tijd in de initiële toestand van proc in transformWithState.
  • [SPARK-50029] [SC-179531][SQL] Maak StaticInvoke compatibel met de methode die Any retourneert
  • [SPARK-49990] [SC-179497][SQL] Prestaties van randStr verbeteren
  • [SPARK-50048] [SC-179528][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2114: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] Zet _LEGACY_ERROR_TEMP_2104 in INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][SQL] Trim sorteringsondersteuning voor tekenreeksfuncties
  • [SPARK-48549] [SC-176472][SQL][PYTHON] SQL-functie verbeteren sentences
  • [SPARK-50022] [SC-179503][CORE][UI] Aanpassen MasterPage om app-UI-links te verbergen wanneer de gebruikersinterface is uitgeschakeld
  • [SPARK-50087] [SC-182152] Robuuste verwerking van booleaanse expressies in CASE WHEN voor MsSqlServer en toekomstige connectors
  • [SPARK-49991] [SC-179481][SQL] Zorg ervoor dat HadoopMapReduceCommitProtocol 'mapreduce.output.basename' respecteert om bestandsnamen te genereren
  • [SPARK-50038] [SC-179521][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] Los ApplicationPage op om app-gebruikersinterfacekoppelingen te verbergen wanneer de gebruikersinterface is uitgeschakeld
  • [SPARK-49911] [SC-179111][SQL] Semantische ondersteuning voor binaire gelijkheid herstellen
  • [SPARK-50025] [SC-179496][SQL] Integreer _LEGACY_ERROR_TEMP_1253 in EXPECT_VIEW_NOT_TABLE
  • nl-NL: [SPARK-49829] [SC-179480][SS] Los de bug op in de optimalisatie van het toevoegen van invoer aan de state store bij een stream-stream join.
  • [SPARK-50004] [SC-179499][SQL] Integreer _LEGACY_ERROR_TEMP_3327 in FIELD_NOT_FOUND
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator moet het contract in ConstantFolding respecteren
  • [SPARK-50340] [SC-181859][SQL] UDT uitpakken in INSERT invoerquery
  • [SPARK-50237] [SC-181660][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2138-9: CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] Probleem opgelost met gewijzigde volgorde van uitvoerkolommen na AQE-optimalisatie
  • [SPARK-49773] [SC-178369][SQL] Onopgevangen Java-exceptie van make_timestamp() met verkeerde tijdzone
  • [SPARK-49977] [SC-179265][SQL] Op stack gebaseerde iteratieve berekeningen gebruiken om te voorkomen dat er veel Scala-lijstobjecten worden gemaakt voor deep expression-structuren
  • [SPARK-50153] [SC-181591][SQL] Voeg name toe aan RuleExecutor om het afdrukken van QueryExecutionMetricslogboeken duidelijker te maken
  • [SPARK-50320] [SC-181668][CORE] Maak --remote een officiële optie door experimental waarschuwing te verwijderen
  • [SPARK-49909] [SC-179492]Herstel "[SQL] Herstel de mooie naam van sommige expressies"
  • [SPARK-50330] [SC-180720][SC-181764][SQL] Hints toevoegen aan sorteer- en vensterknooppunten
  • [SPARK-50364] [SC-182003][SQL] Serialisatie implementeren voor het type LocalDateTime in Row.jsonValue
  • [SPARK-50016] [SC-182139][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2067: UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] Ondersteuning van deleteIfExists voor TransformWithStateInPandas
  • [SPARK-49757] [SC-177824][SQL] Ondersteuning voor IDENTIFIER expressie in SETCATALOG-instructie
  • [SPARK-50315] [SC-181886][SQL] Ondersteuning voor aangepaste metrische gegevens voor V1Fallback-schrijfbewerkingen
  • [SPARK-42838] [SC-181509][SQL] Een naam toewijzen aan de foutklasse _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] ResolveSQLOnFile herstructureren
  • [SPARK-48344] [SC-181967][SQL] SQL-script voorbereiden voor toevoeging van Execution Framework
  • [SPARK-49345] [SC-174786][CONNECT] Zorg ervoor dat u de huidige actieve Spark-sessie gebruikt
  • [SPARK-49925] [SC-178882][SQL] Tests voor volgorde toevoegen met gesorteerde tekenreeksen
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] PySpark-plotting foutberichten en importbewerkingen verbeteren
  • [SPARK-49368] [SC-1749999][CONNECT] Vermijd toegang tot protobuf lite-klassen rechtstreeks
  • [SPARK-50056] [SC-181378][SQL] Codegen-ondersteuning voor ParseUrl (door Invoke & RuntimeReplaceable)
  • [SPARK-49601] [SC-180770][SS][PYTHON] Ondersteuning voor initiële statusafhandeling voor TransformWithStateInPandas
  • [SPARK-49908] [SC-178768][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_0044
  • [SPARK-50144] [SC-180307][SS] De beperking van metrische berekeningen met DSv1-streamingbronnen oplossen
  • [SPARK-49874] [SC-178303][SQL] Verwijder trim- en ltrim-sorteringsaanduidingen.
  • [SPARK-49513] [SC-180339][SS] Ondersteuning voor timer toevoegen in transformWithStateInPandas-API
  • [SPARK-49119] [SC-175607][SQL] Los de inconsistentie van de syntaxis show columns tussen v1 en v2 op
  • [SPARK-49206] [SC-173704][CORE][UI] Environment Variables tabel toevoegen aan master-EnvironmentPage
  • [SPARK-49934] [SC-179581][SQL] Impliciete cast toevoegen voor toegang tot gesorteerde kaart met letterlijke gegevens
  • [SPARK-50049] [SC-181659][SQL] Ondersteuning voor aangepaste stuurprogrammagegevens in schrijven naar v2-tabel
  • [SPARK-50171] [SC-180295][PYTHON] Numpy optioneel maken voor KDE-plot
  • [SPARK-49962] [SC-179320][SQL] AbstractStringTypes-klassehiërarchie vereenvoudigen
  • [SPARK-50226] [SC-181483][SQL] Juiste MakeDTInterval en MakeYMInterval om Java-uitzonderingen te ondervangen
  • [SPARK-48775] [SC-170801][SQL][STS] Vervang SQLContext door SparkSession in STS
  • [SPARK-49015] [SC-175688][CORE] Connect Server zou spark.log.structuredLogging.enabled moeten respecteren
  • [SPARK-50327] [SC-181667][SQL][16.x] Isoleren van functieresolutie voor hergebruik in de single-pass Analyzer
  • [SPARK-49995] [SC-180762][SQL] Ondersteuning voor benoemde argumenten toevoegen aan meer TVF's
  • [SPARK-49268] [SC-174903][CORE] I/O-uitzonderingen loggen in SHS-geschiedenisprovider
  • [SPARK-48123] [SC-164989][Core] Een constant tabelschema bieden voor het uitvoeren van query's op gestructureerde logboeken
  • [SPARK-49217] [SC-174904][CORE] Ondersteuning voor de configuratie van afzonderlijke buffergrootten in UnsafeShuffleWriter
  • [SPARK-50325] [SC-181664][SQL][16.x] Haal aliasresolutie eruit om opnieuw te gebruiken in de single-pass Analyzer
  • [SPARK-50322] [SC-181665][SQL] Geparameteriseerde id in een subquery herstellen
  • [SPARK-48400] [SC-175283][CORE] PrometheusServlet verhogen naar DeveloperApi
  • [SPARK-50118] '[SC-181259][CONNET] Geïsoleerde statuscache opnieuw instellen wanneer taken worden uitgevoerd'
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] Ondersteuning voor Python 3.13 in Spark Connect
  • [SPARK-50152] [SC-181264][SS] Ondersteuning voor handleInitialState met statusgegevensbronlezer
  • [SPARK-50260] [SC-181271][CONNECT] Spark C herstructureren en optimaliseren...
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: LogInfo migreren met variabelen naar gestructureerd logboekregistratieframework
  • [SPARK-49312] [SC-174672][PYTHON] Foutbericht voor assertSchemaEqual verbeteren
  • [SPARK-49439] [SC-175236][SQL] Los de mooie naam van de FromProtobuf & ToProtobuf-expressie op
  • [SPARK-50092] [ES-1258521] PostgreSQL-connectorgedrag voor multidimensionale matrices herstellen
  • [SPARK-49913] [SC-181565][SQL] Controle toevoegen voor unieke labelnamen in geneste gelabelde bereiken
  • [SPARK-49563] [SC-181465][SQL] SQL-pijpsyntaxis toevoegen voor de operator WINDOW
  • [SPARK-49661] [SC-179021][SQL] Trim-sortering en vergelijking implementeren.
  • [SPARK-38912] [SC-181543][PYTHON] Verwijder de opmerking met betrekking tot classmethod en eigenschap
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB-beveiliging] Beheer van SST-bestandstoewijzing verbeteren en probleem oplossen met het opnieuw laden van dezelfde versie met een bestaande momentopname
  • [SPARK-49002] Keer terug naar “[SC-172846][SQL] Consistent ongeldige locaties afhandelen in WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
  • [SPARK-49668] [SC-178268][SQL] Ondersteuning voor sorteringssleutels voor trimsortering implementeren
  • [SPARK-50262] [SC-181193][SQL] Specificatie van complexe typen verbieden tijdens het wijzigen van collatie
  • [SPARK-48898] [SC-181435][SQL] Variantvernipperingsfuncties toevoegen
  • [SPARK-48273] [SC-181381]Herstel „[SQL] Verlate herschrijfbewerking van PlanWithUnresolvedIdentifier“
  • [SPARK-50222] [SC-180706][CORE] Ondersteuning spark.submit.appName
  • [SPARK-50208] [SC-180662][CORE] Ondersteuning spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][SQL] De vervangingen van IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 moeten NullIntolerant zijn
  • [SPARK-50247] [SC-180962][CORE] Definieer BLOCK_MANAGER_REREGISTRATION_FAILED als ExecutorExitCode
  • [SPARK-50282] [SC-181221][ML] Vereenvoudig TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][SQL] Toestaan dat de TransformWithState-operator Avro-codering gebruikt
  • [SPARK-50267] [SC-181180][ML] TargetEncoder.fit verbeteren met DataFrame-API's
  • [SPARK-37178] [SC-180939][ML] Doelcodering toevoegen aan ml.feature
  • [SPARK-50118] [SC-181259][CONNET] Geïsoleerde statuscache opnieuw instellen wanneer taken worden uitgevoerd
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Zorg ervoor dat lit(ndarray) met np.int8 het numpy-gegevenstype respecteert
  • [SPARK-50256] [SC-181048][SQL] Voeg lichtgewicht validatie toe om te controleren of een logisch plan na elke optimalisatieregel onopgeloste wordt
  • [SPARK-50196] [SC-180932][CONNECT] Python-foutcontext herstellen om een juiste context te gebruiken
  • [SPARK-50274] [SC-181181][CORE] Voorkomen van gebruik-na-sluiting in DirectByteBufferOutputStream
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] Ondersteuning voor optionele kolomparameter in box, kde en histplot
  • [SPARK-50273] [SC-181178][SS] Logboekregistratie voor RocksDB-vergrendelings- en releasecases verbeteren
  • [SPARK-50033] [SC-180720][SC-180659][SQL] Een hint toevoegen aan logische knooppunt Aggregate()
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Herstel van de extra acquireLock vrijgave in RocksDB als gevolg van de completie-luisteraar
  • [SPARK-50253] [SC-180969][SS] Stream-Stream Join mag geen controlepunt-id ophalen als dit niet wordt ondersteund.
  • [SPARK-50255] [SC-180964][PYTHON] Vermijd onnodige typeconversie in compute_hist
  • [SPARK-50228] [SC-180780][SQL] De RewriteCollationJoin-regel verplaatsen naar FinishAnalysis
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Pas 'precisie' aan als onderdeel van kwargs voor boxplots
  • [SPARK-49637] [SC-180160][SQL] Foutmelding gewijzigd voor INVALID_FRACTION_OF_SECOND
  • [SPARK-49530] [SC-180658][PYTHON] Actieve sessie ophalen uit dataframes
  • [SPARK-50195] [SC-180654][CORE] Herstel StandaloneRestServer om spark.app.name correct aan SparkSubmit door te geven
  • [SPARK-50229] [SC-180773] Verminder het geheugengebruik van stuurprogramma's voor brede schema's door de levensduur van AttributeReference-objecten te verminderen die tijdens de logische planning zijn gemaakt
  • [SPARK-50231] [SC-180815][PYTHON] Functie maken instr Kolom substring accepteren
  • [SPARK-49854] [SC-179812][16.x][SQL] Kloonartefactbeheer tijdens sessieklonen
  • [SPARK-50219] [SC-180694][SQL] Herstructureren ApplyCharTypePadding zodat helpermethoden kunnen worden gebruikt in een probleemoplosser met één wachtwoord
  • [SPARK-50077] [SC-179827][SQL] Introduceer een nieuw patroonobject voor LogicalRelation om het standaardpatroon voor volledige parameters te voorkomen
  • [SPARK-50128] [Backport][16x][SC-180677][SS] Stateful processor handle API's toevoegen met behulp van impliciete coderingsprogramma's in Scala
  • [SPARK-50061] [SC-179961][SQL] Analysetabel inschakelen voor gesorteerde kolommen
  • [SPARK-49993] [SC-180084][SQL] Foutmeldingen verbeteren voor Som en Gemiddelde
  • [SPARK-49638] [SC-179665][SQL] Verwijder de ANSI-configuratiesuggestie in INVALID_URL
  • [SPARK-50204] [SC-180660][SQL] Factor out HiveTableRelation resolutie van leespad
  • [SPARK-50193] [SC-180651][SS] Uitzonderingsafhandeling corrigeren voor het valideren van tijdmodi
  • [SPARK-50179] [SC-180342][CORE] spark.app.name eigenschap optioneel maken in REST API
  • [SPARK-50068] [SC-180300][SQL] Herstructureren TypeCoercion en AnsiTypeCoercion om transformaties van één knooppunt te scheiden
  • [SPARK-49411] [SC-179483][SS] State Store-controlepunt-id communiceren tussen driver en stateful operators
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET gegevensvolgorde behouden
  • [SPARK-49506] [SC-180165][SQL] ArrayBinarySearch optimaliseren voor vouwbare matrix
  • [SPARK-50097] [SC-179908][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_1248: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] Toevoegen try_make_timestamp(_ltz en _ntz) en gerelateerde tests
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] Ondersteuning voor histogramplots
  • [SPARK-50015] [SC-179964][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] Scala- en Java-bestanden verplaatsen naar hun standaardmappen
  • [SPARK-49980] [SC-180353][CORE][SQL] Potentiële bestandsstroomlekken oplossen die worden veroorzaakt door onderbreking van geannuleerde taken
  • [SPARK-49010] [SC-172304][SQL][XML] Moduletests toevoegen voor gevoeligheid van xml-schemadeductie
  • [SPARK-49562] [SC-180211][SQL] SQL-pijpsyntaxis toevoegen voor aggregatie
  • [SPARK-49663] [SC-180239][SQL] RTRIM-suggesties inschakelen in sorteringsexpressies
  • [SPARK-48965] [SC-175926][SQL] Gebruik het juiste schema in Dataset#toJSON
  • [SPARK-48493] [SC-175893][PYTHON] Python-gegevensbronlezer verbeteren met directe Arrow Batch-ondersteuning voor verbeterde prestaties
  • [SPARK-49734] [SC-180226][PYTHON] seed argument toevoegen voor functie-shuffle
  • [SPARK-50174] [16.x][SC-180253][SQL] Maak de resolutie van UnresolvedCatalogRelation los.
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] Ondersteuning voor kde/densityplots
  • [SPARK-49805] [SC-180218][SQL][ML] Privéfuncties verwijderen[xxx] uit function.scala
  • [SPARK-49808] [SC-179490][SQL] Een impasse in subquery-uitvoering oplossen vanwege luie vals
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] Ondersteuningsvakplots
  • [SPARK-50008] [SC-179290][PS][CONNECT] Vermijd onnodige bewerkingen in attach_distributed_sequence_column
  • [SPARK-49767] [SC-180161][PS][CONNECT] Herstructureer de aanroep van de interne functie
  • [SPARK-49683] [SC-178341][SQL] Trim-collatie blokkeren
  • [SPARK-49939] [SC-178941][SQL] Codegen-ondersteuning voor json_object_keys (via Invoke & RuntimeVervangbaar)
  • [SPARK-50031] [SC-179582][SQL] De TryParseUrl-expressie toevoegen
  • [SPARK-49766] [SC-178933][SQL] Codegen Support for json_array_length (by Invoke & RuntimeReplaceable)
  • [SPARK-50046] [SC-180026][SS] Gebruik een stabiele volgorde van het EventTimeWatermark-knooppunt om het watermerk te berekenen
  • [SPARK-49540] [SC-180145][PS] Het gebruik van distributed_sequence_id samenvoegen
  • [SPARK-50060] [SC-179965][SQL] Conversie uitgeschakeld tussen verschillende gesorteerde typen in TypeCoercion en AnsiTypeCoercion
  • [SPARK-49004] [SC-173244][CONNECT] Afzonderlijk register gebruiken voor interne functies van de Kolom-API
  • [SPARK-49811] [SC-177888][SQL]Rename StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][PS] ArrayBinarySearch toepassen op histogram
  • [SPARK-49203] [SC-175734][SQL] Expressie toevoegen voor java.util.Arrays.binarySearch
  • [SPARK-50034] [SC-179816][CORE] Corrigeer verkeerde rapportage van fatale fouten als ongesnapte uitzonderingen in SparkUncaughtExceptionHandler
  • [SPARK-50093] [SC-179836][SQL] Sorteringen die gebruikmaken van ICU, moeten de versie hebben van de gebruikte ICU-bibliotheek.
  • [SPARK-49985] [SC-179644][SQL] Ondersteuning voor intervaltypen in variant verwijderen
  • [SPARK-49103] [SC-173066][CORE] Ondersteuning spark.master.rest.filters
  • [SPARK-50090] [SC-179819] ResolveBinaryArithmetic herstructureren om transformatie met één knooppunt te scheiden
  • [SPARK-49902] [SC-179650][SQL] Opvangen van onderliggende runtimefouten in RegExpReplace
  • [SPARK-49126] [SC-173342][CORE] spark.history.ui.maxApplications configuratiedefinitie verplaatsen naar History.scala
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] Betere foutmelding bij het gebruik van geheugenprofiler op editors zonder regelnummers
  • [SPARK-50062] [SC-179835][SQL] Ondersteuning voor sorteringen per InSet
  • [SPARK-50035] [Backport][16x][SC-179530][SS] Ondersteuning voor expliciete handleExpiredTimer-functie van de stateful processor toevoegen
  • [SPARK-49982] [SC-179814][SQL] Negatief cachen in InMemoryRelation corrigeren
  • [SPARK-49082] [SC-173350][SQL] Typepromotie-verbreding in AvroDeserializer
  • [SPARK-50088] [SC-179680][SQL] Herstructureren UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][SS] Ondersteuning toevoegen voor leeswijzigingsfeed voor kaart- en lijsttypen die worden gebruikt in stateful processors
  • [SPARK-49846] [SC-179506][SS] Voeg de metrics numUpdatedStateRows en numRemovedStateRows toe voor gebruik met de transformWithState-operator.
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Laten lit str- en bool-type numpy ndarray accepteren
  • [SPARK-49821] [SC-179527][SS][PYTHON] MapState en TTL-ondersteuning implementeren voor TransformWithStateInPandas
  • [SPARK-49558] [SC-179485][SQL] SQL-pijpsyntaxis toevoegen voor LIMIT/OFFSET en VOLGORDE/SORTEREN/CLUSTER/DISTRIBUTE BY
  • [SPARK-48144] [SC-165725][LC-4080][SQL] Corrigeer canPlanAsBroadcastHashJoin om hints voor shuffle joins te respecteren
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] Maak dat lit werkt met een lege numpy ndarray
  • [SPARK-50018] [SC-179488][SQL] AbstractStringType serializable maken
  • [SPARK-50016] [SC-179491][SQL] Expliciete sorteringsfout verbeteren
  • [SPARK-50010] [SC-179487][SQL] Impliciete collatieverschil fout uitbreiden
  • [SPARK-48749] [SC-170116][SQL] Vereenvoudig UnaryPositive en elimineer de Katalysator-regels met RuntimeReplaceable
  • [SPARK-49857] [SC-178576][SQL] StorageLevel toevoegen aan de Dataset localCheckpoint-API
  • [SPARK-50058] [SC-179538][SQL] Plannormalisatiefuncties afzonderen om deze later te gebruiken in single-pass Analyzer-testen
  • [SPARK-50052] [SC-179535][PYTHON][16.X] Zorg ervoor dat NumpyArrayConverter lege str ndarray ondersteunt
  • [SPARK-47261] [SC-173665][SQL] Betere naam toewijzen voor fouten _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 en _LEGACY_ERROR_TEMP_1174
  • [SPARK-49147] [SC-173471][CORE] Markeer KryoRegistrator met DeveloperApi-interface
  • [SPARK-48949] [SC-173070][SQL] SPJ: Runtime partitiefiltering
  • [SPARK-50044] [SC-179523][PYTHON] De docstring van meerdere wiskundige functies verfijnen
  • [SPARK-48757] [SC-170113][CORE] IndexShuffleBlockResolver expliciete constructors maken
  • [SPARK-50037] [SQL] AttributeSeq.resolve herstructureren(...)
  • [SPARK-48782] [SC-177056][SQL] Ondersteuning toevoegen voor het uitvoeren van procedures in catalogi
  • [SPARK-49057] [SC-173081][SQL] De AQE-lus niet blokkeren bij het verzenden van queryfasen
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Identiteitskolom SQL-syntaxis toevoegen
  • [SPARK-48773] [SC-170773] Document configuratie 'spark.default.parallelism' met het configuratiebouwer-framework.
  • [SPARK-48735] [SC-169810][SQL] Prestatieverbetering voor bin-functie
  • [SPARK-48900] [SC-172433] reason veld toevoegen voor alle interne aanroepen voor het annuleren van taken/fasen
  • [SPARK-48488] [SC-167605][CORE] Methoden log[info|warning|error] in SparkSubmit oplossen
  • [SPARK-48708] [SC-169809][CORE] Verwijder drie onnodige typeregistraties uit KryoSerializer
  • [SPARK-49958] [SC-179312][PYTHON] Python-API voor tekenreeksvalidatiefuncties
  • [SPARK-49979] [SC-179264][SQL] Oplossing voor het AQE-vastloopprobleem bij het twee keer verzamelen op een mislukt plan
  • [SPARK-48729] [SC-169795][SQL] Een UserDefinedFunction-interface toevoegen om een SQL-functie weer te geven
  • [SPARK-49997] [SC-179279][SQL] Integreer _LEGACY_ERROR_TEMP_2165 in MALFORMED_RECORD_IN_PARSING
  • [SPARK-49259] [SC-179271][SS]Grootte-gebaseerde partitiecreatie tijdens het lezen van Kafka
  • [SPARK-48129] [SC-165006][PYTHON] Een constant tabelschema in PySpark bieden voor het uitvoeren van query's op gestructureerde logboeken
  • [SPARK-49951] [SC-179259][SQL] De juiste foutvoorwaarde toewijzen voor LEGACY_ERROR_TEMP(1099|3085)
  • [SPARK-49971] [SC-179278][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_1097
  • [SPARK-49998] [SC-179277][SQL] Integreer _LEGACY_ERROR_TEMP_1252 in EXPECT_TABLE_NOT_VIEW
  • [SPARK-49876] [SC-179262][CONNECT] Verwijder globale vergrendelingen van Spark Connect Service
  • [SPARK-49957] [SC-179202][SQL] Scala-API voor tekenreeksvalidatiefuncties
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener mag niet worden beïnvloed door spark.interrupt()
  • [SPARK-49643] [SC-179239][SQL] _LEGACY_ERROR_TEMP_2042 samenvoegen in ARITHMETIC_OVERFLOW
  • [SPARK-49959] [SC-179109][SQL] ColumnarArray.copy() herstellen om null-waarden te lezen vanaf de juiste offset
  • [SPARK-49956] '[SC-179070] Uitgeschakelde sorteringen met collect_set-expressie' herstellen
  • [SPARK-49987] [SC-179180][SQL] De foutprompt herstellen wanneer seedExpression niet kan worden gevouwen in randstr
  • [SPARK-49948] [SC-179158][PS][CONNECT] Parameter 'precisie' toevoegen bij Pandas in Spark-boxplot
  • [SPARK-49970] [SC-179167][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2069
  • [SPARK-49916] [SC-179108][SQL] Gooit een passende uitzondering voor type-mismatch tussen ColumnType en gegevenstype in sommige rijen
  • [SPARK-49956] [SC-179070] Uitgeschakelde sorteringen met collect_set-expressie
  • [SPARK-49974] [16.x][SC-179071][SQL] resolveRelations verplaatsen(...) uit Analyzer.scala
  • [SPARK-47259] [SC-176437][SQL] Namen toewijzen aan foutvoorwaarden voor intervalfouten
  • [SPARK-47430] [SC-173679][SQL] Herwerkgroep op kaarttype om bindingsverwijzingsuitzondering op te lossen
  • [SPARK-49067] [SC-172616][SQL] Utf-8 letterlijk verplaatsen naar interne methoden van urlCodec-klasse
  • [SPARK-49955] [SC-178989][SQL] null-waarde impliceert niet een beschadigd bestand bij het parseren van de JSON-tekenreeks RDD
  • [SPARK-49393] [SC-175212][SQL] Mislukt standaard in afgeschafte catalogusinvoegtoepassing-API's
  • [SPARK-49952] [SC-178985][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_1142
  • [SPARK-49405] [SC-175224][SQL] Charsets in JsonOptions beperken
  • [SPARK-49892] [SC-178975][SQL] De juiste foutklasse toewijzen voor _LEGACY_ERROR_TEMP_1136
  • [SPARK-49904] [SC-178973][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2140
  • [SPARK-47257] [SC-174244][SQL] Namen toewijzen aan foutklassen _LEGACY_ERROR_TEMP_105[3-4] en _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] Het verwerken van nullen en enen in ReorderAssociativeOperator
  • [SPARK-49891] [SC-178970][SQL] De juiste foutvoorwaarde toewijzen voor _LEGACY_ERROR_TEMP_2271
  • [SPARK-49918] [SC-178748][CORE] Gebruik waar nodig alleen-lezentoegang tot conf in SparkContext
  • [SPARK-49666] [SC-177891][SQL] Functievlag toevoegen voor trimsorteringsfunctie
  • [SPARK-48885] [SC-171050][SQL] Laat een aantal subklassen van RuntimeReplaceable de vervanging overschrijven naar lazy val
  • [SPARK-49932] [SC-178931][CORE] Gebruik tryWithResource release JsonUtils#toJsonString resources om geheugenlekken te voorkomen
  • [SPARK-49949] [SC-178978][PS] Vermijd onnodige analysetaak in attach_sequence_column
  • [SPARK-49924] [SC-178935][SQL] containsNull behouden na ArrayCompact vervanging
  • [SPARK-49121] [SC-174787][SQL] Ondersteuning voor from_protobuf en to_protobuf voor SQL-functies
  • [SPARK-47496] [SC-160529][SQL] Java SPI-ondersteuning voor dynamische JDBC-dialecten registreren
  • [SPARK-49359] [SC-174895][SQL] GefaseerdeTableCatalog-implementaties toestaan om terug te vallen op niet-atomische schrijfbewerkingen
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] Fout verbeteren bij het tegenkomen van een natrailende komma in SELECT clausule
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer: Spark SQL-gegevenstypen voor documenttoewijzing vanuit Microsoft SQL Server en tests toevoegen
  • [SPARK-46037] [SC-175495][SQL] Correctie van onjuistheden voor Shuffled Hash Join build zonder gegenereerde code
  • [SPARK-47813] [SC-162615][SQL] Vervang getArrayDimension door updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][SQL] Uitzonderingsfout bij het evalueren van de partitie transformatie
  • [SPARK-47172] [SC-169537][CORE] Ondersteuning toevoegen voor AES-GCM voor RPC-versleuteling
  • [SPARK-47666] [SC-161476][SQL] NPE herstellen bij het lezen van mysql-bitmatrix als LongType
  • [SPARK-48947] [SC-174239][SQL] Gebruik de naam van minder gebruikte tekenset om de cache te verminderen die ontbreekt in Charset.forName
  • [SPARK-49909] [SC-178552][SQL] Los de mooie naam van sommige expressies op
  • [SPARK-47647] [SC-161377][SQL] Ervoor zorgen dat MySQL-gegevensbron bit(n>1) kan lezen als BinaryType zoals Postgres
  • [SPARK-46622] [SC-153004][CORE] Methode toString overschrijven voor o.a.s.network.shuffledb.StoreVersion
  • [SPARK-48961] [SC-171910][PYTHON] De parameternaamgeving van PySparkException consistent maken met JVM
  • [SPARK-49889] [SC-178474][PYTHON] Argument toevoegen trim voor functiestrim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][SQL] Foutgegevenstypetoewijzing in MySQL Connector/J oplossen
  • [SPARK-47628] [SC-161257][SQL] Probleem met postgres-bitmatrix 'Kan niet casten naar booleaanse waarde' oplossen
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] Wijzigingscommentaar corrigeren voor teken-/varchar-kolommen
  • [SPARK-49549] [SC-178764][SQL] Wijs een naam toe aan de foutvoorwaarden _LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][SQL] DelegatingCatalogExtension beter uitbreidbaar maken
  • [SPARK-49559] [SC-178551][SQL] SQL-pijpsyntaxis toevoegen voor setbewerkingen
  • [SPARK-49906] [SC-178536][SQL] Introduceer en gebruik CONFLICTING_DIRECTORY_STRUCTURES fout voor PartitioningUtils
  • [SPARK-49877] [SC-178392][SQL] Wijzig de functiehandtekening van classifyException: voeg isRuntime argument toe
  • [SPARK-47501] [SC-160532][SQL] Voeg convertDateToDate toe zoals de bestaande convertTimestampToTimestamp voor JdbcDialect.
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType moet het kind retourneren bij een fout.
  • [SPARK-47462] [SC-160460][SQL] Toewijzingen van andere niet-ondertekende numerieke typen uitlijnen met TINYINT in MySQLDialect
  • [SPARK-47435] [SC-160129][SQL] Overloopprobleem van MySQL UNSIGNED TINYINT opgelost die wordt veroorzaakt door SPARK-45561
  • [SPARK-49398] [SC-176377][SQL] De fout voor parameters in de query van CACHE TABLE en CREATE VIEW verbeteren
  • [SPARK-47263] [SC-177012][SQL] Namen toewijzen aan de verouderde voorwaarden _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] Corrigeer de melding wanneer ascendingOrder is DataTypeMismatch in SortArray
  • [SPARK-49806] [SC-178304][SQL][CONNECT] Redundante blank space verwijderen na show in Scala- en Connect-clients
  • [SPARK-47258] [SC-175032][SQL] Namen toewijzen aan foutklassen _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] SQL-pijpsyntaxis toevoegen voor de operator JOIN
  • [SPARK-49836] [SC-178339][SQL][SS] Corrigeer mogelijk verbroken query wanneer het venster wordt geleverd aan venster/session_window fn
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] SQL-tijdstempeltoewijzingen verwerken voor Postgres en MySQL
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] Ondersteuning taartdiagrammen
  • [SPARK-49824] [SC-178251][SS][CONNECT] Logboekregistratie in SparkConnectStreamingQueryCache verbeteren
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] Verfijn de tekenreeksweergave van kolomveldbewerkingen
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] Ondersteuning voor gebiedsplots
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] Ondersteuning voor spreidingsdiagrammen
  • [SPARK-49744] [SC-178363][SS][PYTHON] TTL-ondersteuning implementeren voor ListState in TransformWithStateInPandas
  • [SPARK-49879] [SC-178334][CORE] Verplaats TransportCipherUtil naar een afzonderlijk bestand om Java-compilatiewaarschuwingen te elimineren
  • [SPARK-49866] [SC-178353][SQL] Het foutbericht voor het beschrijven van tabel met partitiekolommen verbeteren
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] Verbeter het foutbericht wanneer de index buiten de grenzen valt bij het aanroepen van GetColumnByOrdinal
  • [SPARK-49607] [SC-177373][PYTHON] Werk de steekproefbenadering voor steekproefgebaseerde plots bij
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] Ondersteuning voor horizontale en verticale staafdiagrammen
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] Ondersteuningslijndiagram met plotly backend
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] UnivocityParser gewijzigd om runtime-uitzonderingen te genereren die worden veroorzaakt door ArrayIndexOutOfBounds met meer gebruikersgerichte berichten
  • [SPARK-49870] [SC-178262][PYTHON] Ondersteuning voor Python 3.13 toevoegen in spark Classic
  • [SPARK-49560] [SC-178121][SQL] Sql-pijpsyntaxis toevoegen voor de operator TABLESAMPLE
  • [SPARK-49864] [SC-178305][SQL] Bericht van BINARY_ARITHMETIC_OVERFLOW verbeteren
  • [SPARK-48780] [SC-170274][SQL] Fouten maken in namedParametersSupport algemeen voor het afhandelen van functies en procedures
  • [SPARK-49358] [SC-178158][SQL] Modusexpressie voor kaarttypen met gesorteerde tekenreeksen
  • [SPARK-47341] [SC-178157][SQL] Onjuiste documentatie van RuntimeConfig#get corrigeren
  • [SPARK-48357] [SC-178153][SQL] Ondersteuning voor LOOP-instructie
  • [SPARK-49845] [SC-178059][CORE] Maak appArgs en environmentVariables optioneel in REST API
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable moet aangeven of deze moet worden geschreven
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Ondersteuning voor listener aan clientzijde toegevoegd voor Scala
  • [SPARK-48700] [SC-177978][SQL] Modusexpressie voor complexe typen (alle sorteringen)
  • [SPARK-48196] [SC-177899][SQL] QueryExecution lazy val plans omzetten in LazyTry
  • [SPARK-49749] [16.x][SC-177877][CORE] Logboekniveau wijzigen in foutopsporing in BlockManagerInfo
  • [SPARK-49561] [SC-177897][SQL] SQL-pijpsyntaxis toevoegen voor de operators PIVOT en UNPIVOT
  • [SPARK-49823] [SC-177885][SS] Vermijd flushen tijdens afsluiten in het rocksdb-sluitpad
  • [SPARK-49820] [SC-177855] [PYTHON] raise IOError wijzigen in raise OSError
  • [SPARK-49653] [SC-177266][SQL] Enkele join voor gecorreleerde scalaire subquery's
  • [SPARK-49552] [SC-177477][PYTHON] DataFrame-API-ondersteuning toevoegen voor nieuwe SQL-functies 'randstr' en 'uniform'
  • [SPARK-48303] [16.x][SC-166251][CORE] LogKeys opnieuw ordenen
  • [SPARK-49656] [16x][Backport][SS] Ondersteuning voor toestandvariabelen met waarde-toestandverzameltypen en opties voor het lezen van wijzigingsfeeds
  • [SPARK-48112] [SC-165129][CONNECT] Sessie beschikbaar maken in SparkConnectPlanner voor invoegtoepassingen
  • [SPARK-48126] [16.x][SC-165309][Core] Zorg ervoor dat spark.log.structuredLogging.enabled effectief is
  • [SPARK-49505] [SC-176873][SQL] Maak nieuwe SQL-functies 'randstr' en 'uniform' om willekeurige tekenreeksen of getallen binnen bepaalde reeksen te genereren
  • [SPARK-49463] [SC-177474] Ondersteuning van ListState voor TransformWithStateInPandas
  • [SPARK-48131] [SC-165007][Core] MDC-sleutel samenvoegen mdc.taskName en task_name
  • [SPARK-49557] [SC-177227][SQL] SQL-pijpsyntaxis toevoegen voor de operator WHERE
  • [SPARK-49323] [16.x][SC-174689][CONNECT] MockObserver verplaatsen van de testmap van Spark Connect Server naar de hoofdmap van de server
  • [SPARK-49745] [SC-177501][SS] Wijziging toevoegen om geregistreerde timers te lezen via de lezer van de statusgegevensbron
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] ColumnFamilyOptions verwijderen en configuraties rechtstreeks toevoegen aan dbOptions in RocksDB

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (ODBC-downloaden, JDBC-downloaden).

Zie Databricks Runtime 16.1 onderhoudsupdates.

Systeemomgeving

  • besturingssysteem: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
geannoteerde typen 0.7.0 asttokens 2.0.5 astunparse 1.6.3
automatische opdracht 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 zwart 24.4.2
knipperlicht 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certificaat 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.1.7
cloudpickle 2.2.1 Communicatie 0.2.1 contourpy 1.2.0
cryptografie 42.0.5 wielrijder 0.11.0 Cython 3.0.11
databricks-sdk (softwareontwikkelkit) 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorateur 5.1.1 Verouderd 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 invoerpunten 0.4 Uitvoeren 0.8.3
facettenoverzicht 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage (opslag in de cloud van Google) 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
verbuigen 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
verpakking 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.6 pexpect 4.8.0
kussen 10.3.0 pit 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Verzoeken 2.32.2 touw 1.12.0 RSA 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 Zes 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stapelgegevens 0.2.0 statsmodels 0.14.2 vasthoudendheid 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typen verzoeken 2.31.0.0 types-setuptools 68.0.0.0
types-zes 1.16.0 types-urllib3 1.26.25.14 typingsuitbreidingen 4.11.0
ujson 5.10.0 upgrades zonder toezicht 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wiel 0.43.0 gewikkeld 1.14.1
yapf 0.33.0 zipp 3.17.0

geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de CRAN-snapshot van de Posit Package Manager op 2024-08-04.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 16.1.0 askpass 1.2.0 assertthat 0.2.1
terugporteringen 1.5.0 basis 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 Vlek 1.2.4 laars 1.3-30
brouwsel 1.0-10 Brio 1.1.5 bezem 1.0.6
bslib 0.8.0 cachem 1.1.0 beller 3.7.6
Caret 6.0-94 cellranger 1.1.0 Chron 2.3-61
klas 7.3-22 Cli 3.6.3 clipr 0.8.0
klok 0.7.1 cluster 2.1.6 codetools 0.2-20
kleurruimte 2.1-1 commonmark 1.9.1 compiler 4.4.0
configuratie 0.3.2 Strijd 1.2.0 cpp11 0.4.7
krijtje 1.5.3 geloofsbrief 2.0.1 curl 5.2.1
data.table 1.15.4 gegevenssets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 samenvatting 0.6.36
neerwaarts verlicht 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 beletselteken 0.3.2 evalueren 0.24.0
fans 1.0.6 kleuren 2.1.2 snelle kaart 1.2.0
fontawesome 0.5.2 voorspelling 1.0.0 foreach 1.5.2
buitenlands 0.8-86 smeden 0.2.0 fs 1.6.4
toekomst 1.34.0 future.apply 1.11.2 gorgelen 1.5.2
Generieken 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 lijm 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafiek 4.4.0 grDevices 4.4.0 raster 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 veiligheidshelm 1.4.0 haven 2.5.4
hoger 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 Herhalingsmechanismen 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 etikettering 0.4.3
later 1.3.2 latwerk 0.22-5 lava 1.8.0
levenscyclus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 MASSA 7.3-60.0.1
Matrix 1.6-5 memoreren 2.0.1 Methoden 4.4.0
mgcv 1.9-1 mimekunst 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 evenwijdig 4.4.0
op een parallelle manier 1.38.0 pilaar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 prijzen 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 vooruitgang 1.2.3
progressr 0.14.0 Beloften 1.3.0 Proto 1.0.0
proxy 0.4-27 PS 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reageerbaar 0.4.4
reactR 0.6.0 gegevenslezer 2.1.5 readxl 1.4.3
Recepten 1.1.0 herkansing 2.0.0 revanche2 2.1.2
Afstandsbedieningen 2.5.0 repliceerbaar voorbeeld 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
weegschaal 1.3.0 selectr 0.4-2 sessie-informatie 1.2.2
vorm 1.4.6.1 glanzend 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 ruimtelijk 7.3-17 Splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 Statistieken 4.4.0
statistieken4 4.4.0 stringi 1.8.4 stringr 1.5.1
overleving 3.6-4 Bravoure 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
tekstvorming 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 tijdverandering 0.3.0
tijdDatum 4032.109 tinytex 0.52 gereedschap 4.4.0
tzdb 0.4.0 URL-controleprogramma 1.0.1 usethis 3.0.0
utf8 1.2.4 hulpprogramma's 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 snor 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 ritssluiting 2.3.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config (configuratie) 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-geschaduwd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-moedertaalsprekers
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-moedertaalsprekers
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-moedertaalsprekers
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-moedertaalsprekers
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone foutgevoelige_annotaties 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
gemeenschappelijke-bestandsupload gemeenschappelijke-bestandsupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrische aantekening 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriek-gezondheidscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 (een Jetty-implementatie voor het meten van prestatie-indicatoren) 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-sokken 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant mier 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pijlnotatie 15.0.0
org.apache.arrow pijl-geheugen-kern 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pijlvector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-tekst 1.10.0
org.apache.curator curator-klant 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotaties voor het doelgroep 0.13.0
org.apache.zookeeper dierentuinverzorger 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-vervolg 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty steigerbeveiliging 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap vulplaatjes 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1