Databricks Runtime 12.2 LTS

Följande viktig information innehåller information om Databricks Runtime 12.2 LTS, som drivs av Apache Spark 3.3.2.

Databricks släppte den här versionen i mars 2023.

Kommentar

LTS innebär att den här versionen stöds på lång sikt. Se Livscykeln för Databricks Runtime LTS-versionen.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Förändringar i beteende

[Icke-bakåtkompatibel ändring] Ny Python-version kräver uppdatering av Databricks Connect V1 Python-klienter

För att tillämpa nödvändiga säkerhetskorrigeringar uppgraderas Python-versionen i Databricks Runtime 12.2 LTS från 3.9.5 till 3.9.19. Eftersom dessa ändringar kan orsaka fel i klienter som använder specifika PySpark-funktioner måste alla klienter som använder Databricks Connect V1 för Python med Databricks Runtime 12.2 LTS uppdateras till Python 3.9.7 eller senare.

Nya funktioner och förbättringar

• Delta Lake-schemautveckling har stöd för att ange källkolumner i sammanslagningsinstruktioner
• Strukturerade strömningsarbetsbelastningar stöds i kluster med läget för delad åtkomst
• Nya funktioner för förutsägande I/O
• Stöd för implicit lateral kolumnalias
• Ny forEachBatch-funktion
• Standardiserade anslutningsalternativ för frågefederation
• Utökat SQL-funktionsbibliotek för matrishantering
• Ny maskfunktion för att anonymisera strängar
• Vanliga felvillkor returnerar nu SQLSTATEs
• Anropa generatorfunktioner i FROM-satsen
• Stöd för protokollbuffertar är allmänt tillgängligt
• Gå till definition för notebook-variabler och funktioner
• Snabbkorrigering för notebook-filer för automatisk import av bibliotek
• Felkorrigeringar

Delta Lake-schemautveckling har stöd för att ange källkolumner i sammanslagningsinstruktioner

Nu kan du ange kolumner som bara finns i källtabellen i infoga eller uppdatera åtgärder för kopplingsinstruktioner när schemautveckling är aktiverat. I Databricks Runtime 12.1 och nedan kan endast INSERT * åtgärder eller UPDATE SET * åtgärder användas för schemautveckling med sammanslagning. Se Automatisk schemautveckling för Delta Lake-sammanslagning.

Strukturerade strömningsarbetsbelastningar stöds i kluster med läget för delad åtkomst

Nu kan du använda Structured Streaming för att interagera med Unity Catalog i delade kluster. Vissa begränsningar gäller. Se Vilka funktioner för strukturerad direktuppspelning stöder Unity Catalog?.

Nya funktioner för förutsägande I/O

Photon-stöd för Foreachbatch mottagaren är nu tillgängligt. Arbetsbelastningar som strömmas från en källa och sammanfogas till deltatabeller eller skriver till flera mottagare kan nu dra nytta av fotonas mottagare Foreachbatch .

Stöd för implicit lateral kolumnalias

Azure Databricks stöder nu implicit lateral kolumnalias som standard. Nu kan du återanvända ett uttryck som angavs tidigare i samma SELECT lista. Till exempel, givet SELECT 1 AS a, a a + 1 AS bkan in a + 1 matchas som den tidigare definierade 1 AS a. Kontrollera Namnmatchning för mer information i matchningsordning. Om du vill inaktivera den här funktionen kan du ange spark.sql.lateralColumnAlias.enableImplicitResolution till false.

Ny forEachBatch-funktion

Foton stöds nu när du använder foreachBatch för att skriva till en datamottagare.

Standardiserade anslutningsalternativ för frågefederation

Nu kan du använda en enhetlig uppsättning alternativ (värd, port, databas, användare, lösenord)för att ansluta till datakällor som stöds i Frågefederation. Port är valfritt och använder standardportnumret för varje datakälla, om det inte anges.

Utökat SQL-funktionsbibliotek för matrishantering

Nu kan du ta bort alla NULL-element från en matris med hjälp av array_compact. Om du vill lägga till element i en matris använder du array_append.

Ny maskfunktion för att anonymisera strängar

Anropa maskfunktionen för att anonymisera känsliga strängvärden.

Vanliga felvillkor returnerar nu SQLSTATEs

De flesta feltillstånd som Databricks Runtime nu innehåller dokumenterade SQLSTATE-värden som kan användas för att testa fel på ett sql-standardkompatibelt sätt.

Anropa generatorfunktioner i FROM-satsen

Nu kan du anropa generatorfunktioner med tabellvärde, till exempel explodera i den vanliga FROM satsen i en fråga. Detta justerar generatorfunktionens anrop med andra inbyggda och användardefinierade tabellfunktioner.

Stöd för protokollbuffertar är allmänt tillgängligt

Du kan använda from_protobuf funktionerna och to_protobuf för att utbyta data mellan binära och struct-typer. Se Läsa och skriva protokollbuffertar.

Gå till definition för notebook-variabler och funktioner

I notebook-filer kan du snabbt gå till definitionen av en variabel, funktion eller koden bakom en %run instruktion genom att högerklicka på variabeln eller funktionsnamnet.

Snabbkorrigering för notebook-filer för automatisk import av bibliotek

Databricks Notebooks erbjuder nu en snabbkorrigeringsfunktion för automatisk import av bibliotek. Om du glömmer att importera ett bibliotek som Pandas hovrar du över den understrukna syntaxvarningen och klickar sedan på Snabbkorrigering. Den här funktionen kräver att Databricks Assistant är aktiverat på din arbetsyta.

Felkorrigeringar

• Förbättrad konsekvens för Delta-incheckningsbeteende för tomma transaktioner relaterade till updatekommandona , deleteoch merge . På WriteSerializable isoleringsnivå skapar kommandon som inte resulterar i några ändringar nu en tom incheckning. På isoleringsnivå Serializable skapar sådana tomma transaktioner nu ingen incheckning.

Funktionalitetsförändringar

Beteendeändringar med den nya laterala kolumnaliasfunktionen

Den nya laterala kolumnaliasfunktionen introducerar beteendeändringar för följande fall under namnmatchning:

• Alias för lateral kolumn har nu företräde framför korrelerade referenser med samma namn. För den här frågan SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)c1 löstes till exempel i det inre c1 AS c2 till den korrelerade referensen t.c1, men ändras nu till lateral kolumnalias 1 AS c1. Frågan returnerar NULLnu .
• Alias för lateral kolumn har nu företräde framför funktionsparametrar med samma namn. För funktionen CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx löstes till exempel i funktionstexten till funktionsparametern x, men ändras till lateralt kolumnalias x + 1 i funktionstexten. Frågan SELECT * FROM func(1) returnerar 2, 2nu .
• Om du vill inaktivera aliasfunktionen för laterala kolumner anger du spark.sql.lateralColumnAlias.enableImplicitResolution till false. Mer information finns i Namnmatchning.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • filelock från 3.8.2 till 3.9.0
  • joblib från 1.1.0 till 1.1.1
  • platformdirs från 2.6.0 till 2.6.2
  • whatthepatch från 1.0.3 till 1.0.4
• Uppgraderade R-bibliotek:
  • klass från 7.3-20 till 7.3-21
  • codetools från 0.2-18 till 0.2-19
  • MASS från 7,3-58 till 7,3-58,2
  • nlme från 3.1-160 till 3.1-162
  • Rserve från 1.8-11 till 1.8-12
  • SparkR från 3.3.1 till 3.3.2

Beteendeändringar

• Användare måste nu ha SELECT och MODIFY behörigheter för alla filer när de skapar ett schema med en definierad plats.

Apache Spark

Databricks Runtime 12.2 innehåller Apache Spark 3.3.2. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 12.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-42416] [SC-123205][SC-122851][SQL] Dateset-åtgärder bör inte matcha den analyserade logiska planen igen
• [SPARK-41848] Återställ "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Åtgärda aktivitet överplanerad med TaskResourceProfile"
• [SPARK-42162] [SC-122711][ES-556261] Introducera MultiCommutativeOp-uttryck som en minnesoptimering för kanonisering av stora träd med kommutativa uttryck
• [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Åtgärda rekursiv djupinställning för Protobuf-funktioner
• [SPARK-42002] [SC-122476][ANSLUT][PYTHON] Implementera DataFrameWriterV2
• [SPARK-41716] [SC-122545][ANSLUT] Byt namn på _catalog_to_pandas till _execute_and_fetch i katalogen
• [SPARK-41490] [SC-121774][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][ANSLUT] Implementera Catalog.cacheTable, isCached och uncache
• [SPARK-42191] [SC-121990][SQL] Stöd för udf "luhn_check"
• [SPARK-42253] [SC-121976][PYTHON] Lägg till test för att identifiera duplicerad felklass
• [SPARK-42268] [SC-122251][ANSLUT][PYTHON] Lägg till UserDefinedType i protos
• [SPARK-42231] [SC-121841][SQL] Förvandlas MISSING_STATIC_PARTITION_COLUMN till internalError
• [SPARK-42136] [SC-122554] Refaktorutdatapartitioneringsberäkning för BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][SQL] Integrera _LEGACY_ERROR_TEMP_1003 i FIELD_NOT_FOUND
• [SPARK-42192] [12.x][SC-121820][PYTHON] Migrera TypeError från pyspark/sql/dataframe.py till PySparkTypeError
• [SPARK-35240] Återställ "[SC-118242][SS] Använd CheckpointFileManager ...
• [SPARK-41488] [SC-121858][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1176 (och 1177)
• [SPARK-42232] [SC-122267][SQL] Byt namn på felklass: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][SQL] Skriv om distinkta aggregeringar efter sammanslagning av underfrågor
• [SPARK-42306] [SC-122539][SQL] Integrera _LEGACY_ERROR_TEMP_1317 i UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][SQL] Byt namn på felklass: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][CORE] Ignorera IOException i handleBlockRemovalFailure om SparkContext stoppas
• [SPARK-41295] [SC-122442][SPARK-41296][SQL] Byt namn på felklasserna
• [SPARK-42320] [SC-122478][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][ANSLUT] SparkConnectClient har stöd för retryPolicies nu
• [SPARK-38728] [SC-116723][SQL] Testa felklassen: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Fristående exempel i PySpark
• [SPARK-39347] [SC-122457][SS] Felkorrigering för tidsfönsterberäkning när händelsetid < 0
• [SPARK-42336] [SC-122458][CORE] Använd getOrElse() i stället contains() för i ResourceAllocator
• [SPARK-42125] [SC-121827][ANSLUT][PYTHON] Pandas UDF i Spark Connect
• [SPARK-42217] [SC-122263][SQL] Stöd för implicita laterala kolumnalias i frågor med Window
• [SPARK-35240] [SC-118242][SS] Använda CheckpointFileManager för kontrollpunktsfilmanipulering
• [SPARK-42294] [SC-122337][SQL] Inkludera kolumnstandardvärden i DESCRIBE-utdata för V2-tabeller
• [SPARK-41979] Återställ "Återställ "[12.x][SC-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser.""
• [SPARK-42286] [SC-122336][SQL] Återställning till tidigare kodsökväg för codegen för komplexa uttr med CAST
• [SPARK-42275] [SC-122249][ANSLUT][PYTHON] Undvik att använda inbyggd lista, diktera i statisk typning
• [SPARK-41985] [SC-122172][SQL] Centralisera fler regler för kolumnmatchning
• [SPARK-42126] [SC-122330][PYTHON][ANSLUT] Acceptera returtyp i DDL-strängar för Python Scalar-UDF:er i Spark Connect
• [SPARK-42197] [SC-122328][SC-121514][ANSLUT] Återanvänder JVM-initiering och separata konfigurationsgrupper som ska anges i fjärrlokalt läge
• [SPARK-41575] [SC-120118][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Återställ "[SC-122172][SQL] Centralisera fler kolumnmatchningsregler"
• [SPARK-42123] [SC-122234][SC-121453][SQL] Inkludera kolumnstandardvärden i DESCRIBE och SHOW CREATE TABLE output
• [SPARK-41985] [SC-122172][SQL] Centralisera fler regler för kolumnmatchning
• [SPARK-42284] [SC-122233][ANSLUT] Kontrollera att anslutningsserversammansättningen har skapats innan du kör klienttester – SBT
• [SPARK-42239] [SC-121790][SQL] Integrera MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][SQL] DS V2-pushdown stöder JDBC-dialekter som kompileras SortOrder själva
• [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics bör ta hand om Python UDAF
• [SPARK-41979] Återställ "[12.x][SC-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser."
• [SPARK-42224] [12.x][SC-121708][ANSLUT] Migrera TypeError till felramverket för Spark Connect-funktioner
• [SPARK-41712] [12.x][SC-121189][PYTHON][ANSLUT] Migrera Spark Connect-felen till PySpark-felramverket.
• [SPARK-42119] [SC-121913][SC-121342][SQL] Lägg till inbyggda tabellvärdesfunktioner infogade och inline_outer
• [SPARK-41489] [SC-121713][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][ANSLUT] Presentera PySparkValueError och PySparkTypeError
• [SPARK-42081] [SC-121723][SQL] Förbättra planändringsverifieringen
• [SPARK-42225] [12.x][SC-121714][ANSLUT] Lägg till SparkConnectIllegalArgumentException för att hantera Spark Connect-fel exakt.
• [SPARK-42044] [12.x][SC-121280][SQL] Åtgärda fel felmeddelande för MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][SC-121712][PS] Tillåt kolumnparameter när du skapar DataFrame med serie.
• [SPARK-42078] [12.x][SC-120761][PYTHON] Migrera fel som utlöses av JVM till PySparkException.
• [SPARK-42133] [12.x][SC-121250] Lägga till grundläggande API-metoder för datauppsättning i SparkConnect Scala-klienten
• [SPARK-41979] [12.x][SC-121190][SQL] Lägg till saknade punkter för felmeddelanden i felklasser.
• [SPARK-42124] [12.x][SC-121420][PYTHON][ANSLUT] Scalar Inline Python UDF i Spark Connect
• [SPARK-42051] [SC-121994][SQL] Codegen-stöd för HiveGenericUDF
• [SPARK-42257] [SC-121948][CORE] Ta bort oanvänd extern sortering av variabel
• [SPARK-41735] [SC-121771][SQL] Använd MINIMAL i stället för STANDARD för SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][SQL] Förfina NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][SQL] Förbättra felmeddelandet för PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][CORE] Migrera SparkCoreErrors till felklasser
• [SPARK-42163] [SC-121839][SQL] Åtgärda schemarensning för icke-vikbar matrisindex eller kartnyckel
• [SPARK-40711] [SC-119990][SQL] Lägga till mått för spillstorlek för fönstret
• [SPARK-42023] [SC-121847][SPARK-42024][ANSLUT][PYTHON] Gör createDataFrame supporttvång AtomicType -> StringType
• [SPARK-42202] [SC-121837][Anslut][Test] Förbättra stopplogik för E2E-testservern
• [SPARK-41167] [SC-117425][SQL] Förbättra prestanda för flera uttryck genom att skapa ett trädpredikat för balanserade uttryck
• [SPARK-41931] [SC-121618][SQL] Bättre felmeddelande för ofullständig komplex typdefinition
• [SPARK-36124] [SC-121339][SC-110446][SQL] Stöd för underfrågor med korrelation via UNION
• [SPARK-42090] [SC-121290][3.3] Introducera antal sasl-återförsök i RetryingBlockTransferor
• [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR bör tillhandahålla FAIR-schemaläggaren
• [SPARK-41572] [SC-120772][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][SQL] Byt namn på och förbättra felmeddelandet för NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][SQL] Förbättra felmeddelandet för INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][SC-120573] Tilldela SQLSTATE(1/2)
• [SPARK-41415] [SC-121117][3.3] SASL-begärandeförsök
• [SPARK-38591] [SC-121018][SQL] Lägg till flatMapSortedGroups och cogroupSorted
• [SPARK-41975] [SC-120767][SQL] Förbättra felmeddelandet för INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][SQL][PROTOBUF] Lägga till alternativ som saknas för Protobuf-funktioner
• [SPARK-41984] [SC-120769][SQL] Byt namn på och förbättra felmeddelandet för RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][SQL] Åtgärda NPE för felklasser: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][ANSLUT][PYTHON] Åtgärda fel kolumnnamn i withFielddokumentet
• [SPARK-41283] [SC-121175][ANSLUT][PYTHON] Lägg till array_append i Anslut
• [SPARK-41960] [SC-120773][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][SQL] Åtgärda getPartitionFiltersAndDataFilters() för att hantera filter utan refererade attribut
• [SPARK-42096] [SC-121012][ANSLUT] Viss kodrensning för connect modul
• [SPARK-42099] [SC-121114][SPARK-41845][ANSLUT][PYTHON] Åtgärda count(*) och count(col(*))
• [SPARK-42045] [SC-120958][SC-120450][SQL] ANSI SQL-läge: Round/Bround ska returnera ett fel vid heltalsspill
• [SPARK-42043] [SC-120968][ANSLUT] Scala-klientresultat med E2E-tester
• [SPARK-41884] [SC-121022][ANSLUT] Stöd för naiv tuppeln som en kapslad rad
• [SPARK-42112] [SC-121011][SQL][SS] Lägg till null-kontroll innan ContinuousWriteRDD#compute funktionen stängs dataWriter
• [SPARK-42077] [SC-120553][ANSLUT][PYTHON] Literal ska utlösa TypeError för DataType som inte stöds
• [SPARK-42108] [SC-120898][SQL] Gör Analyzer-transformering Count(*) till Count(1)
• [SPARK-41666] [SC-120928][SC-119009][PYTHON] Stöd för parameteriserad SQL efter sql()
• [SPARK-40599] [SC-120930][SQL] Koppla av regeltypen multiTransform så att alternativ kan vara alla typer av Seq
• [SPARK-41574] [SC-120771][SQL] Uppdatera _LEGACY_ERROR_TEMP_2009 som INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][SQL] Förvandlas INCORRECT_END_OFFSET till INTERNAL_ERROR
• [SPARK-41530] [SC-120916][SC-118513][CORE] Byt namn på MedianHeap till PercentileMap och stöd percentil
• [SPARK-41757] [SC-120608][SPARK-41901][ANSLUT] Åtgärda strängrepresentation för kolumnklass
• [SPARK-42084] [SC-120775][SQL] Undvik att läcka begränsningen endast för kvalificerad åtkomst
• [SPARK-41973] [SC-120765][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][SQL] SPJ: Ta bort alternativ i KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][ANSLUT][PYTHON] Byt namn på proto-meddelanden för toDF och withColumnsRenamed
• [SPARK-42089] [SC-120605][ANSLUT][PYTHON] Åtgärda problem med variabelnamn i kapslade lambda-funktioner
• [SPARK-41982] [SC-120604][SQL] Partitioner av typsträng ska inte behandlas som numeriska typer
• [SPARK-40599] [SC-120620][SQL] Lägga till multiTransform-metoder i TreeNode för att generera alternativ
• [SPARK-42085] [SC-120556][ANSLUT][PYTHON] Skapa from_arrow_schema stöd för kapslade typer
• [SPARK-42057] [SC-120507][SQL][PROTOBUF] Åtgärda hur undantaget hanteras vid felrapportering.
• [SPARK-41586] [12.x][ALLA TESTER][SC-120544][PYTHON] Introduktion och pyspark.errors felklasser för PySpark.
• [SPARK-41903] [SC-120543][ANSLUT][PYTHON] Literal bör stödja 1-dim ndarray
• [SPARK-42021] [SC-120584][ANSLUT][PYTHON] Skapa createDataFrame support array.array
• [SPARK-41896] [SC-120506][SQL] Filtrering efter radindex returnerar tomma resultat
• [SPARK-41162] [SC-119742][SQL] Åtgärda anti- och halvkoppling för självkoppling med aggregeringar
• [SPARK-41961] [SC-120501][SQL] Stöd för tabellvärdesfunktioner med LATERAL
• [SPARK-41752] [SC-120550][SQL][Användargränssnitt] Gruppera kapslade körningar under rotkörningen
• [SPARK-42047] [SC-120586][SPARK-41900][ANSLUT][PYTHON][12.X] Literal bör ha stöd för Numpy-datatyper
• [SPARK-42028] [SC-120344][ANSLUT][PYTHON] Trunkera tidsstämplar för nanosekunder
• [SPARK-42011] [SC-120534][ANSLUT][PYTHON] Implementera DataFrameReader.csv
• [SPARK-41990] [SC-120532][SQL] Använd FieldReference.column i stället för apply i V1 till V2-filterkonvertering
• [SPARK-39217] [SC-120446][SQL] Gör att DPP-stöd för beskärningssidan har Union
• [SPARK-42076] [SC-120551][ANSLUT][PYTHON] Konvertering av faktordata arrow -> rows till conversion.py
• [SPARK-42074] [SC-120540][SQL] Aktivera KryoSerializer i TPCDSQueryBenchmark för att framtvinga SQL-klassregistrering
• [SPARK-42012] [SC-120517][ANSLUT][PYTHON] Implementera DataFrameReader.orc
• [SPARK-41832] [SC-120513][ANSLUT][PYTHON] Åtgärda DataFrame.unionByName, lägg till allow_missing_columns
• [SPARK-38651] [SC-120514] [SQL] Addera spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert bör acceptera ExpressionProxy som underordnad
• [SPARK-41232] [SC-120073][SQL][PYTHON] Lägga till funktionen array_append
• [SPARK-42041] [SC-120512][SPARK-42013][ANSLUT][PYTHON] DataFrameReader bör ha stöd för en lista över sökvägar
• [SPARK-42071] [SC-120533][CORE] Registrera dig scala.math.Ordering$Reverse för KyroSerializer
• [SPARK-41986] [SC-120429][SQL] Introducera shuffle på SinglePartition
• [SPARK-42016] [SC-120428][ANSLUT][PYTHON] Aktivera tester relaterade till den kapslade kolumnen
• [SPARK-42042] [SC-120427][ANSLUT][PYTHON] DataFrameReader bör ha stöd för StructType-schema
• [SPARK-42031] [SC-120389][CORE][SQL] remove Rensa metoder som inte behöver åsidosättas
• [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][ANSLUT][PYTHON] Skapa createDataFrame(rows/lists/tuples/dicts) stöd för kapslade typer
• [SPARK-41437] [SC-117601][SQL][ALLA TESTER] Optimera inte indatafrågan två gånger för tillbakaskrivning av v1
• [SPARK-41840] [SC-119719][ANSLUT][PYTHON] Lägg till det saknade aliaset groupby
• [SPARK-41846] [SC-119717][ANSLUT][PYTHON] Aktivera dokumenttest för fönsterfunktioner
• [SPARK-41914] [SC-120094][SQL] FileFormatWriter materialiserar AQE-plan innan du kommer åt outputOrdering
• [SPARK-41805] [SC-119992][SQL] Återanvända uttryck i WindowSpecDefinition
• [SPARK-41977] [SC-120269][SPARK-41978][ANSLUT] SparkSession.range för att ta flyttal som argument
• [SPARK-42029] [SC-120336][ANSLUT] Lägg till Guava Shading-regler för att connect-common undvika startfel
• [SPARK-41989] [SC-120334][PYTHON] Undvik att bryta loggningskonfigurationen från pyspark.pandas
• [SPARK-42003] [SC-120331][SQL] Minska duplicerad kod i ResolveGroupByAll
• [SPARK-41635] [SC-120313][SQL] Åtgärda grupp efter all felrapportering
• [SPARK-41047] [SC-120291][SQL] Förbättra dokument för runda
• [SPARK-41822] [SC-120122][ANSLUT] Konfigurera gRPC-anslutning för Scala/JVM-klienten
• [SPARK-41879] [SC-120264][ANSLUT][PYTHON] Skapa DataFrame.collect stöd för kapslade typer
• [SPARK-41887] [SC-120268][ANSLUT][PYTHON] Gör DataFrame.hint accept list typed parameter
• [SPARK-41964] [SC-120210][ANSLUT][PYTHON] Lägg till listan över I/O-funktioner som inte stöds
• [SPARK-41595] [SC-120097][SQL] Stödgeneratorfunktionen exploderar/explode_outer i FROM-satsen
• [SPARK-41957] [SC-120121][ANSLUT][PYTHON] Aktivera dokumentettestet för DataFrame.hint
• [SPARK-41886] [SC-120141][ANSLUT][PYTHON] DataFrame.intersect doctest-utdata har olika ordning
• [SPARK-41442] [SC-117795][SQL][ALLA TESTER] Uppdatera endast SQLMetric-värdet om sammanslagning med giltigt mått
• [SPARK-41944] [SC-120046][ANSLUT] Skicka konfigurationer när lokalt fjärrläge är aktiverat
• [SPARK-41708] [SC-119838][SQL] Hämta v1write-information till WriteFiles
• [SPARK-41780] [SC-120000][SQL] Ska kasta INVALID_PARAMETER_VALUE. MÖNSTER när parametrarna regexp är ogiltiga
• [SPARK-41889] [SC-119975][SQL] Koppla rotorsaken till invalidPatternError & refaktorfelklasser INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][SQL] Skapa Fallklasser för AvroScanBuilder och JsonScanBuilder
• [SPARK-41945] [SC-120010][ANSLUT][PYTHON] Python: anslut förlorade kolumndata för klienten med pyarrow. Table.to_pylist
• [SPARK-41690] [SC-119102][SC-119087][SQL][ANSLUT] Agnostiska kodare
• [SPARK-41354] [SC-119995][ANSLUT][PYTHON] Implementera RepartitionByExpression
• [SPARK-41581] [SC-119997][SQL] Uppdatera _LEGACY_ERROR_TEMP_1230 som INTERNAL_ERROR
• [SPARK-41928] [SC-119972][ANSLUT][PYTHON] Lägg till listan som inte stöds för functions
• [SPARK-41933] [SC-119980][ANSLUT] Ange lokalt läge som startar servern automatiskt
• [SPARK-41899] [SC-119971][ANSLUT][PYTHON] createDataFrame ska respektera användarens DDL-schema
• [SPARK-41936] [SC-119978][ANSLUT][PYTHON] Gör withMetadata så att proto återanvänds withColumns
• [SPARK-41898] [SC-119931][ANSLUT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typechecking parity with pyspark
• [SPARK-41939] [SC-119977][ANSLUT][PYTHON] Lägg till listan över catalog funktioner som inte stöds
• [SPARK-41924] [SC-119946][ANSLUT][PYTHON] Gör StructType till stöd för metadata och implementera DataFrame.withMetadata
• [SPARK-41934] [SC-119967][ANSLUT][PYTHON] Lägg till funktionslistan som inte stöds för session
• [SPARK-41875] [SC-119969][ANSLUT][PYTHON] Lägga till testfall för Dataset.to()
• [SPARK-41824] [SC-119970][ANSLUT][PYTHON] Ingore dokumentet för att förklara anslutning
• [SPARK-41880] [SC-119959][ANSLUT][PYTHON] Gör så att funktionen from_json accepterar icke-literalschema
• [SPARK-41927] [SC-119952][ANSLUT][PYTHON] Lägg till listan som inte stöds för GroupedData
• [SPARK-41929] [SC-119949][ANSLUT][PYTHON] Lägg till funktion array_compact
• [SPARK-41827] [SC-119841][ANSLUT][PYTHON] Ta GroupBy emot kolumnlista
• [SPARK-41925] [SC-119905][SQL] Aktivera spark.sql.orc.enableNestedColumnVectorizedReader som standard
• [SPARK-41831] [SC-119853][ANSLUT][PYTHON] Ta DataFrame.select emot kolumnlista
• [SPARK-41455] [SC-119858][ANSLUT][PYTHON] Ta DataFrame.collect bort tidszonsinformationen
• [SPARK-41923] [SC-119861][ANSLUT][PYTHON] Lägg till DataFrame.writeTo i listan som inte stöds
• [SPARK-41912] [SC-119837][SQL] Underfrågor bör inte verifiera CTE
• [SPARK-41828] [SC-119832][ANSLUT][PYTHON][12.X] Gör createDataFrame stöd för tom dataram
• [SPARK-41905] [SC-119848][ANSLUT] Stödnamn som strängar i sektorn
• [SPARK-41869] [SC-119845][ANSLUT] Avvisa enkel sträng i dropDuplicates
• [SPARK-41830] [SC-119840][ANSLUT][PYTHON] Acceptera DataFrame.sample samma parametrar som PySpark
• [SPARK-41849] [SC-119835][ANSLUT] Implementera DataFrameReader.text
• [SPARK-41861] [SC-119834][SQL] Gör v2 ScanBuilders build() returnerad genomsökning
• [SPARK-41825] [SC-119710][ANSLUT][PYTHON] Aktivera dokumenttest som är relaterade till DataFrame.show
• [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][ANSLUT][PYTHON][12.X] Gör createDataFrame hantera None/NaN korrekt
• [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][ANSLUT][PYTHON] Hantera DataFrame.collect None/NaN/Array/Binary porperly
• [SPARK-39318] [SC-119713][SQL] Ta bort tpch-plan-stabilitet WithStats gyllene filer
• [SPARK-41791] [SC-119745] Lägga till nya kolumntyper för filkällans metadata
• [SPARK-41790] [SC-119729][SQL] Ange transformeringsläsarens och skrivarens format korrekt
• [SPARK-41829] [SC-119725][ANSLUT][PYTHON] Lägg till den saknade ordningsparametern i Sort och sortWithinPartitions
• [SPARK-41576] [SC-119718][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][ANSLUT][PYTHON] Åtgärda dokumenttest för DataFrame.describe
• [SPARK-41871] [SC-119714][ANSLUT] DataFrame-tipsparametern kan vara str, float eller int
• [SPARK-41720] [SC-119076][SQL] Byt namn på UnresolvedFunc till UnresolvedFunctionName
• [SPARK-41573] [SC-119567][SQL] Tilldela namn till _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][SQL] Åtgärda korrigeringsfel relaterade till STANDARDvärden i Orc-läsare
• [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Återanvänd i INVALID_TYPED_LITERAL stället för _LEGACY_ERROR_TEMP_0022

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 12.2.

Systemmiljö

• Operativsystem: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.19
• R: 4.2.2
• Delta lake: 2.2.0

Installerade Python-bibliotek

Bibliotek	Version	Bibliotek	Version	Bibliotek	Version
argon2-cffi	21.3.0	argon2-cffi-bindningar	21.2.0	asttokens	2.0.5
attrs	21.4.0	backcall	0.2.0	backports.entry-points-selectable	1.2.0
beautifulsoup4	4.11.1	svart	22.3.0	blekmedel	4.1.0
boto3	1.21.32	botocore	1.24.32	certifi	2021.10.8
cffi	1.15.0	chardet	4.0.0	charset-normalizer	2.0.4
klicka	8.0.4	kryptografi	3.4.8	cyklist	0.11.0
Cython	0.29.28	dbus-python	1.2.16	felsökning	1.5.1
dekoratör	5.1.1	defusedxml	0.7.1	distlib	0.3.6
docstring-to-markdown	0,11	entrypoints	0,4	Verkställande	0.8.3
facets-overview	1.0.0	fastjsonschema	2.16.2	filelock	3.9.0
fonttools	4.25.0	idna	3.3	ipykernel	6.15.3
ipython	8.5.0	ipython-genutils	0.2.0	ipywidgets	7.7.2
jedi	0.18.1	Jinja2	2.11.3	jmespath	0.10.0
joblib	1.1.1	jsonschema	4.4.0	jupyter-client	6.1.12
jupyter_core	4.11.2	jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0
kiwisolver	1.3.2	MarkupSafe	2.0.1	matplotlib	3.5.1
matplotlib-inline	0.1.2	Mccabe	0.7.0	mistune	0.8.4
mypy-extensions	0.4.3	nbclient	0.5.13	nbconvert	6.4.4
nbformat	5.3.0	nest-asyncio	1.5.5	nodeenv	1.7.0
notebook-fil	6.4.8	numpy	1.21.5	emballage	21,3
Pandas	1.4.2	pandocfilter	1.5.0	parso	0.8.3
pathspec	0.9.0	Patsy	0.5.2	pexpect	4.8.0
pickleshare	0.7.5	Kudde	9.0.1	pip	21.2.4
platformdirs	2.6.2	plotly	5.6.0	pluggy	1.0.0
prometheus-client	0.13.1	prompt-toolkit	3.0.20	protobuf	3.19.4
psutil	5.8.0	psycopg2	2.9.3	ptyprocess	0.7.0
pure-eval	0.2.2	pyarrow	7.0.0	pycparser	2.21
pyflakes	2.5.0	Pygments	2.11.2	PyGObject	3.36.0
pyodbc	4.0.32	pyparsing	3.0.4	pyright	1.1.283
pyrsistent	0.18.0	python-dateutil	2.8.2	python-lsp-jsonrpc	1.0.0
python-lsp-server	1.6.0	pytz	2021.3	pyzmq	22.3.0
begäranden	2.27.1	requests-unixsocket	0.2.0	rep	0.22.0
s3transfer	0.5.0	scikit-learn	1.0.2	scipy	1.7.3
seaborn	0.11.2	Send2Trash	1.8.0	setuptools	61.2.0
sex	1.16.0	soupsieve	2.3.1	ssh-import-id	5,10
stack-data	0.2.0	statsmodels	0.13.2	orubblighet	8.0.1
terminado	0.13.1	testpath	0.5.0	threadpoolctl	2.2.0
tokenize-rt	4.2.1	tomli	1.2.2	tromb	6.1
traitlets	5.1.1	typing_extensions	4.1.1	ujson	5.1.0
obevakade uppgraderingar	0,1	urllib3	1.26.9	virtualenv	20.8.0
wcwidth	0.2.5	webencodings	0.5.1	whatthepatch	1.0.4
hjul	0.37.0	widgetsnbextension	3.6.1	yapf	0.31.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-11-11.

Bibliotek	Version	Bibliotek	Version	Bibliotek	Version
arrow	10.0.0	askpass	1,1	assertthat	0.2.1
backportar	1.4.1	bas	4.2.2	base64enc	0.1-3
bit	4.0.4	bit64	4.0.5	blob	1.2.3
start	1.3-28	brygga	1.0-8	Brio	1.1.3
kvast	1.0.1	bslib	0.4.1	cachem	1.0.6
anropare	3.7.3	textmarkör	6.0-93	cellranger	1.1.0
Chron	2.3-58	klass	7.3-21	cli	3.4.1
clipr	0.8.0	klocka	0.6.1	cluster	2.1.4
codetools	0.2-19	färgområde	2.0-3	commonmark	1.8.1
kompilator	4.2.2	config	0.3.1	cpp11	0.4.3
krita	1.5.2	autentiseringsuppgifter	1.3.2	hårlock	4.3.3
data.table	1.14.4	datauppsättningar	4.2.2	DBI	1.1.3
dbplyr	2.2.1	Desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	smälta	0.6.30	downlit	0.4.2
dplyr	1.0.10	dtplyr	1.2.2	e1071	1.7-12
ellips	0.3.2	evaluate (utvärdera)	0,18	fansi	1.0.3
farver	2.1.1	fastmap	1.1.0	fontawesome	0.4.0
forcats	0.5.2	foreach	1.5.2	främmande	0.8-82
smida	0.2.0	Fs	1.5.2	framtid	1.29.0
future.apply	1.10.0	gurgla	1.2.1	Generika	0.1.3
Gert	1.9.1	ggplot2	3.4.0	Gh	1.3.1
gitcreds	0.1.2	glmnet	4.1-4	globals	0.16.1
lim	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
Gower	1.0.0	grafik	4.2.2	grDevices	4.2.2
gitter	4.2.2	gridExtra	2.3	gsubfn	0,7
gtable	0.3.1	hardhat	1.2.0	hamn	2.5.1
highr	0,9	Hms	1.1.2	htmltools	0.5.3
htmlwidgets	1.5.4	httpuv	1.6.6	httr	1.4.4
Id	1.0.1	ini	0.3.1	ipred	0.9-13
isoband	0.2.6	Iteratorer	1.0.14	jquerylib	0.1.4
jsonlite	1.8.3	KernSmooth	2.23-20	stickning	1,40
Märkning	0.4.2	senare	1.3.0	Galler	0.20-45
lava	1.7.0	livscykel	1.0.3	lyssna	0.8.0
lubridate	1.9.0	magrittr	2.0.3	Markdown	1.3
MASSA	7.3-58.2	Matris	1.5-1	pmise	2.0.1
metoder	4.2.2	mgcv	1.8-41	MIME	0,12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.9
munsell	0.5.0	nlme	3.1-162	nnet	7.3-18
numDeriv	2016.8-1.1	openssl	2.0.4	parallel	4.2.2
parallellt	1.32.1	pelare	1.8.1	pkgbuild	1.3.1
pkgconfig	2.0.3	pkgdown	2.0.6	pkgload	1.3.1
plogr	0.2.0	plyr	1.8.7	berömma	1.0.0
prettyunits	1.1.1	Proc	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	Förlopp	1.2.2
progressr	0.11.0	Löften	1.2.0.1	Proto	1.0.0
proxyserver	0.4-27	PS	1.7.2	purrr	0.3.5
r2d3	0.2.6	R6	2.5.1	ragg	1.2.4
randomForest	4.7-1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-3	Rcpp	1.0.9	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.1	recept	1.0.3
Returmatch	1.0.1	rematch2	2.1.2	Fjärrkontroller	2.4.2
reprex	2.0.2	omforma2	1.4.4	rlang	1.0.6
rmarkdown	2.18	RODBC	1.3-19	roxygen2	7.2.1
rpart	4.1.19	rprojroot	2.0.3	Rserve	1.8-12
RSQLite	2.2.18	rstudioapi	0,14	rversioner	2.1.2
rvest	1.0.3	Sass	0.4.2	våg	1.2.1
väljare	0.4-2	sessioninfo	1.2.2	form	1.4.6
skinande	1.7.3	sourcetools	0.1.7	sparklyr	1.7.8
SparkR	3.3.2	rumslig	7.3-11	Splines	4.2.2
sqldf	0.4-11	SQUAREM	2021.1	statistik	4.2.2
stats4	4.2.2	stringi	1.7.8	stringr	1.4.1
överlevnad	3.4-0	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.5	textshaping	0.3.6
tibble	3.1.8	tidyr	1.2.1	avmarkera	1.2.0
tidyverse	1.3.2	timechange	0.1.1	timeDate	4021.106
tinytex	0.42	verktyg	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	utf8	1.2.2
verktyg	4.2.2	uuid	1.1-0	vctrs	0.5.0
viridisLite	0.4.1	Vroom	1.6.0	Waldo	0.4.0
morrhår	0,4	withr	2.5.0	xfun	0.34
xml2	1.3.3	xopen	1.0.0	xtable	1.8-4
yaml	2.3.6	Zip	2.2.2

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID	Artefakt-ID	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.189
com.amazonaws	aws-java-sdk-cloudformation	1.12.189
com.amazonaws	aws-java-sdk-cloudfront	1.12.189
com.amazonaws	aws-java-sdk-cloudhsm	1.12.189
com.amazonaws	aws-java-sdk-cloudsearch	1.12.189
com.amazonaws	aws-java-sdk-cloudtrail	1.12.189
com.amazonaws	aws-java-sdk-cloudwatch	1.12.189
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.189
com.amazonaws	aws-java-sdk-codedeploy	1.12.189
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.189
com.amazonaws	aws-java-sdk-cognitosync	1.12.189
com.amazonaws	aws-java-sdk-config	1.12.189
com.amazonaws	aws-java-sdk-core	1.12.189
com.amazonaws	aws-java-sdk-datapipeline	1.12.189
com.amazonaws	aws-java-sdk-directconnect	1.12.189
com.amazonaws	aws-java-sdk-directory	1.12.189
com.amazonaws	aws-java-sdk-dynamodb	1.12.189
com.amazonaws	aws-java-sdk-ec2	1.12.189
com.amazonaws	aws-java-sdk-ecs	1.12.189
com.amazonaws	aws-java-sdk-efs	1.12.189
com.amazonaws	aws-java-sdk-elasticache	1.12.189
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.189
com.amazonaws	aws-java-sdk-emr	1.12.189
com.amazonaws	aws-java-sdk-glacier	1.12.189
com.amazonaws	aws-java-sdk-glue	1.12.189
com.amazonaws	aws-java-sdk-iam	1.12.189
com.amazonaws	aws-java-sdk-importexport	1.12.189
com.amazonaws	aws-java-sdk-kinesis	1.12.189
com.amazonaws	aws-java-sdk-kms	1.12.189
com.amazonaws	aws-java-sdk-lambda	1.12.189
com.amazonaws	aws-java-sdk-logs	1.12.189
com.amazonaws	aws-java-sdk-machinelearning	1.12.189
com.amazonaws	aws-java-sdk-opsworks	1.12.189
com.amazonaws	aws-java-sdk-rds	1.12.189
com.amazonaws	aws-java-sdk-redshift	1.12.189
com.amazonaws	aws-java-sdk-route53	1.12.189
com.amazonaws	aws-java-sdk-s3	1.12.189
com.amazonaws	aws-java-sdk-ses	1.12.189
com.amazonaws	aws-java-sdk-simpledb	1.12.189
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.189
com.amazonaws	aws-java-sdk-sns	1.12.189
com.amazonaws	aws-java-sdk-sqs	1.12.189
com.amazonaws	aws-java-sdk-ssm	1.12.189
com.amazonaws	aws-java-sdk-storagegateway	1.12.189
com.amazonaws	aws-java-sdk-sts	1.12.189
com.amazonaws	aws-java-sdk-support	1.12.189
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.189
com.amazonaws	jmespath-java	1.12.189
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	ström	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-skuggad	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	klasskamrat	1.3.4
com.fasterxml.jackson.core	jackson-anteckningar	2.13.4
com.fasterxml.jackson.core	jackson-core	2.13.4
com.fasterxml.jackson.core	jackson-databind	2.13.4.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.13.4
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.13.4
com.github.ben-manes.koffein	koffein	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	kärna	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java-natives	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java-natives	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.luben	zstd-jni	1.5.2-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	Tingeling	1.6.1
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.0.204
com.helger	profilerare	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	11.2.2.jre8
com.ning	compress-lzf	1,1
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.11.0
commons-lang	commons-lang	2,6
commons-logging	commons-logging	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	2.2.1
dev.ludovic.netlib	Blas	2.2.1
dev.ludovic.netlib	lapack	2.2.1
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.6.3
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.74.Final
io.netty	netty-buffert	4.1.74.Final
io.netty	netty-codec	4.1.74.Final
io.netty	netty-common	4.1.74.Final
io.netty	netty-handler	4.1.74.Final
io.netty	netty-resolver	4.1.74.Final
io.netty	netty-tcnative-classes	2.0.48.Final
io.netty	netty-transport	4.1.74.Final
io.netty	netty-transport-classes-epoll	4.1.74.Final
io.netty	netty-transport-classes-kqueue	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-aarch_64	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-x86_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-aarch_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-x86_64	4.1.74.Final
io.netty	netty-transport-native-unix-common	4.1.74.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	samlare	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivering	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.13
net.java.dev.jna	jna	5.8.0
net.razorvine	ättikslag	1.2
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8
org.antlr	stringtemplate	3.2.1
org.apache.ant	Ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	pilformat	7.0.0
org.apache.arrow	arrow-memory-core	7.0.0
org.apache.arrow	arrow-memory-netty	7.0.0
org.apache.arrow	pilvektor	7.0.0
org.apache.avro	avro	1.11.0
org.apache.avro	avro-ipc	1.11.0
org.apache.avro	avro-mapred	1.11.0
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recept	2.13.0
org.apache.derby	Derby	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.4-databricks
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.8.1
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.14
org.apache.ivy	murgröna	2.5.0
org.apache.logging.log4j	log4j-1.2-api	2.18.0
org.apache.logging.log4j	log4j-api	2.18.0
org.apache.logging.log4j	log4j-core	2.18.0
org.apache.logging.log4j	log4j-slf4j-impl	2.18.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.7.6
org.apache.orc	orc-mapreduce	1.7.6
org.apache.orc	orc-shims	1.7.6
org.apache.parquet	parquet-column	1.12.3-databricks-0002
org.apache.parquet	parquet-common	1.12.3-databricks-0002
org.apache.parquet	parquet-kodning	1.12.3-databricks-0002
org.apache.parquet	parquet-format-structures	1.12.3-databricks-0002
org.apache.parquet	parquet-hadoop	1.12.3-databricks-0002
org.apache.parquet	parquet-jackson	1.12.3-databricks-0002
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.20
org.apache.yetus	åhörarkommentarer	0.13.0
org.apache.zookeeper	zookeeper	3.6.2
org.apache.zookeeper	zookeeper-jute	3.6.2
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.46.v20220331
org.eclipse.jetty	jetty-fortsättning	9.4.46.v20220331
org.eclipse.jetty	jetty-http	9.4.46.v20220331
org.eclipse.jetty	brygga-io	9.4.46.v20220331
org.eclipse.jetty	jetty-jndi	9.4.46.v20220331
org.eclipse.jetty	brygga plus	9.4.46.v20220331
org.eclipse.jetty	jetty-proxy	9.4.46.v20220331
org.eclipse.jetty	jetty-security	9.4.46.v20220331
org.eclipse.jetty	brygga-server	9.4.46.v20220331
org.eclipse.jetty	brygga-servlet	9.4.46.v20220331
org.eclipse.jetty	jetty-servlets	9.4.46.v20220331
org.eclipse.jetty	brygga-util	9.4.46.v20220331
org.eclipse.jetty	jetty-util-ajax	9.4.46.v20220331
org.eclipse.jetty	jetty-webapp	9.4.46.v20220331
org.eclipse.jetty	jetty-xml	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-api	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-client	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-common	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-server	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-servlet	9.4.46.v20220331
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey-client	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	vilolägesverifierare	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Anteckningar	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	2.7.4
org.mlflow	mlflow-spark	2.1.1
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.3
org.roaringbitmap	RoaringBitmap	0.9.25
org.roaringbitmap	Shims	0.9.25
org.rocksdb	rocksdbjni	6.28.2
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.14
org.scala-lang	scala-library_2.12	2.12.14
org.scala-lang	scala-reflect_2.12	2.12.14
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.2
org.scalanlp	breeze_2.12	1.2
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	jul-to-slf4j	1.7.36
org.slf4j	slf4j-api	1.7.36
org.spark-project.spark	oanvänd	1.0.0
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1,9
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.cryptools	AmazonCorrettoCryptoProvider	1.6.1-linux-x86_64
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1