Dela via

Databricks Runtime 11.1 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande viktig information innehåller information om Databricks Runtime 11.1, som drivs av Apache Spark 3.3.0. Databricks släppte den här versionen i juli 2022.

Nya funktioner och förbättringar

Photon är GA

Foton är nu allmänt tillgängligt, från och med Databricks Runtime 11.1. Foton är en vektoriserad frågemotor som finns inbyggd i Azure Databricks och som skrivits för att vara direkt kompatibel med Apache Spark-API:er så att den fungerar med din befintliga kod. Photon har utvecklats i C++ för att dra nytta av modern maskinvara och använder de senaste teknikerna inom vektoriserad frågebearbetning för att dra nytta av parallellitet på data- och instruktionsnivå i processorer, vilket förbättrar prestandan för verkliga data och program – allt internt på din datasjö.

Photon är en del av en körmiljö med höga prestanda som kör dina befintliga SQL- och DataFrame-API-anrop snabbare och minskar den totala kostnaden per arbetsbelastning. Foton används som standard i Databricks SQL-lager.

Nya funktioner och förbättringar är:

  • Ny vektoriserad sorteringsoperator
  • Nya vektoriserade fönsterfunktioner
  • Nya instanstyper och storlekar i alla moln

Begränsningar:

  • Scala/Python UDF:er stöds inte av Photon
  • RDD stöds inte av Photon
  • Strukturerad direktuppspelning stöds inte av Photon

Mer information finns i följande fotonmeddelanden.

Foton: Ny vektoriserad sorteringsoperator

Photon stöder nu en vektoriserad sortering för när en fråga innehåller SORT_BY, CLUSTER_BYeller en fönsterfunktion med en ORDER BY.

Begränsningar: Photon stöder inte en global ORDER BY sats. Sorterar efter fönsterutvärdering kommer att fotoniseras, men den globala sorteringen fortsätter att köras i Spark.

Foton: Nya vektoriserade fönsterfunktioner

Photon har nu stöd för utvärdering av vektoriserade fönsterfunktioner för många bildrutetyper och funktioner. Nya fönsterfunktioner är: row_number, rank, dense_rank, lag, lead, percent_rank, ntileoch nth_value. Typer av fönsterramar som stöds: körning (UNBOUNDED PRECEDING AND CURRENT ROW), obundna (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), växande (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) och krympande (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Begränsningar:

  • Photon stöder endast ROWS versioner av alla ramtyper.
  • Photon har ännu inte stöd för skjutramstypen (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Foton: Instanstyper som stöds

  • dds_v5
  • ds_v5
  • eas_v4
  • eds_v4
  • eds_v5
  • es_v5
  • las_v3
  • ls_v3

Ändringsdataflöde kan nu automatiskt hantera tidsstämplar som inte överskrider intervallet

Ändra dataflöde (CDF) har nu ett nytt läge där du kan ange tidsstämplar eller versioner efter en senaste incheckningsversion utan att utlösa fel. Det här läget är inaktiverat som standard. Du kan aktivera det genom att ställa in konfigurationen spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled på true.

Beskriva och visa SQL-funktioner visar nu Unity Catalog-namn i utdata (offentlig förhandsversion)

Kommandona DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, och EXPLAINSHOW CREATE TABLE visar nu alltid katalognamnet i sina utdata.

Schemainferens och utveckling för Parquet-filer i Auto Loader (offentlig förhandsversion)

Auto Loader stöder nu schemainferens och utveckling för Parquet-filer. Precis som JSON-, CSV- och Avro-format kan du nu använda den räddade datakolumnen för att rädda oväntade data som kan visas i dina Parquet-filer. Detta omfattar data som inte kan parsas i den datatyp som förväntas, kolumner som har ett annat hölje eller ytterligare kolumner som inte ingår i det förväntade schemat. Du kan konfigurera automatisk inläsning för att utveckla schemat automatiskt när du lägger till nya kolumner i inkommande data. Se Konfigurera schemainferens och utveckling i Automatisk inläsning.

Automatisk inläsning stöder nu schemautveckling för Avro (GA)

Se Konfigurera schemainferens och utveckling i Automatisk inläsning.

Delta Lake-stöd för dynamiska partitionsöverskrivningar

Delta Lake aktiverar nu dynamisk partitionsöverskrivningsläge för att skriva över alla befintliga data i varje logisk partition som skrivningen ska checka in nya data för. Se Selektivt skriva över data med Delta Lake.

Stöd för informationsschema för objekt som skapats i Unity Catalog

Informationsschemat tillhandahåller ett SQL-baserat, självbeskrivande API för metadata för olika databasobjekt, inklusive tabeller och vyer, begränsningar och rutiner. I informationsschemat hittar du en uppsättning vyer som beskriver de objekt som är kända för schemats katalog och som du har behörighet att se. Informationsschemat för SYSTEM katalogen returnerar information om objekt i alla kataloger i metaarkivet. Se Informationsschema.

Informationsbegränsningar för Delta Lake-tabeller med Unity Catalog (offentlig förhandsversion)

Nu kan du definiera begränsningar för informations primärnyckel och sekundärnyckel i Delta Lake-tabeller med Unity Catalog. Informationsbegränsningar tillämpas inte. Se BEGRÄNSNINGssatsen.

Unity Catalog är GA

Unity Catalog är nu allmänt tillgängligt från och med Databricks Runtime 11.1. Se Vad är Unity Catalog?.

Deltadelning är GA

Deltadelning är nu allmänt tillgängligt från och med Databricks Runtime 11.1.

Databricks till Databricks Delta-delning hanteras fullständigt utan att behöva byta token. Du kan skapa och hantera leverantörer, mottagare och resurser i användargränssnittet eller med SQL- och REST-API:er.

Vissa funktioner omfattar att begränsa mottagaråtkomst, köra frågor mot data med IP-åtkomstlistor och regionbegränsningar och delegera deltadelningshantering till icke-administratörer. Du kan också köra frågor mot ändringar i data eller dela inkrementella versioner med Ändringsdataflöden. Se Vad är deltadelning?.

Funktionalitetsförändringar

Redigering av känsliga egenskaper för DESCRIBE TABLE och SHOW TABLE PROPERTIES

Känsliga egenskaper redigeras i DataFrames och utdata från kommandona DESCRIBE TABLE och SHOW TABLE PROPERTIES .

Jobbkluster är som standard åtkomstläge för en användare med Databricks Runtime 11.1 och senare

För att vara Unity Catalog-kompatibel kommer jobbkluster med Databricks Runtime 11.1 och senare som skapats via jobbgränssnittet eller jobb-API:et som standard att ha åtkomstläge för en användare. Åtkomstläge för en användare stöder de flesta programmeringsspråk, klusterfunktioner och funktioner för datastyrning. Du kan fortfarande konfigurera läget för delad åtkomst via användargränssnittet eller API:et, men språk eller funktioner kan vara begränsade.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • filelock från 3.6.0 till 3.7.1
    • ritat från 5.6.0 till 5.8.2
    • protobuf från 3.20.1 till 4.21.2
  • Uppgraderade R-bibliotek:
    • chron från 2.3-56 till 2.3-57
    • DBI från 1.1.2 till 1.1.3
    • dbplyr från 2.1.1 till 2.2.0
    • e1071 från 1,7-9 till 1,7-11
    • från 1.25.0 till 1.26.1
    • globals från 0.14.0 till 0.15.1
    • hardhat från 0.2.0 till 1.1.0
    • ipred från 0,9-12 till 0,9-13
    • openssl från 2.0.0 till 2.0.2
    • parallellt från 1.31.1 till 1.32.0
    • processx från 3.5.3 till 3.6.1
    • progressr från 0.10.0 till 0.10.1
    • proxy från 0.4-26 till 0.4-27
    • ps från 1.7.0 till 1.7.1
    • randomForest från 4,7-1 till 4,7-1,1
    • roxygen2 från 7.1.2 till 7.2.0
    • Rserve från 1,8-10 till 1,8-11
    • RSQLite från 2.2.13 till 2.2.14
    • sparklyr från 1.7.5 till 1.7.7
    • tinytex från 0,38 till 0,40
    • usethis från 2.1.5 till 2.1.6
    • xfun från 0,30 till 0,31
  • Uppgraderade Java-bibliotek:
    • io.delta.delta-sharing-spark_2.12 från 0.4.0 till 0.5.0

Apache Spark

Databricks Runtime 11.2 innehåller Apache Spark 3.3.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.1 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-40054] [SQL] Återställa syntaxen för felhantering för try_cast()
  • [SPARK-39489] [CORE] Förbättra JsonProtocol-prestanda för händelseloggning med hjälp av Jackson i stället för Json4s
  • [SPARK-39319] [CORE][SQL] Skapa frågekontexter som en del av SparkThrowable
  • [SPARK-40085] [SQL] Använd INTERNAL_ERROR felklass i stället för IllegalStateException för att indikera buggar
  • [SPARK-40001] [SQL] Skapa NULL-skrivningar till JSON DEFAULT-kolumner som skriver "null" till lagring
  • [SPARK-39635] [SQL] Stöd för drivrutinsmått i API för anpassade mått för DS v2
  • [SPARK-39184] [SQL] Hantera underdimensionerad resultatmatris i datum- och tidsstämpelsekvenser
  • [SPARK-40019] [SQL] Refaktorkommentaren för ArrayType innehållerNull och omstrukturerar missförståndslogikerna i collectionOperators uttryck om containsNull
  • [SPARK-39989] [SQL] Stöd för uppskattning av kolumnstatistik om det är ett vikbart uttryck
  • [SPARK-39926] [SQL] Åtgärda fel i kolumnen STANDARDstöd för icke-vektoriserade Parquet-genomsökningar
  • [SPARK-40052] [SQL] Hantera direkt bytebuffertar i VectorizedDeltaBinaryPackedReader
  • [SPARK-40044] [SQL] Åtgärda målintervalltypen i gjutna spillfel
  • [SPARK-39835] [SQL] Åtgärda att EliminateSorts tar bort global sortering under den lokala sorteringen
  • [SPARK-40002] [SQL] Tryck inte ned gränsen genom fönstret med hjälp av ntile
  • [SPARK-39976] [SQL] ArrayIntersect ska hantera null i vänster uttryck korrekt
  • [SPARK-39985] [SQL] Aktivera implicita standardkolumnvärden i infogningar från DataFrames
  • [SPARK-39776] [SQL] JOIN utförlig sträng ska lägga till kopplingstyp
  • [SPARK-38901] [SQL] DS V2 stöder push-nedfelfunktioner
  • [SPARK-40028] [SQL][Uppföljning] Förbättra exempel på strängfunktioner
  • [SPARK-39983] [CORE][SQL] Cachelagras inte oserialiserade sändningsrelationer på drivrutinen
  • [SPARK-39812] [SQL] Förenkla kod som konstruerar AggregateExpression med toAggregateExpression
  • [SPARK-40028] [SQL] Lägga till binära exempel för stränguttryck
  • [SPARK-39981] [SQL] Kasta undantaget QueryExecutionErrors.castingCauseOverflowErrorInTableInsert i Cast
  • [SPARK-40007] [PYTHON][SQL] Lägga till "läge" i funktioner
  • [SPARK-40008] [SQL] Stöd för gjutning av integraler till ANSI-intervall
  • [SPARK-40003] [PYTHON][SQL] Lägga till "median" i funktioner
  • [SPARK-39952] [SQL] SaveIntoDataSourceCommand bör återskapa resultatrelationen
  • [SPARK-39951] [SQL] Uppdatera Parquet V2-kolumnkontroll för kapslade fält
  • [SPARK-39775] [CORE][AVRO] Inaktivera verifiera standardvärden vid parsning av Avro-scheman
  • [SPARK-33236] [shuffle] Bakåtportering till DBR 11.x: Aktivera push-baserad shuffle-tjänst för lagring av tillstånd i DATABAS på NM-nivå för arbete som bevarar omstart
  • [SPARK-39836] [SQL] Förenkla V2ExpressionBuilder genom att extrahera vanlig metod.
  • [SPARK-39867] [SQL] Global gräns ska inte ärva OrderPreservingUnaryNode
  • [SPARK-39873] [SQL] Ta bort OptimizeLimitZero och sammanfoga den till EliminateLimits
  • [SPARK-39961] [SQL] DS V2 push-down översätter Cast om casten är säker
  • [SPARK-39872] [SQL] Ändra till användning BytePackerForLong#unpack8Values med api för matrisindata i VectorizedDeltaBinaryPackedReader
  • [SPARK-39858] [SQL] Ta bort onödiga AliasHelper eller PredicateHelper för vissa regler
  • [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Tillämpa projektion när gruppattribut är tomma
  • [SPARK-39900] [SQL] Hantera partiellt eller negerat villkor i binärt formats predikat-pushdown
  • [SPARK-39904] [SQL] Byt namn på inferDate till prefersDate and clarify semantics of the option in CSV data source
  • [SPARK-39958] [SQL] Lägg till varningslogg när det inte går att läsa in anpassade måttobjekt
  • [SPARK-39936] [SQL] Lagra schema i egenskaper för Spark-vyer
  • [SPARK-39932] [SQL] WindowExec bör rensa den slutliga partitionsbufferten
  • [SPARK-37194] [SQL] Undvik onödig sortering i v1-skrivning om det inte är en dynamisk partition
  • [SPARK-39902] [SQL] Lägg till genomsökningsinformation i spark-plangenomsökningsnoden i SparkUI
  • [SPARK-39865] [SQL] Visa korrekta felmeddelanden om spillfelen i tabellinfogningen
  • [SPARK-39940] [SS] Uppdatera katalogtabellen för strömmande fråga med DSv1-mottagare
  • [SPARK-39827] [SQL] Använd felklassen ARITHMETIC_OVERFLOW vid int overflow i add_months()
  • [SPARK-39914] [SQL] Lägg till DS V2-filter i V1-filterkonvertering
  • [SPARK-39857] [SQL] Manuell DBR 11.x-backport; V2ExpressionBuilder använder fel LiteralValue-datatyp för In predicate #43454
  • [SPARK-39840] [SQL][PYTHON] Factor PythonArrowInput out as a symmetry to PythonArrowOutput
  • [SPARK-39651] [SQL] Beskär filtervillkor om jämförelse med rand är deterministiskt
  • [SPARK-39877] [PYTHON] Lägga till unpivot till PySpark DataFrame API
  • [SPARK-39847] [WARMFIX][SS] Åtgärda konkurrenstillstånd i RocksDBLoader.loadLibrary() om samtalstråden avbryts
  • [SPARK-39909] [SQL] Organisera kontrollen av push-ned information för JDBCV2Suite
  • [SPARK-39834] [SQL][SS] Inkludera ursprungsstatistiken och begränsningarna för LogicalRDD om den kommer från DataFrame
  • [SPARK-39849] [SQL] Dataset.as(StructType) fyller saknade nya kolumner med null-värde
  • [SPARK-39860] [SQL] Fler uttryck bör utöka predikatet
  • [SPARK-39823] [SQL][PYTHON] Byt namn på Dataset.as som Dataset.to och lägg till DataFrame.to i PySpark
  • [SPARK-39918] [SQL][MINOR] Ersätt formuleringen "un-comparable" med "incomparable" i felmeddelandet
  • [SPARK-39857] [SQL][3.3] V2ExpressionBuilder använder fel LiteralValue-datatyp för I predikat
  • [SPARK-39862] [SQL] Manuell backport för PR 43654 för DBR 11.x: Uppdatera SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS för att tillåta/neka ALTER TABLE ... LÄGG TILL KOLUMN-kommandon separat.
  • [SPARK-39844] [SQL] Manuell backport för PR 43652 för DBR 11.x
  • [SPARK-39899] [SQL] Åtgärda överföring av meddelandeparametrar till InvalidUDFClassException
  • [SPARK-39890] [SQL] Gör till TakeOrderedAndProjectExec ärver AliasAwareOutputOrdering
  • [SPARK-39809] [PYTHON] Stöd för CharType i PySpark
  • [SPARK-38864] [SQL] Lägg till unpivot/melt i datauppsättningen
  • [SPARK-39864] [SQL] Registrera ExecutionListenerBus lazily
  • [SPARK-39808] [SQL] Stöd för aggregerat funktionsLÄGE
  • [SPARK-39839] [SQL] Hantera specialfall för null variabel längd Decimal med icke-noll offsetAndSize i UnsafeRow strukturell integritetskontroll
  • [SPARK-39875] [SQL] Ändra protected metod i slutklassen till private eller package-visible
  • [SPARK-39731] [SQL] Åtgärda problem i CSV- och JSON-datakällor vid parsning av datum i formatet "ååååMMdd" med principen CORRECTED time parser
  • [SPARK-39805] [SS] Deprecate Trigger.Once och Promote Trigger.AvailableNow
  • [SPARK-39784] [SQL] Placera literalvärden till höger om datakällans filter efter översättning av Catalyst Expression till datakällans filter
  • [SPARK-39672] [SQL][3.1] Åtgärda borttagning av projekt före filter med korrelerad underfråga
  • [SPARK-39552] [SQL] Förena v1 och v2 DESCRIBE TABLE
  • [SPARK-39806] [SQL] Åtkomst till _metadata partitionerad tabell kan krascha en fråga
  • [SPARK-39810] [SQL] Catalog.tableExists ska hantera kapslat namnområde
  • [SPARK-37287] [SQL] Hämta dynamisk partition och bucketsortering från FileFormatWriter
  • [SPARK-39469] [SQL] Härledningsdatumtyp för CSV-schemainferens
  • [SPARK-39148] [SQL] DS V2-aggregerad push-nedtryckning kan fungera med OFFSET eller LIMIT
  • [SPARK-39818] [SQL] Åtgärda bugg i ARRAY, STRUCT, MAP-typer med STANDARDvärden med NULL-fält
  • [SPARK-39792] [SQL] Lägg till DecimalDivideWithOverflowCheck för decimalgenomsnitt
  • [SPARK-39798] [SQL] Replcace toSeq.toArray med .toArray[Any] konstruktor av GenericArrayData
  • [SPARK-39759] [SQL] Implementera listIndex i JDBC (H2-dialekt)
  • [SPARK-39385] [SQL] Stöd för nedtryckning REGR_AVGX och REGR_AVGY
  • [SPARK-39787] [SQL] Använd felklassen i parsningsfelet för funktionen to_timestamp
  • [SPARK-39760] [PYTHON] Stöd för Varchar i PySpark
  • [SPARK-39557] [SQL] Manuell backport till DBR 11.x: StödMATRIS, STRUCT, MAP-typer som STANDARDvärden
  • [SPARK-39758] [SQL][3.3] Åtgärda NPE från regexp-funktionerna på ogiltiga mönster
  • [SPARK-39749] [SQL] ANSI SQL-läge: Använd oformaterad strängrepresentation vid gjutning av decimaltecken till sträng
  • [SPARK-39704] [SQL] Implementera createIndex &dropIndex & indexExists i JDBC (H2-dialekt)
  • [SPARK-39803] [SQL] Använd LevenshteinDistance i stället för StringUtils.getLevenshteinDistance
  • [SPARK-39339] [SQL] Stöd för TidsstämpelNTZ-typ i JDBC-datakälla
  • [SPARK-39781] [SS] Lägg till stöd för att tillhandahålla max_open_files till rocksdb state store-providern
  • [SPARK-39719] [R] Implementera databaseExists/getDatabase i SparkR stöder 3L-namnrymd
  • [SPARK-39751] [SQL] Byt namn på måttet för hash-aggregerade nyckelavsökningar
  • [SPARK-39772] [SQL]-namnområdet ska vara null när databasen är null i de gamla konstruktorerna
  • [SPARK-39625] [SPARK-38904][SQL] Lägg till Dataset.as(StructType)
  • [SPARK-39384] [SQL] Kompilera inbyggda linjära regressionsaggregatfunktioner för JDBC-dialekt
  • [SPARK-39720] [R] Implementera tableExists/getTable i SparkR för 3L-namnrymd
  • [SPARK-39744] [SQL] REGEXP_INSTR Lägg till funktionen
  • [SPARK-39716] [R] Gör currentDatabase/setCurrentDatabase/listCatalogs i SparkR-stöd för 3L-namnrymd
  • [SPARK-39788] [SQL] Byt catalogName namn till dialectName för JdbcUtils
  • [SPARK-39647] [CORE] Registrera kören med ESS innan du registrerar BlockManager
  • [SPARK-39754] [CORE][SQL] Ta bort oanvända import eller onödiga {}
  • [SPARK-39706] [SQL] Ange kolumnen som saknas med defaultValue som konstant i ParquetColumnVector
  • [SPARK-39699] [SQL] Gör CollapseProject smartare när det gäller att skapa samlingsuttryck
  • [SPARK-39737] [SQL] PERCENTILE_CONT och PERCENTILE_DISC bör ha stöd för aggregeringsfilter
  • [SPARK-39579] [SQL][PYTHON][R] Gör ListFunctions/getFunction/functionExists kompatibel med 3-lagers namnområde
  • [SPARK-39627] [SQL] JDBC V2-pushdown bör förena kompilerings-API:et
  • [SPARK-39748] [SQL][SS] Inkludera den logiska ursprungsplanen för LogicalRDD om den kommer från DataFrame
  • [SPARK-39385] [SQL] Översätt linjära regressionsaggregatfunktioner för pushdown
  • [SPARK-39695] [SQL] REGEXP_SUBSTR Lägg till funktionen
  • [SPARK-39667] [SQL] Lägg till en annan lösning när det inte finns tillräckligt med minne för att skapa och sända tabellen
  • [SPARK-39666] [ES-337834][SQL] Använd UnsafeProjection.create för att respektera spark.sql.codegen.factoryMode i ExpressionEncoder
  • [SPARK-39643] [SQL] Förhindra underfrågor i STANDARD-värden
  • [SPARK-38647] [SQL] Lägg till SupportsReportOrdering-mix i gränssnittet för genomsökning (DataSourceV2)
  • [SPARK-39497] [SQL] Förbättra analysfelet för kartnyckelkolumnen som saknas
  • [SPARK-39661] [SQL] Undvik att skapa onödig SLF4J-loggning
  • [SPARK-39713] [SQL] ANSI-läge: Lägg till förslag på att använda try_element_at för INVALID_ARRAY_INDEX fel
  • [SPARK-38899] [SQL]DS V2 stöder funktioner för nedtryckningsdatumtid
  • [SPARK-39638] [SQL] Ändra till att använda ConstantColumnVector för att lagra partitionskolumner i OrcColumnarBatchReader
  • [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Rensa från ColumnVectorUtils
  • [SPARK-39231] [SQL] Använd ConstantColumnVector i stället On/OffHeapColumnVector för att lagra partitionskolumner i VectorizedParquetRecordReader
  • [SPARK-39547] [SQL] V2SessionCatalog bör inte utlösa NoSuchDatabaseException i loadNamspaceMetadata
  • [SPARK-39447] [SQL] Undvik AssertionError i AdaptiveSparkPlanExec.doExecuteBroadcast
  • [SPARK-39492] [SQL] Omarbeta MISSING_COLUMN
  • [SPARK-39679] [SQL] TakeOrderedAndProjectExec bör respektera underordnad utdataordning
  • [SPARK-39606] [SQL] Använda underordnad statistik för att uppskatta orderoperatorn
  • [SPARK-39611] [PYTHON][PS] Åtgärda fel alias i array_ufunc
  • [SPARK-39656] [SQL][3.3] Åtgärda fel namnrymd i DescribeNamespaceExec
  • [SPARK-39675] [SQL] Växla konfigurationen "spark.sql.codegen.factoryMode" från testsyfte till internt syfte
  • [SPARK-39139] [SQL] DS V2 stöder push-nedtryckning av DS V2 UDF
  • [SPARK-39434] [SQL] Ange frågekontext för körningsfel när matrisindexet är utanför avgränsningen
  • [SPARK-39479] [SQL] DS V2 stöder push-nedtryckta matematiska funktioner (icke ANSI)
  • [SPARK-39618] [SQL] REGEXP_COUNT Lägg till funktionen
  • [SPARK-39553] [CORE] Avregistrera blandning med flera trådar bör inte utlösa NPE när du använder Scala 2.13
  • [SPARK-38755] [PYTHON][3.3] Lägg till fil för att hantera saknade allmänna pandas-funktioner
  • [SPARK-39444] [SQL] Lägg till OptimizeSubqueries i listan nonExcludableRules
  • [SPARK-39316] [SQL] Sammanfoga PromotePrecision och CheckOverflow till decimal binär aritmetik
  • [SPARK-39505] [Användargränssnitt] Escape-logginnehåll renderat i användargränssnittet
  • [SPARK-39448] [SQL] Lägg till ReplaceCTERefWithRepartition i nonExcludableRules listan
  • [SPARK-37961] [SQL] Åsidosätt maxRows/maxRowsPerPartition för vissa logiska operatorer
  • [SPARK-35223] Återställ Lägg till IssueNavigationLink
  • [SPARK-39633] [SQL] Stöd för tidsstämpel i sekunder för TimeTravel med hjälp av dataramsalternativ
  • [SPARK-38796] [SQL] Uppdatera dokumentationen för nummerformatsträngar med funktionerna {try_}to_number
  • [SPARK-39650] [SS] Åtgärda felaktigt värdeschema i strömmande deduplicering med bakåtkompatibilitet
  • [SPARK-39636] [CORE][Användargränssnitt] Åtgärda flera buggar i JsonProtocol, vilket påverkar heap StorageLevels och Task/Executor ResourceRequests
  • [SPARK-39432] [SQL] Returnera ELEMENT_AT_BY_INDEX_ZERO från element_at(*, 0)
  • [SPARK-39349] Lägga till en centraliserad CheckError-metod för QA för felsökväg
  • [SPARK-39453] [SQL] DS V2 har stöd för push-nedrullning av icke-aggregerade funktioner (inte ANSI)
  • [SPARK-38978] [SQL] DS V2 stöder push-down OFFSET-operatorn
  • [SPARK-39567] [SQL] Stöd för ANSI-intervall i percentilfunktionerna
  • [SPARK-39383] [SQL] Stöd för STANDARDkolumner i ALTER TABLE ALTER COLUMNS to V2 data sources
  • [SPARK-39396] [SQL] Åtgärda LDAP-inloggningsfelet "felkod 49 – ogiltiga autentiseringsuppgifter"
  • [SPARK-39548] [SQL] CreateView-kommandot med en fönstersatsfråga stötte på ett fel fönsterdefinitionsfel hittades inte
  • [SPARK-39575] [AVRO] lägg till ByteBuffer#rewind efter ByteBuffer#get in Avr...
  • [SPARK-39543] Alternativet DataFrameWriterV2 ska skickas till lagringsegenskaper om återställning till v1
  • [SPARK-39564] [SS] Exponera informationen i katalogtabellen för den logiska planen i strömningsfrågan
  • [SPARK-39582] [SQL] Åtgärda markören "Sedan" för array_agg
  • [SPARK-39388] [SQL] Återanvänd när orcSchema du trycker ned Orc-predikat
  • [SPARK-39511] [SQL] Förbättra push-nedtryckt lokal gräns 1 för höger sida av vänster halv/anti-koppling om kopplingsvillkoret är tomt
  • [SPARK-38614] [SQL] Tryck inte ned gränsen genom fönstret som använder percent_rank
  • [SPARK-39551] [SQL] Lägg till ogiltig AQE-plankontroll
  • [SPARK-39383] [SQL] Stöd för STANDARDkolumner i ALTER TABLE ADD COLUMNS to V2 data sources
  • [SPARK-39538] [SQL] Undvik att skapa onödig SLF4J-loggning
  • [SPARK-39383] [SQL] Manuell backportering till DBR 11.x: Kolumnstöd för omstrukturera standard för att hoppa över att skicka den primära analysatorn runt
  • [SPARK-39397] [SQL] Koppla från AliasAwareOutputExpression för att stödja alias med uttryck
  • [SPARK-39496] [SQL] Hantera null-struct i Inline.eval
  • [SPARK-39545] [SQL] Åsidosätt concat metoden för ExpressionSet i Scala 2.13 för att förbättra prestanda
  • [SPARK-39340] [SQL] DS v2 agg-pushdown bör tillåta punkter i namnet på kolumner på den översta nivån
  • [SPARK-39488] [SQL] Förenkla felhanteringen av TempResolvedColumn
  • [SPARK-38846] [SQL] Lägg till explicit datamappning mellan Teradata Numerisk typ och Spark DecimalType
  • [SPARK-39520] [SQL] Åsidosättningsmetod -- för ExpressionSet i Scala 2.13
  • [SPARK-39470] [SQL] Stöd för gjutning av ANSI-intervall till decimaler
  • [SPARK-39477] [SQL] Ta bort information om antalet frågor från de gyllene filerna i SQLQueryTestSuite
  • [SPARK-39419] [SQL] Åtgärda ArraySort för att utlösa ett undantag när jämförelsen returnerar null
  • [SPARK-39061] [SQL] Ange nullable korrekt för Inline utdataattribut
  • [SPARK-39320] [SQL] Stöd för aggregeringsfunktion MEDIAN
  • [SPARK-39261] [CORE] Förbättra ny formatering för felmeddelanden
  • [SPARK-39355] [SQL] En kolumn använder citerad för att konstruera UnresolvedAttribute
  • [SPARK-39351] [SQL] VISA SKAPA TABELL bör redigera egenskaper
  • [SPARK-37623] [SQL] Stöd för ANSI-mängdfunktion: regr_intercept
  • [SPARK-39374] [SQL] Förbättra felmeddelandet för den användardefinierade kolumnlistan
  • [SPARK-39255] [SQL][3.3] Förbättra felmeddelanden
  • [SPARK-39321] [SQL] Omstrukturera TryCast för att använda RuntimeReplaceable
  • [SPARK-39406] [PYTHON] Acceptera NumPy-matris i createDataFrame
  • [SPARK-39267] [SQL] Rensa dsl onödig symbol
  • [SPARK-39171] [SQL] Förena cast-uttrycket
  • [SPARK-28330] [SQL] Stöd för ANSI SQL: resultatförskjutningssats i frågeuttryck
  • [SPARK-39203] [SQL] Skriv om tabellplatsen till absolut URI baserat på databas-URI
  • [SPARK-39313] [SQL] toCatalystOrdering bör misslyckas om V2Expression inte kan översättas
  • [SPARK-39301] [SQL][PYTHON] Utnyttja LocalRelation och respektera pilbatchstorlek i createDataFrame med piloptimering
  • [SPARK-39400] [SQL] spark-sql bör ta bort hive-resursdir i samtliga fall

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 11.1.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.1.3
  • Delta lake: 1.2.1

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) argon2-cffi 20.1.0 async-generator 1.10
attrs 21.2.0 backcall 0.2.0 backports.entry-points-selectable 1.1.1
svart 22.3.0 blekmedel 4.0.0 boto3 1.21.18
botocore 1.24.18 certifi 2021.10.8 cffi 1.14.6
chardet 4.0.0 charset-normalizer 2.0.4 klicka 8.0.3
kryptografi 3.4.8 cyklist 0.10.0 Cython 0.29.24
dbus-python 1.2.16 felsökning 1.4.1 dekoratör 5.1.0
defusedxml 0.7.1 distlib 0.3.5 distro-info 0.23ubuntu1
entrypoints 0,3 facets-overview 1.0.0 filelock 3.8.0
idna 3.2 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 ipywidgets 7.7.0 jedi 0.18.0
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.0.1
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.1
MarkupSafe 2.0.1 matplotlib 3.4.3 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 nbformat 5.1.3 nest-asyncio 1.5.1
notebook-fil 6.4.5 numpy 1.20.3 emballage 21,0
Pandas 1.3.4 pandocfilter 1.4.3 parso 0.8.2
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Kudde 8.4.0 pip 21.2.4
platformdirs 2.5.2 plotly 5.9.0 prometheus-client 0.11.0
prompt-toolkit 3.0.20 protobuf 4.21.5 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pyarrow 7.0.0
pycparser 2,20 Pygments 2.10.0 PyGObject 3.36.0
pyodbc 4.0.31 pyparsing 3.0.4 pyrsistent 0.18.0
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 begäranden 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sex 1.16.0 ssh-import-id 5,10 statsmodels 0.12.2
orubblighet 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tromb 6.1 traitlets 5.1.0 skriva tillägg 3.10.0.2
obevakade uppgraderingar 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 hjul 0.37.0
widgetsnbextension 3.6.0

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2022-08-15.

Bibliotek Version Bibliotek Version Bibliotek Version
askpass 1,1 assertthat 0.2.1 backportar 1.4.1
bas 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 start 1.3-28
brygga 1.0-7 Brio 1.1.3 kvast 1.0.0
bslib 0.4.0 cachem 1.0.6 anropare 3.7.1
textmarkör 6.0-93 cellranger 1.1.0 Chron 2.3-57
klass 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 färgområde 2.0-3
commonmark 1.8.0 kompilator 4.1.3 config 0.3.1
cpp11 0.4.2 krita 1.5.1 autentiseringsuppgifter 1.3.2
hårlock 4.3.2 data.table 1.14.2 datauppsättningar 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 smälta 0.6.29
downlit 0.4.2 dplyr 1.0.9 dtplyr 1.2.1
e1071 1.7-11 ellips 0.3.2 evaluate (utvärdera) 0,16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.1 foreach 1.5.2
främmande 0.8-82 smida 0.2.0 Fs 1.5.2
framtid 1.27.0 future.apply 1.9.0 gurgla 1.2.0
Generika 0.1.3 Gert 1.7.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.0 lim 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 grafik 4.1.3
grDevices 4.1.3 gitter 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hardhat 1.2.0
hamn 2.5.0 highr 0,9 Hms 1.1.1
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.3 Id 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
stickning 1.39 Märkning 0.4.2 senare 1.3.0
Galler 0.20-45 lava 1.6.10 livscykel 1.0.1
lyssna 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1,1 MASSA 7.3-56 Matris 1.4-1
pmise 2.0.1 metoder 4.1.3 mgcv 1.8-40
MIME 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallellt 1.32.1 pelare 1.8.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
berömma 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Förlopp 1.2.2 progressr 0.10.1 Löften 1.2.0.1
Proto 1.0.0 proxyserver 0.4-27 PS 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.0
recept 1.0.1 Returmatch 1.0.1 rematch2 2.1.2
Fjärrkontroller 2.4.2 reprex 2.0.1 omforma2 1.4.4
rlang 1.0.4 rmarkdown 2,14 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.15 rstudioapi 0,13
rversioner 2.1.1 rvest 1.0.2 Sass 0.4.2
våg 1.2.0 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 skinande 1.7.2 sourcetools 0.1.7
sparklyr 1.7.7 SparkR 3.3.0 rumslig 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
statistik 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.0 överlevnad 3.2-13 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
avmarkera 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.40 verktyg 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
verktyg 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.4.0
morrhår 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.13.3
com.fasterxml.jackson.core jackson-core 2.13.3
com.fasterxml.jackson.core jackson-databind 2.13.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.3
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.3
com.fasterxml.jackson.module jackson-module-paranamer 2.13.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.3
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hadoop3 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffert 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
mvn hadoop3 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.snowflake spark-snowflake_2.12 2.10.0-spark_3.2
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pilvektor 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy murgröna 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.17.2
org.apache.logging.log4j log4j-api 2.17.2
org.apache.logging.log4j log4j-core 2.17.2
org.apache.logging.log4j log4j-slf4j-impl 2.17.2
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.5
org.apache.orc orc-mapreduce 1.7.5
org.apache.orc orc-shims 1.7.5
org.apache.parquet parquet-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-kodning 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-fortsättning 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty brygga-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty brygga plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty brygga-server 9.4.46.v20220331
org.eclipse.jetty brygga-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty brygga-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark oanvänd 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1