Dela via

Databricks Runtime 10.0 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande viktig information innehåller information om Databricks Runtime 10.0 och Databricks Runtime 10.0 Photon, som drivs av Apache Spark 3.2.0. Databricks släppte den här versionen i oktober 2021. Foton finns i offentlig förhandsversion.

Nya funktioner och förbättringar

Ny version av Apache Spark

Databricks Runtime 10.0 och Databricks Runtime 10.0 Photon inkluderar Apache Spark 3.2.0. Mer information finns i Apache Spark.

SELECT-instruktionen stöder nu QUALIFY-sats för att filtrera fönsterfunktionsresultat

-instruktionen SELECTQUALIFY stöder nu -satsen. QUALIFY kan användas för att filtrera resultatet av fönsterfunktioner. En eller flera fönsterfunktioner måste finnas antingen i SELECT-listan eller i villkoret QUALIFY. Till exempel:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Klusterstöd för JDK 11 (offentlig förhandsversion)

Databricks tillhandahåller nu klusterstöd för Java Development Kit (JDK) 11.

När du skapar ett kluster kan du ange att klustret använder JDK 11 (för både drivrutinen och kören). Det gör du genom att lägga till följande miljövariabel i Spark-miljövariabler>avancerade alternativ>:

JNAME=zulu11-ca-amd64

Automatisk inläsning behandlar nu scheman som nullbara

Automatisk inläsning behandlar nu alla härledda och användarinställda scheman som nullbara som standard. Detta är för att undvika möjlig datakorruptering i fall där data innehåller null-fält för kolumner som inte tillåter null-värden. En ny konfiguration introduceras för att spåra det här beteendet, spark.databricks.cloudFiles.schema.forceNullable. Som standard innehåller den här konfigurationen inställningen spark.sql.streaming.fileSource.schema.forceNullable, som FileStreamSource i Apache Spark använder och är inställd på true som standard.

Icke-bakåtkompatibla ändringar

Icke-bakåtkompatibla ändringar för alla Spark SQL-användare

  • Ny spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled konfiguration: när den är inställd på truetillåter en delmängd av korrelerade likhetspredikat när en underfråga aggregeras. Standardinställningen är true.
  • Ny spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled konfiguration: när den är inställd på trueblockerar automatiskt genererande alias när vyer skapas. Standardinställningen är true.
  • Ny spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled-konfiguration: när den är inställd till true, förbjuder CREATE TABLE AS SELECT om platsen inte är tom. Standardinställningen är true. Observera att när spark.sql.legacy.allowNonEmptyLocationInCTAS också är inställt på truehar den här konfigurationen ingen effekt och CREATE TABLE AS SELECT med en plats som inte är tom tillåts alltid.

Icke-bakåtkompatibla ändringar för Spark SQL-användare som aktiverar ANSI-läge

Information om ANSI-läge finns i ANSI-efterlevnad i Databricks Runtime.

  • Ny spark.databricks.behaviorChange.SC83587NextDayDOW.enabled konfiguration: när det är inställt på trueutlöser ett ogiltigt dayOfWeek argument till funktionen next_day en IllegalArgumentException i ANSI-läge. annars returneras null. Standardinställningen är true.
  • Ny spark.databricks.behaviorChange.SC83796CanCast.enabled konfiguration: när den är inställd på trueaktiverar nya explicita regler för gjuten syntax i ANSI-läge. Standardinställningen är true.
  • Ny spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled-konfiguration: när det är inställt på true, utlöses ett parsefel vid konvertering av en sträng till ett booleskt värde; annars returnerar null. Standardinställningen är true.
  • Ny spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled konfiguration: när den är inställd på trueutlöser funktionen abs ett undantag om indata ligger utom räckhåll. Standardinställningen är true.

Icke-bakåtkompatibla ändringar för alla Python-användare

  • Python-API delta.tables.DeltaTable.convertToDelta :et returnerar nu rätt DeltaTable Python-objekt som kan användas för att köra Delta Lake-kommandon. Tidigare returnerade det ett internt objekt som inte kunde anropas direkt.

Biblioteksuppgraderingar

Apache Hadoop 3-uppgradering

  • Databricks Runtime 10.0 uppgraderar Hadoop-beroendet från Hadoop 2.7.4 till Hadoop 3.3.1.

Funktionalitetsförändringar

  • Hadoop 3 använder biblioteken hadoop-client-api och hadoop-client-runtime i stället för det hadoop-common-biblioteket , som skuggar vissa beroenden från tredje part som potentiellt kan användas i offentliga Api:er eller tillägg från Hadoop.
  • Konfigurationsalternativen för Hadoop 3 har ändrats sedan Hadoop 2. Information om hadoop 3.3.1-alternativ finns i core-default.xml.
  • Databricks har uppdaterat några av standardkonfigurationerna för Hadoop 3 så att de överensstämmer med Hadoop 2 för att se till att lagringsanslutningarna har samma standardautentiseringsinställningar och prestandanivåer:
    • fs.azure.authorization.caching.enable = false
    • fs.s3a.attempts.maximum = 10
    • fs.s3a.block.size = 67108864
    • fs.s3a.connection.timeout = 50000
    • fs.s3a.max.total.tasks = 1000
    • fs.s3a.retry.limit = 20
    • fs.s3a.retry.throttle.interval = 500ms
    • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
    • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
  • Anslutningsprogrammet för Google Cloud Storage (GCS) har uppgraderats från 2.1.6 till 2.2.2.
  • Amazon Redshift-anslutningsappen använder nu schemat s3a:// . Schemat s3n:// är inaktuellt.
  • Hanterar OSS-klassnamnen för Amazon S3 MetadataStore-API:et utöver skuggade klasser. Detta möjliggör bearbetning av OSS-konfigurationer utan att behöva de skuggade klassnamnen.
    • Du kan till exempel ange org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore klassen i Hadoop-konfigurationen.
  • new Configuration() Gör och sparkContext.hadoopConfiguration konsekvent.
    • Varje gång en ny Hadoop-konfiguration skapas är den nu konsekvent med den fördefinierade Hadoop-konfigurationen i sparkContext.hadoopConfiguration Databricks Runtime, inklusive filsystemscheman och deras standardkonfiguration.
  • Även om Hadoop-lagringsanslutningar som ingår i Databricks Runtime är helt kompatibla med Hadoop 3.3.1 är de inte garanterade att de är synkroniserade med OSS Hadoop 3.3.1-anslutningsappar och kan ha olika beteende.
    • Amazon S3-anslutningsappen tillåter fortfarande (men med en varning) användare:hemlig autentisering i S3-URL:er, jämfört med HADOOP-14833 som tar bort den.
  • globStatus returnerar nu alltid sorterade resultat (HADOOP-10798)
  • Fs.s3a.endpoint har lagts till om unset och fs.s3a.endpoint-regionen är null(SPARK-35878)
    • Databricks tillhandahöll automatisk upplösning av Amazon S3-regionen som kanske inte utlöses i vissa fall på grund av att den globala slutpunkten är angiven. Det här är inte ett problem eftersom AWS SDK löser regionen korrekt.
  • Lägg till fs.s3a.downgrade.syncable.exceptions om de inte anges(SPARK-35868)
  • LZ4- och Snappy-codecs förlitar sig inte på det interna Hadoop-biblioteket (HADOOP-17125)

Kända problem

  • SPARK-36681 Att använda SnappyCodec för att skriva sekvensfilen misslyckas med UnsatisfiedLinkError på grund av kända problem i Hadoop 3.3.1(HADOOP-17891)

Apache Spark

Databricks Runtime 10.0 innehåller Apache Spark 3.2.0.

I detta avsnitt:

Höjdpunkter

Core och Spark SQL

Förbättringar av ANSI SQL-kompatibilitet

Prestandaförbättringar

  • Frågeoptimering
    • Ta bort redundanta aggregeringar i Optimizer(SPARK-33122)
    • Sänk gränsen genom Projekt med Join(SPARK-34622)
    • Kardinalitetsuppskattning för union, sortering och intervalloperator (SPARK-33411)
    • UnwrapCastInBinaryComparison stöder In/InSet-predikat (SPARK-35316)
    • Behåll nödvändig statistik efter partitionsrensning(SPARK-34119)
  • Frågekörning
    • Aktivera Zstandard-buffertpool som standard (SPARK-34340, SPARK-34390)
    • Lägg till kod-gen för alla kopplingstyper av sorteringskoppling(SPARK-34705)
    • Förbättring av sändning av infogade loopanslutningar (SPARK-34706)
    • Stöd för två nivåer av hashkartor för slutlig hash-aggregering (SPARK-35141)
    • Tillåt samtidiga skrivare för att skriva dynamiska partitioner och buckettabeller(SPARK-26164)
    • Förbättra prestanda för bearbetning FETCH_PRIOR i Thriftserver(SPARK-33655)

Förbättringar av anslutningsappen

  • Parkettgolv
    • Uppgradera Parquet till 1.12.1(SPARK-36726)
    • Läs parquet osignerade typer som lagras som int32 fysisk typ i parquet(SPARK-34817)
    • Läs parquet-osignerad logisk int64-typ som lagras som signerad fysisk int64-typ till decimal(20, 0)(SPARK-34786)
    • Förbättra Parquet i filternedrullning (SPARK-32792)
  • ORCH
  • Avro
    • Uppgradera Avro till version 1.10.2 (SPARK-34778)
    • Stöd för Avro-schemautveckling för partitionerade Hive-tabeller med "avro.schema.literal"(SPARK-26836)
    • Lägg till nya Alternativ för Avro-datakälla för att styra datetime-ombasering i read(SPARK-34404)
    • Lägga till stöd för användarens schema-URL i Avro(SPARK-34416)
    • Lägg till stöd för positionell Catalyst-till-Avro-schemamatchning(SPARK-34365)
  • JSON
    • Uppgradera Jackson till version 2.12.3 (SPARK-35550)
    • Tillåt Json-datakällor att skriva icke-ascii-tecken som kodpunkter (SPARK-35047)
  • JDBC
    • Beräkna mer exakta partitionssteg i JDBCRelation(SPARK-34843)
  • Hive Metastore stöder filter efter not-in(SPARK-34538)

Funktionsförbättringar

  • Underfrågor
  • Nya inbyggda funktioner
  • Använd Apache Hadoop 3.3.1 som standard (SPARK-29250)
  • Lägg till kontrollsumma för shuffle-block(SPARK-35275)
  • Aktivera spark.storage.replication.proactive som standard (SPARK-33870)
  • Stöd för återställning av lagringsrensning när SparkContext(SPARK-34142) stoppas
  • Stöd för Java-uppräkningar från Scala Dataset API(SPARK-23862)
  • ADD JAR med ivy-koordinater bör vara kompatibel med Hive transitivt beteende(SPARK-34506)
  • Stöd för kommandot ADD ARCHIVE och LIST ARCHIVES(SPARK-34603)
  • Stöd för flera sökvägar för ADD FILE/JAR/ARCHIVE-kommandon(SPARK-35105)
  • Stöd för arkivfiler som resurser för CREATE FUNCTION USING-syntax(SPARK-35236)
  • Läsa in SparkSessionExtensions från ServiceLoader(SPARK-35380)
  • Lägg till meningar i funktioner. {scala,py}(SPARK-35418)
  • Använd spark.sql.hive.metastorePartitionPruning för icke-Hive-tabeller som använder Hive-metaarkiv för partitionshantering(SPARK-36128)
  • Sprida orsak till exec-förlust till webbgränssnitt (SPARK-34764)
  • Undvik att ange icke-deterministiska With-CTEs(SPARK-36447)
  • Stöd för att analysera alla tabeller i en specifik databas(SPARK-33687)
  • Standardisera undantagsmeddelanden i Spark (SPARK-33539)
  • Stöd (IGNORERA | RESPECT) NULLS för LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Andra viktiga ändringar

  • Bildskärm
    • Nya mått för ExternalShuffleService(SPARK-35258)
    • Lägg till nya REST-API:er och parametrar på stegnivå (SPARK-26399)
    • Stöd för aktivitets- och körstatistikdistributionsstatistikdistributioner i REST API(SPARK-34488)
    • Lägga till reservmått för hashaggregat (SPARK-35529)
  • Lägg till count_distinct som ett alternativ i Dataset#summary(SPARK-34165)
  • Implementera ScriptTransform i sql/core(SPARK-31936)
  • Gör BlockManagerMaster-drivrutins pulsslagstimeout konfigurerbar(SPARK-34278)
  • Gör shuffle-tjänstnamnet konfigurerbart på klientsidan och tillåt klassökvägsbaserad åsidosättning av konfiguration på serversidan (SPARK-34828)
  • ExecutorMetricsPoller bör behålla steginmatningen i stageTCMP tills ett pulsslag inträffar (SPARK-34779)
  • Ersätt om med filtersatsen i RewriteDistinctAggregates(SPARK-34882)
  • Åtgärda fel vid användning av CostBasedJoinReorder på självkoppling (SPARK-34354)
  • CREATE TABLE LIKE bör respektera de reserverade tabellegenskaperna(SPARK-34935)
  • Skicka ivySettings-fil till drivrutin i YARN-klusterläge (SPARK-34472)
  • Lösa duplicerade vanliga kolumner från USING/NATURAL JOIN(SPARK-34527)
  • Dölj interna vyegenskaper för beskriv tabell-cmd(SPARK-35318)
  • Stöd för att lösa saknade attrs för distribution/kluster efter/ompartitionstips (SPARK-35331)
  • Ignorera felet när du kontrollerar sökvägen i FileStreamSink.hasMetadata(SPARK-34526)
  • Förbättra stöd för s3a magic committer genom att härleda saknade konfigurationer (SPARK-35383)
  • Tillåt att utelämna : i STRUCT-typsträngen (SPARK-35706)
  • Lägg till en ny operator för att skilja om AQE kan optimera på ett säkert sätt (SPARK-35786)
  • Lägg till nya kapslade structfält i stället för att sortera efter unionByName med nullfyllning (SPARK-35290)
  • ArraysZip bör behålla fältnamn för att undvika att skrivas om av analyzer/optimizer(SPARK-35876)
  • Använd Void som typnamn för NullType(SPARK-36224)
  • Introducera ett nytt API för FileCommitProtocol som tillåter flexibel filnamngivning (SPARK-33298)

Beteendeändringar

Se migreringsguiderna för varje komponent: Spark Core.

Strukturerad direktuppspelning

Viktiga funktioner

  • EventTime-baserad sessionisering (sessionsfönster)(SPARK-10816)
  • Uppgradera Kafka-klienten till 2.8.0(SPARK-33913)
  • Trigger.AvailableNow för att köra strömmande frågor som Trigger.Once i flera batchar i Scala(SPARK-36533)

Andra viktiga ändringar

  • Introducera ett nytt alternativ i Kafka-källan för att ange ett minsta antal poster som ska läsas per utlösare (SPARK-35312)
  • Lägg till de senaste förskjutningarna i källförloppet (SPARK-33955)

PySpark

Project Zen

Andra viktiga ändringar

  • Aktivera fäst trådläge som standard (SPARK-35303)
  • Lägg till NullType-stöd för pilkörningar (SPARK-33489)
  • Lägg till Arrow self_destruct-stöd i toPandas (SPARK-32953)
  • Lägg till trådmålomslutnings-API för pyspark pin thread mode(SPARK-35498)

Beteendeändringar

Se migreringsguiderna.

MLlib

Prestandaförbättringar

  • BucketedRandomProjectionLSH-transformeringsoptimering (SPARK-34220)
  • w2v findSynonyms optimization(SPARK-34189)
  • optimera gles GEMM genom att hoppa över bunden kontroll(SPARK-35707)
  • Förbättra prestanda för ML ALS recommendForAll by GEMV(SPARK-33518)

Förbättringar av modellträning

  • Refaktor logistic Aggregator – stöd för virtuell centering (SPARK-34797)
  • Binär logistisk regression med stödcentering för skärningspunkt (SPARK-34858, SPARK-34448)
  • Multinomiell logistisk regression med stödcentering för skärningspunkt (SPARK-34860)

BLAS-förbättringar

  • Ersätt fullständigt com.github.fommil.netlib med dev.ludovic.netlib:2.0(SPARK-35295)
  • Lägg till en vektoriserad BLAS-implementering (SPARK-33882)
  • Påskynda reserv-BLAS med dev.ludovic.netlib(SPARK-35150)

Andra viktiga ändringar

  • OVR-transformation åtgärdar potentiella kolumnkonflikter(SPARK-34356)

Utfasningar och borttagningar

  • Inaktuell spark.launcher.childConnectionTimeout(SPARK-33717)
  • avråda från användning GROUP BY ... GRUPPERINGSUPPSÄTTNINGAR (...) och befordra GROUP BY GRUPPERINGSUPPSÄTTNINGAR (...)(SPARK-34932)
  • Inaktuell ps.broadcast API(SPARK-35810)
  • Inaktuellt num_files argument(SPARK-35807)
  • Inaktuell DataFrame.to_spark_io(SPARK-35811)

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 10.0.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.1
  • Delta Lake: 1.0.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
Antergos Linux 2015.10 (ISO-Rullande) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cyklist 0.10.0 Cython 0.29.23
dbus-python 1.2.16 dekoratör 5.0.6 distlib 0.3.3
distro-info 0.23ubuntu1 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
kiwisolver 1.3.1 Koalas 1.8.1 matplotlib 3.4.2
numpy 1.19.2 Pandas 1.2.4 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Kudde 8.2.0 pip 21.0.1 plotly 5.1.0
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.6
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
begäranden 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
setuptools 52.0.0 sex 1.15.0 ssh-import-id 5,10
statsmodels 0.12.2 orubblighet 8.0.1 threadpoolctl 2.1.0
tromb 6.1 traitlets 5.0.5 obevakade uppgraderingar 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
hjul 0.36.2

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-09-21.

Bibliotek Version Bibliotek Version Bibliotek Version
askpass 1,1 assertthat 0.2.1 backportar 1.2.1
bas 4.1.1 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 start 1.3-28
brygga 1.0-6 Brio 1.1.2 kvast 0.7.9
bslib 0.3.0 cachem 1.0.6 anropare 3.7.0
textmarkör 6.0-88 cellranger 1.1.0 Chron 2.3-56
klass 7.3-19 cli 3.0.1 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 färgområde 2.0-2
commonmark 1,7 kompilator 4.1.1 config 0.3.1
cpp11 0.3.1 krita 1.4.1 Autentiseringsuppgifter 1.3.1
hårlock 4.3.2 data.table 1.14.0 datauppsättningar 4.1.1
DBI 1.1.1 dbplyr 2.1.1 Desc 1.3.0
devtools 2.4.2 diffobj 0.3.4 smälta 0.6.27
dplyr 1.0.7 dtplyr 1.1.0 ellips 0.3.2
evaluate (utvärdera) 0,14 fansi 0.5.0 farver 2.1.0
fastmap 1.1.0 forcats 0.5.1 foreach 1.5.1
främmande 0.8-81 smida 0.2.0 Fs 1.5.0
framtid 1.22.1 future.apply 1.8.1 gurgla 1.2.0
Generika 0.1.0 Gert 1.4.1 ggplot2 3.3.5
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-2
globals 0.14.0 lim 1.4.2 googledrive 2.0.0
googlesheets4 1.0.0 Gower 0.2.2 grafik 4.1.1
grDevices 4.1.1 gitter 4.1.1 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hamn 2.4.3
highr 0,9 Hms 1.1.0 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.3 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 Id 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Iteratorer 1.0.13 jquerylib 0.1.4 jsonlite 1.7.2
KernSmooth 2.23-20 stickning 1.34 Märkning 0.4.2
senare 1.3.0 Galler 0.20-44 lava 1.6.10
livscykel 1.0.0 lyssna 0.8.0 lubridate 1.7.10
magrittr 2.0.1 Markdown 1,1 MASSA 7.3-54
Matris 1.3-4 pmise 2.0.0 metoder 4.1.1
mgcv 1.8-37 MIME 0,11 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-152
nnet 7.3-16 numDeriv 2016.8-1.1 openssl 1.4.5
parallel 4.1.1 parallellt 1.28.1 pelare 1.6.2
pkgbuild 1.2.0 pkgconfig 2.0.3 pkgload 1.2.2
plogr 0.2.0 plyr 1.8.6 berömma 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.5.2
prodlim 2019.11.13 Förlopp 1.2.2 progressr 0.8.0
Löften 1.2.0.1 Proto 1.0.0 PS 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.3.3
RColorBrewer 1.1-2 Rcpp 1.0.7 readr 2.0.1
readxl 1.3.1 recept 0.1.16 Returmatch 1.0.1
rematch2 2.1.2 Fjärrkontroller 2.4.0 reprex 2.0.1
omforma2 1.4.4 rlang 0.4.11 rmarkdown 2,11
RODBC 1.3-19 roxygen2 7.1.2 rpart 4.1-15
rprojroot 2.0.2 Rserve 1.8-8 RSQLite 2.2.8
rstudioapi 0,13 rversioner 2.1.1 rvest 1.0.1
Sass 0.4.0 våg 1.1.1 väljare 0.4-2
sessioninfo 1.1.1 form 1.4.6 skinande 1.6.0
sourcetools 0.1.7 sparklyr 1.7.2 SparkR 3.2.0
rumslig 7.3-11 Splines 4.1.1 sqldf 0.4-11
SQUAREM 2021.1 statistik 4.1.1 stats4 4.1.1
stringi 1.7.4 stringr 1.4.0 överlevnad 3.2-13
sys 3.4 tcltk 4.1.1 TeachingDemos 2.10
testthat 3.0.4 tibble 3.1.4 tidyr 1.1.3
avmarkera 1.1.1 tidyverse 1.3.1 timeDate 3043.102
tinytex 0.33 verktyg 4.1.1 tzdb 0.1.2
usethis 2.0.1 utf8 1.2.2 verktyg 4.1.1
uuid 0.1-4 vctrs 0.3.8 viridisLite 0.4.0
Vroom 1.5.5 Waldo 0.3.1 morrhår 0,4
withr 2.4.2 xfun 0,26 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1
Zip 2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.12.2
com.fasterxml.jackson.core jackson-core 2.12.2
com.fasterxml.jackson.core jackson-databind 2.12.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.2
com.fasterxml.jackson.module jackson-module-paranamer 2.12.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.2
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 1.3.2
dev.ludovic.netlib Blas 1.3.2
dev.ludovic.netlib lapack 1.3.2
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.19
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.63.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-träd hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy murgröna 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.10
org.apache.orc orc-mapreduce 1.6.10
org.apache.orc orc-shims 1.6.10
org.apache.parquet parquet-kolumn 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-kodning 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.40.v20210413
org.eclipse.jetty jetty-fortsättning 9.4.40.v20210413
org.eclipse.jetty jetty-http 9.4.40.v20210413
org.eclipse.jetty brygga-io 9.4.40.v20210413
org.eclipse.jetty jetty-jndi 9.4.40.v20210413
org.eclipse.jetty brygga plus 9.4.40.v20210413
org.eclipse.jetty jetty-proxy 9.4.40.v20210413
org.eclipse.jetty jetty-security 9.4.40.v20210413
org.eclipse.jetty brygga-server 9.4.40.v20210413
org.eclipse.jetty brygga-servlet 9.4.40.v20210413
org.eclipse.jetty jetty-servlets 9.4.40.v20210413
org.eclipse.jetty brygga-util 9.4.40.v20210413
org.eclipse.jetty jetty-util-ajax 9.4.40.v20210413
org.eclipse.jetty jetty-webapp 9.4.40.v20210413
org.eclipse.jetty jetty-xml 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-api 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-client 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-common 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-server 9.4.40.v20210413
org.eclipse.jetty.websocket websocket-servlet 9.4.40.v20210413
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark oanvänd 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1