Databricks Runtime 10.1 (EoS)

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande viktig information innehåller information om Databricks Runtime 10.1 och Databricks Runtime 10.1 Photon, som drivs av Apache Spark 3.2.0. Databricks släppte den här versionen i november 2021. Foton finns i offentlig förhandsversion.

Nya funktioner och förbättringar

• Nya deltatabellinställningar för att komprimera små filer
• Nya radgruppsmått för Parquet-frågegenomsökningar
• Trigger.AvailableNow för strömningsfrågor för Delta-källa
• Trigger.AvailableNow för automatisk inläsning
• Deltastöd för Konfigurationer av Hadoop-filsystem som skickas via DataFrame-alternativ
• Asynkrona kontrollpunkter för tillstånd stöds nu i tillståndskänsliga strömningsjobb (offentlig förhandsversion)
• Sparklyr med genomströmning för autentiseringsuppgifter
• Databricks Utilities-data sammanfattar precisionskontroll (offentlig förhandsversion)
• Azure Databricks-notebook-filer kan nu användas med IPython-kerneln
• Nya funktioner i Spark SQL

Nya Delta-tabellinställningar för att komprimera små filer

Egenskapen Delta-tabell delta.autoOptimize.autoCompact accepterar nu de nya värdena för auto och legacy utöver de befintliga värdena för true och false. När värdet är inställt på auto (rekommenderas) använder Automatisk komprimering bättre standardvärden, till exempel att ange 32 MB som målfilstorlek (även om standardbeteenden kan komma att ändras i framtiden). När den är inställd på legacy eller trueanvänder autokomprimering 128 MB som målfilstorlek.

I stället för att ange den här egenskapen för en enskild tabell kan du ange spark.databricks.delta.autoCompact.enabled konfigurationen till auto, legacyeller true för att aktivera automatisk komprimering för alla Delta-tabeller. Den här konfigurationen har företräde framför den relaterade tabellegenskapen under den aktuella sessionen.

Målfilens storlek för automatisk komprimering kan styras med konfigurationen spark.databricks.delta.autoCompact.maxFileSize .

Mer information om automatisk komprimering finns i Automatisk komprimering för Delta Lake på Azure Databricks.

Nya radgruppsmått för Parquet-frågegenomsökningar

Frågor med Parquet-genomsökningar ytbehandlar nu radgruppsmått i Spark-användargränssnittet. Dessa radgruppsmått är:

• totalt antal parquet-radgrupper
• antal parquet-radgrupper som lästs

Trigger.AvailableNow för strömningsfrågor för Delta-källa

Den här ändringen stöder en ny typ av utlösare för Delta-källströmningsfrågor i Scala: Trigger.AvailableNow. Det är som Trigger.Once, som bearbetar alla tillgängliga data och stoppar sedan frågan. Ger dock Trigger.AvailableNow bättre skalbarhet eftersom data kan bearbetas i flera batchar i stället för en. Den här ändringen introducerar inte något nytt gränssnitt. den implementerar ett befintligt Spark-API. Den här utlösaren stöder också alla alternativ för hastighetsbegränsning som redan stöds av Delta som källa.

Exempel:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Se täckning för Trigger.AvailableNow i Vad är automatisk inläsning?.

Trigger.AvailableNow för automatisk inläsning

Trigger.AvailableNow är ett nytt utlösarläge för direktuppspelning som liknar Trigger.Once. Trigger.Once bearbetar alla tillgängliga data och stoppar sedan frågan. Trigger.AvailableNow har bättre skalbarhet eftersom data kan bearbetas i flera batchar i stället för en. Automatisk inläsning stöder Trigger.AvailableNow nu i både kataloglistnings- och filmeddelandelägen för Scala. Se täckning för Trigger.AvailableNow i Vad är automatisk inläsning?.

Deltastöd för Konfigurationer av Hadoop-filsystem som skickas via DataFrame-alternativ

På samma sätt som Parquet stöder Delta nu att läsa Hadoop-filsystemkonfigurationer från DataFrameReader- och DataFrameWriter-alternativen när tabellen läses eller skrivs, med hjälp av DataFrameReader.load(path) eller DataFrameWriter.save(path). Se Konfigurera Delta Storage-autentiseringsuppgifter.

Asynkrona kontrollpunkter för tillstånd stöds nu i tillståndskänsliga strömningsjobb (offentlig förhandsversion)

Asynkrona kontrollpunkter för tillstånd är en ny funktion som potentiellt minskar svarstiden från slutpunkt till slutpunkt för tillståndskänsliga strömningsjobb med stora tillståndsuppdateringar. Se Asynkrona kontrollpunkter för tillstånd för tillståndskänsliga frågor.

Sparklyr med genomströmning för autentiseringsuppgifter

Nu kan du använda sparklyr-API:er för att läsa och skriva data till och från molnlagring med hjälp av genomströmning av autentiseringsuppgifter. Den här funktionen är begränsad till standardkluster med enkel användaråtkomst. Se Åtkomst till Azure Data Lake Storage med hjälp av Microsoft Entra ID-genomströmning för autentiseringsuppgifter (äldre).

Databricks Utilities-data sammanfattar precisionskontroll (offentlig förhandsversion)

En ny precise parameter för dbutils.data.summarize styr precisionen för sammanfattningsresultat. När precise är inställt på false (standardvärdet) returnerar sammanfattningen ungefärliga resultat för distinkt antal, percentil och antal frekventa objekt. När precise är satt till sant beräknas nu sammanfattningar med exakt unikt antal och frekventa antal objekt, med mer preciserade uppskattningar av percentiler. Se kommandot summarize (dbutils.data.summarize).

Azure Databricks-notebook-filer kan nu användas med IPython-kerneln

Nu kan du konfigurera ett Azure Databricks-kluster för att använda IPython-kerneln för att köra Python-kod. Om du använder IPython-kerneln i Azure Databricks får du stöd för IPythons visnings- och utdataverktyg. Dessutom samlar IPython-kerneln in stdout- och stderr-utdata från underordnade processer som skapats av en notebook-fil, vilket gör att utdata kan inkluderas i notebook-kommandoresultatet.

Mer information finns i IPython-kernel.

Nya funktioner i Spark SQL

Följande objekt och kommandon har lagts till för att arbeta med data i Unity Catalog (förhandsversion):

• Externa platser
• ALTER CATALOG
• ALTER CREDENTIAL
• ÄNDRA PLATS
• CREATE CATALOG
• SKAPA PLATS
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• BESKRIV PLATS
• DROP CATALOG
• DROP CREDENTIAL
• SLÄPP PLATS
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• VISA PLATSER
• USE CATALOG

Följande kommandon har lagts till för Delta Sharing (betaversion), vilket gör att du kan dela endast läsbar data med mottagare utanför din organisation:

• Delning
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT DELA
• REVOKE DELA
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Felkorrigeringar

• Ett konkurrenstillstånd som kan orsaka ett frågefel med ett IOException sådant som No FileSystem for scheme eller som kan leda till att sparkContext.hadoopConfiguration ändringar inte börjar gälla i frågor har åtgärdats.

Biblioteksuppgraderingar

• Uppgraderade Python-bibliotek:
  • filelock från 3.0.12 till 3.3.1
  • koalas från 1.8.1 till 1.8.2
  • ritat från 5.1.0 till 5.3.0
• Uppgraderade R-bibliotek:
  • bslib från 0.3.0 till 0.3.1
  • caret från 6.0-88 till 6.0-90
  • cpp11 från 0.3.1 till 0.4.0
  • data.table från 1.14.0 till 1.14.2
  • desc från 1.3.0 till 1.4.0
  • diffobj från 0.3.4 till 0.3.5
  • sammandrag från 0,6,27 till 0,6,28
  • generiska läkemedel från 0.1.0 till 0.1.1
  • hms från 1.1.0 till 1.1.1
  • stickning från 1,34 till 1,36
  • lattice från 0.20-44 till 0.20-45
  • livscykel från 1.0.0 till 1.0.1
  • lubridat från 1.7.10 till 1.8.0
  • mgcv från 1,8-37 till 1,8-38
  • mime från 0,11 till 0,12
  • pkgload från 1.2.2 till 1.2.3
  • progressr från 0.8.0 till 0.9.0
  • rcmdcheck från 1.3.3 till 1.4.0
  • readr från 2.0.1 till 2.0.2
  • recept från 0.1.16 till 0.1.17
  • remotes från 2.4.0 till 2.4.1
  • rlang från 0.4.11 till 0.4.12
  • rvest från 1.0.1 till 1.0.2
  • glänsande från 1.6.0 till 1.7.1
  • stringi från 1.7.4 till 1.7.5
  • testthat från 3.0.4 till 3.1.0
  • tidyr från 1.1.3 till 1.1.4
  • tinytex från 0,33 till 0,34
  • usethis från 2.0.1 till 2.1.2
  • xfun från 0,26 till 0,27
• Uppgraderade Java-bibliotek:
  • com.zaxxer.HikariCP från 3.1.0 till 4.0.3

Apache Spark

Databricks Runtime 10.1 innehåller Apache Spark 3.2.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 10.0 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• [SPARK-37037] [SQL] Förbättra bytematrissortering genom att förena compareTo-funktionen för UTF8String och ByteArray
• [SPARK-37091] [R] SystemRequirements för att inkludera Java < 18
• [SPARK-37041] [SQL] Stöd för Backport HIVE-15025: SSL (Secure-Socket-Layer) för HMS
• [SPARK-37098] [SQL] Ändra tabellegenskaper bör ogiltigförklara cacheminnet
• [SPARK-36992] [SQL] Förbättra bytematrisens sorteringsperf genom att förena funktionen getPrefix för UTF8String och ByteArray
• [SPARK-37047] [SQL] Lägga till lpad- och rpad-funktioner för binära strängar
• [SPARK-37076] [SQL] Implementera StructType.toString explicit för Scala 2.13
• [SPARK-37075] [SQL] Flytta UDAF-uttrycksbygge från sql/catalyst till sql/core
• [SPARK-37084] [SQL] Ange spark.sql.files.openCostInBytes till bytesConf
• [SPARK-37088] [PYSPARK][SQL] Skrivtråd får inte komma åt indata när lyssnaren för uppgiften har slutförts
• [SPARK-37069] [SQL] Återställning när Hive.getWithoutRegisterFns inte är tillgängligt
• [SPARK-37050] [PYTHON] Uppdatera Installationsanvisningar för Conda
• [SPARK-37067] [SQL] Använd ZoneId.of() för att hantera tidszonssträngen i DatetimeUtils
• [SPARK-35925] [SQL] Stöd för DayTimeIntervalType i funktionen width-bucket
• [SPARK-35926] [SQL] Lägg till stöd för YearMonthIntervalType för width_bucket
• [SPARK-35973] [SQL] Lägg till kommando SHOW CATALOGS
• [SPARK-36922] [SQL] Funktionerna SIGN/SIGNUM bör ha stöd för ANSI-intervall
• [SPARK-37078] [CORE] Stöd för gamla 3-parameters mottagare konstruktorer
• [SPARK-37061] [SQL] Åtgärda CustomMetrics när du använder inre klasser
• [SPARK-35918] [AVRO] Införa enhetlig hantering av schemamissmatch för läsning/skrivning och förbättra felmeddelanden
• [SPARK-36871] [SQL]Migrera Kommandot CreateViewStatement till v2
• [SPARK-36898] [SQL] Gör shuffle-hashkopplingsfaktorn konfigurerbar
• [SPARK-36921] [SQL] Stöd för ANSI-intervall efter DIV
• [SPARK-36794] [SQL] Ignorera duplicerade kopplingsnycklar när du skapar en relation för SEMI/ANTI-blandad hashkoppling
• [SPARK-36867] [SQL] Åtgärda felmeddelande med GROUP BY alias
• [SPARK-36914] [SQL] Implementera dropIndex och listIndexes i JDBC (MySQL-dialekt)
• [SPARK-35531] [SQL] Skicka hive-tabellen direkt till HiveClient när du anropar getPartitions för att undvika onödig konvertering från HiveTable –> CatalogTable – –> HiveTable
• [SPARK-36718] [SQL] Dölj bara projekt om vi inte duplicerar dyra uttryck
• [SPARK-37046] [SQL]: Ändra vy bevarar inte kolumnens skiftläge
• [SPARK-36978] [SQL] InferConstraints-regeln bör skapa IsNotNull-begränsningar för det kapslade fältet i stället för den kapslade rottypen
• [SPARK-37052] [CORE] Spark ska bara skicka – utförligt argument till huvudklassen när är sql shell
• [SPARK-37017] [SQL] Minska omfånget för synkroniserade för att förhindra potentiellt dödläge
• [SPARK-37032] [SQL] Åtgärda bruten SQL-syntaxlänk på SQL-referenssidan
• [SPARK-36905] [SQL] Åtgärda läsning av hive-vyer utan explicita kolumnnamn
• [SPARK-36678] Migrera SHOW TABLES för att använda V2-kommandot som standard
• [SPARK-36943] [SQL] Förbättra läsbarheten för felmeddelande om saknade kolumner
• [SPARK-36980] [SQL] Infoga supportfråga med CTE
• [SPARK-37001] [SQL] Inaktivera två map-nivåer för slutlig hash-aggregering som standard
• [SPARK-36970] [SQL] Manuellt inaktiverat funktionsformat Bdate_format för att göra Java 17 kompatibelt med Java 8
• [SPARK-36546] [SQL] Lägga till matrisstöd till union efter namn
• [SPARK-36979] [SQL] Lägg till rewriteLateralSubquery-regeln i nonExcludableRules
• [SPARK-36949] [SQL] Tillåt inte Hive-providertabeller med ANSI-intervall
• [SPARK-36849] [SQL] Migrera UseStatement till v2-kommandoramverket
• [SPARK-36868] [SQL] Migrera CreateFunctionStatement till v2-kommandoramverket
• [SPARK-36841] [SQL] Lägg till ansi-syntax set catalog xxx för att ändra den aktuella katalogen
• [SPARK-36821] [SQL] Gör klassen ColumnarBatch utökad – tillägg
• [SPARK-36963] [SQL] Lägg till max_by/min_by i sql.functions
• [SPARK-36913] [SQL] Implementera createIndex och IndexExists i DS V2 JDBC (MySQL-dialekt)
• [SPARK-36848] [SQL] Migrera ShowCurrentNamespaceStatement till v2-kommandoramverket
• [SPARK-36526] [SQL] Stöd för DSV2-index: Lägg till supportIndex-gränssnitt
• [SPARK-36960] [SQL] Pushdown-filter med ANSI-intervallvärden till ORC
• [SPARK-36929] [SQL] Ta bort oanvänd metod EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] Stöd för läsning och skrivning av ANSI-intervall från/till ORC-datakällor
• [SPARK-34980] [SQL] Stöd för sammanslagning av partitioner genom union i AQE
• [SPARK-36809] [SQL] Ta bort sändning för InSubqueryExec som används i DPP
• [SPARK-36813] [SQL][PYTHON] Föreslå en infrastruktur för as-of join och implementera ps.merge_asof
• [SPARK-36918] [SQL] Ignorera typer när du jämför structs för unionByName
• [SPARK-36891] [SQL] Omstrukturera SpecificParquetRecordReaderBase och lägg till mer täckning på vektoriserad Parquet-avkodning
• [SPARK-36920] [SQL] Stöd för ANSI-intervall efter ABS()
• [SPARK-36888] [SQL] lägg till testfall för sha2-funktionen
• [SPARK-36889] [SQL] Respekt spark.sql.parquet.filterPushdown av v2 parquet scan builder
• [SPARK-36830] [SQL] Stöd för läsning och skrivning av ANSI-intervall från/till JSON-datakällor
• [SPARK-36870] [SQL] Introducera INTERNAL_ERROR felklass
• [SPARK-36831] [SQL] Stöd för läsning och skrivning av ANSI-intervall från/till CSV-datakällor.
• [SPARK-36550] [SQL] Spridningsorsak när UDF-reflektionen misslyckas
• [SPARK-36866] [SQL] Pushdown-filter med ANSI intervallvärden till parquet
• [SPARK-33832] [SQL] Framtvinga förenkling och förbättring av snedkopplingskod
• [SPARK-36642] [SQL] Lägg till df.withMetadata pyspark API
• [SPARK-35765] [SQL] Distinkta aggs är inte duplicerade känsliga
• [SPARK-36825] [SQL] Läsa/skriva dataramar med ANSI-intervall från/till parquet-filer
• [SPARK-36829] [SQL] Refaktor-NULL-kontroll för collectionOperators
• [SPARK-32712] [SQL] Stöd för att skriva Hive-bucketad tabell (Hive-filformat med Hive-hash)
• [SPARK-36797] [SQL] Union bör matcha kapslade kolumner som kolumner på den översta nivån
• [SPARK-36838] [SQL] Förbättra prestanda för InSet-genererad kod
• [SPARK-36683] [SQL] Lägg till nya inbyggda SQL-funktioner: SEC och CSC
• [SPARK-36721] [SQL] Förenkla booleska likheter om ena sidan är literal
• [SPARK-36760] [SQL] Lägg till gränssnittsfunktionerPushDownV2Filters
• [SPARK-36652] [SQL] AQE dynamiska join-valet bör inte tillämpas på icke-lika join
• [SPARK-36745] [SQL] ExtractEquiJoinKeys bör returnera de ursprungliga predikaten för kopplingsnycklar
• [SPARK-36107] [SQL] Omstrukturera den första uppsättningen med 20 frågekörningsfel för att använda felklasser
• [SPARK-32709] [SQL] Stöd för att skriva Hive-bucketad tabell (Parquet/ORC-format med Hive-hash)
• [SPARK-36735] [SQL] Justera omkostnaderna för cachelagrad relation för DPP
• [SPARK-33832] [SQL] Stöd för att optimera skev sammanslagning även om det medför extra omflyttning
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec bör använda alla villkor i stället för icke-equi-villkor
• [SPARK-35221] [SQL] Lägg till kontrollen av join-hints som understöds
• [SPARK-36814] [SQL] Gör klassen ColumnarBatch utökad
• [SPARK-36663] [SQL] Stöd för kolumnnamn med endast nummer i ORC-datakällor
• [SPARK-36751] [SQL][PYTHON][R] Lägg till bit-/octet_length-API:er i Scala, Python och R
• [SPARK-36733] [SQL] Åtgärda ett problem med prestanda i SchemaPruning när en struct har många fält
• [SPARK-36724] [SQL] Support timestamp_ntz som en typ av tidskolumn för SessionWindow
• [SPARK-36556] [SQL] Lägga till DSV2-filter
• [SPARK-36687] [SQL][CORE] Byt namn på felklasser med _ERROR suffix
• [SPARK-35803] [SQL] Stöd för DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] Lägg till df.withMetadata: en syntaxförbättring för att uppdatera metadata för en dataram

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 10.1.

Systemmiljö

• Operativsystem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Installerade Python-bibliotek

Bibliotek	Version	Bibliotek	Version	Bibliotek	Version
Antergos Linux	2015.10 (ISO-Rullande)	appdirs	1.4.4	argon2-cffi	20.1.0
async-generator	1.10	attrs	20.3.0	backcall	0.2.0
blekmedel	3.3.0	boto3	1.16.7	botocore	1.19.7
certifi	2020.12.5	cffi	1.14.5	chardet	4.0.0
cyklist	0.10.0	Cython	0.29.23	dbus-python	1.2.16
dekoratör	5.0.6	defusedxml	0.7.1	distlib	0.3.3
distro-info	0.23ubuntu1	entrypoints	0,3	facets-overview	1.0.0
filelock	3.3.1	idna	2.10	ipykernel	5.3.4
ipython	7.22.0	ipython-genutils	0.2.0	ipywidgets	7.6.3
jedi	0.17.2	Jinja2	2.11.3	jmespath	0.10.0
joblib	1.0.1	jsonschema	3.2.0	jupyter-client	6.1.12
jupyter-core	4.7.1	jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0
kiwisolver	1.3.1	Koalas	1.8.2	MarkupSafe	2.0.1
matplotlib	3.4.2	mistune	0.8.4	nbclient	0.5.3
nbconvert	6.0.7	nbformat	5.1.3	nest-asyncio	1.5.1
notebook-fil	6.3.0	numpy	1.19.2	emballage	20.9
Pandas	1.2.4	pandocfilter	1.4.3	parso	0.7.0
Patsy	0.5.1	pexpect	4.8.0	pickleshare	0.7.5
Kudde	8.2.0	pip	21.0.1	plotly	5.3.0
prometheus-client	0.10.1	prompt-toolkit	3.0.17	protobuf	3.17.2
psycopg2	2.8.5	ptyprocess	0.7.0	pyarrow	4.0.0
pycparser	2,20	Pygments	2.8.1	PyGObject	3.36.0
pyparsing	2.4.7	pyrsistent	0.17.3	python-apt	2.0.0+ubuntu0.20.4.6
python-dateutil	2.8.1	pytz	2020.5	pyzmq	20.0.0
begäranden	2.25.1	requests-unixsocket	0.2.0	s3transfer	0.3.7
scikit-learn	0.24.1	scipy	1.6.2	seaborn	0.11.1
Send2Trash	1.5.0	setuptools	52.0.0	sex	1.15.0
ssh-import-id	5,10	statsmodels	0.12.2	orubblighet	8.0.1
terminado	0.9.4	testpath	0.4.4	threadpoolctl	2.1.0
tromb	6.1	traitlets	5.0.5	obevakade uppgraderingar	0,1
urllib3	1.25.11	virtualenv	20.4.1	wcwidth	0.2.5
webencodings	0.5.1	hjul	0.36.2	widgetsnbextension	3.5.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2021-10-26.

Bibliotek	Version	Bibliotek	Version	Bibliotek	Version
askpass	1,1	assertthat	0.2.1	backportar	1.2.1
bas	4.1.1	base64enc	0.1-3	bit	4.0.4
bit64	4.0.5	blob	1.2.2	start	1.3-28
brygga	1.0-6	Brio	1.1.2	kvast	0.7.9
bslib	0.3.1	cachem	1.0.6	anropare	3.7.0
textmarkör	6.0-90	cellranger	1.1.0	Chron	2.3-56
klass	7.3-19	cli	3.0.1	clipr	0.7.1
cluster	2.1.2	codetools	0.2-18	färgområde	2.0-2
commonmark	1,7	kompilator	4.1.1	config	0.3.1
cpp11	0.4.0	krita	1.4.1	Autentiseringsuppgifter	1.3.1
hårlock	4.3.2	data.table	1.14.2	datauppsättningar	4.1.1
DBI	1.1.1	dbplyr	2.1.1	Desc	1.4.0
devtools	2.4.2	diffobj	0.3.5	smälta	0.6.28
dplyr	1.0.7	dtplyr	1.1.0	e1071	1.7-9
ellips	0.3.2	evaluate (utvärdera)	0,14	fansi	0.5.0
farver	2.1.0	fastmap	1.1.0	fontawesome	0.2.2
forcats	0.5.1	foreach	1.5.1	främmande	0.8-81
smida	0.2.0	Fs	1.5.0	framtid	1.22.1
future.apply	1.8.1	gurgla	1.2.0	Generika	0.1.1
Gert	1.4.1	ggplot2	3.3.5	Gh	1.3.0
gitcreds	0.1.1	glmnet	4.1-2	globals	0.14.0
lim	1.4.2	googledrive	2.0.0	googlesheets4	1.0.0
Gower	0.2.2	grafik	4.1.1	grDevices	4.1.1
gitter	4.1.1	gridExtra	2.3	gsubfn	0,7
gtable	0.3.0	hamn	2.4.3	highr	0,9
Hms	1.1.1	htmltools	0.5.2	htmlwidgets	1.5.4
httpuv	1.6.3	httr	1.4.2	hwriter	1.3.2
hwriterPlus	1.0-3	Id	1.0.1	ini	0.3.1
ipred	0.9-12	isoband	0.2.5	Iteratorer	1.0.13
jquerylib	0.1.4	jsonlite	1.7.2	KernSmooth	2.23-20
stickning	1.36	Märkning	0.4.2	senare	1.3.0
Galler	0.20-45	lava	1.6.10	livscykel	1.0.1
lyssna	0.8.0	lubridate	1.8.0	magrittr	2.0.1
Markdown	1,1	MASSA	7.3-54	Matris	1.3-4
pmise	2.0.0	metoder	4.1.1	mgcv	1.8-38
MIME	0,12	ModelMetrics	1.2.2.2	modelr	0.1.8
munsell	0.5.0	nlme	3.1-152	nnet	7.3-16
numDeriv	2016.8-1.1	openssl	1.4.5	parallel	4.1.1
parallellt	1.28.1	pelare	1.6.4	pkgbuild	1.2.0
pkgconfig	2.0.3	pkgload	1.2.3	plogr	0.2.0
plyr	1.8.6	berömma	1.0.0	prettyunits	1.1.1
Proc	1.18.0	processx	3.5.2	prodlim	2019.11.13
Förlopp	1.2.2	progressr	0.9.0	Löften	1.2.0.1
Proto	1.0.0	proxyserver	0.4-26	PS	1.6.0
purrr	0.3.4	r2d3	0.2.5	R6	2.5.1
randomForest	4.6-14	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1-2	Rcpp	1.0.7	readr	2.0.2
readxl	1.3.1	recept	0.1.17	Returmatch	1.0.1
rematch2	2.1.2	Fjärrkontroller	2.4.1	reprex	2.0.1
omforma2	1.4.4	rlang	0.4.12	rmarkdown	2,11
RODBC	1.3-19	roxygen2	7.1.2	rpart	4.1-15
rprojroot	2.0.2	Rserve	1.8-8	RSQLite	2.2.8
rstudioapi	0,13	rversioner	2.1.1	rvest	1.0.2
Sass	0.4.0	våg	1.1.1	väljare	0.4-2
sessioninfo	1.1.1	form	1.4.6	skinande	1.7.1
sourcetools	0.1.7	sparklyr	1.7.2	SparkR	3.2.0
rumslig	7.3-11	Splines	4.1.1	sqldf	0.4-11
SQUAREM	2021.1	statistik	4.1.1	stats4	4.1.1
stringi	1.7.5	stringr	1.4.0	överlevnad	3.2-13
sys	3.4	tcltk	4.1.1	TeachingDemos	2.10
testthat	3.1.0	tibble	3.1.5	tidyr	1.1.4
avmarkera	1.1.1	tidyverse	1.3.1	timeDate	3043.102
tinytex	0.34	verktyg	4.1.1	tzdb	0.1.2
usethis	2.1.2	utf8	1.2.2	verktyg	4.1.1
uuid	0.1-4	vctrs	0.3.8	viridisLite	0.4.0
Vroom	1.5.5	Waldo	0.3.1	morrhår	0,4
withr	2.4.2	xfun	0.27	xml2	1.3.2
xopen	1.0.0	xtable	1.8-4	yaml	2.2.1
Zip	2.2.0

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID	Artefakt-ID	Version
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-glue	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	ström	2.9.6
com.databricks	Rserve	1.8-3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-skuggad	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	klasskamrat	1.3.4
com.fasterxml.jackson.core	jackson-anteckningar	2.12.2
com.fasterxml.jackson.core	jackson-core	2.12.2
com.fasterxml.jackson.core	jackson-databind	2.12.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.12.2
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.12.2
com.fasterxml.jackson.module	jackson-module-paranamer	2.12.2
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.12.2
com.github.ben-manes.koffein	koffein	2.3.4
com.github.fommil	jniloader	1,1
com.github.fommil.netlib	kärna	1.1.2
com.github.fommil.netlib	native_ref-java	1,1
com.github.fommil.netlib	native_ref-java-natives	1,1
com.github.fommil.netlib	native_system-java	1,1
com.github.fommil.netlib	native_system-java-natives	1,1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1,1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1,1
com.github.luben	zstd-jni	1.5.0-4
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	Tingeling	1.6.0
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	guava	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	profilerare	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.microsoft.sqlserver	mssql-jdbc	9.2.1.jre8
com.ning	compress-lzf	1.0.3
com.sun.istack	istack-commons-runtime	3.0.8
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	config	1.2.1
com.typesafe.scala-logging	scala-logging_2.12	3.7.2
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1.4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.8.0
commons-lang	commons-lang	2,6
commons-logging	commons-logging	1.1.3
commons-net	commons-net	3.1
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	1.3.2
dev.ludovic.netlib	Blas	1.3.2
dev.ludovic.netlib	lapack	1.3.2
hive-2.3__hadoop-3.2	jets3t-0.7	liball_deps_2.12
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.19
io.delta	delta-sharing-spark_2.12	0.2.0
io.dropwizard.metrics	metrics-core	4.1.1
io.dropwizard.metrics	metrics-graphite	4.1.1
io.dropwizard.metrics	metrics-healthchecks	4.1.1
io.dropwizard.metrics	metrics-jetty9	4.1.1
io.dropwizard.metrics	metrics-jmx	4.1.1
io.dropwizard.metrics	metrics-json	4.1.1
io.dropwizard.metrics	metrics-jvm	4.1.1
io.dropwizard.metrics	metrics-servlets	4.1.1
io.netty	netty-all	4.1.63.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	samlare	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	aktivering	1.1.1
javax.annotation	javax.annotation-api	1.3.2
javax.el	javax.el-api	2.2.4
javax.jdo	jdo-api	3.0.1
javax.transaction	jta	1,1
javax.transaction	transaction-api	1,1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0-2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
maven-träd	hive-2.3__hadoop-3.2	liball_deps_2.12
net.java.dev.jna	jna	5.8.0
net.razorvine	pyrolit	4.30
net.sf.jpam	jpam	1,1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.3
net.snowflake	spark-snowflake_2.12	2.9.0-spark_3.1
net.sourceforge.f2j	arpack_combined_all	0,1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8
org.antlr	stringtemplate	3.2.1
org.apache.ant	Ant	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	pilformat	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	pilvektor	2.0.0
org.apache.avro	avro	1.10.2
org.apache.avro	avro-ipc	1.10.2
org.apache.avro	avro-mapred	1.10.2
org.apache.commons	commons-compress	1,20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recept	2.13.0
org.apache.derby	Derby	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.1-databricks
org.apache.hadoop	hadoop-client-runtime	3.3.1
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	hive-shims-0.23	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.htrace	htrace-core4	4.1.0-inkubering
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	murgröna	2.5.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.6.10
org.apache.orc	orc-mapreduce	1.6.10
org.apache.orc	orc-shims	1.6.10
org.apache.parquet	parquet-kolumn	1.12.0-databricks-0003
org.apache.parquet	parquet-common	1.12.0-databricks-0003
org.apache.parquet	parquet-kodning	1.12.0-databricks-0003
org.apache.parquet	parquet-format-structures	1.12.0-databricks-0003
org.apache.parquet	parquet-hadoop	1.12.0-databricks-0003
org.apache.parquet	parquet-jackson	1.12.0-databricks-0003
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.20
org.apache.yetus	åhörarkommentarer	0.5.0
org.apache.zookeeper	zookeeper	3.6.2
org.apache.zookeeper	zookeeper-jute	3.6.2
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.40.v20210413
org.eclipse.jetty	jetty-fortsättning	9.4.40.v20210413
org.eclipse.jetty	jetty-http	9.4.40.v20210413
org.eclipse.jetty	brygga-io	9.4.40.v20210413
org.eclipse.jetty	jetty-jndi	9.4.40.v20210413
org.eclipse.jetty	brygga plus	9.4.40.v20210413
org.eclipse.jetty	jetty-proxy	9.4.40.v20210413
org.eclipse.jetty	jetty-security	9.4.40.v20210413
org.eclipse.jetty	brygga-server	9.4.40.v20210413
org.eclipse.jetty	brygga-servlet	9.4.40.v20210413
org.eclipse.jetty	jetty-servlets	9.4.40.v20210413
org.eclipse.jetty	brygga-util	9.4.40.v20210413
org.eclipse.jetty	jetty-util-ajax	9.4.40.v20210413
org.eclipse.jetty	jetty-webapp	9.4.40.v20210413
org.eclipse.jetty	jetty-xml	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-api	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-client	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-common	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-server	9.4.40.v20210413
org.eclipse.jetty.websocket	websocket-servlet	9.4.40.v20210413
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jaxb	jaxb-runtime	2.3.2
org.glassfish.jersey.containers	jersey-container-servlet	2.34
org.glassfish.jersey.containers	jersey-container-servlet-core	2.34
org.glassfish.jersey.core	jersey-client	2.34
org.glassfish.jersey.core	jersey-common	2.34
org.glassfish.jersey.core	jersey-server	2.34
org.glassfish.jersey.inject	jersey-hk2	2.34
org.hibernate.validator	vilolägesverifierare	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	Anteckningar	17.0.0
org.joda	joda-convert	1,7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.7.1
org.mariadb.jdbc	mariadb-java-client	2.2.5
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.2.19
org.roaringbitmap	RoaringBitmap	0.9.14
org.roaringbitmap	Shims	0.9.14
org.rocksdb	rocksdbjni	6.20.3
org.rosuda.REngine	REngine	2.1.0
org.scala-lang	scala-compiler_2.12	2.12.14
org.scala-lang	scala-library_2.12	2.12.14
org.scala-lang	scala-reflect_2.12	2.12.14
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	test-interface	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	oanvänd	1.0.0
org.springframework	spring-core	4.1.4.RELEASE
org.springframework	spring-test	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.8
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1,24
oro	oro	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2
stax	stax-api	1.0.1