Databricks Runtime 4.0 (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Databricks släppte den här versionen i mars 2018.
Viktigt!
Den här versionen blev inaktuell den 1 november 2018. Mer information om utfasningsprincipen och schemat för Databricks Runtime finns i Databricks-supportlivscykler.
Följande viktig information innehåller information om Databricks Runtime 4.0 som drivs av Apache Spark.
Ändringar och förbättringar
- JSON-datakällan försöker nu identifiera kodningen automatiskt i stället för att anta att den är UTF-8. Om den automatiska identifieringen misslyckas kan användarna ange teckenuppsättning alternativ för att framtvinga en viss kodning. Se Automatisk identifiering av teckenuppsättning.
- Bedömning och förutsägelse med Spark MLlib-pipelines i Strukturerad direktuppspelning stöds fullt ut.
- Databricks ML-modellexport stöds fullt ut. Med den här funktionen kan du träna en Spark MLlib-modell på Databricks, exportera den med ett funktionsanrop och använda ett Databricks-bibliotek i det system du väljer för att importera modellen och poängsätta nya data.
- En ny Implementering av Spark-datakälla ger skalbar läs-/skrivåtkomst till Azure Synapse Analytics. Se Spark – Synapse Analytics Connector.
- Schemat för funktionen
from_json
konverteras nu alltid till ett null-värde. Med andra ord kan alla fält, inklusive kapslade fält, vara null. Detta säkerställer att data är kompatibla med schemat, vilket förhindrar korruption efter att ha skrivit data till parquet när ett fält saknas i datan och det användardefinierade schemat deklarerar fältet som ej tillåts vara null. - Uppgraderade några installerade Python-bibliotek:
- terminer: från 3.1.1 till 3.2.0
- pandas: från 0.18.1 till 0.19.2
- pyarrow: från 0.4.1 till 0.8.0
- setuptools: från 38.2.3 till 38.5.1
- tornado: 4.5.2 till 4.5.3
- Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.
- Uppgraderade AWS Java SDK från 1.11.126 till 1.11.253.
- Uppgraderade SQL Server JDBC-drivrutinen från 6.1.0.jre8 till 6.2.2.jre8.
- Uppgraderade PostgreSQL JDBC-drivrutinen från 9.4-1204-jdbc41 till 42.1.4.
Apache Spark
Databricks Runtime 4.0 innehåller Apache Spark 2.3.0.
Core, PySpark och Spark SQL
Viktiga funktioner
-
Vektoriserad ORC-läsare: [SPARK-16060]: Lägger till stöd för ny ORC-läsare som avsevärt förbättrar ORC-genomflödet genom vektorisering (2–5x). Om du vill aktivera läsaren kan användarna ange
spark.sql.orc.impl
tillnative
. - Spark History Server V2: [SPARK-18085]: En ny SHS-serverdel (Spark History Server) som ger bättre skalbarhet för storskaliga program med en effektivare mekanism för händelselagring.
- API för datakälla V2: [SPARK-15689][SPARK-22386]: Ett experimentellt API för att ansluta till nya datakällor i Spark. Det nya API:et försöker åtgärda flera begränsningar i V1-API:et och syftar till att underlätta utvecklingen av högpresterande, lättanvända och utökningsbara externa datakällor. Det här API:et genomgår fortfarande aktiv utveckling och icke-bakåtkompatibla ändringar bör förväntas.
- Prestandaförbättringar i PySpark: [SPARK-22216][SPARK-21187]: Betydande förbättringar i Pythons prestanda och samverkan genom snabb dataserialisering och vektoriserad körning.
Prestanda och stabilitet
- [SPARK-21975]: Histogramstöd i kostnadsbaserad optimerare.
- [SPARK-20331]: Bättre stöd för predikat-pushdown för Hive-partitionsrensning.
- [SPARK-19112]: Stöd för ZStandard-komprimeringskodc.
- [SPARK-21113]: Stöd för läs-framåt-indataström för att amortera diskens I/O-kostnad i spillläsaren.
- [SPARK-22510][SPARK-22692][SPARK-21871]: Ytterligare stabilisera codegen-ramverket för att undvika att nå gränsen på 64 KB JVM-bytekod på Java-metoden och konstant poolgräns för Java-kompilatorn.
- [SPARK-23207]: Åtgärdat en långvarig bugg i Spark där på varandra följande shuffle+repartition på en DataFrame kan leda till felaktiga svar i vissa kirurgiska fall.
- [SPARK-22062][SPARK-17788][SPARK-21907]: Åtgärda olika orsaker till OOM:er.
- [SPARK-22489][SPARK-22916][SPARK-22895][SPARK-20758][SPARK-22266][SPARK-19122][SPARK-22662][SPARK-21652]: Förbättringar i regelbaserad optimerare och planerare.
Andra viktiga ändringar
- [SPARK-20236]: Stöd för semantisk överskrivning av dynamiska partitioner i Hive-stil.
-
[SPARK-4131]: Stöd
INSERT OVERWRITE DIRECTORY
för att skriva data direkt till filsystemet från en fråga. - [SPARK-19285][SPARK-22945][SPARK-21499][SPARK-20586][SPARK-20416][SPARK-20668]: UDF-förbättringar.
- [SPARK-20463][SPARK-19951][SPARK-22934][SPARK-21055][SPARK-17729][SPARK-20962][SPARK-20963][SPARK-20841][SPARK-17642][SPARK-22475][SPARK-22934]: Förbättrad ANSI SQL-efterlevnad och Hive-kompatibilitet.
- [SPARK-20746]: Mer omfattande inbyggda SQL-funktioner.
- [SPARK-21485]: Spark SQL-dokumentationsgenerering för inbyggda funktioner.
-
[SPARK-19810]: Ta bort stöd för Scala
2.10
. -
[SPARK-22324]: Uppgradera pilen till
0.8.0
och Netty till4.1.17
.
Strukturerad direktuppspelning
Kontinuerlig bearbetning
- En ny körningsmotor som kan köra strömmande frågor med svarstid under millisekunder från slutpunkt till slutpunkt genom att endast ändra en enda rad med användarkod. Mer information finns i programmeringsguiden.
Stream-Stream-kopplingar
- Möjlighet att kombinera två dataströmmar och buffra rader tills matchande tupplar anländer i den andra dataströmmen. Predikat kan användas mot händelsetidskolumner för att binda mängden tillstånd som måste behållas.
API V2 för direktuppspelning
- Ett experimentellt API för att ansluta till ny källa och mottagare som fungerar för batch, mikrobatch och kontinuerlig körning. Det här API:et genomgår fortfarande aktiv utveckling och icke-bakåtkompatibla ändringar bör förväntas.
MLlib
Höjdpunkter
- ML Prediction fungerar nu med Structured Streaming med hjälp av uppdaterade API:er. Information följer.
Nya och förbättrade API:er
- [SPARK-21866]: Inbyggt stöd för att läsa bilder i en DataFrame (Scala/Java/Python).
- [SPARK-19634]: DataFrame-funktioner för beskrivande sammanfattningsstatistik över vektorkolumner (Scala/Java).
-
[SPARK-14516]:
ClusteringEvaluator
för justering av klustringsalgoritmer, stöd för Cosinus silhuett och kvadratiska euklidiska silhuettmått (Scala/Java/Python). - [SPARK-3181]: Robust linjär regression med Huber-förlust (Scala/Java/Python).
-
[SPARK-13969]:
FeatureHasher
transformerare (Scala/Java/Python). - Stöd för flera kolumner för flera funktionstransformatorer:
-
[SPARK-13030]:
OneHotEncoderEstimator
(Scala/Java/Python) -
[SPARK-22397]:
QuantileDiscretizer
(Scala/Java) -
[SPARK-20542]:
Bucketizer
(Scala/Java/Python)
-
[SPARK-13030]:
- [SPARK-21633] och SPARK-21542]: Förbättrat stöd för anpassade pipelinekomponenter i Python.
Nya funktioner
-
[SPARK-21087]:
CrossValidator
ochTrainValidationSplit
kan samla in alla modeller vid montering (Scala/Java). På så sätt kan du inspektera eller spara alla anpassade modeller. -
[SPARK-19357]: Metaalgoritmer
CrossValidator
, ,TrainValidationSplit
stöderOneVsRest
en parallellitetsparam för att passa flera undermodeller i parallella Spark-jobb. - [SPARK-17139]: Modellsammanfattning för multinom logistisk regression (Scala/Java/Python)
- [SPARK-18710]: Lägg till förskjutning i GLM.
-
[SPARK-20199]: Param har lagts
featureSubsetStrategy
till iGBTClassifier
ochGBTRegressor
. Om du använder detta för att dela upp funktioner kan du avsevärt förbättra träningshastigheten. det här alternativet har varit en viktig styrka förxgboost
.
Andra viktiga ändringar
-
[SPARK-22156]: Fast
Word2Vec
skalning av inlärningshastighet mednum
iterationer. Den nya inlärningsfrekvensen är inställd på att matcha den ursprungligaWord2Vec
C-koden och bör ge bättre resultat från träningen. -
[SPARK-22289]: Lägg till
JSON
stöd för matrisparametrar (Det här åtgärdade ett fel för ML-beständighet medLogisticRegressionModel
när du använder gränser för koefficienter.) -
[SPARK-22700]:
Bucketizer.transform
felaktigt släpper rad som innehållerNaN
. När ParamhandleInvalid
var inställt på "hoppa över" skulleBucketizer
släppa en rad med ett giltigt värde i indatakolumnen om en annan (irrelevant) kolumn hade ettNaN
värde. -
[SPARK-22446]: Katalysatoroptimeraren orsakade ibland
StringIndexerModel
att kasta ett felaktigt "Unseen label"-undantag närhandleInvalid
var inställt på "fel". Detta kan inträffa för filtrerade data på grund av predikatnedtryckning, vilket orsakar fel även efter att ogiltiga rader redan har filtrerats från indatauppsättningen. - [SPARK-21681]: Åtgärdade ett gränsfallsfel i multinom logistisk regression som resulterade i felaktiga koefficienter när vissa funktioner hade noll varians.
- Större optimeringar:
-
[SPARK-22707]: Minskad minnesförbrukning för
CrossValidator
. -
[SPARK-22949]: Minskad minnesförbrukning för
TrainValidationSplit
. -
[SPARK-21690]:
Imputer
bör träna med hjälp av en enda passering över data. -
[SPARK-14371]:
OnlineLDAOptimizer
undviker att samla in statistik till drivrutinen för varje mini-batch.
-
[SPARK-22707]: Minskad minnesförbrukning för
SparkR
Huvudfokus för SparkR i 2.3.0-versionen var att förbättra stabiliteten hos UDF:er och lägga till flera nya SparkR-omslutningar kring befintliga API:er:
Viktiga funktioner
- Förbättrad funktionsparitet mellan SQL och R
-
[SPARK-22933]: API:er för strukturerad direktuppspelning för
withWatermark
,trigger
partitionBy
och stream-stream-kopplingar. - [SPARK-21266]: SparkR UDF med DDL-formaterat schemastöd.
- [SPARK-20726][SPARK-22924][SPARK-22843]: Flera nya API-omslutningar för Dataframe.
- [SPARK-15767][SPARK-21622][SPARK-20917][SPARK-20307][SPARK-20906]: Flera nya SparkML API Wrappers.
GraphX
Optimeringar
-
[SPARK-5484]: Pregel nu kontrollpunkter regelbundet för att undvika
StackOverflowErrors
. - [SPARK-21491]: Liten prestandaförbättring på flera platser.
Utfasningar
Python
-
[SPARK-23122]: Inaktuell
register*
för UDF:er iSQLContext
ochCatalog
i PySpark
MLlib
-
[SPARK-13030]:
OneHotEncoder
har blivit inaktuell och tas bort i 3.0. Den har ersatts av den nyaOneHotEncoderEstimator
.OneHotEncoderEstimator
kommer att byta namn tillOneHotEncoder
i 3.0 (menOneHotEncoderEstimator
behålls som ett alias).
Beteendeändringar
SparkSQL
-
[SPARK-22036]: Som standard returnerar aritmetiska åtgärder mellan decimaler ett avrundat värde om en exakt representation inte är möjlig (i stället för att
NULL
returneras i tidigare versioner) -
[SPARK-22937]: När alla indata är binära returnerar SQL
elt()
utdata som binär. Annars returneras den som en sträng. I tidigare versioner returnerades den alltid som en sträng oavsett indatatyper. - [SPARK-22895]: De deterministiska predikaten i sammanslagning/filter som är efter de första icke-deterministiska predikaten drivs också ned/genom de underordnade operatorerna, om möjligt. I tidigare versioner var dessa filter inte berättigade till predikat-pushdown.
-
[SPARK-22771]: När alla indata är binära returnerar
functions.concat()
ett utdata som binärt. Annars returneras den som en sträng. I tidigare versioner returnerades den alltid som en sträng oavsett indatatyper. - [SPARK-22489]: När någon av kopplingssidorna kan sändas föredrar vi att sända tabellen som uttryckligen anges i ett sändningstips.
-
[SPARK-22165]: Tidigare bestämdes felaktigt en gemensam typ för olika härledda typer av partitionskolumner. Tidigare slutade det till exempel med
double
typ som vanlig typ fördouble
typ ochdate
typ. Nu hittar den rätt vanliga typ för sådana konflikter. Mer information finns i migreringsguiden. -
[SPARK-22100]: Funktionen
percentile_approx
accepteradenumeric
tidigare typindata och utdatatypresultatdouble
. Nu har den stöd fördate
typ,timestamp
typ ochnumeric
typer som indatatyper. Resultattypen ändras också så att den är samma som indatatypen, vilket är mer rimligt för percentiler. -
[SPARK-21610]: frågorna från råa JSON/CSV-filer tillåts inte när de refererade kolumnerna endast innehåller den interna korrupta postkolumnen (med namnet
_corrupt_record
som standard). I stället kan du cachelagra eller spara de parsade resultaten och sedan skicka samma fråga. - [SPARK-23421]: Sedan Spark 2.2.1 och 2.3.0, härleds schemat alltid vid körning när datakällans tabeller har kolumnerna som finns i både partitionsschemat och dataschemat. Det härledda schemat har inte de partitionerade kolumnerna. När du läser tabellen respekterar Spark partitionsvärdena för dessa överlappande kolumner i stället för värdena som lagras i datakällans filer. I versionen 2.2.0 och 2.1.x partitioneras det härledda schemat, men data i tabellen är osynliga för användarna (dvs. resultatuppsättningen är tom).
PySpark
-
[SPARK-19732]:
na.fill()
ellerfillna
accepterar också booleskt värde och ersätter null-värden med booleska värden. I tidigare Spark-versioner ignorerar PySpark den och returnerar den ursprungliga datauppsättningen/dataramen. -
[SPARK-22395]: Pandas
0.19.2
eller upper krävs för användning av Pandas-relaterade funktioner, till exempeltoPandas
,createDataFrame
från Pandas DataFrame osv. - [SPARK-22395]: Beteendet för tidsstämpelvärden för Pandas-relaterade funktioner ändrades för att respektera sessionstidszonen, som ignoreras i tidigare versioner.
-
[SPARK-23328]:
df.replace
tillåter inte att utelämnavalue
närto_replace
inte är en ordlista.value
Tidigare kunde utelämnas i andra fall och hadeNone
som standard, vilket är kontraintuitivt och felbenäget.
MLlib
-
Icke-bakåtkompatibla API-ändringar: Klass- och egenskapshierarkin för sammanfattningar av logistiska regressionsmodeller ändrades till att vara renare och bättre hantera tillägget av sammanfattningen för flera klasser. Det här är en icke-bakåtkompatibel ändring för användarkod som omvandlar en
LogisticRegressionTrainingSummary
till enBinaryLogisticRegressionTrainingSummary
. Användarna bör i stället användamodel.binarySummary
metoden. Mer information finns i [SPARK-17139]: (observera att detta är ett@Experimental
API). Detta påverkar inte Python-sammanfattningsmetoden, som fortfarande fungerar korrekt för både multinom- och binärfall. -
[SPARK-21806]:
BinaryClassificationMetrics.pr()
: första punkten (0.0, 1.0) är missvisande och har ersatts av (0.0, p) där precision p matchar den lägsta återkallelsespunkten. - [SPARK-16957]: Beslutsträd använder nu viktade mittpunkter när du väljer delade värden. Detta kan ändra resultatet av modellträningen.
-
[SPARK-14657]:
RFormula
utan en skärningspunkt matas referenskategorin ut när strängtermer kodas för att matcha det interna R-beteendet. Detta kan ändra resultatet av modellträningen. -
[SPARK-21027]: Standardparallelliteten som används i
OneVsRest
är nu inställd på 1 (t.ex. seriell). I 2.2 och tidigare versioner var nivån av parallellitet inställd på standardstorleken för trådpoolen i Scala. Detta kan ändra prestanda. -
[SPARK-21523]: Uppgraderade Breeze till
0.13.2
. Detta inkluderade en viktig buggkorrigering i stark Wolfe-linjesökning efter L-BFGS. - [SPARK-15526]: JPMML-beroendet är nu skuggat.
- Se även avsnittet "Buggkorrigeringar" för beteendeändringar som beror på att buggar åtgärdas.
Kända problem
-
[SPARK-23523][SQL]: Felaktigt resultat som orsakas av regeln
OptimizeMetadataOnlyQuery
. - [SPARK-23406]: Buggar i stream-stream-självkopplingar.
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 4.0.
Systemmiljö
- Operativsystem: Ubuntu 16.04.4 LTS
- Java: 1.8.0_151
- Scala: 2.11.8
- Python: 2.7.12 (eller 3.5.2 om du använder Python 3)
- R: R version 3.4.3 (2017-11-30)
-
GPU-kluster: Följande NVIDIA GPU-bibliotek är installerade:
- Tesla-förare 375,66
- CUDA 8.0
- CUDNN 6.0
Installerade Python-bibliotek
Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
---|---|---|---|---|---|
ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
kryptografi | 1.5 | cyklist | 0.10.0 | Cython | 0.24.1 |
dekoratör | 4.0.10 | docutils | 0,14 | uppräkning 34 | 1.1.6 |
et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
fusepy | 2.0.4 | Terminer | 3.2.0 | ggplot | 0.6.8 |
html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
pexpect | 4.0.1 | pickleshare | 0.7.4 | Kudde | 3.3.1 |
pip | 9.0.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
begäranden | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
scipy | 0.18.1 | skura | 0.32 | seaborn | 0.7.1 |
setuptools | 38.5.1 | simplejson | 3.8.2 | simples3 | 1.0 |
singledispatch | 3.4.0.3 | sex | 1.10.0 | statsmodels | 0.6.1 |
tromb | 4.5.3 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
virtualenv | 15.0.1 | wcwidth | 0.1.7 | hjul | 0.30.0 |
wsgiref | 0.1.2 |
Installerade R-bibliotek
Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
---|---|---|---|---|---|
abind | 1.4-5 | assertthat | 0.2.0 | backportar | 1.1.1 |
bas | 3.4.3 | BH | 1.65.0-1 | bindning | 0,1 |
bindrcpp | 0.2 | bit | 1.1-12 | bit64 | 0.9-7 |
bitops | 1.0-6 | blob | 1.1.0 | start | 1.3-20 |
brygga | 1.0-6 | kvast | 0.4.3 | car | 2.1-6 |
textmarkör | 6.0-77 | Chron | 2.3-51 | klass | 7.3-14 |
cluster | 2.0.6 | codetools | 0.2-15 | färgområde | 1.3-2 |
commonmark | 1.4 | kompilator | 3.4.3 | krita | 1.3.4 |
hårlock | 3,0 | CVST | 0.2-1 | datatabell | 1.10.4-3 |
datauppsättningar | 3.4.3 | DBI | 0,7 | ddalpha | 1.3.1 |
DEoptimR | 1.0-8 | Desc | 1.1.1 | devtools | 1.13.4 |
dichromat | 2.0-0 | smälta | 0.6.12 | dimRed | 0.1.0 |
doMC | 1.3.4 | dplyr | 0.7.4 | DRR | 0.0.2 |
foreach | 1.4.3 | främmande | 0.8-69 | Gbm | 2.1.3 |
ggplot2 | 2.2.1 | git2r | 0.19.0 | glmnet | 2.0-13 |
lim | 1.2.0 | Gower | 0.1.2 | grafik | 3.4.3 |
grDevices | 3.4.3 | gitter | 3.4.3 | gsubfn | 0.6-6 |
gtable | 0.2.0 | h2o | 3.16.0.1 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
Iteratorer | 1.0.8 | jsonlite | 1.5 | kernlab | 0.9-25 |
KernSmooth | 2.23-15 | Märkning | 0,3 | Galler | 0.20-35 |
lava | 1.5.1 | lazyeval | 0.2.1 | Littler | 0.3.2 |
lme4 | 1.1-14 | lubridate | 1.7.1 | magrittr | 1.5 |
mapproj | 1.2-5 | Kartor | 3.2.0 | MASSA | 7.3-48 |
Matris | 1.2-11 | MatrixModels | 0.4-1 | pmise | 1.1.0 |
metoder | 3.4.3 | mgcv | 1.8-23 | MIME | 0,5 |
minqa | 1.2.4 | mnormt | 1.5-5 | ModelMetrics | 1.1.0 |
munsell | 0.4.3 | mvtnorm | 1.0-6 | nlme | 3.1-131 |
nloptr | 1.0.4 | nnet | 7.3-12 | numDeriv | 2016.8-1 |
openssl | 0.9.9 | parallel | 3.4.3 | pbkrtest | 0.4-7 |
pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.1-1 |
plyr | 1.8.4 | berömma | 1.0.0 | Proc | 1.10.0 |
prodlim | 1.6.1 | Proto | 1.0.0 | Psych | 1.7.8 |
purrr | 0.2.4 | quantreg | 5.34 | R.methodsS3 | 1.7.1 |
R.oo | 1.21.0 | R.utils | 2.6.0 | R6 | 2.2.2 |
randomForest | 4.6-12 | RColorBrewer | 1.1-2 | Rcpp | 0.12.14 |
RcppEigen | 0.3.3.3.1 | RcppRoll | 0.2.2 | RCurl | 1.95-4.8 |
recept | 0.1.1 | omforma2 | 1.4.2 | rlang | 0.1.4 |
robustbase | 0.92-8 | RODBC | 1.3-15 | roxygen2 | 6.0.1 |
rpart | 4.1-12 | rprojroot | 1.2 | Rserve | 1.7-3 |
RSQLite | 2.0 | rstudioapi | 0,7 | våg | 0.5.0 |
sfsmisc | 1.1-1 | Sp | 1.2-5 | SparkR | 2.3.0 |
SparseM | 1.77 | rumslig | 7.3-11 | Splines | 3.4.3 |
sqldf | 0.4-11 | statmod | 1.4.30 | statistik | 3.4.3 |
stats4 | 3.4.3 | stringi | 1.1.6 | stringr | 1.2.0 |
överlevnad | 2.41-3 | tcltk | 3.4.3 | TeachingDemos | 2.10 |
testthat | 1.0.2 | tibble | 1.3.4 | tidyr | 0.7.2 |
avmarkera | 0.2.3 | timeDate | 3042.101 | verktyg | 3.4.3 |
verktyg | 3.4.3 | viridisLite | 0.2.0 | morrhår | 0.3-2 |
withr | 2.1.0 | xml2 | 1.1.1 |
Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)
Grupp-ID | Artefakt-ID | Version |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.7.3 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.253 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.253 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.253 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.253 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.253 |
com.amazonaws | aws-java-sdk-config | 1.11.253 |
com.amazonaws | aws-java-sdk-core | 1.11.253 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.253 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.253 |
com.amazonaws | aws-java-sdk-directory | 1.11.253 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.253 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.253 |
com.amazonaws | aws-java-sdk-ecs | 1.11.253 |
com.amazonaws | aws-java-sdk-efs | 1.11.253 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.253 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.253 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.253 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.253 |
com.amazonaws | aws-java-sdk-emr | 1.11.253 |
com.amazonaws | aws-java-sdk-glacier | 1.11.253 |
com.amazonaws | aws-java-sdk-iam | 1.11.253 |
com.amazonaws | aws-java-sdk-importexport | 1.11.253 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.253 |
com.amazonaws | aws-java-sdk-kms | 1.11.253 |
com.amazonaws | aws-java-sdk-lambda | 1.11.253 |
com.amazonaws | aws-java-sdk-logs | 1.11.253 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.253 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.253 |
com.amazonaws | aws-java-sdk-rds | 1.11.253 |
com.amazonaws | aws-java-sdk-redshift | 1.11.253 |
com.amazonaws | aws-java-sdk-route53 | 1.11.253 |
com.amazonaws | aws-java-sdk-s3 | 1.11.253 |
com.amazonaws | aws-java-sdk-ses | 1.11.253 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.253 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.253 |
com.amazonaws | aws-java-sdk-sns | 1.11.253 |
com.amazonaws | aws-java-sdk-sqs | 1.11.253 |
com.amazonaws | aws-java-sdk-ssm | 1.11.253 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.253 |
com.amazonaws | aws-java-sdk-sts | 1.11.253 |
com.amazonaws | aws-java-sdk-support | 1.11.253 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.253 |
com.amazonaws | jmespath-java | 1.11.253 |
com.carrotsearch | hppc | 0.7.2 |
com.chuusai | shapeless_2.11 | 2.3.2 |
com.clearspring.analytics | ström | 2.7.0 |
com.databricks | Rserve | 1.8-3 |
com.databricks | dbml-local_2.11 | 0.3.0-db1-spark2.3 |
com.databricks | dbml-local_2.11-tests | 0.3.0-db1-spark2.3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
com.esotericsoftware | kryo-skuggad | 3.0.3 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasskamrat | 1.0.0 |
com.fasterxml.jackson.core | jackson-anteckningar | 2.6.7 |
com.fasterxml.jackson.core | jackson-core | 2.6.7 |
com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
com.github.fommil | jniloader | 1,1 |
com.github.fommil.netlib | kärna | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1,1 |
com.github.fommil.netlib | native_ref-java-natives | 1,1 |
com.github.fommil.netlib | native_system-java | 1,1 |
com.github.fommil.netlib | native_system-java-natives | 1,1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
com.github.luben | zstd-jni | 1.3.2-2 |
com.github.rwl | jtransforms | 2.4.0 |
com.google.code.findbugs | jsr305 | 2.0.1 |
com.google.code.gson | gson | 2.2.4 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | JavaEWAH | 0.3.2 |
com.h2database | h2 | 1.3.174 |
com.jamesmurty.utils | java-xmlbuilder | 1,1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.mchange | c3p0 | 0.9.5.1 |
com.mchange | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.0.11 |
com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.11 | 0,3 |
com.twitter | chill-java | 0.8.4 |
com.twitter | chill_2.11 | 0.8.4 |
com.twitter | parquet-hadoop-bundle | 1.6.0 |
com.twitter | util-app_2.11 | 6.23.0 |
com.twitter | util-core_2.11 | 6.23.0 |
com.twitter | util-jvm_2.11 | 6.23.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
com.univocity | univocity-parsers | 2.5.9 |
com.vlkan | flatbuffers | 1.2.0-3f79e055 |
com.zaxxer | HikariCP | 2.4.1 |
commons-beanutils | commons-beanutils | 1.7.0 |
commons-beanutils | commons-beanutils-core | 1.8.0 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1.10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2,6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 2,2 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
io.airlift | aircompressor | 0,8 |
io.dropwizard.metrics | metrics-core | 3.1.5 |
io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
io.dropwizard.metrics | metrics-graphite | 3.1.5 |
io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
io.dropwizard.metrics | metrics-json | 3.1.5 |
io.dropwizard.metrics | metrics-jvm | 3.1.5 |
io.dropwizard.metrics | metrics-log4j | 3.1.5 |
io.dropwizard.metrics | metrics-servlets | 3.1.5 |
io.netty | Netty | 3.9.9.Final |
io.netty | netty-all | 4.1.17.Final |
io.prometheus | simpleclient | 0.0.16 |
io.prometheus | simpleclient_common | 0.0.16 |
io.prometheus | simpleclient_dropwizard | 0.0.16 |
io.prometheus | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | samlare | 0,7 |
javax.activation | aktivering | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1,1 |
javax.validation | validation-api | 1.1.0.Final |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2,11 |
joda-time | joda-time | 2.9.3 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.hydromatic | eigenbase-properties | 1.1.5 |
net.iharder | base64 | 2.3.8 |
net.java.dev.jets3t | jets3t | 0.9.4 |
net.razorvine | pyrolit | 4.13 |
net.sf.jpam | jpam | 1,1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt | oncrpc | 1.0.7 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.4 |
org.antlr | antlr4-runtime | 4.7 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | Ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pilformat | 0.8.0 |
org.apache.arrow | pilminne | 0.8.0 |
org.apache.arrow | pilvektor | 0.8.0 |
org.apache.avro | avro | 1.7.7 |
org.apache.avro | avro-ipc | 1.7.7 |
org.apache.avro | avro-ipc-tests | 1.7.7 |
org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
org.apache.calcite | calcite-avatica | 1.2.0-inkubering |
org.apache.calcite | calcite-core | 1.2.0-inkubering |
org.apache.calcite | calcite-linq4j | 1.2.0-inkubering |
org.apache.commons | commons-compress | 1.4.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.5 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recept | 2.7.1 |
org.apache.derby | Derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-anteckningar | 2.7.3 |
org.apache.hadoop | hadoop-auth | 2.7.3 |
org.apache.hadoop | hadoop-client | 2.7.3 |
org.apache.hadoop | hadoop-common | 2.7.3 |
org.apache.hadoop | hadoop-hdfs | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
org.apache.htrace | htrace-core | 3.1.0-inkubering |
org.apache.httpcomponents | httpclient | 4.5.4 |
org.apache.httpcomponents | httpcore | 4.4.8 |
org.apache.ivy | murgröna | 2.4.0 |
org.apache.orc | orc-core-nohive | 1.4.1 |
org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
org.apache.parquet | parquet-kolumn | 1.8.2-databricks1 |
org.apache.parquet | parquet-common | 1.8.2-databricks1 |
org.apache.parquet | parquet-kodning | 1.8.2-databricks1 |
org.apache.parquet | parquet-format | 2.3.1 |
org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.9.3 |
org.apache.xbean | xbean-asm5-shaded | 4.4 |
org.apache.zookeeper | zookeeper | 3.4.6 |
org.bouncycastle | bcprov-jdk15on | 1.58 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.8 |
org.codehaus.janino | janino | 3.0.8 |
org.datanucleus | datanucleus-api-jdo | 3.2.6 |
org.datanucleus | datanucleus-core | 3.2.10 |
org.datanucleus | datanucleus-rdbms | 3.2.9 |
org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-fortsättning | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
org.eclipse.jetty | brygga-io | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
org.eclipse.jetty | brygga plus | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
org.eclipse.jetty | brygga-server | 9.3.20.v20170531 |
org.eclipse.jetty | brygga-servlet | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
org.eclipse.jetty | brygga-util | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
org.glassfish.jersey.core | jersey-client | 2.22.2 |
org.glassfish.jersey.core | jersey-common | 2.22.2 |
org.glassfish.jersey.core | jersey-server | 2.22.2 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
org.hibernate | vilolägesverifierare | 5.1.1.Final |
org.iq80.snappy | kvick | 0.2 |
org.javassist | javassist | 3.18.1-GA |
org.jboss.logging | jboss-logging | 3.1.3.GA |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.11 | 3.2.11 |
org.json4s | json4s-core_2.11 | 3.2.11 |
org.json4s | json4s-jackson_2.11 | 3.2.11 |
org.lz4 | lz4-java | 1.4.0 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.mockito | mockito-all | 1.9.5 |
org.objenesis | objenesis | 2.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.5.11 |
org.rocksdb | rocksdbjni | 5.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.11 | 2.11.8 |
org.scala-lang | scala-library_2.11 | 2.11.8 |
org.scala-lang | scala-reflect_2.11 | 2.11.8 |
org.scala-lang | scalap_2.11 | 2.11.8 |
org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalanlp | breeze-macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatest | scalatest_2.11 | 2.2.6 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | jul-to-slf4j | 1.7.16 |
org.slf4j | slf4j-api | 1.7.16 |
org.slf4j | slf4j-log4j12 | 1.7.16 |
org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
org.spark-project.hive | hive-cli | 1.2.1.spark2 |
org.spark-project.hive | hive-exec | 1.2.1.spark2 |
org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
org.spark-project.hive | hive-metaarkiv | 1.2.1.spark2 |
org.spark-project.spark | oanvänd | 1.0.0 |
org.spire-math | spire-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.tukaani | xz | 1.0 |
org.typelevel | machinist_2.11 | 0.6.1 |
org.typelevel | macro-compat_2.11 | 1.1.1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.2.6 |
org.yaml | snakeyaml | 1.16 |
oro | oro | 2.0.8 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |