Dela via

Databricks Runtime 4.1 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks släppte den här versionen i maj 2018.

Viktigt!

Den här versionen är inaktuell den 17 januari 2019. Mer information om utfasningsprincipen och schemat för Databricks Runtime finns i Databricks-supportlivscykler.

Följande viktig information innehåller information om Databricks Runtime 4.1 som drivs av Apache Spark.

Data Lake

Databricks Runtime version 4.1 lägger till stora kvalitetsförbättringar och funktioner i Delta Lake. Databricks rekommenderar starkt att alla Delta Lake-kunder uppgraderar till den nya körningen. Den här versionen finns kvar i privat förhandsversion, men den representerar en kandidatversion i väntan på den kommande versionen av allmän tillgänglighet (GA).

Delta Lake är nu också tillgängligt i Privat förhandsversion för Azure Databricks-användare. Kontakta kontohanteraren eller registrera dig på https://databricks.com/product/databricks-delta.

Icke-bakåtkompatibla ändringar

  • Databricks Runtime 4.1 innehåller ändringar i transaktionsprotokollet för att aktivera nya funktioner, till exempel validering. Tabeller som skapats med Databricks Runtime 4.1 använder automatiskt den nya versionen och kan inte skrivas till av äldre versioner av Databricks Runtime. Du måste uppgradera befintliga tabeller för att kunna dra nytta av dessa förbättringar. Uppgradera en befintlig tabell genom att först uppgradera alla jobb som skriver till tabellen. Kör sedan:

    com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")

    Mer information finns i Hur hanterar Azure Databricks Delta Lake-funktionskompatibilitet?

  • Skrivningar verifieras nu mot tabellens aktuella schema i stället för att automatiskt lägga till kolumner som saknas i måltabellen. Om du vill aktivera det tidigare beteendet anger du mergeSchema alternativet till true.

  • Om du kör tidigare versioner av Databricks Delta måste du uppgradera alla jobb innan du använder Databricks Runtime 4.1. Om du ser något av dessa fel uppgraderar du till Databricks Runtime 4.1:

    java.lang.NumberFormatException: For input string: "00000000000000....crc"
scala.MatchError

  • Tabeller kan inte längre ha kolumner som bara skiljer sig åt från fall till fall.

  • Deltaspecifika tabellkonfigurationer måste nu föregås av delta.

Nya funktioner

  • Schemahantering – Databricks Delta validerar nu tillägg och överskrivningar i en befintlig tabell för att säkerställa att schemat som skrivs matchar schemat.

    • Databricks Delta fortsätter att stödja automatisk schemautveckling.
    • Databricks Delta stöder nu följande DDL för att uttryckligen ändra schemat:
      • ALTER TABLE ADD COLUMN för att lägga till nya kolumner i en tabell
      • ALTER TABLE CHANGE COLUMNS ändra kolumnordning
      • ALTER TABLE [SET|UNSET] TBLPROPERTIES

    Mer information finns i Schemaframtvingande.

  • Utökat DDL- och tabellstöd

    • Fullständigt stöd för tabell-DDL och saveAsTable(). save() och saveAsTable() har nu identiska semantik.
    • Alla DDL- och DML-kommandon stöder både tabellnamn och delta.`<path-to-table>`.
    • SHOW PARTITIONS
    • SHOW COLUMNS
    • DESC TABLE
    • Detaljerad tabellinformation – Du kan se de aktuella läsar- och skrivversionerna av en tabell genom att köra DESCRIBE DETAIL. Se Hur hanterar Azure Databricks funktionskompatibilitet med Delta Lake?.
    • Tabellinformation – Proveniensinformation är nu tillgänglig för varje skrivning till en tabell. Sidopanelen Data visar också detaljerad tabellinformation och historik för Databricks Delta-tabeller. Mer information finns i Granska Delta Lake-tabellinformation med beskrivande information.
    • Strömmande tabeller – Strömmande dataramar kan skapas med hjälp av spark.readStream.format("delta").table("<table-name>").
    • Tabeller med endast tillägg – Databricks Delta har nu stöd för grundläggande datastyrning. Du kan blockera borttagningar och ändringar i en tabell genom att ange tabellegenskapen delta.appendOnly=true.
    • MERGE INTO source – Lägger till mer omfattande stöd för källfrågespecifikationen MERGEför . Du kan till exempel ange LIMIT, ORDER BY och INLINE TABLE i källan.
    • Fullständigt stöd för tabell-ACL:er.

Prestandaförbättringar

  • Minskade kostnader för statistikinsamling – Effektiviteten i statistikinsamlingen har förbättrats och statistik samlas nu bara in för ett konfigurerbart antal kolumner, inställt på 32 som standard. Databricks Delta-skrivprestanda har förbättrats med upp till 2x på grund av minskade kostnader för statistikinsamling. Konfigurera antalet kolumner genom att ange tabellegenskapen delta.dataSkippingNumIndexedCols=<number-of-columns>.
  • Stöd för begränsningstryckning – Statistik används för att begränsa antalet filer som genomsöks efter frågor som har LIMIT och predikat över partitionskolumner. Detta gäller för frågor i notebook-filer på grund av den implicita limit=1000 effekten för alla notebook-kommandon.
  • Filtrera pushdown i strömningskällan – Strömmande frågor använder nu partitionering när du startar en ny dataström för att hoppa över irrelevanta data.
  • Förbättrad parallellitet för OPTIMIZE - OPTIMIZE nu körs som en enda Spark-uppgift och kommer att använda all parallellitet som är tillgänglig i klustret (tidigare begränsades till 100 komprimerade filer i taget).
  • Data hoppar över i DML – UPDATE, DELETEoch MERGE använder nu statistik när du letar upp filer som behöver skrivas om.
  • Minskad kvarhållning av kontrollpunkter – kontrollpunkter behålls nu i två dagar (historiken behålls fortfarande i 30) för att minska lagringskostnaderna för transaktionsloggen.

API-beteende

  • Beteendet insertInto(<table-name>) för i Databricks Delta är detsamma som andra datakällor.
    • Om inget läge har angetts eller mode är ErrorIfExists, Ignore, eller Append, lägger till data i DataFrame till Databricks Delta-tabellen.
    • Om mode är Overwritetar du bort alla data i den befintliga tabellen och infogar data från DataFrame i Databricks Delta-tabellen.
  • Om den cachelagras måste måltabellen MERGE för vara manuellt oåtkomlig.

Förbättringar av användbarhet

  • Valideringar av arbetsbelastningsmigrering – Vanliga misstag som görs när arbetsbelastningar migreras till Databricks Delta utlöser nu ett undantag i stället för att misslyckas:
    • Använda format("parquet") för att läsa eller skriva en tabell.
    • Läsa eller skriva direkt till en partition (dvs /path/to/delta/part=1. ).
    • Dammsuger underkataloger för en tabell.
    • INSERT OVERWRITE DIRECTORY parquet på ett bord.
  • Skiftlägesokänslig konfiguration – Alternativ för dataramens läsare/skrivare och tabellegenskaper är nu skiftlägesokänsliga (inklusive både lässökväg och skrivsökväg).
  • Kolumnnamn – Tabellkolumnnamn kan nu innehålla punkter.

Kända problem

  • Infogningarna av multi-insert-instruktioner finns i olika arbetsenheter i stället för samma transaktion.

Felkorrigeringar

  • En oändlig loop när du startar en ny dataström i en snabbuppdateringstabell har åtgärdats.

Utfasningar

Strukturerad direktuppspelning hanterar inte indata som inte är ett tillägg och genererar ett undantag om några ändringar sker i tabellen som används som källa. Tidigare kunde du åsidosätta det här beteendet med hjälp av ignoreFileDeletion flaggan, men den är nu inaktuell. Använd ignoreDeletes i stället eller ignoreChanges. Se Delta-tabellen som källa.

Andra ändringar och förbättringar

  • Query Watchdog är aktiverat för alla kluster som skapats med hjälp av användargränssnittet.
  • Förbättrad prestanda på drivrutinssidan för DBIO-cachen
  • Förbättrad prestanda för Parquet-avkodning via en ny inbyggd Parquet-avkodare
  • Förbättrad prestanda för vanlig eliminering av underuttryck
  • Förbättrade datahoppsprestanda för stora tabellkopplingar av små tabeller (faktadimensionstabellkopplingar)
  • display() återger nu kolumner som innehåller bilddatatyper som omfattande HTML.
  • Förbättringar av logga, läsa in, registrera och distribuera MLflow-modeller
    • Uppgraderade dbml-local till den senaste versionen 0.4.1
    • Fel med modeller som exporterats med threshold angiven parameter har åtgärdats
    • Stöd har lagts till för export av OneVsRestModel, GBTClassificationModel
  • Uppgraderade några installerade Python-bibliotek:
    • pip: från 9.0.1 till 10.0.0b2
    • setuptools: från 38.5.1 till 39.0.1
    • tornado: 4.5.3 till 5.0.1
    • hjul: 0.30.0 till 0.31.0
  • Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.
  • Uppgraderade Azure Data Lake Store SDK från 2.0.11 till 2.2.8.
  • Uppgraderade CUDA till 9.0 från 8.0 och CUDNN till 7.0 från 6.0 för GPU-kluster.

Apache Spark

Databricks Runtime 4.1 innehåller Apache Spark 2.3.0. Den här versionen innehåller alla korrigeringar och förbättringar som ingår i Databricks Runtime 4.0 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-24007][SQL] EqualNullSafe för FloatType och DoubleType kan generera fel resultat av codegen.
  • [SPARK-23942][PYTHON][SQL] Samlar in i PySpark som åtgärd för en frågeexekutorlyssnare
  • [SPARK-23815][CORE] Dynamisk partitionsöverskrivningsläge för Spark-skrivare kan misslyckas med att skriva utdata på partitioner på flera nivåer
  • [SPARK-23748][SS] Åtgärda problem med SS-kontinuerlig process stöder inte SubqueryAlias
  • [SPARK-23963][SQL] Hantera ett stort antal kolumner i frågan korrekt i textbaserad Hive-tabell
  • [SPARK-23867][SCHEDULER] använda droppedCount i logWarning
  • [SPARK-23816][CORE] Avlivade uppgifter bör ignorera FetchFailures.
  • [SPARK-23809][SQL] Active SparkSession ska anges av getOrCreate
  • [SPARK-23966][SS] Omstrukturera all skrivlogik för kontrollpunktsfiler i ett vanligt CheckpointFileManager-gränssnitt
  • [SPARK-21351][SQL] Uppdatera nullability baserat på underordnade utdata
  • [SPARK-23847][PYTHON][SQL] Lägg till asc_nulls_first, asc_nulls_last i PySpark
  • [SPARK-23822][SQL] Förbättra felmeddelandet för matchningsfel i Parquet-schema
  • [SPARK-23823][SQL] Behåll ursprunget i transformExpression
  • [SPARK-23838][WEBUI] Sql-frågan som körs visas som "slutförd" på fliken SQL
  • [SPARK-23802][SQL] PropagateEmptyRelation kan lämna frågeplanen i olöst tillstånd
  • [SPARK-23727][SQL] Stöd för att push-överföra filter för DateType i parquet
  • [SPARK-23574][SQL] Rapportera SinglePartition i DataSourceV2ScanExec när det finns exakt 1 dataläsarfabrik.
  • [SPARK-23533][SS] Lägg till stöd för att ändra ContinuousDataReader startOffset
  • [SPARK-23491][SS] Ta bort explicit uppsägning av jobb från omkonfiguration av ContinuousExecution
  • [SPARK-23040][CORE] Returnerar avbrottsbar iterator för shuffle-läsare
  • [SPARK-23827][SS] StreamingJoinExec bör se till att indata partitioneras i ett visst antal partitioner
  • [SPARK-23639][SQL] Hämta token före init-metaarkivklienten i SparkSQL CLI
  • [SPARK-23806]Broadcast.unpersist kan orsaka ett allvarligt undantag när det används...
  • [SPARK-23599][SQL] Använda RandomUUIDGenerator i Uuid-uttryck
  • [SPARK-23599][SQL] Lägga till en UUID-generator från pseudo-slumpmässiga tal
  • [SPARK-23759][Användargränssnitt] Det går inte att binda Spark-användargränssnittet till ett specifikt värdnamn/IP
  • [SPARK-23769][CORE] Ta bort kommentarer som inaktiverar Scalastyle-kontroll i onödan
  • [SPARK-23614][SQL] Åtgärda felaktigt återanvändningsutbyte när cachelagring används
  • [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs bör spara/återställa CSE-tillståndet korrekt
  • [SPARK-23729][CORE] Respektera URI-fragment vid matchning av globs
  • [SPARK-23550][CORE] Rensa utils
  • [SPARK-23288][SS] Åtgärda utdatamått med parquet-mottagare
  • [SPARK-23264][SQL] Åtgärda scala. MatchError i literals.sql.out
  • [SPARK-23649][SQL] Hoppa över tecken som inte tillåts i UTF-8
  • [SPARK-23691][PYTHON] Använd sql_conf util i PySpark-tester där det är möjligt
  • [SPARK-23644][CORE][Användargränssnitt] Använda absolut sökväg för REST-anrop i SHS
  • [SPARK-23706][PYTHON] spark.conf.get(value, default=None) ska producera Ingen i PySpark
  • [SPARK-23623][SS] Undvik samtidig användning av cachelagrade konsumenter i CachedKafkaConsumer
  • [SPARK-23670][SQL] Åtgärda minnesläcka på SparkPlanGraphWrapper
  • [SPARK-23608][CORE][WEBUI] Lägg till synkronisering i SHS mellan attachSparkUI- och detachSparkUI-funktioner för att undvika samtidiga ändringsproblem för Jetty-hanterare
  • [SPARK-23671][CORE] Korrigera villkor för att aktivera SHS-trådpoolen.
  • [SPARK-23658][LAUNCHER] InProcessAppHandle använder fel klass i getLogger
  • [SPARK-23642][DOCS] AccumulatorV2-underklassen isZero scaladoc fix
  • [SPARK-22915][MLLIB] Strömningstester för spark.ml.feature, från N till Z
  • [SPARK-23598][SQL] Göra metoder i BufferedRowIterator offentliga för att undvika körningsfel för en stor fråga
  • [SPARK-23546][SQL] Omstrukturera tillståndslösa metoder/värden i CodegenContext
  • [SPARK-23523][SQL] Åtgärda det felaktiga resultatet som orsakas av regeln OptimizeMetadataOnlyQuery
  • [SPARK-23462][SQL] förbättra det saknade fältfelmeddelandet i StructType
  • [SPARK-23624][SQL] Ändra dokument för metod pushFilters i Datasource V2
  • [SPARK-23173][SQL] Undvik att skapa skadade parquet-filer vid inläsning av data från JSON
  • [SPARK-23436][SQL] Härled partitionen som Endast datum om den kan omvandlas till Datum
  • [SPARK-23406][SS] Aktivera stream-stream-självkopplingar
  • [SPARK-23490][SQL] Kontrollera storage.locationUri med befintlig tabell i CreateTable
  • [SPARK-23524]Stora lokala shuffle-block bör inte kontrolleras för skadade.
  • [SPARK-23525][SQL] Stöd FÖR ALTER TABLE CHANGE COLUMN COMMENT för extern hive-tabell
  • [SPARK-23434][SQL] Spark bör inte varna metadatakatalogen för en HDFS-filsökväg
  • [SPARK-23457][SQL] Registrera lyssnare för slutförande av uppgifter först i ParquetFileFormat
  • [SPARK-23329][SQL] Åtgärda dokumentation om trigonometriska funktioner
  • [SPARK-23569][PYTHON] Tillåt att pandas_udf fungerar med skrivkommentarerade funktioner i python3-format
  • [SPARK-23570][SQL] Lägg till Spark 2.3.0 i HiveExternalCatalogVersionsSuite
  • [SPARK-23517][PYTHON] Gör _pyspark.util. exception_message producera spårningen från Java-sidan av Py4JJavaError
  • [SPARK-23508][CORE] Åtgärda BlockmanagerId om blockManagerIdCache orsakar oom
  • [SPARK-23448][SQL] Förtydliga JSON- och CSV-parsningsbeteendet i dokumentet
  • [SPARK-23365][CORE] Justera inte num-utförare när inaktiva köre avlivas.
  • [SPARK-23438][DSTREAMS] Åtgärda DStreams-dataförlust med WAL när drivrutinen kraschar
  • [SPARK-23475][Användargränssnitt] Visa även överhoppade faser
  • [SPARK-23518][SQL] Undvik åtkomst till metaarkiv när användarna bara vill läsa och skriva dataramar
  • [SPARK-23406][SS] Aktivera stream-stream-självkopplingar
  • [SPARK-23541][SS] Tillåt att Kafka-källan läser data med större parallellitet än antalet artikelpartitioner
  • [SPARK-23097][SQL][SS] Migrera text socket-källa till V2
  • [SPARK-23362][SS] Migrera Kafka Microbatch-källa till v2
  • [SPARK-23445]ColumnStat-refaktorisering
  • [SPARK-23092][SQL] Migrera MemoryStream till Api:er för DataSourceV2
  • [SPARK-23447][SQL] Rensa codegen-mall för Literal
  • [SPARK-23366]Förbättra sökvägen för frekvent läsning i ReadAheadInputStream
  • [SPARK-22624][PYSPARK] Exponera intervallpartitioneringsblandning

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 4.1.

Systemmiljö

  • Operativsystem: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 för Python 2-kluster och 3.5.2 för Python 3-kluster.
  • R: R version 3.4.4 (2018-03-15)
  • GPU-kluster: Följande NVIDIA GPU-bibliotek är installerade:
    • Tesla-förare 375,66
    • CUDA 9.0
    • cuDNN 7.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
kryptografi 1.5 cyklist 0.10.0 Cython 0.24.1
dekoratör 4.0.10 docutils 0,14 uppräkning 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Terminer 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Kudde 3.3.1
pip 10.0.0b2 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2,14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
begäranden 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 skura 0.32 seaborn 0.7.1
setuptools 39.0.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 sex 1.10.0 statsmodels 0.6.1
tromb 5.0.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 hjul 0.31.0
wsgiref 0.1.2

Installerade R-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
abind 1.4-5 assertthat 0.2.0 backportar 1.1.2
bas 3.4.4 BH 1.66.0-1 bindning 0.1.1
bindrcpp 0.2.2 bit 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 start 1.3-20
brygga 1.0-6 kvast 0.4.4 car 3.0-0
carData 3.0-1 textmarkör 6.0-79 cellranger 1.1.0
Chron 2.3-52 klass 7.3-14 cli 1.0.0
cluster 2.0.7 codetools 0.2-15 färgområde 1.3-2
commonmark 1.4 kompilator 3.4.4 krita 1.3.4
hårlock 3.2 CVST 0.2-1 data.table 1.10.4-3
datauppsättningar 3.4.4 DBI 0,8 ddalpha 1.3.1.1
DEoptimR 1.0-8 Desc 1.1.1 devtools 1.13.5
dichromat 2.0-0 smälta 0.6.15 dimRed 0.1.0
doMC 1.3.5 dplyr 0.7.4 DRR 0.0.3
forcats 0.3.0 foreach 1.4.4 främmande 0.8-69
Gbm 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 lim 1.2.0 Gower 0.1.2
grafik 3.4.4 grDevices 3.4.4 gitter 3.4.4
gsubfn 0,7 gtable 0.2.0 h2o 3.16.0.2
hamn 1.1.1 Hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteratorer 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 Märkning 0,3 Galler 0.20-35
lava 1.6.1 lazyeval 0.2.1 Littler 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
mapproj 1.2.6 Kartor 3.3.0 maptools 0.9-2
MASSA 7.3-49 Matris 1.2-13 MatrixModels 0.4-1
pmise 1.1.0 metoder 3.4.4 mgcv 1.8-23
MIME 0,5 minqa 1.2.4 mnormt 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pelare 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 berömma 1.0.0 prettyunits 1.0.2
Proc 1.11.0 prodlim 1.6.1 Proto 1.0.0
Psych 1.8.3.3 purrr 0.2.4 quantreg 5,35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recept 0.1.2 Returmatch 1.0.1 omforma2 1.4.3
Rio 0.5.10 rlang 0.2.0 robustbase 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0,7 våg 0.5.0 sfsmisc 1.1-2
Sp 1.2-7 SparkR 2.3.0 SparseM 1.77
rumslig 7.3-11 Splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 statistik 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
överlevnad 2.41-3 tcltk 3.4.4 TeachingDemos 2.10
testthat 2.0.0 tibble 1.4.2 tidyr 0.8.0
avmarkera 0.2.4 timeDate 3043.102 verktyg 3.4.4
utf8 1.1.3 verktyg 3.4.4 viridisLite 0.3.0
morrhår 0.3-2 withr 2.1.2 xml2 1.2.0

Installerade Java- och Scala-bibliotek (Scala 2.11-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics ström 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-skuggad 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.0.0
com.fasterxml.jackson.core jackson-anteckningar 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1,1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty Netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx samlare 0,7
javax.activation aktivering 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolit 4.13
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 0.8.0
org.apache.arrow pilminne 0.8.0
org.apache.arrow pilvektor 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0-inkubering
org.apache.calcite calcite-core 1.2.0-inkubering
org.apache.calcite calcite-linq4j 1.2.0-inkubering
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recept 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anteckningar 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy murgröna 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet parquet-kodning 1.8.2-databricks1
org.apache.parquet parquet-format 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-shaded 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-fortsättning 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty brygga-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty brygga plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty brygga-server 9.3.20.v20170531
org.eclipse.jetty brygga-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty brygga-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate vilolägesverifierare 5.1.1.Final
org.iq80.snappy kvick 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metaarkiv 1.2.1.spark2
org.spark-project.spark oanvänd 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52