Databricks Runtime 7.5 (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Databricks släppte den här versionen i december 2020.
Följande viktig information innehåller information om Databricks Runtime 7.5, som drivs av Apache Spark 3.0.
Nya funktioner
Funktioner och förbättringar i Delta Lake
Den här versionen innehåller följande Delta Lake-funktioner och förbättringar:
- Asynkron kontrollpunkt eliminerar strömning av mikrobatchvaraktighetstoppar
- Senaste tabellinformationen sprids nu till kataloger
-
MERGE INTOåtgärden stöder nu schemautveckling av nästlade kolumner -
MERGE INTOåtgärden använder nu automatiskt optimerade skrivningar -
MERGE INTOochUPDATEoperationer löser nu kapslade struktkolumner efter namn -
CLONEär GA och du kan nu åsidosätta tabellegenskaper -
RESTOREär GA - Implicita Scala-api:er förenklar Sparks läs- och skriv-API:er
-
Förbättra dataflödet för direktuppspelning med
fetchParallelismanslutningsalternativet - Spåra strömmens förlopp med nya mått för automatisk inläsning
Asynkron kontrollpunkt eliminerar strömning av mikrobatchvaraktighetstoppar
Delta Lake utför kontrollpunkter var tionde incheckning som standard. I strömningsarbetsbelastningar kan kontrollpunkter orsaka mindre toppar i mikrobatchvaraktigheten var tionde incheckning. Asynkron kontrollpunkt eliminerar dessa toppar.
Asynkron kontrollpunkt är aktiverat som standard för alla arbetsbelastningar som inte utlöses när strömningen har strömmats. Med asynkrona kontrollpunkter skriver strömmande skrivare även förbättrade kontrollpunkter så att du inte uttryckligen behöver välja förbättrade kontrollpunkter.
För att inaktivera asynkrona kontrollpunkter, ange SQL-konfigurationen spark.databricks.delta.checkpoint.async.enabled false.
Batch-arbetsbelastningar fortsätter att skriva kontrollpunkter synkront och vi rekommenderar att du inte aktiverar asynkrona kontrollpunkter för batcharbetsbelastningar.
Den senaste tabellinformationen sprids nu till kataloger
Delta Lake sprider nu den senaste tabellinformationen, till exempel schema- och tabellegenskaper, till kataloger som Hive-metaarkivet på bästa sätt. Sådan information kan hjälpa dig att använda katalogverktyg för att förstå schemat för dina Delta-tabeller.
Delta Lake är inte internt beroende av den här informationen, men försöker hålla den uppdaterad. Dessutom lagrar Delta Lake tabellegenskaper delta.lastUpdateVersion och delta.lastCommitTimestamp för att ange versionen och tidsstämpeln för incheckningen som senast överförde en ändring till metaarkivet. Metaarkivet uppdateras endast när schemat för tabellen eller egenskaperna i tabellen inte matchar.
Därför återspeglar de ovan nämnda tabellegenskaperna inte nödvändigtvis den senaste versionen av tabellen.
Om tabellinformationen och metaarkivinformationen inte är synkroniserade kan du köra ett kommando som DESCRIBE <table> för att uppdatera metaarkivet.
Kommentar
Eftersom Hive inte tillåter de föränderliga partitionskolumnerna, men Delta-tabeller kan ändra partitioneringen, visas inte Delta-tabeller som partitionerade i Hive.
MERGE INTO åtgärden stöder nu schemautveckling av kapslade kolumner
Schemautvecklingen för kapslade kolumner har nu samma semantik som för kolumner på den översta nivån. Till exempel kan nya kapslade kolumner läggas till automatiskt i en StructType kolumn. Detaljer finns i den automatiska schemautvecklingen i Merge .
MERGE INTO åtgärden använder nu automatiskt optimerade skrivningar
Optimerade skrivoperationer kan ge mycket bättre prestanda för MERGE INTO direkt ur kartongen, särskilt för MERGE INTO på partitionstabeller. Om du vill inaktivera Optimerade skrivningar anger du Spark-konfigurationen spark.databricks.delta.optimizeWrite.enabled till false.
MERGE INTO och UPDATE operationer löser nu kapslade structkolumner utifrån namn
Uppdateringsåtgärder UPDATE och MERGE INTO kommandon löser nu kapslade structkolumner efter namn. Det innebär att när du jämför eller tilldelar kolumner av typen StructType spelar ordningen för de kapslade kolumnerna ingen roll (exakt på samma sätt som ordningen på kolumner på den översta nivån). Om du vill återgå till att matcha efter position anger du Spark-konfigurationen spark.databricks.delta.resolveMergeUpdateStructsByName.enabled till false.
CLONE är GA och du kan nu åsidosätta tabellegenskaper
Kommandot CLONE är nu allmänt tillgängligt. Se CREATE TABLE CLONE. Dessutom kan du nu ange åsidosättningar av tabellegenskaper när du använder CLONE. Exempel finns i Klona en tabell i Azure Databricks.
RESTORE är GA
Kommandot RESTORE är nu allmänt tillgängligt. Se RESTORE.
Implicita Scala-api:er förenklar Sparks läs- och skriv-API:er
Du kan importera io.delta.implicits._ för att använda delta metoden med Spark-läs- och skriv-API:er.
import io.delta.implicits._
spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")
Förbättra dataflödet för direktuppspelning med fetchParallelism anslutningsalternativet
AQS-anslutningstjänsten stöder nu ett nytt alternativ fetchParallelism för att ange parallelliteten för att hämta meddelanden från kötjänsten.
Spåra strömmens förlopp med nya mått för automatisk inläsning
Automatisk inläsning rapporterar nu hur många filer som finns i kvarvarande uppgifter och hur stora kvarvarande uppgifter som finns efter varje batch. Du kan använda dessa mått för att spåra strömmens förlopp. Mer information om hur du visar måtten finns i Vad är automatisk inläsning?.
Förbättringar
Bredare stöd för bibliotek med notebook-omfång med hjälp av %pip och %conda magiska kommandon
Nu kan du installera notebook-avgränsade bibliotek med hjälp av %pip och %conda magikommandon i hög samtidighetskluster med både tabell-ACL:er och vidarebefordran av autentiseringsuppgifter aktiverade.
Korrekt Spark SQL-visning DECIMAL
Spark SQL-DECIMAL datatypen visas nu i tabeller utan förlust av precision och skalning.
ADLS Gen 2-lagringsanslutning baserat på Hadoop 3.3 för ABFS
En uppgraderad version av ADLS Gen 2-lagringsanslutningen baseras på Hadoop 3.3 för ABFS. Den uppgraderade anslutningsappen innehåller många stabilitetsförbättringar (se Hadoop-stabilitet) och har stöd för SAS-tokenautentisering.
Andra korrigeringar
Databricks Kafka-anslutningsappen för Spark Streaming har tagits bort. Använd Apache Spark-anslutningsappen.
Biblioteksuppgraderingar
- Uppgraderade Python-bibliotek:
- koalas uppgraderade från 1.3.0 till 1.4.0.
- Uppgraderade flera installerade R-bibliotek. Se Installerade R-bibliotek.
- OpenJDK 8-versionen har uppgraderats till Zulu 8.50.0.51-CA-linux64 (version 1.8.0_275-b01).
Apache Spark
Databricks Runtime 7.5 innehåller Apache Spark 3.0.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 7.4 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-33611] [Användargränssnitt] Undvik kodning två gånger på frågeparametern för den omskrivna proxy-URL:en
- [SPARK-33587] [CORE] Döda kören på kapslade allvarliga fel (7.x)
- [SPARK-33140] [SQL] Återställ kod som inte använder skickad SparkSession för att hämta SQLConf.
- [SPARK-33472] [SQL] Justera regeln RemoveRedundantSorts
- [SPARK-33422] [DOC] Åtgärda rätt visning av det vänstra menyalternativet
- [SPARK-27421] [SQL] Åtgärda filter för heltalskolumn och värdeklass java.lang.String vid beskärning av partitionskolumn
- [SPARK-33483] [INFRA][TESTER] Åtgärda mönster för råttundantag och lägg till en LICENS
- [SPARK-33464] [INFRA] Lägg till/ta bort (ej)nödvändig cache och omstrukturera GitHub Actions yaml
- [SPARK-33407] [PYTHON][7.X] Förenkla undantagsmeddelandet från Python-UDF:er (inaktiverade som standard)
- [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE bör ogiltigförklara cacheminnen som refererar till tabellen
- [SPARK-33358] [SQL] Returnera kod när kommandoprocessen misslyckades
- [SPARK-33183] [DBCONNECT] Lägg till RemoveRedundantSorts.scala i ALLOW_LIST.txt
- [SPARK-33290] [SQL] REFRESHREFRESH TABLE bör ogiltigförklara cacheminnet även om själva tabellen kanske inte cachelagras
- [SPARK-33140] [SQL] Åtgärda deltakompilering
- [SPARK-33316] [SQL] Lägg till enhetstester för from_avro och to_avro med Schema Registry och användaren angav nullbart Avro-schema
-
[SPARK-33404] [SQL] Åtgärda felaktiga resultat i
date_truncuttryck - [SPARK-33339] [PYTHON] Pyspark-programmet låser sig på grund av ett fel som inte är undantag
- [SPARK-33412] [SQL] OverwriteByExpression bör lösa sitt borttagningsvillkor baserat på tabellrelationen, inte indatafrågan
- [SPARK-33391] [SQL] element_at med CreateArray respekterar inte ett baserat index.
- [SPARK-33316] [SQL] Supportanvändaren angav nullbart Avro-schema för katalysatorschema som inte kan nullas i Avro-skrivning
- [SPARK-33372] [SQL] Åtgärda InSet-bucketrensning
- [SPARK-33371] [PYTHON] Uppdatera setup.py och tester för Python 3.9
- [SPARK-33140] [SQL] ta bort SQLConf och SparkSession i alla underklasser av Rule[QueryPlan]
- [SPARK-33338] [SQL] GROUP BY med hjälp av literalkarta bör inte misslyckas
- [SPARK-33306] [SQL]Tidszon krävs när datum konverteras till sträng
- [SPARK-33284] [WEB-UI] På sidan Storage UI klickar du på valfritt fält för att sortera tabellen, vilket leder till att rubrikinnehållet går förlorat
- [SPARK-33362] [SQL] skipSchemaResolution bör fortfarande kräva att frågan löses
- [SPARK-32257] [SQL] Rapporterar explicita fel för ogiltig användning av kommandot SET/RESET
- [SPARK-32406] [SQL] Gör så att RESET syntax stöder enkel konfigurationsåterställning
- [SPARK-32376] [SQL] Gör så att unionByName fungerar med null-fyllnadsbeteende för strukturkolumner
- [SPARK-32308] [SQL] Flytta logik för matchning efter namn i unionByName från API-kod till analysfas
- [SPARK-20044] [Användargränssnitt] Stöd för Spark-användargränssnittet bakom omvänd klientdelsproxy med hjälp av en url för sökvägsprefixet Revert proxy
- [SPARK-33268] [SQL][PYTHON] Åtgärda buggar för att casta data från/till PythonUserDefinedType
- [SPARK-33292] [SQL] Gör Literal ArrayBasedMapData-strängrepresentation tvetydig
- [SPARK-33183] [SQL] Fix Optimizer rule EliminateSorts och lägg till en fysisk regel för att ta bort redundanta sorter
- [SPARK-33272] [SQL] rensa attributmappningen i QueryPlan.transformUpWithNewOutput
- [SPARK-32090] [SQL] Förbättra UserDefinedType.equal() så att det blir symmetriskt
- [SPARK-33267] [SQL] Åtgärda NPE-problem i In-filtret när ett av värdena innehåller null
- [SPARK-33208] [SQL] Uppdatera dokumentet i SparkSession#sql
- [SPARK-33260] [SQL] Åtgärda felaktiga resultat från SortExec när sortOrder är Stream
- [SPARK-33230] [SQL] Hadoop-kommitterare för att tilldela unikt jobb-ID i "spark.sql.sources.writeJobUUID"
- [SPARK-33197] [SQL] Gör ändringar i spark.sql.analyzer.maxIterations börjar gälla vid körning
- [SPARK-33228] [SQL] Ta inte bort data när du ersätter en vy med samma logiska plan
- [SPARK-32557] [CORE] Logga och svälja undantaget per post i historikservern
- [SPARK-32436] [CORE] Initiera numNonEmptyBlocks i HighlyCompressedMapStatus.readExternal
- [SPARK-33131] [SQL] Fixa gruppering av satser med "having"-klausul kan inte lösa kvalificerat kolumnnamn.
- [SPARK-32761] [SQL] Tillåt sammansättning av flera vikbara distinkta uttryck
- [SPARK-33094] [SQL] Gör så att ORC-format sprider Hadoop-konfiguration från DS-alternativ till underliggande HDFS-filsystem
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 7.5.
Systemmiljö
- Operativsystem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.50.0.51-CA-linux64 (version 1.8.0_275-b01)
- Scala: 2.12.10
- Python: 3.7.5
- R: R version 3.6.3 (2020-02-29)
- Delta Lake 0.7.0
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| asn1crypto | 1.3.0 | backcall | 0.1.0 | boto3 | 1.12.0 |
| botocore | 1.15.0 | certifi | 2020.6.20 | cffi | 1.14.0 |
| chardet | 3.0.4 | kryptografi | 2.8 | cyklist | 0.10.0 |
| Cython | 0.29.15 | dekoratör | 4.4.1 | docutils | 0.15.2 |
| entrypoints | 0,3 | idna | 2.8 | ipykernel | 5.1.4 |
| ipython | 7.12.0 | ipython-genutils | 0.2.0 | jedi | 0.17.2 |
| jmespath | 0.10.0 | joblib | 0.14.1 | jupyter-client | 5.3.4 |
| jupyter-core | 4.6.1 | kiwisolver | 1.1.0 | Koalas | 1.4.0 |
| matplotlib | 3.1.3 | numpy | 1.18.1 | Pandas | 1.0.1 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | pip | 20.0.2 | prompt-toolkit | 3.0.3 |
| psycopg2 | 2.8.4 | ptyprocess | 0.6.0 | pyarrow | 1.0.1 |
| pycparser | 2,19 | Pygments | 2.5.2 | PyGObject | 3.26.1 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.6 | PySocks | 1.7.1 |
| python-apt | 1.6.5+ubuntu0.3 | python-dateutil | 2.8.1 | pytz | 2019.3 |
| pyzmq | 18.1.1 | begäranden | 2.22.0 | s3transfer | 0.3.3 |
| scikit-learn | 0.22.1 | scipy | 1.4.1 | seaborn | 0.10.0 |
| setuptools | 45.2.0 | sex | 1.14.0 | ssh-import-id | 5.7 |
| statsmodels | 0.11.0 | tromb | 6.0.3 | traitlets | 4.3.3 |
| obevakade uppgraderingar | 0,1 | urllib3 | 1.25.8 | virtualenv | 16.7.10 |
| wcwidth | 0.1.8 | hjul | 0.34.2 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-11-02.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backportar | 1.1.10 |
| bas | 3.6.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| start | 1.3-25 | brygga | 1.0-6 | Brio | 1.1.0 |
| kvast | 0.7.2 | anropare | 3.5.1 | textmarkör | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | klass | 7.3-17 |
| cli | 2.1.0 | clipr | 0.7.1 | cluster | 2.1.0 |
| codetools | 0.2-18 | färgområde | 1.4-1 | commonmark | 1,7 |
| kompilator | 3.6.3 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.3 | krita | 1.3.4 | Överhörning | 1.1.0.1 |
| hårlock | 4.3 | data.table | 1.13.2 | datauppsättningar | 3.6.3 |
| DBI | 1.1.0 | dbplyr | 1.4.4 | Desc | 1.2.0 |
| devtools | 2.3.2 | diffobj | 0.3.2 | smälta | 0.6.27 |
| dplyr | 0.8.5 | DT | 0,16 | ellips | 0.3.1 |
| evaluate (utvärdera) | 0,14 | fansi | 0.4.1 | farver | 2.0.3 |
| fastmap | 1.0.1 | forcats | 0.5.0 | foreach | 1.5.1 |
| främmande | 0.8-76 | smida | 0.2.0 | Fs | 1.5.0 |
| Generika | 0.1.0 | ggplot2 | 3.3.2 | Gh | 1.1.0 |
| git2r | 0.27.1 | glmnet | 3.0-2 | globals | 0.13.1 |
| lim | 1.4.2 | Gower | 0.2.2 | grafik | 3.6.3 |
| grDevices | 3.6.3 | gitter | 3.6.3 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | hamn | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.2 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.2 | Iteratorer | 1.0.13 |
| jsonlite | 1.7.1 | KernSmooth | 2.23-18 | stickning | 1,30 |
| Märkning | 0.4.2 | senare | 1.1.0.1 | Galler | 0.20-41 |
| lava | 1.6.8 | lazyeval | 0.2.2 | livscykel | 0.2.0 |
| lubridate | 1.7.9 | magrittr | 1.5 | Markdown | 1,1 |
| MASSA | 7.3-53 | Matris | 1.2-18 | pmise | 1.1.0 |
| metoder | 3.6.3 | mgcv | 1.8-33 | MIME | 0,9 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.8 | munsell | 0.5.0 |
| nlme | 3.1-150 | nnet | 7.3-14 | numDeriv | 2016.8-1.1 |
| openssl | 1.4.3 | parallel | 3.6.3 | pelare | 1.4.6 |
| pkgbuild | 1.1.0 | pkgconfig | 2.0.3 | pkgload | 1.1.0 |
| plogr | 0.2.0 | plyr | 1.8.6 | berömma | 1.0.0 |
| prettyunits | 1.1.1 | Proc | 1.16.2 | processx | 3.4.4 |
| prodlim | 2019.11.13 | Förlopp | 1.2.2 | Löften | 1.1.1 |
| Proto | 1.0.0 | PS | 1.4.0 | purrr | 0.3.4 |
| r2d3 | 0.2.3 | R6 | 2.5.0 | randomForest | 4.6-14 |
| rappdirs | 0.3.1 | rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 |
| Rcpp | 1.0.5 | readr | 1.4.0 | readxl | 1.3.1 |
| recept | 0.1.14 | Returmatch | 1.0.1 | rematch2 | 2.1.2 |
| Fjärrkontroller | 2.2.0 | reprex | 0.3.0 | omforma2 | 1.4.4 |
| Rex | 1.2.0 | rjson | 0.2.20 | rlang | 0.4.8 |
| rmarkdown | 2.5 | RODBC | 1.3-16 | roxygen2 | 7.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-7 |
| RSQLite | 2.2.1 | rstudioapi | 0,11 | rversioner | 2.0.2 |
| rvest | 0.3.6 | våg | 1.1.1 | väljare | 0.4-2 |
| sessioninfo | 1.1.1 | form | 1.4.4 | skinande | 1.5.0 |
| sourcetools | 0.1.7 | sparklyr | 1.4.0 | SparkR | 3.0.0 |
| rumslig | 7.3-11 | Splines | 3.6.3 | sqldf | 0.4-11 |
| SQUAREM | 2020.5 | statistik | 3.6.3 | stats4 | 3.6.3 |
| stringi | 1.5.3 | stringr | 1.4.0 | överlevnad | 3.2-7 |
| sys | 3.4 | tcltk | 3.6.3 | TeachingDemos | 2.10 |
| testthat | 3.0.0 | tibble | 3.0.4 | tidyr | 1.1.2 |
| avmarkera | 1.1.0 | tidyverse | 1.3.0 | timeDate | 3043.102 |
| tinytex | 0.27 | verktyg | 3.6.3 | usethis | 1.6.3 |
| utf8 | 1.1.4 | verktyg | 3.6.3 | uuid | 0.1-4 |
| vctrs | 0.3.4 | viridisLite | 0.3.0 | Waldo | 0.2.2 |
| morrhår | 0,4 | withr | 2.3.0 | xfun | 0.19 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ström | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasskamrat | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.4-3 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profilerare | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.0 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.47.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | samlare | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.12.8 |
| net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.7.1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 0.15.1 |
| org.apache.arrow | pilminne | 0.15.1 |
| org.apache.arrow | pilvektor | 0.15.1 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.9 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metaarkiv | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.1 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | murgröna | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.10 |
| org.apache.orc | orc-mapreduce | 1.5.10 |
| org.apache.orc | orc-shims | 1.5.10 |
| org.apache.parquet | parkettkolumn | 1.10.1-databricks6 |
| org.apache.parquet | parquet-common | 1.10.1-databricks6 |
| org.apache.parquet | parquet-kodning | 1.10.1-databricks6 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | hastighet | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | åhörarkommentarer | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-fortsättning | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-http | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-io | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-jndi | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga plus | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-proxy | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-security | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-server | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-servlet | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-servlets | 9.4.18.v20190429 |
| org.eclipse.jetty | brygga-util | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-webapp | 9.4.18.v20190429 |
| org.eclipse.jetty | jetty-xml | 9.4.18.v20190429 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.6.6 |
| org.json4s | json4s-core_2.12 | 3.6.6 |
| org.json4s | json4s-jackson_2.12 | 3.6.6 |
| org.json4s | json4s-scalap_2.12 | 3.6.6 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | oanvänd | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.5 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |