Databricks Runtime 8.3 (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Följande viktig information innehåller information om Databricks Runtime 8.3 och Databricks Runtime 8.3 Photon, som drivs av Apache Spark 3.1.1. Databricks släppte den här versionen i juni 2021. Foton finns i offentlig förhandsversion.
Nya funktioner och förbättringar
- Genererade kolumner i Delta-tabeller (offentlig förhandsversion)
- Funktioner och förbättringar för automatisk inläsning
- Skapa deltatabeller med nya programmatiska API:er (offentlig förhandsversion)
-
Korrekt beräkning av Delta-tabellstorlekar i SQL
ANALYZE - Detaljerade mått för RocksDB-prestanda när du använder RocksDBStateStore
- Automatiska optimerade skrivningar
- Aktivera bucketade kopplingar om endast en kopplingssida är bucketad
- Förbättrad säkerhet vid definition av Spark UDF:er (offentlig förhandsversion)
-
Minskat antal begäranden till schemaregister för frågor med
from_avro - Flera resultat i R med ListResults (offentlig förhandsversion)
Genererade kolumner i Delta-tabeller (offentlig förhandsversion)
Delta Lake stöder nu genererade kolumner, som är en särskild typ av kolumn vars värden genereras automatiskt baserat på en användardefinerad funktion över andra kolumner i Delta-tabellen. Du kan använda de flesta inbyggda SQL-funktioner för att generera värdena för dessa genererade kolumner. Du kan till exempel automatiskt generera en datumkolumn (för partitionering av tabellen efter datum) från tidsstämpelkolumnen. skrivningar till tabellen behöver bara ange data för tidsstämpelkolumnen. Du kan skapa Delta-tabeller med genererade kolumner med SQL-, Scala-, Java- eller Python-API:er.
Mer information finns i Delta Lake-genererade kolumner.
Funktioner och förbättringar för automatisk inläsning
- Schemainferens för CSV-filer i Auto Loader
- Förbättrad starttid för automatiska inläsningsströmmar
- Snabbare kataloglista i Auto Loader
- Lägre lagringskostnader för autoinläsningskontroller
- Auto Loader inkluderar filsökvägen i kolumnen för räddad data när den är tillgänglig
- Automatisk inläsning stöder filbyten i Azure Data Lake Storage Gen2 i filmeddelandeläge
Schemainferens för CSV-filer i Auto Loader
Automatisk inläsning stöder nu schemainferens och utveckling på CSV-filer. Automatisk inläsning innehåller följande funktioner ovanpå den befintliga CSV-parsern i Apache Spark:
- Sammanslagning av scheman: Auto Loader kan läsa in CSV-filer som har olika scheman (olika antal kolumner, olika ordning på kolumner) inom olika filer.
- Räddad datakolumn: Du kan använda den räddade datakolumnen för att rädda oväntade data som kan visas i dina CSV-filer. Detta inkluderar data som inte kan parsas i den datatyp som förväntas, kolumner som har ett annat hölje eller null-värden i huvudet eller ytterligare kolumner som inte ingick i det förväntade schemat.
Mer information finns i Konfigurera schemainferens och utveckling i Auto Loader.
Förbättrad starttid för automatiska inläsningsströmmar
Automatiska inläsningsströmmar utför nu den första återfyllningen för strömmen asynkront när den startas för första gången, vilket leder till en mycket snabbare starttid för strömmen. På så sätt kan du iterera snabbt på koden med produktionsdata, särskilt när du måste mata in data från kataloger som innehåller miljontals eller miljarder filer.
Dessutom förbättras bootstrap-tiden för strömmar som startas om, eftersom vi har parallelliserat nedladdningen och uppladdningen av RocksDB-filerna som Auto Loader använder för att tillhandahålla exakt en gång semantik.
Snabbare kataloglista i Auto Loader
Vi har avsevärt förbättrat effektiviteten i kataloglistan i Auto Loader. En bieffekt av den här prestandaförbättringen är att strömmen kan generera fler listbegäranden till lagringssystemet när det inte finns några nya data att bearbeta, vilket kan leda till en ökning av listbegärandeavgifter. Som en allmän bästa praxis rekommenderar Databricks att du anger ett rimligt triggerintervall för produktionsströmmande pipelines. Se Produktionsöverväganden för strukturerad direktuppspelning.
Lägre lagringskostnader för autoinläsningskontroller
Automatiska inläsningsströmmar rensar nu automatiskt inaktuella filer i kontrollpunktskatalogen asynkront för att hålla kontrollpunktskatalogens storlek från att växa på obestämd tid och minska lagringskostnaderna.
Automatisk laddare inkluderar filsökvägen i kolumnen med räddade data när den är tillgänglig.
Den räddade datakolumnen tillhandahåller automatiskt filsökvägen för de räddade data när det är tillämpligt i en kolumn med namnet _file_ path. Detta kan hjälpa dig att spåra rotorsaken till datakvalitetsproblem. Kolumnen ingår inte om dataschemat innehåller en kolumn med namnet _file_path. Du kan använda SQL-konfigurationen spark.databricks.sql.rescuedDataColumn.filePath.name för att byta namn på kolumnen om det behövs.
Automatisk inläsning stöder filbyten i Azure Data Lake Storage Gen2 i filmeddelandeläge
Automatisk inläsning stöder nu BlobRenamed-händelser för Azure Data Lake Storage Gen2 när du kör i filmeddelandeläge. Om du vill bearbeta filer som laddas upp till en Azure Data Lake Storage Gen2-container via en namnbytesåtgärd med filmeddelanden startar du en ny ström med Automatisk inläsning med Databricks Runtime 8.3. För att säkerställa att en fil bearbetas exakt en gång kontrollerar du att källkatalogen som filen byts namn från inte övervakas av Auto Loader.
Skapa Delta-tabeller med nya programmatiska API:er (offentlig förhandsversion)
Nu kan du skapa nya Delta-tabeller programmatiskt (med Scala, Java och Python) utan att använda DataFrame-API:er. Med nya api:er för DeltaTableBuilder och DeltaColumnBuilder kan du ange all tabellinformation som du kan ange med sql-CREATE TABLE.
Mer information finns i Skapa en tabell.
Korrekt beräkning av Delta-tabellstorlekar i SQL ANALYZE
Befintlig analyslogik beräknar felaktigt tabellstorleken för Delta-tabeller och uppdaterar katalogen med felaktig storlek. Korrigeringen är att hämta storleken på en Delta-tabell från Delta-loggen.
Detaljerade mått för RocksDB-prestanda när du använder RocksDBStateStore
Om du har konfigurerat din structured streaming-fråga så att den använder RocksDB som tillståndsarkivetkan du nu få bättre insyn i prestanda för RocksDB, med detaljerade mått för get/put-svarstider, komprimeringsfördröjningar, cacheträffar och så vidare. Dessa mått är tillgängliga via API:erna och för övervakning av StreamingQueryProgress en strömningsfrågaStreamingQueryListener
Mer information finns i Konfigurera RocksDB-tillståndslager på Azure Databricks.
Automatiska optimerade skrivningar
Optimerade skrivningar på partitionerade Delta-tabeller aktiveras nu automatiskt för att uppdatera och ta bort frågor som innehåller underfrågor.
Aktivera bucketade kopplingar om endast en kopplingssida är bucketad
En ny konfiguration spark.databricks.sql.minBucketsForBucketedJoin aktiverar en bucketad koppling om endast en kopplingssida är bucketad och antalet bucketar inte är mindre än det här konfigurationsvärdet. Som standard är det här konfigurationsvärdet detsamma som standardvärdet för shuffle-partitioner (200).
Förbättrad säkerhet vid definition av Spark UDF:er (offentlig förhandsversion)
Användarinformationsfunktioner current_user och is_member kan inte längre åsidosättas av tillfälliga funktioner som Python spark.udf.register eller SQL create or replace temp function.
Minskat antal begäranden till schemaregistret för frågor med from_avro
Frågor med from_avro med stöd för schemaregister genererar inte längre så många begäranden till schemaregistertjänsten, vilket sparar driftskostnader.
Flera resultat i R med ListResults (offentlig förhandsversion)
Databricks R-notebook-filer stöder nu flera resultat i varje cell. Tidigare renderades endast ett enda resultat för varje notebook-cell. För närvarande visas resultatet av en enskild cell i R-notebook-filer i följande ordning:
- RShiny-URL
- Diagram
- displayHTML-utdata
- Tabeller
- stdout
Biblioteksuppgraderingar
- Uppgraderat Python-bibliotek:
- koalas uppgraderade från 1.7.0 till 1.8.0.
- pandas uppgraderade från 1.1.3 till 1.1.5.
- s3transfer uppgraderad från 0.3.4 till 0.3.6.
- Uppgraderat R-bibliotek:
- SparkR har uppgraderats från 3.1.1 till 3.1.2.
- Uppgraderat Java-bibliotek:
- mariadb-java-client från 2.1.2 till 2.2.5.
- parquet-column från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-common från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-encoding från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-hadoop från 1.10.1-databricks6 till 1.10.1-databricks9
- parquet-jackson från 1.10.1-databricks6 till 1.10.1-databricks9
Apache Spark
Databricks Runtime 8.3 innehåller Apache Spark 3.1.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 8.2 (EoS) samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
- [SPARK-34614] [SQL] ANSI-läge: Gjutning av sträng till booleskt värde bör utlösa undantag vid parsningsfel
- [SPARK-34246] [UPPFÖLJNING] Ändra definitionen av "findTightestCommonT...
- [SPARK-35213] [SQL] Behåll rätt ordning på kapslade structs i kedjade medField-åtgärder
- [SPARK-35096] [SQL] SchemaPruning bör följa spark.sql.caseSensitiv konfiguration
- [SPARK-35227] [BUILD] Uppdatera lösaren för spark-paket i SparkSubmit
-
[SPARK-35224] [SQL] Åtgärda buffertspill i
MutableProjectionSuite - [SPARK-34245] [CORE] Se till att master tar bort köre som inte kunde skicka slutfört tillstånd
- [SPARK-34856] [SQL] ANSI-läge: Tillåt gjutning av komplexa typer som strängtyp
- [SPARK-34946] [SQL] Blockera korrelerad skalära underfrågor som inte stöds i aggregering
- [SPARK-35014] Åtgärda mönstret PhysicalAggregation så att de inte skriver om de vikbara uttrycken
- [SPARK-34769] [SQL] AnsiTypeCoercion: returnera närmaste...
Systemmiljö
- Operativsystem: Ubuntu 18.04.5 LTS
- Java: Zulu 8.52.0.23-CA-linux64 (version 1.8.0_282-b08)
- Scala: 2.12.10
- Python: 3.8.8
- R: R version 4.0.4 (2021-02-15)
- Delta Lake 1.0.0
Installerade Python-bibliotek
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
| boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
| certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
| kryptografi | 3.1.1 | cyklist | 0.10.0 | Cython | 0.29.21 |
| dekoratör | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
| entrypoints | 0,3 | facets-overview | 1.0.0 | filelock | 3.0.12 |
| idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.19.0 |
| ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
| joblib | 0.17.0 | jupyter-client | 6.1.7 | jupyter-core | 4.6.3 |
| kiwisolver | 1.3.0 | Koalas | 1.8.0 | matplotlib | 3.2.2 |
| numpy | 1.19.2 | Pandas | 1.1.5 | parso | 0.7.0 |
| Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| pip | 20.2.4 | plotly | 4.14.3 | prompt-toolkit | 3.0.8 |
| protobuf | 3.17.0 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
| pyarrow | 1.0.1 | pycparser | 2,20 | Pygments | 2.7.2 |
| pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
| python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 19.0.2 |
| begäranden | 2.24.0 | Försöker igen... | 1.3.3 | s3transfer | 0.3.6 |
| scikit-learn | 0.23.2 | scipy | 1.5.2 | seaborn | 0.10.0 |
| setuptools | 50.3.1 | sex | 1.15.0 | statsmodels | 0.12.0 |
| threadpoolctl | 2.1.0 | tromb | 6.0.4 | traitlets | 5.0.5 |
| urllib3 | 1.25.11 | virtualenv | 20.2.1 | wcwidth | 0.2.5 |
| hjul | 0.35.1 |
Installerade R-bibliotek
R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-11-02.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| askpass | 1,1 | assertthat | 0.2.1 | backportar | 1.2.1 |
| bas | 4.0.4 | base64enc | 0.1-3 | BH | 1.72.0-3 |
| bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
| start | 1.3-27 | brygga | 1.0-6 | Brio | 1.1.0 |
| kvast | 0.7.2 | anropare | 3.5.1 | textmarkör | 6.0-86 |
| cellranger | 1.1.0 | Chron | 2.3-56 | klass | 7.3-18 |
| cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.1 |
| codetools | 0.2-18 | färgområde | 2.0-0 | commonmark | 1,7 |
| kompilator | 4.0.4 | config | 0,3 | covr | 3.5.1 |
| cpp11 | 0.2.4 | krita | 1.3.4 | Autentiseringsuppgifter | 1.3.0 |
| Överhörning | 1.1.0.1 | hårlock | 4.3 | data.table | 1.13.4 |
| datauppsättningar | 4.0.4 | DBI | 1.1.0 | dbplyr | 2.0.0 |
| Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
| smälta | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
| ellips | 0.3.1 | evaluate (utvärdera) | 0,14 | fansi | 0.4.1 |
| farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
| foreach | 1.5.1 | främmande | 0.8-81 | smida | 0.2.0 |
| Fs | 1.5.0 | framtid | 1.21.0 | Generika | 0.1.0 |
| Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
| gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
| lim | 1.4.2 | Gower | 0.2.2 | grafik | 4.0.4 |
| grDevices | 4.0.4 | gitter | 4.0.4 | gridExtra | 2.3 |
| gsubfn | 0,7 | gtable | 0.3.0 | hamn | 2.3.1 |
| highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
| htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
| ipred | 0.9-9 | isoband | 0.2.3 | Iteratorer | 1.0.13 |
| jsonlite | 1.7.2 | KernSmooth | 2.23-18 | stickning | 1,30 |
| Märkning | 0.4.2 | senare | 1.1.0.1 | Galler | 0.20-41 |
| lava | 1.6.8.1 | lazyeval | 0.2.2 | livscykel | 0.2.0 |
| lyssna | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
| Markdown | 1,1 | MASSA | 7.3-53.1 | Matris | 1.3-2 |
| pmise | 1.1.0 | metoder | 4.0.4 | mgcv | 1.8-33 |
| MIME | 0,9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-15 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.4 |
| parallellt | 1.22.0 | pelare | 1.4.7 | pkgbuild | 1.1.0 |
| pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
| plyr | 1.8.6 | berömma | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
| Förlopp | 1.2.2 | Löften | 1.1.1 | Proto | 1.0.0 |
| PS | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
| R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
| rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
| readr | 1.4.0 | readxl | 1.3.1 | recept | 0.1.15 |
| Returmatch | 1.0.1 | rematch2 | 2.1.2 | Fjärrkontroller | 2.2.0 |
| reprex | 0.3.0 | omforma2 | 1.4.4 | Rex | 1.2.0 |
| rlang | 0.4.9 | rmarkdown | 2,6 | RODBC | 1.3-17 |
| roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
| Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
| rversioner | 2.0.2 | rvest | 0.3.6 | våg | 1.1.1 |
| väljare | 0.4-2 | sessioninfo | 1.1.1 | form | 1.4.5 |
| skinande | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
| SparkR | 3.1.2 | rumslig | 7.3-11 | Splines | 4.0.4 |
| sqldf | 0.4-11 | SQUAREM | 2020.5 | statistik | 4.0.4 |
| stats4 | 4.0.4 | stringi | 1.5.3 | stringr | 1.4.0 |
| överlevnad | 3.2-7 | sys | 3.4 | tcltk | 4.0.4 |
| TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
| tidyr | 1.1.2 | avmarkera | 1.1.0 | tidyverse | 1.3.0 |
| timeDate | 3043.102 | tinytex | 0,28 | verktyg | 4.0.4 |
| usethis | 2.0.0 | utf8 | 1.1.4 | verktyg | 4.0.4 |
| uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
| Waldo | 0.2.3 | morrhår | 0,4 | withr | 2.3.0 |
| xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
| xtable | 1.8-4 | yaml | 2.2.1 | Zip | 2.1.1 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | ström | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-skuggad | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasskamrat | 1.3.4 |
| com.fasterxml.jackson.core | jackson-anteckningar | 2.10.0 |
| com.fasterxml.jackson.core | jackson-core | 2.10.0 |
| com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
| com.github.ben-manes.koffein | koffein | 2.3.4 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | kärna | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
| com.github.luben | zstd-jni | 1.4.8-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profilerare | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.9.5 |
| com.twitter | chill_2.12 | 0.9.5 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.4 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2,6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
| hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.51.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | samlare | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | aktivering | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.transaction | transaction-api | 1,1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.5 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-träd | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
| net.razorvine | pyrolit | 4.30 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8-1 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | Ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pilformat | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pilvektor | 2.0.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.commons | commons-compress | 1,20 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3,10 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recept | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-anteckningar | 2.7.4 |
| org.apache.hadoop | hadoop-auth | 2.7.4 |
| org.apache.hadoop | hadoop-client | 2.7.4 |
| org.apache.hadoop | hadoop-common | 2.7.4 |
| org.apache.hadoop | hadoop-hdfs | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
| org.apache.hive | hive-beeline | 2.3.7 |
| org.apache.hive | hive-cli | 2.3.7 |
| org.apache.hive | hive-common | 2.3.7 |
| org.apache.hive | hive-exec-core | 2.3.7 |
| org.apache.hive | hive-jdbc | 2.3.7 |
| org.apache.hive | hive-llap-client | 2.3.7 |
| org.apache.hive | hive-llap-common | 2.3.7 |
| org.apache.hive | hive-metaarkiv | 2.3.7 |
| org.apache.hive | hive-serde | 2.3.7 |
| org.apache.hive | hive-shims | 2.3.7 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive | hive-vector-code-gen | 2.3.7 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
| org.apache.hive.shims | hive-shims-common | 2.3.7 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
| org.apache.htrace | htrace-core | 3.1.0-inkubering |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | murgröna | 2.4.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.5.12 |
| org.apache.orc | orc-mapreduce | 1.5.12 |
| org.apache.orc | orc-shims | 1.5.12 |
| org.apache.parquet | parquet-kolumn | 1.10.1-databricks9 |
| org.apache.parquet | parquet-common | 1.10.1-databricks9 |
| org.apache.parquet | parquet-kodning | 1.10.1-databricks9 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
| org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.velocity | hastighet | 1.5 |
| org.apache.xbean | xbean-asm7-shaded | 4.15 |
| org.apache.yetus | åhörarkommentarer | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.4.14 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-fortsättning | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-io | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga plus | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-server | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-servlet | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
| org.eclipse.jetty | brygga-util | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
| org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
| org.glassfish.jersey.core | jersey-client | 2.30 |
| org.glassfish.jersey.core | jersey-common | 2.30 |
| org.glassfish.jersey.core | jersey-server | 2.30 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
| org.hibernate.validator | vilolägesverifierare | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
| org.json4s | json4s-core_2.12 | 3.7.0-M5 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.9.0 |
| org.roaringbitmap | Shims | 0.9.0 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.10 |
| org.scala-lang | scala-library_2.12 | 2.12.10 |
| org.scala-lang | scala-reflect_2.12 | 2.12.10 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.0 |
| org.scalanlp | breeze_2.12 | 1.0 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | oanvänd | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.5 |
| org.typelevel | algebra_2.12 | 2.0.0-M2 |
| org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
| org.typelevel | machinist_2.12 | 0.6.8 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
| org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
| org.typelevel | spire-util_2.12 | 0.17.0-M1 |
| org.typelevel | spire_2.12 | 0.17.0-M1 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.2 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |