Databricks Runtime 9.1 LTS
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 9.1 LTS en Databricks Runtime 9.1 LTS Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze versie uitgebracht in september 2021. Photon bevindt zich in openbare preview.
Notitie
LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.
Tip
Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.
Nieuwe functies en verbeteringen
- Auto Loader schema hints werken nu met array- en maptypen
- Avro-bestandsondersteuning voor samenvoegen schema
- Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)
- Delta ondersteunt nu willekeurige replaceWhere
- Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)
- CREATE FUNCTION biedt nu ondersteuning voor het maken van table functies
-
Kafka Streaming Source rapporteert
estimatedTotalBytesBehindLatest
nu metrische gegevens - Voor structs binnen arrays worden structvelden door Delta MERGE INTO nu op naam opgelost en evolueren structschema's.
Hints voor automatisch laden schema werken nu met matrix- en kaarttypen
Matrix- en kaarttypen worden ondersteund in Onderdrukking schema deductie met schema hints voor automatisch laden.
Voorbeelden van schema hints voor matrices zijn:
-
arr Array<TYPE>
wijzigt het matrixtype. -
arr.element TYPE
wijzigt het matrixtype (met behulp van hetelement
trefwoord). -
arr.element.x TYPE
wijzigt een geneste veldtype in een matrix met structuren.
De eerste twee voorbeelden zijn hints om het type matrix arr
te TYPE
wijzigen in, maar ze gebruiken verschillende syntaxis. In het derde voorbeeld arr
is een matrix van structuren met een veld x
. In dit voorbeeld ziet u hoe u het type wijzigt x
in TYPE
.
Voorbeelden van schema hints voor kaarten zijn:
-
m Map<KEY-TYPE, VALUE-TYPE>
wijzigt de kaartsleutel en waardetypen. -
m.key TYPE
wijzigt het type kaartsleutels. -
m.value TYPE
wijzigt het type kaart values. -
m.key.x TYPE
wijzigt het veldtype in een kaartsleutel. -
m.value.x TYPE
wijzigt het veldtype van een kaartwaarde.
In het eerste voorbeeld worden zowel de sleutel- als waardetypen van de toewijzing m
gewijzigd in KEY_TYPE
respectievelijk VALUE_TYPE
. De tweede en derde voorbeelden kunnen worden gebruikt als alleen het sleuteltype of alleen het waardetype moet worden gewijzigd. In de vierde en vijfde voorbeelden m
is een kaart met sleutel en waarde van structuurtypen met een veld x
. In dit voorbeeld ziet u hoe u het type wijzigt x
in TYPE
.
Avro-bestandsondersteuning voor samenvoegen schema
De Avro-bestandsindeling ondersteunt nu de optie bij het mergeSchema
lezen van bestanden. Als u mergeSchema
instelt op 'waar' bij het lezen van Avro-bestanden, wordt een schema afgeleid van een set van Avro-bestanden in plaats van uit een enkel bestand. Dit verbetert de bruikbaarheid door een schema op te stellen die mogelijk alle bestanden kan lezen, zelfs als hun afzonderlijke schema's verschillen. Zie Configuratie.
Ondersteuning voor incrementele vermelding van automatische laadprogramma's (openbare preview)
In het geval van lexicografische gegenereerde bestanden, wat is Auto Loader? maakt nu gebruik van lexicale bestandsvolgorde en bestaande geoptimaliseerde API's om de directory-vermelding efficiënter te maken door vermelding van eerder opgenomen bestanden in plaats van door de hele map weer te geven. Automatisch laden detecteert automatisch of een bepaalde map standaard geschikt is voor incrementele vermeldingen. Als u dit gedrag expliciet wilt beheren, set u de nieuwe cloudFiles.useIncrementalListing
optie inschakelen (true
), uit (false
) of automatisch (auto
). Als u dit gedrag met set naar true
uitvoert, kunt u ook de optie cloudFiles.backfillInterval
set om regelmatige backfills over uw gegevens te plannen, zodat al uw gegevens volledig worden opgenomen.
Delta ondersteunt nu willekeurige replaceWhere
In combinatie met de overschrijfmodus kan de replaceWhere
optie worden gebruikt om gegevens tegelijk te overschrijven die overeenkomen met een predicaat dat in de optie is gedefinieerd. Aanvankelijk kon replaceWhere
alleen een predicaat over partitioncolumnsondersteunen, maar nu kan het een willekeurige expressie zijn. Zie schrijven naar een table.
Auto Loader voor Google Cloud ondersteunt nu bestandsmeldingen (openbare preview)
Auto Loader ondersteunt nu de modus voor bestandsmeldingen in Google Cloud.
Set
.option("cloudFiles.useNotifications", "true")
om Automatisch laden automatisch Google Cloud Pub/Sub-resources voor u te set. Met de modus voor bestandsmeldingen worden nieuwe bestanden gedetecteerd en opgenomen wanneer ze binnenkomen zonder de invoermap weer te geven. Zie Wat is de meldingsmodus voor het automatisch laden van bestanden?
CREATE FUNCTION biedt nu ondersteuning voor het maken van table functies
Naast het maken van een scalaire functie die een scalaire waarde retourneert, kunt u nu een table functie maken die een set rijen retourneert. Zie CREATE FUNCTION(SQL en Python).
Kafka Streaming Source rapporteert estimatedTotalBytesBehindLatest
nu metrische gegevens
De Kafka-streamingbron rapporteert nu een schatting van het aantal bytes achter de meest recente byte die beschikbaar is na elke batch. U kunt deze metrische waarde gebruiken om de voortgang van de stream bij te houden. Zie Metrische gegevens van Kafka ophalen.
Voorbeeld van metrische uitvoer:
StreamingQueryProgress {
"batchId": 0,
.....
"sources": [ {
"description" : "KafkaV2[Subscribe[topic-0]]",
"metrics":{
"avgOffsetsBehindLatest" : "1.0",
"estimatedTotalBytesBehindLatest" : "80.0", // new
"maxOffsetsBehindLatest" : "1",
"minOffsetsBehindLatest" : "1"
} ],
....
}
Voor structs in arrays worden met Delta MERGE INTO structvelden nu op naam opgelost en structschema's geëvolueerd.
Delta MERGE INTO
ondersteunt nu de resolutie van structvelden op naam en automatische schema evolutie voor matrices van structs. Wanneer automatische schema evolutie wordt ingeschakeld door spark.databricks.delta.schema.autoMerge.enabled
in te stellen op true, worden UPDATE
en INSERT
-componenten structvelden in een matrix op naam omgezet, naar het bijbehorende gegevenstype dat is gedefinieerd in de doelmatrix en extra of ontbrekende velden in de bron of het doel vullen met null-values. Wanneer automatische schema evolutie is uitgeschakeld, zullen UPDATE
en INSERT
clausules structvelden binnen een array op naam kunnen opzoeken, maar ze kunnen de extra velden niet evolueren. Zie Update Delta Lake tableschema.
Bugfixes
- Er is een geheugenlek opgelost in de Amazon S3-connector die kan optreden in langlopende taken of services, die zijn veroorzaakt door de JVM-functionaliteit
DeleteOnExit
.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- plotly from 4.14.3 to 5.1.0
- Bijgewerkte R-bibliotheken:
- basis van 4.1.0 tot 4.1.1
- bslib van 0.2.5.1 tot 0.3.0
- cachem van 1.0.5 tot 1.0.6
- compiler van 4.1.0 tot 4.1.1
- gegevenssets van 4.1.0 tot 4.1.1
- toekomst van 1.21.0 tot 1.22.1
- gert van 1.3.1 tot 1.3.2
- afbeeldingen van 4.1.0 tot 4.1.1
- grDevices van 4.1.0 tot 4.1.1.1
- raster van 4.1.0 tot 4.1.1
- Bijgewerkte Java-bibliotheken:
- org.eclipse.jetty van 9.4.36.v20210114 tot 9.4.42.v20210604
Apache Spark
Databricks Runtime 9.1 LTS bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 9.0 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-36674][SQL][CHERRY-PICK] OndersteuningS-ILIKE - niet hoofdlettergevoelig LIKE
- [SPARK-36353][SQL][3.1] RemoveNoopOperators moet de uitvoer behouden schema
- [SPARK-35876][SQL][3.1] ArraysZip moet veldnamen behouden om te voorkomen dat ze opnieuw worden geschreven door analyzer/optimizer
- [SPARK-36398][SQL] Gevoelige informatie redact in Spark Thrift Server-logboek
- [SPARK-36498][SQL] Binnenste velden van de invoerquery in byName V2 opnieuw ordenen
- [SPARK-36614][CORE][UI] Juiste reden voor uitvoerderverlies veroorzaakt door uit bedrijf nemen in de gebruikersinterface
- [SPARK-36012][SQL] Null-vlag toevoegen in SHOW CREATE TABLE
- [SPARK-36509][CORE] Los het probleem op dat uitvoerders nooit opnieuw worden gepland als de werkrol stopt met een zelfstandig cluster
- [SPARK-36603][CORE] WeakReference niet SoftReference gebruiken in LevelDB
- [SPARK-36564][CORE] NullPointerException in LiveRDDDistribution.toApi herstellen
- [SPARK-36086][SQL][3.1] CollapseProject project replace alias moet de origin column-naam gebruiken
- [SPARK-33527][SQL] De functie van decoderen uitbreiden, zodat deze consistent is met basisdatabases
- [SPARK-36400][SPARK-36398][SQL][WEBUI] ThriftServer herkennen spark.sql.redaction.string.regex
- [SPARK-34054][CORE] BlockManagerDecommissioner-code opschonen
- [SPARK-36500][CORE] Probleem oplossen temp_shuffle bestand lekken wanneer een taak wordt onderbroken
- [SPARK-36489][SQL] Aggregatiefuncties zonder groeperingssleutels, op tables met één enkele bucket, retourneren meerdere rijen
- [SPARK-36464][CORE] Initialisatie van onderliggende groottevariabelen in ChunkedByteBufferOutputStream opgelost voor het schrijven van meer dan 2 GB gegevens
- [SPARK-36339][SQL][3.0] Verwijzingen naar groepering die geen deel van de aggregatie moeten worden vervangen
- [SPARK-36354][CORE] EventLogFileReader mag rolling logboekmappen zonder logboeken overslaan
- [SPARK-36242][CORE][3.1] Zorg ervoor dat het dumpbestand is afgesloten voordat set success = true in de methode ExternalSorter.spillMemoryIteratorToDisk
-
[SPARK-36211][PYTHON] Correct typen van
udf
retourwaarde - [SPARK-34222][SQL] Booleaanse vereenvoudigingsregel verbeteren
- [SPARK-35027][CORE] Sluit de inputStream in FileAppender wanneer deze wordt geschreven...
- [SPARK-36269][SQL] Alleen set gegevens columnscolumn-namen configureren
- [SPARK-36213][SQL] PartitionSpec normaliseren voor Table opdracht beschrijven met PartitionSpec
- [SPARK-36210][SQL] column invoegvolgorde behouden in Dataset.withColumns
- [SPARK-36079][SQL] Op null gebaseerde filterschatting moet altijd in het bereik [0, 1] staan
-
[SPARK-28266][SQL] convertToLogicalRelation mag
path
eigenschap niet interpreteren bij het lezen van Hive tables
Onderhoudsupdates
Zie updates voor databricks Runtime 9.1 LTS-onderhoud.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.4 LTS
- Java: Zulu 8.56.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.10
- R: 4.1.1
- Delta Lake: 1.0.0
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | backcall | 0.2.0 |
boto3 | 1.16.7 | botocore | 1.19.7 | certifi | 2020.12.5 |
chardet | 4.0.0 | wielrijder | 0.10.0 | Cython | 0.29.23 |
dbus-python | 1.2.16 | decorateur | 5.0.6 | distlib | 0.3.2 |
distro-info | 0.23opgegeven1 | facets-overview | 1.0.0 | filelock | 3.0.12 |
idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
joblib | 1.0.1 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
kiwisolver | 1.3.1 | koala's | 1.8.1 | matplotlib | 3.4.2 |
numpy | 1.19.2 | Pandas | 1.2.4 | parso | 0.7.0 |
Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Kussen | 8.2.0 | pit | 21.0.1 | plotly | 5.1.0 |
prompt-toolkit | 3.0.17 | protobuf | 3.17.2 | psycopg2 | 2.8.5 |
ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
setuptools | 52.0.0 | Zes | 1.15.0 | ssh-import-id | 5.10 |
statsmodels | 0.12.2 | vasthoudendheid | 8.0.1 | threadpoolctl | 2.1.0 |
tornado | 6.1 | traitlets | 5.0.5 | upgrades zonder toezicht | 0,1 |
urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
wiel | 0.36.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-09-08.
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
base | 4.1.1 | base64enc | 0.1-3 | bit | 4.0.4 |
bit64 | 4.0.5 | blob | 1.2.2 | opstarten | 1.3-28 |
brouwsel | 1.0-6 | Brio | 1.1.2 | bezem | 0.7.9 |
bslib | 0.3.0 | cachem | 1.0.6 | beller | 3.7.0 |
caret | 6.0-88 | cellranger | 1.1.0 | Chron | 2.3-56 |
class | 7.3-19 | cli | 3.0.1 | clipr | 0.7.1 |
cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
commonmark | 1,7 | compiler | 4.1.1 | configuratie | 0.3.1 |
cpp11 | 0.3.1 | Crayon | 1.4.1 | credentials | 1.3.1 |
curl | 4.3.2 | gegevens.table | 1.14.0 | gegevenssets | 4.1.1 |
DBI | 1.1.1 | dbplyr | 2.1.1 | Desc | 1.3.0 |
devtools | 2.4.2 | diffobj | 0.3.4 | verteren | 0.6.27 |
dplyr | 1.0.7 | dtplyr | 1.1.0 | beletselteken | 0.3.2 |
evaluate | 0,14 | fansi | 0.5.0 | farver | 2.1.0 |
fastmap | 1.1.0 | forcats | 0.5.1 | foreach | 1.5.1 |
buitenlands | 0.8-81 | smeden | 0.2.0 | Fs | 1.5.0 |
toekomst | 1.22.1 | future.apply | 1.8.1 | gorgelen | 1.2.0 |
Generics | 0.1.0 | Gert | 1.3.2 | ggplot2 | 3.3.5 |
Gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-2 |
globals | 0.14.0 | lijm | 1.4.2 | googledrive | 2.0.0 |
googlesheets4 | 1.0.0 | Gower | 0.2.2 | afbeeldingen | 4.1.1 |
grDevices | 4.1.1 | rooster | 4.1.1 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.4.3 |
highr | 0,9 | Hms | 1.1.0 | htmltools | 0.5.2 |
htmlwidgets | 1.5.3 | httpuv | 1.6.2 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ids | 1.0.1 |
ini | 0.3.1 | ipred | 0.9-11 | isoband | 0.2.5 |
Iterators | 1.0.13 | jquerylib | 0.1.4 | jsonlite | 1.7.2 |
KernSmooth | 2.23-20 | breiwerk | 1.33 | Labeling | 0.4.2 |
later | 1.3.0 | latwerk | 0.20-44 | lava | 1.6.10 |
levenscyclus | 1.0.0 | listenv | 0.8.0 | lubridate | 1.7.10 |
magrittr | 2.0.1 | Markdown | 1.1 | MASSA | 7.3-54 |
Matrix | 1.3-4 | memoise | 2.0.0 | methoden | 4.1.1 |
mgcv | 1.8-36 | Mime | 0,11 | ModelMetrics | 1.2.2.2 |
modeller | 0.1.8 | munsell | 0.5.0 | nlme | 3.1-152 |
nnet | 7.3-16 | numDeriv | 2016.8-1.1 | openssl | 1.4.5 |
parallel | 4.1.1 | parallel | 1.27.0 | pilaar | 1.6.2 |
pkgbuild | 1.2.0 | pkgconfig | 2.0.3 | pkgload | 1.2.1 |
plogr | 0.2.0 | plyr | 1.8.6 | loven | 1.0.0 |
prettyunits | 1.1.1 | Proc | 1.18.0 | processx | 3.5.2 |
prodlim | 2019.11.13 | Voortgang | 1.2.2 | progressr | 0.8.0 |
Beloften | 1.2.0.1 | Proto | 1.0.0 | ps | 1.6.0 |
purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.3.3 |
RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | leesbewerking | 2.0.1 |
readxl | 1.3.1 | recepten | 0.1.16 | Rematch | 1.0.1 |
opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.4.0 | reprex | 2.0.1 |
hervorm2 | 1.4.4 | rlang | 0.4.11 | rmarkdown | 2.10 |
RODBC | 1.3-18 | roxygen2 | 7.1.1 | rpart | 4.1-15 |
rprojroot | 2.0.2 | Rserve | 1.8-8 | RSQLite | 2.2.8 |
rstudioapi | 0,13 | rversions | 2.1.1 | rvest | 1.0.1 |
Sass | 0.4.0 | weegschaal | 1.1.1 | selectr | 0.4-2 |
sessioninfo | 1.1.1 | vorm | 1.4.6 | glanzend | 1.6.0 |
sourcetools | 0.1.7 | sparklyr | 1.7.1 | SparkR | 3.1.1 |
ruimtelijk | 7.3-11 | Splines | 4.1.1 | sqldf | 0.4-11 |
SQUAREM | 2021.1 | Stats | 4.1.1 | stats4 | 4.1.1 |
stringi | 1.7.4 | stringr | 1.4.0 | overleving | 3.2-13 |
sys | 3.4 | tcltk | 4.1.1 | TeachingDemos | 2.10 |
testthat | 3.0.4 | tibble | 3.1.4 | tidyr | 1.1.3 |
tidyselect | 1.1.1 | tidyverse | 1.3.1 | timeDate | 3043.102 |
tinytex | 0,33 | tools | 4.1.1 | tzdb | 0.1.2 |
usethis | 2.0.1 | utf8 | 1.2.2 | utils | 4.1.1 |
uuid | 0.1-4 | vctrs | 0.3.8 | viridisLite | 0.4.0 |
Vroom | 1.5.4 | Waldo | 0.3.0 | snor | 0,4 |
withr | 2.4.2 | xfun | 0.25 | xml2 | 1.3.2 |
xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.2.1 |
ritssluiting | 2.2.0 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonaws | aws-java-sdk-config | 1.11.655 |
com.amazonaws | aws-java-sdk-core | 1.11.655 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
com.amazonaws | aws-java-sdk-directory | 1.11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
com.amazonaws | aws-java-sdk-efs | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
com.amazonaws | aws-java-sdk-emr | 1.11.655 |
com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
com.amazonaws | aws-java-sdk-glue | 1.11.655 |
com.amazonaws | aws-java-sdk-iam | 1.11.655 |
com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
com.amazonaws | aws-java-sdk-kms | 1.11.655 |
com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
com.amazonaws | aws-java-sdk-logs | 1.11.655 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacecommerceanalytics | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
com.amazonaws | aws-java-sdk-rds | 1.11.655 |
com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
com.amazonaws | aws-java-sdk-ses | 1.11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
com.amazonaws | aws-java-sdk-sns | 1.11.655 |
com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonaws | aws-java-sdk-sts | 1.11.655 |
com.amazonaws | aws-java-sdk-support | 1.11.655 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
com.amazonaws | jmespath-java | 1.11.655 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | stroom | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-gearceerd | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
com.github.ben-manes.cafeïne | cafeïne | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | kern | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1.4.8-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.crypto.tink | Tink | 1.6.0 |
com.google.flatbuffers | flatbuffers-java | 1.9.0 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 1.4.195 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.9.5 |
com.twitter | chill_2.12 | 0.9.5 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.9.4 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1,10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuratie | commons-configuratie | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.10 |
io.delta | delta-sharing-spark_2.12 | 0.1.0 |
io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.51.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | verzamelaar | 0.12.0 |
jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activering | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.5 |
log4j | apache-log4j-extra's | 1.2.17 |
log4j | log4j | 1.2.17 |
maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pyrolite | 4.30 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.3 |
net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8-1 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pijlnotatie | 2.0.0 |
org.apache.arrow | arrow-memory-core | 2.0.0 |
org.apache.arrow | arrow-memory-netty | 2.0.0 |
org.apache.arrow | pijlvector | 2.0.0 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | commons-compress | 1,20 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.10 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | commons-text | 1.6 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recepten | 2.7.1 |
org.apache.derby | Derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
org.apache.hadoop | hadoop-auth | 2.7.4 |
org.apache.hadoop | hadoop-client | 2.7.4 |
org.apache.hadoop | hadoop-common | 2.7.4 |
org.apache.hadoop | hadoop-hdfs | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | hive-cli | 2.3.7 |
org.apache.hive | hive-jdbc | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-llap-common | 2.3.7 |
org.apache.hive | hive-serde | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
org.apache.hive.shims | hive-shims-common | 2.3.7 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | klimop | 2.4.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | orc-shims | 1.5.12 |
org.apache.parquet | parket-column | 1.10.1-databricks9 |
org.apache.parquet | parquet-common | 1.10.1-databricks9 |
org.apache.parquet | parquet-codering | 1.10.1-databricks9 |
org.apache.parquet | parquet-indeling | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-vervolg | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-http | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-io | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-jndi | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-plus | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-proxy | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-security | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-server | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-servlet | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-servlets | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-util | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-util-ajax | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-webapp | 9.4.42.v20210604 |
org.eclipse.jetty | jetty-xml | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-api | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-client | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-common | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-server | 9.4.42.v20210604 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.42.v20210604 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
org.glassfish.jersey.core | jersey-client | 2.30 |
org.glassfish.jersey.core | jersey-common | 2.30 |
org.glassfish.jersey.core | jersey-server | 2.30 |
org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
org.json4s | json4s-core_2.12 | 3.7.0-M5 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.9.14 |
org.roaringbitmap | Shims | 0.9.14 |
org.rocksdb | rocksdbjni | 6.20.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.10 |
org.scala-lang | scala-library_2.12 | 2.12.10 |
org.scala-lang | scala-reflect_2.12 | 2.12.10 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | jul-to-slf4j | 1.7.30 |
org.slf4j | slf4j-api | 1.7.30 |
org.slf4j | slf4j-log4j12 | 1.7.30 |
org.spark-project.spark | ongebruikt | 1.0.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
org.typelevel | spire-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.2 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |