Databricks Runtime 10.2 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.2 en Databricks Runtime 10.2 Photon, mogelijk gemaakt door Apache Spark 3.2.0. Databricks heeft deze versie uitgebracht in december 2021. Photon bevindt zich in openbare preview.
Nieuwe functies en verbeteringen
- Bestanden gebruiken in opslagplaatsen met Spark Streaming
- Databricks Utilities voegt een opdracht voor het koppelen van updates toe
- Delta Lake ondersteunt het wijzigen van de naam van kolommen (openbare preview)
- Delta Lake-tabelgeschiedenis voegt databricks Runtime-versiegegevens toe
- Databricks Utilities voegt informatie over de meest recente wijzigingstijd toe wanneer mappen worden vermeld
-
Spark SQL voegt een
approx_top_kfunctie toe om de belangrijkste items en het aantal items te retourneren - Trigger.AvailableNow nu beschikbaar in Python en Scala
- Auto Loader ondersteunt nu schema-evolutie voor Avro (Openbare Preview)
Bestanden gebruiken in opslagplaatsen met Spark Streaming
U hebt nu toegang tot bestanden in opslagplaatsen vanuit Spark Streaming.
Databricks Utilities voegt een opdracht voor het koppelen van updates toe
De nieuwe dbutils.fs.updateMount opdracht is vergelijkbaar met dbutils.fs.mount, maar met deze nieuwe opdracht wordt een bestaand koppelpunt bijgewerkt in plaats van een nieuw koppelpunt te maken. Zie de opdracht updateMount (dbutils.fs.updateMount).
Delta Lake biedt ondersteuning voor het wijzigen van de naam van kolommen (openbare preview)
Delta Lake biedt nu ondersteuning voor het wijzigen van kolomnamen. Als u de naam van de kolom van een Delta-tabel wilt wijzigen, moet u de versie van de Delta-tabel bijwerken en vervolgens de kolomtoewijzingsmodus instellen op naamtoewijzing. Zie Kolommen hernoemen en verwijderen met Delta Lake-kolomtoewijzing.
Delta Lake-tabelgeschiedenis voegt versiegegevens van Databricks Runtime toe
Wanneer er nu een schrijfbewerking wordt uitgevoerd naar een Delta-tabel, wordt ook informatie over de Databricks Runtime-versie vastgelegd die de schrijfbewerking heeft gemaakt. Als u de versiegegevens wilt ophalen, voert u de opdracht DESCRIBE HISTORY uit in de tabel en ziet u vervolgens de kolom engineInfo in de uitvoer. Zie DESCRIBE HISTORY en Werken met de tabelgeschiedenis van Delta Lake.
Databricks Utilities voegt informatie over de meest recente wijzigingstijd toe wanneer mappen worden vermeld
Met dbutils.fs.ls de opdracht voor het weergeven van de inhoud van een map wordt nu een modificationTime veld uitgevoerd. Dit veld bevat de meest recente wijzigingstijd voor elk vermeld bestand of elke map. Zie de opdracht ls (dbutils.fs.ls).
Spark SQL voegt een approx_top_k functie toe om de belangrijkste items en het aantal items te retourneren
De nieuwe approx_top_k-functie retourneert de meest voorkomende itemwaarden, samen met hun geschatte tellingen, voor de opgegeven expressie. Enkele voorbeelden:
df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')
display(df)
import pyspark.sql.functions as F
df = spark.createDataFrame([
(0,), (1,), (1,), (2,), (2,), (2,)
]).select(F.expr('approx_top_k(_1, 10)'))
display(df)
Het resultaat van het uitvoeren van een van beide voorbeelden is:
[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]
Zie approx_top_k statistische functie.
Trigger.AvailableNow nu beschikbaar in Python en Scala
Deze wijziging ondersteunt de Delta-bronstreamingquery's Trigger.AvailableNow in Python en Scala. Databricks Runtime 10.1 heeft ondersteuning voor deze trigger geïntroduceerd in Scala. Databricks Runtime 10.2 biedt nu ook ondersteuning voor deze trigger in Python. Zie de dekking in Trigger.AvailableNowWhat is Auto Loader?
Auto Loader ondersteunt nu de ontwikkeling van schema's voor Avro (openbare preview)
Zie Schemadeductie en evolutie configureren in AutoLoader.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- filelock van 3.3.1 tot 3.4.0
- plotly from 5.3.0 to 5.3.1
- Bijgewerkte R-bibliotheken:
- basis van 4.1.1 tot 4.1.2
- compiler van 4.1.1 tot 4.1.2
- gegevenssets van 4.1.1 tot 4.1.2
- afbeeldingen van 4.1.1 tot 4.1.2
- grDevices van 4.1.1 tot 4.1.2
- raster van 4.1.1 tot 4.1.2
- methoden van 4.1.1 tot 4.1.2
- parallel van 4.1.1 tot 4.1.2
- Rserve van 1,8-8 tot 1,8-10
- splines van 4.1.1 tot 4.1.2
- statistieken van 4.1.1 tot 4.1.2
- stats4 van 4.1.1 tot 4.1.2
- tcltk van 4.1.1 tot 4.1.2
- hulpprogramma's van 4.1.1 tot 4.1.2
- hulpmiddelen van 4.1.1 tot 4.1.2
- backports van 1.2.1 tot 1.4.0
- bezem van 0.7.9 tot 0.7.10
- cli van 3.0.1 tot 3.1.0
- cpp11 van 0.4.0 tot 0.4.1
- krijt van 1.4.1 tot 1.4.2
- referenties van 1.3.1 tot en met 1.3.2
- toekomst van 1.22.1 tot 1.23.0
- gert van 1.4.1 tot 1.4.3
- glmnet van 4.1-2 tot 4.1-3
- lijm van 1.4.2 tot 1.5.0
- memoise van 2.0.0 tot 2.0.1
- parallel van 1.28.1 tot 1.29.0
- leesbewerking van 2.0.2 tot 2.1.0
- sessioninfo van 1.1.1 tot 1.2.1
- stringi van 1.7.5 tot 1.7.6
- tibble van 3.1.5 tot 3.1.6
- tinytex van 0,34 tot 0,35
- tzdb van 0.1.2 tot 0.2.0
- usethis from 2.1.2 to 2.1.3
- uuid van 0,1-4 tot 1,0-3
- vroom van 1.5.5 tot 1.5.6
- xfun van 0,27 tot 0,28
- Bijgewerkte Java-bibliotheken:
- com.fasterxml.jackson van 2.12.2 tot 2.12.3
- io.airlift.aircompressor van 0.19 tot 0.21
- io.netty.netty-all van 4.1.63.Final tot 4.1.68.Final
- joda-time.joda-time van 2.10.5 tot 2.10.10
- org.apache.commons.commons-compress van 1.20 tot 1.21
- org.apache.orc van 1.6.10 tot 1.6.12
- org.eclipse.jetty van 9.4.40.v20210413 tot 9.4.43.v20210629
- org.scalanlp.breeze-macros_2.12 van 1.0 tot 1.2
- org.scalanlp.breeze_2.12 van 1.0 tot 1.2
- org.org.typelevel.algebra_2.12 van 2.0.0 tot 2.0.1
- org.typelevel.cats-kernel_2.12 van 2.0.0 tot 2.0.1
Apache Spark
Databricks Runtime 10.2 bevat Apache Spark 3.2.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 10.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-37447] [SQL] Cache LogicalPlan.isStreaming() resulteert in een luie val
- [SPARK-37468] [SQL] ANSI-intervallen en tijdstempelNTZ voor UnionEstimation ondersteunen
- [SPARK-37464] [SQL] SCHEMA en DATABASE moeten alleen aliassen van NAAMRUIMTE zijn
- [SPARK-37452] [SQL] Teken en Varchar breken achterwaartse compatibiliteit tussen v3.1 en v2
-
[SPARK-36861] [SQL] Gebruik
yyyy-MM-ddals datumpatroon in partitiedetectie - [SPARK-37456] [SQL] CREATE NAMESPACE moet de locatie kwalificeren voor het v2-commando
- [SPARK-37357] [SQL] Kleine partitiefactor toevoegen voor het opnieuw verdelen van partities
- [SPARK-37446] [SQL] Gebruik reflectie voor getWithoutRegisterFns om verschillende Hive-versies toe te staan voor het bouwen
- [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION moet een lege locatie consistent verwerken in v1- en v2-opdracht
- [SPARK-36357] [SQL] Ondersteuning voor pushdowntijdstempel zonder tijdzone voor orc
- [SPARK-36346] [SQL] Ondersteuning voor het type TimestampNTZ in de Orc-bestandsbron
- [SPARK-36646] [SQL] Groep omlaag pushen op partitiekolom voor aggregaties
- [SPARK-34960] [SQL] Aggregaat omlaag voor ORC
- [SPARK-37386] [SQL] Vereenvoudig OptimizeSkewedJoin om de kosten evaluator niet uit te voeren
- [SPARK-36073] [SQL] EquivalentExpressions fixes en verbeteringen
- [SPARK-35352] [SQL] Code-gen toevoegen voor volledige outer sort merge join
- [SPARK-37292] [SQL] Verwijdert outer join als het alleen DISTINCT heeft aan de gestreamde zijde met alias
- [SPARK-37371] [SQL] UnionExec moet kolomar ondersteunen als alle onderliggende kolommen ondersteunen
- [SPARK-36645] [SQL] Aggregaat (min/max/aantal) push omlaag voor Parquet
- [SPARK-37379] [SQL] Structuurpatroon verwijderen toevoegen aan CTESubstitutieregel
-
[SPARK-37332] [SQL] ANSI-intervallen toestaan in
ALTER TABLE .. ADD COLUMNS - [SPARK-37224] [SS] Schrijfpad optimaliseren op de provider van de RocksDB-toestandsopslag
-
[SPARK-37304] [SQL] ANSI-intervallen in v2 toestaan
ALTER TABLE .. REPLACE COLUMNS - [SPARK-36924] [SQL] CAST tussen ANSI-intervallen en IntegralType
-
[SPARK-37289] [SQL]
partitionSchemaOption-functie verwijderen - [SPARK-37270] [SQL] Push vouwbaar in CaseWhen-vertakkingen herstellen als elseValue leeg is
- [SPARK-35345] [SQL] Parquet-tests toevoegen aan BloomFilterBenchmark
- [SPARK-37341] [SQL] Vermijd onnodige buffer en kopieer deze in volledige outer sort merge join
- [SPARK-37266] [SQL] Weergavetekst kan alleen worden SELECT query's
- [SPARK-37288] [PYTHON][3.2] Backport sinds de update van annotaties
- [SPARK-37262] [SQL] Leg geen lege statistische gegevens vast en groepeer niet op in JDBCScan
- [SPARK-37283] [SQL] Probeer geen V1-tabel op te slaan met ANSI-intervallen in hive-compatibele indeling
- [SPARK-37221] [SQL] De collect-achtige API in SparkPlan moet ondersteuning bieden voor kolomuitvoer
- [SPARK-37202] [SQL] AnalysisContext gebruiken om verwezen tijdelijke functies bij te houden
- [SPARK-37023] [CORE] Voorkom dat de samenvoegstatus wordt opgehaald wanneer shuffleMergeEnabled onwaar is voor een shuffleDependency tijdens het opnieuw proberen
- [SPARK-37307] [CORE] Geen JDBC-verbinding verkrijgen voor lege partities
- [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions ondersteunt het optimaliseren van niet-hoofdknooppunten
- [SPARK-36799] [SQL] Geef de naam van queryExecution door in CLI
- [SPARK-37261] [SQL] Partities met ANSI-intervallen in DSv2 toestaan
- [SPARK-37203] [SQL] NotSerializableException corrigeren wanneer u observeert met TypedImperativeAggregate
- [SPARK-37199] [SQL] Deterministisch veld toevoegen aan QueryPlan
-
[SPARK-37253] [PYTHON]
try_simplify_tracebackmag niet mislukken wanneertb_frame.f_linenogeen is - [SPARK-37214] [SQL] Mislukte queryanalyse eerder met ongeldige id's
-
[SPARK-37240] [SQL] ANSI-intervallen verwerken op
ColumnVectorUtils.populate() - [SPARK-35437] [SQL] Expressies gebruiken om Hive-partities aan clientzijde te filteren
- [SPARK-32940] [SQL] Verzamelen, eerste en laatste moeten deterministische statistische functies zijn
- [SPARK-37231] [SQL] Dynamische schrijf-/leesbewerkingen van ANSI-intervalpartities
- [SPARK-37038] [SQL] DSV2-voorbeeldpush omlaag
- [SPARK-36665] [SQL] Meer vereenvoudigingen van not-operatoren toevoegen
- [SPARK-37150] [SQL] DESCRIBE NAMESPACE migreren om standaard V2-opdracht te gebruiken
- [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale heeft null geretourneerd
- [SPARK-37212] [SQL] Verbeter de implementatie van geaggregeerde pushdown.
- [SPARK-37190] [SQL] Foutberichten voor Cast verbeteren onder ANSI-modus
- [SPARK-37161] [SQL] RowToColumnConverter ondersteunt AnsiIntervalType
- [SPARK-37160] [SQL] Een configuratie toevoegen om opvulling optioneel uit te schakelen voor het type teken
- [SPARK-36554] [SQL][PYTHON] De expressie make_date beschikbaar maken in functions.scala
- [SPARK-37200] [SQL] Ondersteuning voor drop index voor gegevensbron V2
- [SPARK-37179] [SQL] ANSI-modus: Een configuratie toevoegen om cast-conversie toe te staan tussen Datum/tijd en Numeriek
- [SPARK-37168] [SQL] Foutberichten voor SQL-functies en -operators verbeteren in de ANSI-modus
- [SPARK-36935] [SQL] ParquetSchemaConverter uitbreiden naar het herhalingsniveau van Parquet en definitieniveau berekenen
- [SPARK-37066] [SQL] Foutbericht verbeteren om bestandspad weer te geven wanneer het volgende bestand niet kan worden gelezen
- [SPARK-32567] [SQL] Voeg code-generatie toe voor een volledige geshuffelde outer hash-join
- [SPARK-37176] [SQL] Synchroniseer de uitzonderingslogica van de JsonInferSchema#infer-methode met de JacksonParser#parse-methode
- [SPARK-37149] [SQL] Foutberichten verbeteren voor uitzonderingen voor rekenkundige overloop onder de ANSI-modus
- [SPARK-37136] [SQL] Code over hive buildin-functie verwijderen, maar niet implementeren in Spark
- [SPARK-16280][SPARK-37082] [SQL] Implementeert histogram_numeric aggregatiefunctie die gedeeltelijke aggregatie ondersteunt.
- [SPARK-36975] [SQL] De metrische gegevens van de Hive-clientaanroepen corrigeren in HiveClientImpl
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 10.2.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.3 LTS
- Java: Zulu 8.58.0.13-CA-linux64
- Scala: 2.12.14
- Python: 3.8.10
- R: 4.1.2
- Delta Lake: 1.1.0
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | argon2-cffi | 20.1.0 |
| async-generator | 1,10 | attrs | 20.3.0 | backcall | 0.2.0 |
| bidict | 0.21.4 | bleken | 3.3.0 | boto3 | 1.16.7 |
| botocore | 1.19.7 | certifi | 2020.12.5 | cffiffi | 1.14.5 |
| chardet | 4.0.0 | wielrijder | 0.10.0 | Cython | 0.29.23 |
| dbus-python | 1.2.16 | decorateur | 5.0.6 | defusedxml | 0.7.1 |
| distlib | 0.3.3 | distro-info | 0.23opgegeven1 | invoerpunten | 0,3 |
| facets-overview | 1.0.0 | filelock | 3.4.0 | idna | 2.10 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | jedi | 0.17.2 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.0.1 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | kiwisolver | 1.3.1 | koala's | 1.8.2 |
| MarkupSafe | 2.0.1 | matplotlib | 3.4.2 | mistune | 0.8.4 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | notebook | 6.3.0 | numpy | 1.19.2 |
| verpakking | 20.9 | Pandas | 1.2.4 | pandocfilters | 1.4.3 |
| parso | 0.7.0 | Patsy | 0.5.1 | pexpect | 4.8.0 |
| pickleshare | 0.7.5 | Kussen | 8.2.0 | pit | 21.0.1 |
| plotly | 5.3.1 | prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 |
| protobuf | 3.17.2 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pycparser | 2,20 | Pygments | 2.8.1 |
| PyGObject | 3.36.0 | pyparsing | 2.4.7 | pyrsistent | 0.17.3 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
| requests | 2.25.1 | requests-unixsocket | 0.2.0 | s3transfer | 0.3.7 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | Zes | 1.15.0 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | vasthoudendheid | 8.0.1 |
| terminado | 0.9.4 | testpath | 0.4.4 | threadpoolctl | 2.1.0 |
| tornado | 6.1 | traitlets | 5.0.5 | upgrades zonder toezicht | 0,1 |
| urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | wiel | 0.36.2 | widgetsnbextension | 3.5.1 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-11-30.
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.0 |
| base | 4.1.2 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.2 | opstarten | 1.3-28 |
| brouwsel | 1.0-6 | Brio | 1.1.2 | bezem | 0.7.10 |
| bslib | 0.3.1 | cachem | 1.0.6 | beller | 3.7.0 |
| caret | 6.0-90 | cellranger | 1.1.0 | Chron | 2.3-56 |
| class | 7.3-19 | cli | 3.1.0 | clipr | 0.7.1 |
| cluster | 2.1.2 | codetools | 0.2-18 | colorspace | 2.0-2 |
| commonmark | 1,7 | compiler | 4.1.2 | configuratie | 0.3.1 |
| cpp11 | 0.4.1 | Crayon | 1.4.2 | geloofsbrief | 1.3.2 |
| curl | 4.3.2 | Data-tabel | 1.14.2 | gegevenssets | 4.1.2 |
| DBI | 1.1.1 | dbplyr | 2.1.1 | Desc | 1.4.0 |
| devtools | 2.4.2 | diffobj | 0.3.5 | verteren | 0.6.28 |
| dplyr | 1.0.7 | dtplyr | 1.1.0 | e1071 | 1.7-9 |
| beletselteken | 0.3.2 | evaluate | 0,14 | fansi | 0.5.0 |
| farver | 2.1.0 | fastmap | 1.1.0 | fontawesome | 0.2.2 |
| forcats | 0.5.1 | foreach | 1.5.1 | buitenlands | 0.8-81 |
| smeden | 0.2.0 | Fs | 1.5.0 | toekomst | 1.23.0 |
| future.apply | 1.8.1 | gorgelen | 1.2.0 | Generics | 0.1.1 |
| Gert | 1.4.3 | ggplot2 | 3.3.5 | Gh | 1.3.0 |
| gitcreds | 0.1.1 | glmnet | 4.1-3 | globals | 0.14.0 |
| lijm | 1.5.0 | googledrive | 2.0.0 | googlesheets4 | 1.0.0 |
| Gower | 0.2.2 | afbeeldingen | 4.1.2 | grDevices | 4.1.2 |
| rooster | 4.1.2 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | haven | 2.4.3 | highr | 0,9 |
| Hms | 1.1.1 | htmltools | 0.5.2 | htmlwidgets | 1.5.4 |
| httpuv | 1.6.3 | httr | 1.4.2 | hwriter | 1.3.2 |
| hwriterPlus | 1.0-3 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-12 | isoband | 0.2.5 | Iterators | 1.0.13 |
| jquerylib | 0.1.4 | jsonlite | 1.7.2 | KernSmooth | 2.23-20 |
| breiwerk | 1.36 | Labeling | 0.4.2 | later | 1.3.0 |
| latwerk | 0.20-45 | lava | 1.6.10 | levenscyclus | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.1 |
| Markdown | 1.1 | MASSA | 7.3-54 | Matrix | 1.3-4 |
| memoise | 2.0.1 | methoden | 4.1.2 | mgcv | 1.8-38 |
| Mime | 0,12 | ModelMetrics | 1.2.2.2 | modeller | 0.1.8 |
| munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
| numDeriv | 2016.8-1.1 | openssl | 1.4.5 | parallel | 4.1.2 |
| parallel | 1.29.0 | pilaar | 1.6.4 | pkgbuild | 1.2.0 |
| pkgconfig | 2.0.3 | pkgload | 1.2.3 | plogr | 0.2.0 |
| plyr | 1.8.6 | loven | 1.0.0 | prettyunits | 1.1.1 |
| Proc | 1.18.0 | processx | 3.5.2 | prodlim | 2019.11.13 |
| Voortgang | 1.2.2 | progressr | 0.9.0 | Beloften | 1.2.0.1 |
| Proto | 1.0.0 | proxy | 0.4-26 | ps | 1.6.0 |
| purrr | 0.3.4 | r2d3 | 0.2.5 | R6 | 2.5.1 |
| randomForest | 4.6-14 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.7 | RcppEigen | 0.3.3.9.1 |
| leesbewerking | 2.1.0 | readxl | 1.3.1 | recepten | 0.1.17 |
| Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.4.1 |
| reprex | 2.0.1 | hervorm2 | 1.4.4 | rlang | 0.4.12 |
| rmarkdown | 2,11 | RODBC | 1.3-19 | roxygen2 | 7.1.2 |
| rpart | 4.1-15 | rprojroot | 2.0.2 | Rserve | 1.8-10 |
| RSQLite | 2.2.8 | rstudioapi | 0,13 | rversions | 2.1.1 |
| rvest | 1.0.2 | Sass | 0.4.0 | weegschaal | 1.1.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.1 | vorm | 1.4.6 |
| glanzend | 1.7.1 | sourcetools | 0.1.7 | sparklyr | 1.7.2 |
| SparkR | 3.2.0 | ruimtelijk | 7.3-11 | Splines | 4.1.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | Stats | 4.1.2 |
| stats4 | 4.1.2 | stringi | 1.7.6 | stringr | 1.4.0 |
| overleving | 3.2-13 | sys | 3.4 | tcltk | 4.1.2 |
| TeachingDemos | 2.10 | testthat | 3.1.0 | tibble | 3.1.6 |
| tidyr | 1.1.4 | tidyselect | 1.1.1 | tidyverse | 1.3.1 |
| timeDate | 3043.102 | tinytex | 0,35 | tools | 4.1.2 |
| tzdb | 0.2.0 | usethis | 2.1.3 | utf8 | 1.2.2 |
| utils | 4.1.2 | uuid | 1.0-3 | vctrs | 0.3.8 |
| viridisLite | 0.4.0 | Vroom | 1.5.6 | Waldo | 0.3.1 |
| snor | 0,4 | withr | 2.4.2 | xfun | 0,28 |
| xml2 | 1.3.2 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.2.1 | ritssluiting | 2.2.0 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
| com.amazonaws | aws-java-sdk-config | 1.11.655 |
| com.amazonaws | aws-java-sdk-core | 1.11.655 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
| com.amazonaws | aws-java-sdk-directory | 1.11.655 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
| com.amazonaws | aws-java-sdk-efs | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
| com.amazonaws | aws-java-sdk-emr | 1.11.655 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
| com.amazonaws | aws-java-sdk-glue | 1.11.655 |
| com.amazonaws | aws-java-sdk-iam | 1.11.655 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
| com.amazonaws | aws-java-sdk-kms | 1.11.655 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
| com.amazonaws | aws-java-sdk-logs | 1.11.655 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
| com.amazonaws | aws-java-sdk-rds | 1.11.655 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
| com.amazonaws | aws-java-sdk-ses | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
| com.amazonaws | aws-java-sdk-sns | 1.11.655 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
| com.amazonaws | aws-java-sdk-sts | 1.11.655 |
| com.amazonaws | aws-java-sdk-support | 1.11.655 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
| com.amazonaws | jmespath-java | 1.11.655 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | stroom | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasgenoot | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.12.3 |
| com.fasterxml.jackson.core | jackson-core | 2.12.3 |
| com.fasterxml.jackson.core | jackson-databind | 2.12.3 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.12.3 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.12.3 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.12.3 |
| com.github.ben-manes.cafeïne | cafeïne | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.0-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | Tink | 1.6.0 |
| com.google.flatbuffers | flatbuffers-java | 1.9.0 |
| com.google.guava | guave | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 1.4.195 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.istack | istack-commons-runtime | 3.0.8 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.8.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| dev.netje.netlib | arpack | 1.3.2 |
| dev.netje.netlib | Blas | 1.3.2 |
| dev.netje.netlib | lapack | 1.3.2 |
| hive-2.3__hadoop-3.2 | jets3t-0.7 | liball_deps_2.12 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.2.0 |
| io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
| io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | metrics-servlets | 4.1.1 |
| io.netty | netty-all | 4.1.68.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | verzamelaar | 0.12.0 |
| jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activering | 1.1.1 |
| javax.annotatie | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.10 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-2.3__hadoop-3.2 | liball_deps_2.12 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pyrolite | 4.30 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.3 |
| net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | tekenreekstemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 2.0.0 |
| org.apache.arrow | arrow-memory-core | 2.0.0 |
| org.apache.arrow | arrow-memory-netty | 2.0.0 |
| org.apache.arrow | pijlvector | 2.0.0 |
| org.apache.avro | avro | 1.10.2 |
| org.apache.avro | avro-ipc | 1.10.2 |
| org.apache.avro | avro-mapred | 1.10.2 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.commons | commons-text | 1.6 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recepten | 2.13.0 |
| org.apache.derby | Derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-api | 3.3.1-databricks |
| org.apache.hadoop | hadoop-client-runtime | 3.3.1 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.htrace | htrace-core4 | 4.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.12 |
| org.apache.ivy | klimop | 2.5.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.6.12 |
| org.apache.orc | orc-mapreduce | 1.6.12 |
| org.apache.orc | orc-shims | 1.6.12 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-codering | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-format-structuren | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0003 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0003 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-gearceerd | 4.20 |
| org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
| org.apache.zookeeper | zookeeper | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-vervolg | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-http | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-io | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-jndi | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-plus | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-proxy | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-security | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-server | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlet | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-servlets | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-webapp | 9.4.43.v20210629 |
| org.eclipse.jetty | jetty-xml | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.43.v20210629 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.43.v20210629 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jaxb | jaxb-runtime | 2.3.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.34 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.34 |
| org.glassfish.jersey.core | jersey-client | 2.34 |
| org.glassfish.jersey.core | jersey-common | 2.34 |
| org.glassfish.jersey.core | jersey-server | 2.34 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.34 |
| org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | Aantekeningen | 17.0.0 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.7.1 |
| org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.2.19 |
| org.roaringbitmap | RoaringBitmap | 0.9.14 |
| org.roaringbitmap | Shims | 0.9.14 |
| org.rocksdb | rocksdbjni | 6.20.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.30 |
| org.slf4j | jul-to-slf4j | 1.7.30 |
| org.slf4j | slf4j-api | 1.7.30 |
| org.slf4j | slf4j-log4j12 | 1.7.30 |
| org.spark-project.spark | ongebruikt | 1.0.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | katten-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1,24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |