Delen via

Databricks Runtime 10.3 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 10.3 en Databricks Runtime 10.3 Photon, mogelijk gemaakt door Apache Spark 3.2.1. Photon bevindt zich in openbare preview. Databricks heeft deze versie uitgebracht in februari 2022.

Nieuwe functies en verbeteringen

Parquet- en Avro-schrijvers gebruiken nu de sessietijdzone bij het opnieuw baseren van tijdstempels in Parquet-gegevensbronnen

Parquet- en Avro-schrijvers gebruiken nu de sessietijdzone terwijl tijdstempel opnieuw wordt gebruikt in legacy de modus in plaats van de standaard-JVM-tijdzone te gebruiken. De sessietijdzone is standaard ingesteld op de JVM-tijdzone.

Nieuwe functies in Spark SQL

De volgende Spark SQL-functies worden nu ondersteund in deze release:

  • aes_decrypt: ontsleutelt invoer met behulp van AES.
  • aes_encrypt: versleutelt invoer met behulp van AES.
  • bevat: bepaalt of een expressie een andere expressie bevat.
  • endswith: bepaalt of een expressie eindigt op een andere expressie.
  • percentile_cont: retourneert een percentielwaarde.
  • startswith: bepaalt of een expressie begint met een andere expressie.

Samenvoegen met lage willekeurige volgorde is nu algemeen beschikbaar

De Delta-opdracht MERGE INTO maakt gebruik van een techniek met de naam lage shuffle-samenvoeging, waardoor het aantal ongewijzigde rijen wordt verminderd. Dit verbetert de prestaties van de opdracht en helpt bij het behouden van bestaande clustering in de tabel, zoals Z-volgorde. Deze functionaliteit is geïntroduceerd in Databricks Runtime 9.0 voor openbare preview en is nu algemeen beschikbaar. Als u samenvoegen met lage willekeurige volgorde wilt inschakelen, stelt u deze optie in spark.databricks.delta.merge.enableLowShuffle op true. Zie Samenvoegen met lage willekeurige volgorde in Azure Databricks.

Nieuwe FUNCTIES VAN COPY INTO: validatiemodus en schemaontwikkeling

Validatiemodus: COPY INTO ondersteunt nu een VALIDATE modus waarin de gegevens die in een tabel moeten worden geladen, worden gevalideerd, maar niet naar de tabel worden geschreven. Deze validaties zijn onder andere:

  • Of de gegevens kunnen worden geparseerd.
  • Of het schema overeenkomt met dat van de tabel of dat het schema moet worden ontwikkeld.
  • Of aan alle null-waarden en controlebeperkingen wordt voldaan.

Gebruiksvoorbeeld:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

De standaardinstelling is om alle gegevens te valideren die moeten worden geladen. U kunt een aantal rijen opgeven dat moet worden gevalideerd met het ROWS trefwoord, zoals VALIDATE 15 ROWS. De COPY INTO instructie retourneert een voorbeeld van de gegevens van 50 rijen of minder, wanneer een getal van minder dan 50 wordt gebruikt met het ROWS trefwoord).

Schemaontwikkeling: COPY INTO ondersteunt nu de ontwikkeling van schema's met de mergeSchema optie in COPY_OPTIONS. Als u het schema van een tabel wilt ontwikkelen, moet u machtigingen voor de tabel hebben OWN .

Gebruiksvoorbeeld:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Zie COPY INTO.

Identiteitskolommen worden nu ondersteund in Delta-tabellen (openbare preview)

Delta Lake ondersteunt nu identiteitskolommen. Wanneer u naar een Delta-tabel schrijft die een identiteitskolom definieert en u geen waarden voor die kolom opgeeft, wijst Delta nu automatisch een unieke en statistisch stijgende of afnemende waarde toe. Zie CREATE TABLE [USING].

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • distlib van 0.3.3 tot 0.3.4
    • filelock van 3.4.0 tot 3.4.2
    • numpy van 1.19.2 tot 1.20.1
    • plotly from 5.3.1 to 5.5.0
  • Bijgewerkte R-bibliotheken:
    • backports van 1.4.0 naar 1.4.1
    • brio van 1.1.2 tot 1.1.3
    • bezem van 0.7.10 tot 0.7.11
    • klasse van 7,3-19 tot 7,3-20
    • cpp11 van 0.4.1 tot 0.4.2
    • DBI van 1.1.1 tot 1.1.2
    • devtools van 2.4.2 tot 2.4.3
    • digest van 0.6.28 tot 0.6.29
    • dtplyr van 1.1.0 tot 1.2.0
    • fansi van 0.5.0 tot 1.0.2
    • buitenlandse van 0,8-81 tot 0,8-82
    • fs van 1.5.0 tot 1.5.2
    • gert van 1.4.3 tot 1.5.0
    • lijm van 1.5.0 tot 1.6.0
    • httpuv van 1.6.3 tot 1.6.5
    • jsonlite van 1.7.2 tot 1.7.3
    • breisel van 1,36 tot 1,37
    • MASSA van 7,3-54 tot 7,3-55
    • Matrix van 1,3-4 tot 1,4-0
    • nlme van 3.1-152 tot 3.1-155
    • nnet frm 7.3-16 tot 7.3-17
    • openssl van 1.4.5 tot 1.4.6
    • parallel van 1.29.0 tot 1.30.0
    • pkgbuild van 1.2.0 tot 1.3.1
    • pkgload van 1.2.3 tot 1.2.4
    • voortgang van 0.9.0 tot 0.10.0
    • Rcpp van 1.0.7 tot 1.0.8
    • leesbewerking van 2.1.0 tot 2.1.1
    • afstandsbedieningen van 2.4.1 tot 2.4.2
    • RSQLite van 2.2.8 tot 2.2.9
    • sessioninfo van 1.2.1 tot 1.2.2
    • sparklyr van 1.7.2 tot 1.7.4
    • testthat van 3.1.0 tot 3.1.1
    • tinytex van 0,35 tot 0,36
    • usethis from 2.1.3 to 2.1.5
    • vroom van 1.5.6 tot 1.5.7
    • metr van 2.4.2 tot 2.4.3
    • xfun van 0,28 tot 0,29
    • xml2 van 1.3.2 tot 1.3.3
  • Bijgewerkte Java-bibliotheken:
    • dev.overeenkomt.netlib.arpack van 1.3.2 tot 2.2.1
    • dev.overeenkomt.netlib.blas van 1.3.2 tot 2.2.1
    • dev.overeenkomt.netlib.lapack van 1.3.2 tot 2.2.1
    • io.delta.delta-sharing-spark_2.12 van 0.2.0 tot 0.3.0

Apache Spark

Databricks Runtime 10.3 bevat Apache Spark 3.2.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 10.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-37896] [SQL] Een ConstantColumnVector implementeren en de prestaties van de verborgen bestandsmetagegevens verbeteren
  • [SPARK-37924] [SQL] Tabeleigenschappen sorteren op sleutel in SHOW CREATE TABLE in VIEW (v1)
  • [SPARK-37636] [SQL] CREATE NAMESPACE migreren om de V2-opdracht standaard te gebruiken
  • [SPARK-37381] [SQL] Samenvoegen v1- en v2 SHOW CREATE TABLE-tests
  • [SPARK-37876] [CORE][SQL] Verplaatsen SpecificParquetRecordReaderBase.listDirectory naar TestUtils
  • [SPARK-37854] [CORE] Typecontrole vervangen door patroonkoppeling in Spark-code
  • [SPARK-36967] [CORE] Rapport nauwkeurige willekeurige blokgrootte als het scheef is
  • [SPARK-37864] [SQL] Ondersteuning voor gevectoriseerde booleaanse waarden gebruiken RLE-codering met Parquet DataPage V2
  • [SPARK-37862] [SQL] RecordBinaryComparator moet de controle van uitlijnen met niet-uitgelijnd platform snel overslaan
  • [SPARK-37855] [SQL] IllegalStateException bij het transformeren van een matrix in een geneste struct
  • [SPARK-37858] [SQL] Gooien SparkRuntimeException met foutklassen van AES-functies
  • [SPARK-37841] [SQL] BasicWriteTaskStatsTracker mag de status niet proberen op te halen voor een overgeslagen bestand
  • [SPARK-37860] [UI] Taakindex herstellen in de tijdlijn van de taak van de fasepagina
  • [SPARK-36879] [SQL] Ondersteuning voor parquet v2-gegevenspaginacodering (DELTA_BINARY_PACKED) voor het gevectoriseerde pad
  • [SPARK-37828] [SQL] Filters omlaag pushen via RebalancePartitions
  • [SPARK-37802] [SQL][3.2] De naam van het samengestelde veld moet werken met samenvoegingspush
  • [SPARK-37826] [SQL] De naam van zstd-codec gebruiken in ORC-bestandsnamen voor hive orc impl
  • [SPARK-37820] [SQL] ApacheCommonBase64 vervangen door JavaBase64 voor tekenreeks funcs
  • [SPARK-37832] [SQL] Orc-conversieprogramma moet een matrix gebruiken om veldconversieprogramma's op te zoeken in plaats van een gekoppelde lijst
  • [SPARK-37786] [SQL] StreamingQueryListener-ondersteuning gebruikt SQLConf.get om de bijbehorende SQLConf van SessionState op te halen
  • [SPARK-37527] [SQL] Meer standaard statistische functies vertalen voor pushdown
  • [SPARK-37777] [SQL] De SQL-syntaxis van SHOW FUNCTIONS bijwerken
  • [SPARK-8582] [CORE] Controlepunt wordt gretig gevraagd om dit te doen voor echt
  • [SPARK-37822] [SQL] StringSplit moet een matrix retourneren op niet-null-elementen
  • [SPARK-37812] [SQL] Wanneer u een Orc-struct deserialiseerd, gebruikt u de resultaatrij indien mogelijk
  • [SPARK-37367] [SQL] Test voor opnieuw in te zetten uitzondering in de weergave DDLParserSuite.create - basic
  • [SPARK-37796] [SQL] ByteArrayMethods arrayEquals moet de controle van uitlijnen met niet-uitgelijnd platform snel overslaan
  • [SPARK-37817] [SQL][Secundair] Onbereikbare code verwijderen in complexTypeExtractors.scala
  • [SPARK-37807] [SQL] Een typefout in httpAuthenticationException-bericht herstellen
  • [SPARK-37750] [SQL] ANSI-modus: optioneel null-resultaat retourneren als het element niet bestaat in matrix/kaart
  • [SPARK-37789] [SQL] Een klasse toevoegen om algemene statistische functies in DS V2 weer te geven
  • [SPARK-37785] [SQL][CORE] Utils.isInRunningSparkTask toevoegen
  • [SPARK-37780] [SQL] QueryExecutionListener-ondersteuning gebruikt SQLConf.get om de bijbehorende SQLConf van SessionState op te halen
  • [SPARK-37783] [SS][SQL][CORE] Tail-recursion waar mogelijk inschakelen
  • [SPARK-37726] [SQL] Metrische gegevens overloopgrootte toevoegen voor samenvoeging sorteren
  • [SPARK-37800] [SQL] TreeNode.argString maakt argumenten van het type Set[_] onjuist op
  • [SPARK-37716] [SQL] Foutberichten verbeteren wanneer een LateralJoin niet-deterministische expressies heeft
  • [SPARK-37779] [SQL] ColumnarToRowExec-plan canonicalizable maken na (de)serialisatie
  • [SPARK-37578] [SQL] Metrische gegevens voor taken bijwerken vanuit aangepaste metrische gegevens van ds v2
  • [SPARK-37676] [SQL] AnSI-aggregatiefunctie ondersteunen: percentile_cont
  • [SPARK-37724] [SQL] ANSI-modus: standaard gereserveerde ANSI-trefwoorden uitschakelen
  • [SPARK-37705] [SQL][3.2] Tijdstempels van rebase in de sessietijdzone die is opgeslagen in Parquet/Avro-metagegevens
  • [SPARK-34755] [SQL] Ondersteuning voor de hulpmiddelen voor het transformeren van getalnotaties
  • [SPARK-36703] [SQL] Verwijder de sortering als dit het onderliggende element van RepartitionByExpression is
  • [SPARK-37369] [SQL] Vermijd redundante ColumnarToRow-overgang in InMemoryTableScan
  • [SPARK-37450] [SQL] Overbodige velden uit Genereren verwijderen
  • [SPARK-37728] [SQL] Het lezen van geneste kolommen met ORC-vectorlezer kan matrixIndexOutOfBoundsException veroorzaken
  • [SPARK-37564] [SQL] Code-gen toevoegen voor het sorteren van aggregaties zonder sleutels te groeperen
  • [SPARK-37659] [UI][3.2] Repareer de racevoorwaarde FsHistoryProvider tussen lijst en logboekgegevens verwijderen
  • [SPARK-37727] [SQL] Genegeerde confs weergeven en waarschuwingen verbergen voor conf die al zijn ingesteld in SparkSession.builder.getOrCreate
  • [SPARK-37391] [SQL]JdbcConnectionProvider geeft aan of de beveiligingscontext wordt gewijzigd
  • [SPARK-37273] [SQL] Ondersteuning voor kolommen met verborgen bestandsmetagegevens in Spark SQL
  • [SPARK-36876] [SQL] Dynamische partities verwijderen voor HiveTableScanExec ondersteunen
  • [SPARK-37546] [SQL] V2 ReplaceTableAsSelect-opdracht moet de locatie kwalificeren
  • [SPARK-37545] [SQL] V2 CreateTableAsSelect-opdracht moet de locatie kwalificeren
  • [SPARK-37707] [SQL] Opslagtoewijzing en impliciete cast toestaan tussen datum/tijd-typen
  • [SPARK-37644] [SQL] Ondersteuning voor volledige pushdown van datasource v2
  • [SPARK-37695] [CORE][SHUFFLE] Diagnose ob samengevoegde blokken van push-gebaseerde shuffle overslaan
  • [SPARK-35295] [ML] Vervang volledig com.github.fommil.netlib door dev.sql.netlib:2.0
  • [SPARK-37694] [SQL] Resources verwijderen in Spark SQL CLI niet weigeren
  • [SPARK-37330] [SQL] De opdracht ReplaceTableStatement migreren naar v2
  • [SPARK-27974] [SQL] AnSI-statistische functie ondersteunen: array_agg
  • [SPARK-36902] [SQL] CreateTableAsSelectStatement migreren naar v2-opdracht
  • [SPARK-37678] [PYTHON] _cleanup_and_return handtekening herstellen
  • [SPARK-37613] [SQL] AnSI-statistische functie ondersteunen: regr_count
  • [SPARK-37689] [SQL] Uitvouwen moet worden ondersteund in PropagateEmptyRelation
  • [SPARK-37654] [SQL] NPE in Row.getSeq herstellen wanneer het veld Null is
  • [SPARK-37496] [SQL] De opdracht ReplaceTableAsSelectStatement migreren naar v2
  • [SPARK-37483] [SQL] Ondersteuning voor push down top N naar JDBC-gegevensbron V2
  • [SPARK-37577] [SQL] Fix ClassCastException: ArrayType kan niet worden gecast naar StructType voor het genereren van pruning
  • [SPARK-37310] [SQL] ALTER NAMESPACE migreren... EIGENSCHAPPEN INSTELLEN om standaard V2-opdracht te gebruiken
  • [SPARK-37501] [SQL] CREATE/REPLACE TABLE moet in aanmerking komen voor de v2-opdracht
  • [SPARK-37343] [SQL] CreateIndex, IndexExists en dropIndex implementeren in JDBC (Postgres dialect)
  • [SPARK-37060] [CORE][3.2] Antwoord van stuurprogrammastatus van back-upmodellen verwerken
  • [SPARK-37629] [SQL] Speed up Expression.canonicalized
  • [SPARK-37633] [SQL] Cast uitpakken moet overslaan als downcast is mislukt met een...
  • [SPARK-37631] [SQL] Code opschonen bij het promoveren van tekenreeksen naar dubbeltype in wiskundige functies
  • [SPARK-37569] [SQL] Geneste weergavevelden niet als null markeren
  • [SPARK-37557] [SQL] Object-hash vervangen door sorteeraggregaties als onderliggend object al is gesorteerd
  • [SPARK-36850] [SQL] CreateTableStatement migreren naar v2-opdrachtframework
  • [SPARK-37592] [SQL] Prestaties van JoinSelection
  • [SPARK-37217] [SQL] Het aantal dynamische partities moet vroeg controleren bij het schrijven naar externe tabellen
  • [SPARK-37584] [SQL] Nieuwe SQL-functie: map_contains_key
  • [SPARK-37455] [SQL] Hash vervangen door statistische sortering als onderliggend element al is gesorteerd
  • [SPARK-34735] [SQL][UI] Gewijzigde configuraties toevoegen voor SQL-uitvoering in de gebruikersinterface
  • [SPARK-37540] [SQL] Meer niet-ondersteunde tijdreizen detecteren
  • [SPARK-37376] [SQL] Introduceer een nieuwe DataSource V2-interface HasPartitionKey
  • [SPARK-37666] [SQL] Instellen GCM als de standaardmodus in aes_encrypt()/aes_decrypt()
  • [SPARK-37573] [SQL] IsolatedClientLoader moet terugvallen op gerelateerde versie, niet altijd hadoop-2.7.4
  • [SPARK-37561] [SQL] Vermijd het laden van alle functies bij het verkrijgen van hive's DelegationToken
  • [SPARK-37370] [SQL] SQL-configuraties toevoegen om zojuist toegevoegde join-code-gen in 3.3 te beheren
  • [SPARK-37311] [SQL] ALTER NAMESPACE migreren... SET LOCATION to use V2 command by default
  • [SPARK-37192] [SQL] SHOW TBLPROPERTIES migreren om de V2-opdracht standaard te gebruiken
  • [SPARK-37219] [SQL] Ondersteuning voor AS OF syntaxis toevoegen
  • [SPARK-37316] [SQL] Code-gen toevoegen voor bestaan sorteren samenvoegen samenvoegen
  • [SPARK-37591] [SQL] De GCM-modus ondersteunen door aes_encrypt()/aes_decrypt()
  • [SPARK-37586] [SQL] Voeg de mode en padding argumenten toe aan aes_encrypt()/aes_decrypt()
  • [SPARK-12567] [SQL] Ingebouwde functies aes_encrypt en aes_decrypt toevoegen
  • [SPARK-37392] [SQL] De prestatiefout oplossen bij het uitstellen van beperkingen voor Genereren
  • [SPARK-37481] [Core][WebUI] Verdwijning van overgeslagen fasen herstellen nadat ze het opnieuw hebben geprobeerd
  • [SPARK-37533] [SQL] Nieuwe SQL-functie: try_element_at
  • [SPARK-37451] [SQL] Cast-tekenreekstype herstellen naar het decimale type als spark.sql.legacy.allowNegativeScaleOfDecimal is ingeschakeld
  • [SPARK-37062] [SS] Een nieuwe gegevensbron introduceren voor het bieden van een consistente set rijen per microbatch
  • [SPARK-37552] [SQL] De convert_timezone() functie toevoegen
  • [SPARK-37555] [SQL] spark-sql moet de laatste niet-afgesloten opmerking doorgeven aan de back-end
  • [SPARK-37286] [SQL] CompileAggregates verplaatsen van JDBCRDD naar JdbcDialect
  • [SPARK-37485] [CORE][SQL] Vervangen map door expressies die geen resultaat opleveren door foreach
  • [SPARK-37556] [SQL] Deser void-klasse mislukt met Java-serialisatie
  • [SPARK-37520] [SQL] De startswith() functies en endswith() tekenreeksen toevoegen
  • [SPARK-37471] [SQL] spark-sql-ondersteuning ; in geneste opmerking tussen haakjes
  • [SPARK-37360] [SQL] Ondersteuning voor TimestampNTZ in JSON-gegevensbron
  • [SPARK-37508] [SQL] De tekenreeksfunctie CONTAINS() toevoegen
  • [SPARK-37494] [SQL] Uitvoer van SHOW CREATE TABLE de opdracht samenvoegen v1- en v2-opties
  • [SPARK-37524] [SQL] Na het testen van dynamische partities moeten we alle tabellen verwijderen.
  • [SPARK-37389] [SQL] Niet-gesloten opmerkingen controleren
  • [SPARK-37220] [SQL] Invoerbestand voor Parquet-lezer niet splitsen met geaggregeerde push-down
  • [SPARK-37326] [SQL] Ondersteuning voor TimestampNTZ in CSV-gegevensbron
  • [SPARK-35867] [SQL] Vectorized read inschakelen voor VectorizedPlainValuesReader.readBooleans
  • [SPARK-37484] [CORE][SQL] Vervangen get en getOrElse vervangen door getOrElse
  • [SPARK-37492] [SQL] Orc-testcode optimaliseren metAllNativeOrcReaders
  • [SPARK-37458] [SS] Verwijder onnodig SerializeFromObject uit het plan van foreachBatch

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 10.3.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.3 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.2
  • Delta Lake: 1.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleken 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffiffi 1.14.5
chardet 4.0.0 wielrijder 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorateur 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23opgegeven1 invoerpunten 0,3
facets-overview 1.0.0 filelock 3.4.2 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koala's 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.3.0 numpy 1.20.1
verpakking 20.9 Pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Kussen 8.2.0 pit 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.6 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 Zes 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 vasthoudendheid 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 upgrades zonder toezicht 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wiel 0.36.2 widgetsnbextension 3.5.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-01-19.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 opstarten 1.3-28
brouwsel 1.0-6 Brio 1.1.3 bezem 0.7.11
bslib 0.3.1 cachem 1.0.6 beller 3.7.0
caret 6.0-90 cellranger 1.1.0 Chron 2.3-56
class 7.3-20 cli 3.1.0 clipr 0.7.1
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-2
commonmark 1,7 compiler 4.1.2 configuratie 0.3.1
cpp11 0.4.2 Crayon 1.4.2 aanmeldingsgegevens 1.3.2
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 Desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 verteren 0.6.29
dplyr 1.0.7 dtplyr 1.2.0 e1071 1.7-9
beletselteken 0.3.2 evaluate 0,14 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.1 buitenlands 0.8-82
smeden 0.2.0 Fs 1.5.2 toekomst 1.23.0
future.apply 1.8.1 gorgelen 1.2.0 Generics 0.1.1
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
lijm 1.6.0 googledrive 2.0.0 googlesheets4 1.0.0
Gower 0.2.2 afbeeldingen 4.1.2 grDevices 4.1.2
rooster 4.1.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 haven 2.4.3 highr 0,9
Hms 1.1.1 htmltools 0.5.2 htmlwidgets 1.5.4
httpuv 1.6.5 httr 1.4.2 hwriter 1.3.2
hwriterPlus 1.0-3 ids 1.0.1 ini 0.3.1
ipred 0.9-12 isoband 0.2.5 Iterators 1.0.13
jquerylib 0.1.4 jsonlite 1.7.3 KernSmooth 2.23-20
breiwerk 1,37 Labeling 0.4.2 later 1.3.0
latwerk 0.20-45 lava 1.6.10 levenscyclus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.1
Markdown 1.1 MASSA 7.3-55 Matrix 1.4-0
memoise 2.0.1 methoden 4.1.2 mgcv 1.8-38
Mime 0,12 ModelMetrics 1.2.2.2 modeller 0.1.8
munsell 0.5.0 nlme 3.1-155 nnet 7.3-17
numDeriv 2016.8-1.1 openssl 1.4.6 parallel 4.1.2
parallel 1.30.0 pilaar 1.6.4 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgload 1.2.4 plogr 0.2.0
plyr 1.8.6 loven 1.0.0 prettyunits 1.1.1
Proc 1.18.0 processx 3.5.2 prodlim 2019.11.13
Voortgang 1.2.2 progressr 0.10.0 Beloften 1.2.0.1
Proto 1.0.0 proxy 0.4-26 ps 1.6.0
purrr 0.3.4 r2d3 0.2.5 R6 2.5.1
randomForest 4.6-14 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-2 Rcpp 1.0.8 RcppEigen 0.3.3.9.1
leesbewerking 2.1.1 readxl 1.3.1 recepten 0.1.17
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.1 hervorm2 1.4.4 rlang 0.4.12
rmarkdown 2,11 RODBC 1.3-19 roxygen2 7.1.2
rpart 4.1-15 rprojroot 2.0.2 Rserve 1.8-10
RSQLite 2.2.9 rstudioapi 0,13 rversions 2.1.1
rvest 1.0.2 Sass 0.4.0 weegschaal 1.1.1
selectr 0.4-2 sessioninfo 1.2.2 vorm 1.4.6
glanzend 1.7.1 sourcetools 0.1.7 sparklyr 1.7.4
SparkR 3.2.0 ruimtelijk 7.3-11 Splines 4.1.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.1.2
stats4 4.1.2 stringi 1.7.6 stringr 1.4.0
overleving 3.2-13 sys 3.4 tcltk 4.1.2
TeachingDemos 2.10 testthat 3.1.1 tibble 3.1.6
tidyr 1.1.4 tidyselect 1.1.1 tidyverse 1.3.1
timeDate 3043.102 tinytex 0.36 tools 4.1.2
tzdb 0.2.0 usethis 2.1.5 utf8 1.2.2
utils 4.1.2 uuid 1.0-3 vctrs 0.3.8
viridisLite 0.4.0 Vroom 1.5.7 Waldo 0.3.1
snor 0,4 withr 2.4.3 xfun 0,29
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1 ritssluiting 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.3.0
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pijlvector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-codering 1.12.0-databricks-0003
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-vervolg 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1