Databricks Runtime 9.0 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 9.0 en Databricks Runtime 9.0 Photon, mogelijk gemaakt door Apache Spark 3.1.2. Databricks heeft deze versie uitgebracht in augustus 2021. Photon bevindt zich in openbare preview.
Correctie
Een eerdere versie van deze releaseopmerkingen heeft ten onrechte aangegeven dat Apache Parquet-afhankelijkheden zijn bijgewerkt van 1.10 naar 1.12. Parquet-afhankelijkheden blijven in versie 1.10. De onjuiste releasenotitie is verwijderd.
Nieuwe functies en verbeteringen
- Nieuwe API voor overzichtsstatistieken van gegevenssets (openbare preview)
- Eenvoudigere configuratie van externe gegevensbronnen voor de Azure Synapse-connector
- De sessie desgewenst beperken tot een opgegeven duur voor de Amazon Redshift-connector
- Automatisch laden
- SQL
- R-ondersteuning
- Vermijd opnieuw door de initiële status op te geven voor stateful verwerking van structured streaming
- Een implementatie met weinig willekeurige volgorde van de opdracht Delta MERGE INTO is nu beschikbaar (openbare preview)
Nieuwe API voor overzichtsstatistieken van gegevenssets (openbare preview)
Met de nieuwe dbutils.data.summarize
opdracht in Databricks Utilities kunt u een Spark-taak starten waarmee automatisch samenvattingsstatistieken worden berekend op de kolommen van een Spark DataFrame en vervolgens de resultaten interactief worden weergegeven. Deze functie is beschikbaar in Scala en Python. Zie het gegevenshulpprogramma (dbutils.data).
Eenvoudigere configuratie van externe gegevensbronnen voor de Azure Synapse-connector
Met de nieuwe externalDataSource
optie in de querygegevens in de Azure Synapse Analytics-connector kunt u een vooraf ingerichte externe gegevensbron gebruiken om te lezen uit een Azure Synapse-database. Met externalDataSource
de optie wordt de noodzaak voor de CONTROL
eerder vereiste machtiging verwijderd.
Bij het instellen externalDataSource
moeten de externe gegevensbron en de optie voor het tempDir
configureren van tijdelijke opslag verwijzen naar dezelfde container in het opslagaccount.
De sessie desgewenst beperken tot een opgegeven duur voor de Amazon Redshift-connector
Met de nieuwe fs.s3a.assumed.role.session.duration
optie in de Query Amazon Redshift met behulp van de Azure Databricks-connector kunt u desgewenst een duur voor de sessie instellen wanneer Redshift toegang heeft tot de tijdelijke S3-bucket met een aangenomen rol.
Automatisch laden
- Geoptimaliseerde bestandsvermelding
- Geoptimaliseerde opslag van afbeeldingsgegevens
- Miniaturen van afbeeldingen voor binaire bestanden (openbare preview)
-
DirectoryRename
gebeurtenissen maken atomische verwerking van meerdere bestanden mogelijk
Geoptimaliseerde bestandsvermelding
Automatische loaderoptimalisaties bieden prestatieverbeteringen en kostenbesparingen bij het weergeven van geneste mappen in cloudopslag, waaronder AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) en Google Cloud Storage (GCS).
Als u bijvoorbeeld bestanden hebt geüpload als /some/path/YYYY/MM/DD/HH/fileName
, om alle bestanden in deze mappen te vinden, deed Auto Loader eerst een parallelle opsomming van alle submappen, wat leidde tot 365 (per dag) * 24 (per uur) = 8760 LIST API-directoryaanroepen naar de onderliggende opslag per jaardirectory. Door een plat antwoord van deze opslagsystemen te ontvangen, vermindert Auto Loader het aantal API-aanroepen naar het aantal bestanden in het opslagsysteem, gedeeld door het aantal resultaten dat door elke API-aanroep wordt geretourneerd (1000 voor S3, 5000 voor ADLS Gen2 en 1024 voor GCS), waardoor de cloudkosten aanzienlijk worden verminderd.
Geoptimaliseerde opslag van afbeeldingsgegevens
Auto Loader kan nu automatisch afbeeldingsgegevens detecteren die worden opgenomen en geoptimaliseerd voor de opslag in Delta-tabellen om de lees- en schrijfprestaties te verbeteren. Zie Afbeeldings- of binaire gegevens opnemen in Delta Lake voor ML.
Miniaturen van afbeeldingen voor binaire bestanden (openbare preview)
Afbeeldingen in binaryFile
de indeling die zijn geladen of opgeslagen als Delta-tabellen met autolader, bevatten aantekeningen, zodat de miniatuurweergaven van afbeeldingen worden weergegeven wanneer u de tabel weergeeft in een Azure Databricks-notebook. Zie Afbeeldingen voor meer informatie.
DirectoryRename
gebeurtenissen maken atomische verwerking van meerdere bestanden mogelijk
Auto Loader-streams die zijn gemaakt in Databricks Runtime 9.0 en hoger in Azure Data Lake Storage Gen2, stellen meldingen voor bestandsgebeurtenissen in om mapnamen op te nemen en naar gebeurtenissen te RenameDirectory
luisteren. U kunt mapnamen gebruiken om meerdere bestanden atomisch te laten verschijnen in Auto Loader.
SQL
-
Kolommen uitsluiten in
SELECT *
(openbare preview) - Scalaire SQL-functies (openbare preview)
-
Verwijzing naar voorgaande aliassen en kolommen in
FROM
subquery's (openbare preview)
Kolommen uitsluiten in SELECT *
(openbare preview)
SELECT *
ondersteunt nu een EXCEPT
trefwoord, waarmee u opgegeven kolommen op het hoogste niveau kunt uitsluiten van de uitbreiding. Bijvoorbeeld: SELECT * EXCEPT (b) FROM tbl
van een tabel met schema (a, b, c)
wordt uitgebreid naar (a, c)
.
Scalaire SQL-functies (openbare preview)
CREATE FUNCTION
ondersteunt nu scalaire SQL-functies. U kunt scalaire functies maken die een set argumenten gebruiken en één scalaire waarde retourneren. De hoofdtekst van de SQL-functie kan elke expressie zijn. Voorbeeld:
CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);
Zie CREATE FUNCTION (SQL en Python)voor meer informatie.
Verwijzing naar voorgaande aliassen en kolommen in FROM
subquery's (openbare preview)
Subquery's in de FROM
component van een query kunnen nu worden voorafgegaan door het LATERAL
trefwoord waarmee ze kunnen verwijzen naar aliassen en kolommen in de voorgaande FROM
items. Voorbeeld:
SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)
Het LATERAL
trefwoord ondersteunt INNER
, CROSS
en LEFT (OUTER) JOIN
.
Zie Parameters en parameters.
R-ondersteuning
R-bibliotheken met notebookbereik (openbare preview)
Met notebook-scoped bibliotheken kunt u bibliotheken installeren en een omgeving maken die is gericht op een notebooksessie. Deze bibliotheken zijn niet van invloed op andere notebooks die op hetzelfde cluster worden uitgevoerd. De bibliotheken zijn beschikbaar op zowel stuurprogramma- als werkknooppunten, zodat u ernaar kunt verwijzen in door de gebruiker gedefinieerde functies. Zie R-bibliotheken met notebookbereik.
Waarschuwingsberichten in R-notebooks
De standaardwaarde van de warn
optie is nu ingesteld op 1 in R-notebooks. Als gevolg hiervan worden alle waarschuwingen nu weergegeven als onderdeel van het opdrachtresultaat. Zie warn
voor meer informatie over de optie.
Vermijd opnieuw door de initiële status op te geven voor stateful verwerking van structured streaming
U kunt nu een door de gebruiker gedefinieerde initiële status opgeven voor gestructureerde streaming stateful verwerking met behulp van [flat]MapGroupsWithState
een operator.
Zie De beginstatus opgeven voor mapGroupsWithState.
Een low-shuffle-implementatie van de Delta MERGE INTO-opdracht is nu beschikbaar (Openbare Preview).
De Delta-opdracht MERGE INTO
heeft een nieuwe implementatie die het aantal ongewijzigde rijen vermindert. Dit verbetert de prestaties van de opdracht en helpt bij het behouden van bestaande clustering in de tabel, zoals Z-volgorde. Als u samenvoegen met lage willekeurige volgorde wilt inschakelen, stelt u deze optie in spark.databricks.delta.merge.enableLowShuffle
op true
. Zie Samenvoegen met lage willekeurige volgorde in Azure Databricks.
Bugfixes
- U kunt een weergave niet meer overschrijven door een weergave met dezelfde naam te maken.
Bibliotheekupgrades
- Bijgewerkte Python-bibliotheken:
- certifi van 2021.5.30 tot 2020.12.5
- chardet van 3.0.4 tot 4.0.0
- Cython van 0.29.21 tot 0.29.23
- decorator van 4.4.2 tot 5.0.6
- ipython van 7.19.0 tot 7.22.0
- joblib van 0.17.0 tot 1.0.1
- jupyter-client van 6.1.7 tot 6.1.12
- jupyter-core van 4.6.3 tot 4.7.1
- kiwisolver van 1.3.0 tot 1.3.1
- matplotlib van 3.2.2 tot 3.4.2
- pandas van 1.1.5 tot 1.2.4
- pip van 20.2.4 tot 21.0.1
- prompt-toolkit van 3.0.8 tot 3.0.17
- protobuf van 3.17.3 tot 3.17.2
- ptyproces van 0.6.0 tot 0.7.0
- pyarrow van 1.0.1 tot 4.0.0
- Pygments van 2.7.2 tot 2.8.1
- pyzmq van 19.0.2 tot 20.0.0
- aanvragen van 2.24.0 tot 2.25.1
- s3transfer van 0.3.6 tot 0.3.7
- scikit-learn van 0.23.2 tot 0.24.1
- scipy van 1.5.2 tot 1.6.2
- seaborn van 0.10.0 tot 0.11.1
- setuptools van 50.3.1 tot 52.0.0
- statsmodels van 0.12.0 tot 0.12.2
- tornado van 6.0.4 tot 6.1
- virtualenv van 20.2.1 tot 20.4.1
- wiel van 0.35.1 tot 0.36.2
- Bijgewerkte R-bibliotheken:
- Matrix van 1,3-3 tot 1,3-4
Apache Spark
Databricks Runtime 9.0 bevat Apache Spark 3.1.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 8.4 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-35886] [SQL][3.1] PromotePrecision mag genCodePromotePrecision niet overschrijven
- [SPARK-35879] [CORE][SHUFFLE] Prestatieregressie oplossen die wordt veroorzaakt door collectFetchRequests
- [SPARK-35817] [SQL][3.1] Prestaties van query's herstellen voor brede Avro-tabellen
- [SPARK-35841] [SQL] Het casten van tekenreeks naar het decimale type werkt niet als de...
- [SPARK-35783] [SQL] De lijst met leeskolommen in de taakconfiguratie instellen om het lezen van ORC-gegevens te verminderen
- [SPARK-35576] [SQL][3.1] De gevoelige informatie opnieuw instellen in het resultaat van de opdracht Instellen
- [SPARK-35449] [SQL][3.1] Alleen algemene expressies extraheren uit CaseWhen-waarden als elseValue is ingesteld
- [SPARK-35288] [SQL] StaticInvoke moet de methode vinden zonder exacte argumentklassen
- [SPARK-34794] [SQL] Problemen met de naam van lambda-variabelen in geneste DataFrame-functies oplossen
- [SPARK-35278] [SQL] Aanroepen moeten de methode met het juiste aantal parameters vinden
- [SPARK-35226] [SQL] Ondersteuning voor de optie refreshKrb5Config in JDBC-gegevensbronnen
- [SPARK-35244] [SQL] Aanroepen moet de oorspronkelijke uitzondering genereren
- [SPARK-35213] [SQL] Behoud de juiste volgorde van geneste structs in gekoppelde withField-bewerkingen
- [SPARK-35087] [UI] Sommige kolommen in de samengevoegde metrische gegevens van de tabel per uitvoerder van de fasedetailpagina worden onjuist weergegeven.
- [SPARK-35168] [SQL] mapred.reduce.tasks should be shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
- [SPARK-35127] [UI] Wanneer we schakelen tussen verschillende fasedetailpagina's, is het item op de zojuist geopende pagina mogelijk leeg
-
[SPARK-35142] [PYTHON][ML] Onjuist retourtype herstellen voor
rawPredictionUDF
inOneVsRestModel
- [SPARK-35096] [SQL] SchemaPruning moet voldoen aan spark.sql.caseSensitive config
- [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias mag niet UnresolvedAlias maken
- [SPARK-35080] [SQL] Alleen een subset van gecorreleerde gelijkheidspredicaten toestaan wanneer een subquery wordt samengevoegd
- [SPARK-35117] [UI] Voortgangsbalk weer wijzigen om de verhouding van taken in uitvoering te markeren
- [SPARK-35136] De initiële null-waarde van LiveStage.info verwijderen
- [SPARK-34834] [NETWERK] Een potentieel Netty-geheugenlek in TransportResponseHandler oplossen
- [SPARK-35045] [SQL] Een interne optie toevoegen om de invoerbuffer in onvoorzichtigheid te beheren
- [SPARK-35014] Het PhysicalAggregation-patroon herstellen om vouwbare expressies niet opnieuw te schrijven
- [SPARK-35019] [PYTHON][SQL] Typehints niet overeenkomen in pyspark.sql.*
- [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() moet de partitiewaarde null respecteren
- [SPARK-34630] [PYTHON] Voeg typehint toe voor pyspark.Versie
- [SPARK-34963] [SQL] Geneste kolomsnoeien opgelost voor het extraheren van hoofdlettergevoelig structveld uit matrix van struct
- [SPARK-34988] [CORE][3.1] Upgrade Jetty voor CVE-2021-28165
- [SPARK-34922] [SQL][3.1] Gebruik een relatieve kostenvergelijkingsfunctie in de CBO
- [SPARK-34970] [SQL][BEVEILIGING][3.1] Kaarttypeopties opnieuw uitvoeren in de uitvoer van explain()
- [SPARK-34923] [SQL] Uitvoer van metagegevens moet leeg zijn voor meer plannen
- [SPARK-34949] [CORE] Voorkomen dat BlockManager opnieuw wordt geregistreerd wanneer de uitvoerder wordt afgesloten
- [SPARK-34939] [CORE] Foutuitzondering voor ophalen genereren wanneer broadcast-toewijzingsstatussen niet kunnen worden gedeserialiseerd
- [SPARK-34909] [SQL] Conversie van negatief naar niet-ondertekend in conv() corrigeren
- [SPARK-34845] [CORE] ProcfsMetricsGetter mag geen gedeeltelijke metrische procfs-gegevens retourneren
- [SPARK-34814] [SQL] LikeSimplification moet NULL verwerken
- [SPARK-34876] [SQL] Fill defaultResult of non-nullable aggregates
- [SPARK-34829] [SQL] Resultaten van functie in hogere volgorde herstellen
- [SPARK-34840] [SHUFFLE] Corrigeert gevallen van beschadiging in samengevoegde willekeurige volgorde...
- [SPARK-34833] [SQL] Juiste opvulling toepassen voor gecorreleerde subquery's
- [SPARK-34630] [PYTHON][SQL] Typehint toegevoegd voor pyspark.sql.Column.contains
- [SPARK-34763] [SQL] col(), $"name" en df("name") moeten kolomnamen tussen aanhalingangen correct verwerken
- [SPARK-33482][SPARK-34756] [SQL] Bestandsscan-gelijkheidscontrole herstellen
- [SPARK-34790] [CORE] Het ophalen van willekeurige blokken in batch uitschakelen wanneer Io-versleuteling is ingeschakeld
- [SPARK-34803] [PYSPARK] Geef de verhoogde ImportError door als pandas of duizendblad niet kan worden geïmporteerd
- [SPARK-34225] [CORE] Codeer verder niet wanneer een URI-formuliertekenreeks wordt doorgegeven aan addFile of addJar
- [SPARK-34811] [CORE] Redact fs.s3a.access.key like secret and token
- [SPARK-34796] [SQL][3.1] Initialiseer de tellervariabele voor LIMIT code-gen in doProduce()
- [SPARK-34128] [SQL] Ongewenste TTransportException-waarschuwingen onderdrukken die betrokken zijn bij THRIFT-4805
- [SPARK-34776] [SQL] Geneste kolomsnoeien mag geen gegenereerde kenmerken van het venster verwijderen
- [SPARK-34087] [3.1][SQL] Geheugenlek van ExecutionListenerBus oplossen
- [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords moet Spark classloader gebruiken in plaats van context
- [SPARK-34719] [SQL][3.1] De weergavequery correct oplossen met dubbele kolomnamen
- [SPARK-34766] [SQL][3.1] Maven-configuratie niet vastleggen voor weergaven
- [SPARK-34731] [CORE] Vermijd ConcurrentModificationException bij het redacteren van eigenschappen in EventLoggingListener
-
[SPARK-34737] [SQL][3.1] Cast input float to double in
TIMESTAMP_SECONDS
- [SPARK-34749] [SQL][3.1] Vereenvoudig ResolveCreateNamedStruct
- [SPARK-34768] [SQL] Respecteer de standaardgrootte van de invoerbuffer in Univocity
- [SPARK-34770] [SQL] InMemoryCatalog.tableExists mag niet mislukken als de database niet bestaat
- [SPARK-34504] [SQL] Voorkom onnodige oplossing van tijdelijke SQL-weergaven voor DDL-opdrachten
- [SPARK-34727] [SQL] Discrepantie in cast-float naar tijdstempel herstellen
- [SPARK-34723] [SQL] Het juiste parametertype voor subexpressie-afschaffing in de hele fase
- [SPARK-34724] [SQL] Geïnterpreteerde evaluatie herstellen met behulp van getMethod in plaats van getDeclaredMethod
- [SPARK-34713] [SQL] Groep herstellen op CreateStruct met ExtractValue
- [SPARK-34697] [SQL] Toestaan dat DESCRIBE FUNCTION en SHOW FUNCTIONS uitleg geven over || (operator voor tekenreekssamenvoeging)
- [SPARK-34682] [SQL] PrivateMethodTester gebruiken in plaats van weerspiegeling
- [SPARK-34682] [SQL] Regressie in canonicalisatiefoutcontrole in CustomShuffleReaderExec oplossen
- [SPARK-34681] [SQL] Fout opgelost voor volledige outer shuffled hash join bij het bouwen aan de linkerkant met een niet-gelijke voorwaarde
- [SPARK-34545] [SQL] Problemen met de functie valueCompare van pyrolite oplossen
-
[SPARK-34607] [SQL][3.1] Toevoegen
Utils.isMemberClass
om een fout met een onjuiste klassenaam op jdk8u op te lossen - [SPARK-34596] [SQL] Gebruik Utils.getSimpleName om te voorkomen dat er een ongeldige klassenaam wordt bereikt in NewInstance.doGenCode
- [SPARK-34613] [SQL] Oplossingsweergave legt de configuratie van hints niet vast
- [SPARK-32924] [WEBUI] De kolom Duur in de hoofdgebruikersinterface sorteren in de juiste volgorde
- [SPARK-34482] [SS] De actieve SparkSession voor StreamExecution.logicalPlan corrigeren
- [SPARK-34567] [SQL] CreateTableAsSelect moet ook metrische gegevens bijwerken
- [SPARK-34599] [SQL] Los het probleem op dat INSERT INTO OVERWRITE geen ondersteuning biedt voor partitiekolommen met punt voor DSv2
-
[SPARK-34577] [SQL] Neerzetten/kolommen toevoegen aan een gegevensset van
DESCRIBE NAMESPACE
- [SPARK-34584] [SQL] Statische partitie moet ook StoreAssignmentPolicy volgen bij invoegen in v2-tabellen
- [SPARK-34555] [SQL] Metagegevensuitvoer van DataFrame oplossen
- [SPARK-34534] BlockIds-volgorde herstellen bij gebruik van FetchShuffleBlocks om blokken op te halen
- [SPARK-34547] [SQL] Gebruik alleen metagegevenskolommen voor resolutie als laatste redmiddel
- [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap mislukt voor kolomnaam met een punt
-
[SPARK-34561] [SQL] Verwijderen/kolommen toevoegen van/naar een gegevensset van v2 herstellen
DESCRIBE TABLE
- [SPARK-34556] [SQL] Het controleren van dubbele statische partitiekolommen moet rekening hebben met hoofdlettergevoelige conf
- [SPARK-34392] [SQL] Ondersteuning voor ZoneOffset +h:mm in DateTimeUtils. getZoneId
- [SPARK-34550] [SQL] InSet null-waarde overslaan tijdens pushfilter naar Hive-metastore
-
[SPARK-34543] [SQL] Respecteer de configuratie tijdens het
spark.sql.caseSensitive
oplossen van partitiespecificaties in v1SET LOCATION
- [SPARK-34436] [SQL] DPP ondersteunt LIKE ANY/ALL-expressie
- [SPARK-34531] [CORE] Experimentele API-tag verwijderen in PrometheusServlet
- [SPARK-34497] [SQL] Ingebouwde JDBC-verbindingsproviders herstellen om wijzigingen in de JVM-beveiligingscontext te herstellen
- [SPARK-34515] [SQL] NPE herstellen als InSet null-waarde bevat tijdens getPartitionsByFilter
- [SPARK-34490] [SQL] Analyse mislukt als de weergave verwijst naar een verwijderde tabel
- [SPARK-34473] [SQL] NPE vermijden in DataFrameReader.schema(StructType)
- [SPARK-34384] [CORE] Ontbrekende documenten toevoegen voor ResourceProfile-API's
- [SPARK-34373] [SQL] HiveThriftServer2 startWithContext kan vastlopen met een raceprobleem
- [SPARK-20977] [CORE] Een niet-definitief veld gebruiken voor de status van CollectionAccumulator
- [SPARK-34421] [SQL] Tijdelijke functies en weergaven in weergaven met CTE's oplossen
-
[SPARK-34431] [CORE] Slechts eenmaal laden
hive-site.xml
- [SPARK-34405] [CORE] Gemiddelde waarde van timersLabels in de klasse PrometheusServlet herstellen
-
[SPARK-33438] [SQL] Gretig init-objecten met gedefinieerde SQL Confs voor opdracht
set -v
- [SPARK-34158] Onjuiste URL van de enige ontwikkelaar Matei in pom.xml
- [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size ingesteld door spark.buffer.size wordt overschreven door het laden van hive-site.xml per ongeluk perf regressie kan veroorzaken
- [SPARK-34359] [SQL][3.1] Een verouderde configuratie toevoegen om het uitvoerschema van SHOW DATABASES te herstellen
- [SPARK-34331] [SQL] Snelheid van DS v2-metagegevens colresolutie
- [SPARK-34318] [SQL][3.1] Dataset.colRegex moet werken met kolomnamen en kwalificaties die nieuwe regels bevatten
- [SPARK-34326] [CORE][SQL] Oplossing voor UT's die zijn toegevoegd in SPARK-31793, afhankelijk van de lengte van het tijdelijke pad
- [SPARK-34319] [SQL] Dubbele kenmerken voor FlatMapCoGroupsInPandas/MapInPandas oplossen
- [SPARK-34310] [CORE][SQL] Hiermee vervangt u de kaart en platgemaakt door flatMap
- [SPARK-34083] [SQL][3.1] Het gebruik van oorspronkelijke TPCDS-definities voor char/varchar-colums
- [SPARK-34233] [SQL][3.1] FIX NPE voor tekenopvulling in binaire vergelijking
- [SPARK-34270] [SS] StateStoreMetrics combineren mag StateStoreCustomMetric niet overschrijven
- [SPARK-34144] [SQL] Er is een uitzondering opgetreden bij het schrijven van LocalDate- en Instant-waarden naar een JDBC-relatie
- [SPARK-34273] [CORE] BlockManager niet opnieuw registreren wanneer SparkContext is gestopt
-
[SPARK-34262] [SQL][3.1] Gegevens in cache vernieuwen van v1-tabel in
ALTER TABLE .. SET LOCATION
- [SPARK-34275] [CORE][SQL][MLLIB] Vervangt het filter en de grootte door het aantal
- [SPARK-34260] [SQL] UnresolvedException opgelost bij het tweemaal maken van de tijdelijke weergave
- [SPARK-33867] [SQL] Instant- en LocalDate-waarden worden niet verwerkt bij het genereren van SQL-query's
- [SPARK-34193] [CORE] TorrentBroadcast block manager buiten bedrijf stellen race fix
- [SPARK-34221] [WEBUI] Controleer of een fase mislukt op de gebruikersinterfacepagina, het bijbehorende foutbericht correct kan worden weergegeven
- [SPARK-34236] [SQL] V2 Overschrijven herstellen met statische null-partitie verhogen Kan expressie niet vertalen naar bronfilter: null
- [SPARK-34212] [SQL] Onjuiste decimale leesing van Parquet-bestanden herstellen
- [SPARK-34244] [SQL] De scala-functieversie van regexp_extract_all verwijderen
- [SPARK-34235] [SS] Maak spark.sql.hive als een privépakket
- [SPARK-34232] [CORE] Redact SparkListenerEnvironmentUpdate-gebeurtenis in logboek
- [SPARK-34229] [SQL] Avro moet decimale waarden lezen met het bestandsschema
- [SPARK-34223] [SQL] FIX NPE voor statische partitie met null in InsertIntoHadoopFsRelationCommand
- [SPARK-34192] [SQL] Tekenopvulling naar schrijfzijde verplaatsen en lengtecontrole aan leeszijde verwijderen
-
[SPARK-34203] [SQL] Partitiewaarden converteren
null
naar__HIVE_DEFAULT_PARTITION__
in v1-catalogusIn-Memory
- [SPARK-33726] [SQL] Oplossing voor dubbele veldnamen tijdens aggregatie
- [SPARK-34133] [AVRO] Respecteer hoofdlettergevoeligheid bij het uitvoeren van catalyst-naar-Avro-veldkoppeling
- [SPARK-34187] [SS] Het beschikbare offsetbereik gebruiken dat is verkregen tijdens polling bij het controleren van de offsetvalidatie
- [SPARK-34052] [SQL][3.1] slaat SQL-tekst op voor een tijdelijke weergave die is gemaakt metCACHE TABLE .. AS SELECT ..."
-
[SPARK-34213] [SQL] Gegevens in cache vernieuwen van v1-tabel in
LOAD DATA
- [SPARK-34191] [PYTHON][SQL] Typen toevoegen voor overbelasting van udf
- [SPARK-34200] [SQL] Dubbelzinnige kolomreferenties moeten rekening houden met de beschikbaarheid van kenmerken
- [SPARK-33813] [SQL][3.1] Los het probleem op dat de ruimtelijke typen van MS SQL Server niet kunnen worden behandeld door de JDBC-bron
- [SPARK-34178] [SQL] Tags kopiëren voor het nieuwe knooppunt dat is gemaakt door MultiInstanceRelation.newInstance
- [SPARK-34005] [CORE][3.1] Metrische gegevens over piekgeheugen bijwerken voor elke uitvoerder aan het taakeinde
- [SPARK-34115] [CORE] Controleer SPARK_TESTING als luie val om vertraging te voorkomen
-
[SPARK-34153] [SQL][3.1][3.0] Verwijder ongebruikt
getRawTable()
uitHiveExternalCatalog.alterPartitions()
- [SPARK-34130] [SQL] Impove preformace voor char varchar padding en lengte controle met StaticInvoke
-
[SPARK-34027] [SQL][3.1] Cache vernieuwen in
ALTER TABLE .. RECOVER PARTITIONS
-
[SPARK-34151] [SQL]
java.io.File.toURL
Vervangt doorjava.io.File.toURI.toURL
- [SPARK-34140] [SQL][3.1] Verplaats QueryCompilationErrors.scala naar org/apache/spark/sql/errors
- [SPARK-34080] [ML][PYTHON] UnivariateFeatureSelector toevoegen
- [SPARK-33790] [CORE][3.1] Verminder de rpc-aanroep van getFileStatus in SingleFileEventLogFileReader
- [SPARK-34118] [CORE][SQL][3.1] Vervangt het filter en controleert op leegheid met of voorall
- [SPARK-34114] [SQL] mag niet rechts knippen voor tekenlengtecontrole en opvulling aan de leeszijde
- [SPARK-34086] [SQL][3.1] RaiseError genereert te veel code en kan codegen in lengtecontrole voor teken varchar mislukt
- [SPARK-34075] [SQL][CORE] Verborgen mappen worden vermeld voor partitiedeductie
- [SPARK-34076] [SQL] SQLContext.dropTempTable mislukt als de cache niet leeg is
-
[SPARK-34084] [SQL][3.1] Automatisch bijwerken van tabelstatistieken in oplossen
ALTER TABLE .. ADD PARTITION
- [SPARK-34090] [SS] Cache HadoopDelegationTokenManager.isServiceEnabled result used in KafkaTokenUtil.needTokenUpdate
- [SPARK-34069] [CORE] Kill barrier tasks should respect SPARK_JOB_INTERRUPT_ON_CANCEL
- [SPARK-34091] [SQL] Batch ophalen in willekeurige volgorde moet kunnen worden uitgeschakeld nadat deze is ingeschakeld
- [SPARK-34059] [SQL][CORE][3.1] Gebruik voor/foreach in plaats van kaart om ervoor te zorgen dat deze gretig wordt uitgevoerd
- [SPARK-34002] [SQL] Het gebruik van encoders in ScalaUDF herstellen
-
[SPARK-34060] [SQL][3.1] Hive-tabelcache herstellen tijdens het bijwerken van statistieken door
ALTER TABLE .. DROP PARTITION
- [SPARK-31952] [SQL] Corrigeer onjuiste metrische gegevens overloop van geheugen bij het uitvoeren van aggregaties
-
[SPARK-33591] [SQL][3.1] Herkennen
null
in partitiespecificatiewaarden -
[SPARK-34055] [SQL][3.1] Cache vernieuwen in
ALTER TABLE .. ADD PARTITION
- [SPARK-34039] [SQL][3.1] ReplaceTable moet cache ongeldig maken
- [SPARK-34003] [SQL] Regelconflicten tussen PaddingAndLengthCheckForCharVarchar en ResolveAggregateFunctions oplossen
- [SPARK-33938] [SQL][3.1] Optimize Like Any/All by LikeSimplification
- [SPARK-34021] [R] Hyperkoppelingen in SparkR-documentatie herstellen voor CRAN-indiening
-
[SPARK-34011] [SQL][3.1][3.0] Cache vernieuwen in
ALTER TABLE .. RENAME TO PARTITION
- [SPARK-33948] [SQL] CodeGen-fout van de methode MapObjects.doGenCode opgelost in Scala 2.13
- [SPARK-33635] [SS] De volgorde van het inchecken in KafkaTokenUtil.needTokenUpdate aanpassen om regressie perf te verhelpen
- [SPARK-33029] [CORE][WEBUI] De ui-uitvoerderspagina onjuist markeren als uitgesloten
- [SPARK-34015] [R] Invoertijd herstellen in gapply
-
[SPARK-34012] [SQL] Gedrag consistent houden wanneer conf
spark.sql.legacy.parser.havingWithoutGroupByAsWhere
waar is met migratiehandleiding - [SPARK-33844] [SQL][3.1] InsertIntoHiveDir-opdracht moet ook de naam van de kolom controleren
- [SPARK-33935] [SQL] CBO-kostenfunctie herstellen
- [SPARK-33100] [SQL] Een puntkomma negeren in een opmerking tussen haakjes in spark-sql
- [SPARK-34000] [CORE] Fix stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
- [SPARK-33992] [SQL] transformUpWithNewOutput overschrijven om allowInvokingTransformsInAnalyzer toe te voegen
- [SPARK-33894] [SQL] Zichtbaarheid van privé-caseklassen in mllib wijzigen om compilatiefouten met Scala 2.13 te voorkomen
-
[SPARK-33950] [SQL][3.1][3.0] Cache vernieuwen in v1
ALTER TABLE .. DROP PARTITION
- [SPARK-33980] [SS] Ongeldig teken/varchar in spark.readStream.schema
- [SPARK-33945] [SQL][3.1] Verwerkt een willekeurig zaad dat bestaat uit een exprboom
- [SPARK-33398] Problemen met het laden van structuurmodellen vóór Spark 3.0 oplossen
-
[SPARK-33963] [SQL] Canonicalize
HiveTableRelation
w/o table stats - [SPARK-33906] [WEBUI] De fout opgelost van de ui-uitvoerderspagina die is vastgelopen vanwege niet-gedefinieerde peakMemoryMetrics
- [SPARK-33944] [SQL] Onjuiste logboekregistratie voor magazijnsleutels in SharedState-opties
- [SPARK-33936] [SQL][3.1] Voeg de versie toe wanneer de interfaces van de connector zijn toegevoegd
- [SPARK-33916] [CORE] Terugvalopslagverschil herstellen en de dekking van de compressiecodec testen verbeteren
-
[SPARK-33899] [SQL][3.1] Bevestigingsfout in v1 SHOW TABLES/VIEWS op
spark_catalog
oplossen - [SPARK-33901] [SQL] Teken- en Varchar-weergavefout na DDLs oplossen
- [SPARK-33897] [SQL] Kan optie cross niet instellen in joinmethode
- [SPARK-33907] [SQL][3.1] Alleen snoeikolommen van JsonToStructs als parseringsopties leeg zijn
- [SPARK-33621][SPARK-33784] [SQL][3.1] Een manier toevoegen om regels voor het herschrijven van gegevensbronnen toe te voegen
- [SPARK-33900] [WEBUI] De leesgrootte/records in willekeurige volgorde weergeven wanneer alleen remotebytesread beschikbaar is
- [SPARK-33892] [SQL] Char/varchar weergeven in DESC en SHOW CREATE TABLE
- [SPARK-33895] [SQL] Char en Varchar mislukken in MetaOperation van ThriftServer
- [SPARK-33659] [SS] Documenteer het huidige gedrag voor DataStreamWriter.toTable-API
- [SPARK-33893] [CORE] Fallback block manager uitsluiten van executorList
- [SPARK-33277] [PYSPARK][SQL] ContextAwareIterator gebruiken om te stoppen met verbruik nadat de taak is beëindigd
-
[SPARK-33889] [SQL][3.1] NPE herstellen vanuit
SHOW PARTITIONS
V2-tabellen - [SPARK-33879] [SQL] Teken Varchar-waarden mislukken w/ overeenkomstfout als partitiekolommen
- [SPARK-33877] [SQL] SQL-referentiedocumenten voor INSERT met een kolomlijst
- [SPARK-33876] [SQL] Lengtecontrole toevoegen voor het lezen van teken/varchar uit tabellen met een externe locatie
- [SPARK-33846] [SQL] Opmerkingen opnemen voor een geneste schema in StructType.toDDL
- [SPARK-33860] [SQL] Make CatalystTypeConverters.convertToCatalyst match special Array value
- [SPARK-33834] [SQL] Controleer ALTER TABLE CHANGE COLUMN met Char en Varchar
- [SPARK-33853] [SQL] EXPLAIN CODEGEN en BenchmarkQueryTest geven geen subquerycode weer
- [SPARK-33836] [SS][PYTHON] DataStreamReader.table en DataStreamWriter.toTable beschikbaar maken
- [SPARK-33829] [SQL][3.1] Als u de naam van v2-tabellen wijzigt, moet de cache opnieuw worden gemaakt
- [SPARK-33756] [SQL] MapIterator idempotent maken van BytesToBytesMap
- [SPARK-33850] [SQL] EXPLAIN FORMATTED geeft het plan voor subquery's niet weer als AQE is ingeschakeld
- [SPARK-33841] [CORE][3.1] Probleem opgelost met taken die af en toe uit shs verdwijnen onder hoge belasting
- [SPARK-33593] [SQL] Vectorlezer kreeg onjuiste gegevens met binaire partitiewaarde
- [SPARK-26341] [WEBUI] Metrische geheugengegevens van uitvoerders beschikbaar maken op faseniveau, op het tabblad Fasen
- [SPARK-33831] [UI] Bijwerken naar jetty 9.4.34
-
[SPARK-33822] [SQL]
CastSupport.cast
De methode gebruiken in HashJoin - [SPARK-33774] [UI][CORE] Terug naar master retourneert 500-fout in zelfstandig cluster
- [SPARK-26199][SPARK-31517] [R] Oplossingsstrategie voor verwerking ... namen in mutate
-
[SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader moet zijn
package private
- [SPARK-33697] [SQL] RemoveRedundantProjects moet standaard kolomvolgorde vereisen
- [SPARK-33752] [SQL][3.1] Vermijd dat de getSimpleMessage van AnalysisException herhaaldelijk puntkomma's toevoegt
- [SPARK-33788] [SQL][3.1][3.0][2.4] NoSuchPartitionsException van HiveExternalCatalog.dropPartitions()
- [SPARK-33803] [SQL] Tabeleigenschappen sorteren op sleutel in DESCRIBE TABLE opdracht
- [SPARK-33786] [SQL] Het opslagniveau voor een cache moet worden gerespecteerd wanneer een tabelnaam wordt gewijzigd
- [SPARK-33273] [SQL] Een racevoorwaarde in de uitvoering van subquery oplossen
- [SPARK-33653] [SQL][3.1] DSv2: REFRESHREFRESH TABLE moet de tabel zelf opnieuw cachen
- [SPARK-33777] [SQL] Sorteer de uitvoer van V2 SHOW PARTITIONS
- [SPARK-33733] [SQL] PullOutNondeterministic moet het deterministische veld controleren en verzamelen
- [SPARK-33764] [SS] Onderhoudsinterval voor statusopslag maken als SQL-configuratie
- [SPARK-33729] [SQL] Bij het vernieuwen van de cache mag Spark geen cacheplan gebruiken bij het ophalen van gegevens
- [SPARK-33742] [SQL][3.1] PartitionsAlreadyExistException van HiveExternalCatalog.createPartitions()
- [SPARK-33706] [SQL] Volledig opgegeven partitie-id vereisen in partitionExists()
- [SPARK-33740] [SQL] hadoop-configuraties in hive-site.xml kunnen bestaande hadoop-configuraties overschrijven
- [SPARK-33692] [SQL] De weergave moet de vastgelegde catalogus en naamruimte gebruiken om de functie op te zoeken
- [SPARK-33669] Foutbericht van YARN-toepassingsstatusmonitor wanneer sc.stop in yarn-clientmodus
- [SPARK-32110] [SQL] speciale zwevende getallen normaliseren in HyperLogLog++
- [SPARK-33677] [SQL] LikeSimplification-regel overslaan als het patroon escapeChar bevat
- [SPARK-33693] [SQL] afgeschaft spark.sql.hive.convertCTAS
- [SPARK-33641] [SQL] Nieuwe tekens/varchar-typen ongeldig maken in openbare API's die onjuiste resultaten produceren
- [SPARK-32680] [SQL] V2 CTAS niet vooraf verwerken met niet-opgeloste query
-
[SPARK-33676] [SQL] Exacte afstemming van partitiespecificatie vereisen voor het schema in V2
ALTER TABLE .. ADD/DROP PARTITION
- [SPARK-33670] [SQL] Controleer of de partitieprovider Hive is in v1 SHOW TABLE EXTENDED
- [SPARK-33663] [SQL] Loskoppelen mag niet worden aangeroepen voor niet-bestaande tijdelijke weergaven
-
[SPARK-33667] [SQL] Respecteer de configuratie tijdens het
spark.sql.caseSensitive
oplossen van partitiespecificaties in v1SHOW PARTITIONS
- [SPARK-33652] [SQL] DSv2: DeleteFrom moet de cache vernieuwen
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 9.0.
Systeemomgeving
- Besturingssysteem: Ubuntu 20.04.2 LTS
- Java: Zulu 8.54.0.21-CA-linux64
- Scala: 2.12.10
- Python: 3.8.10
- R: 4.1.0 (2021-05-18)
- Delta Lake 1.0.0
Geïnstalleerde Python-bibliotheken
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
Antergos Linux | 2015.10 (ISO-Rolling) | appdirs | 1.4.4 | backcall | 0.2.0 |
boto3 | 1.16.7 | botocore | 1.19.7 | certifi | 2020.12.5 |
chardet | 4.0.0 | wielrijder | 0.10.0 | Cython | 0.29.23 |
dbus-python | 1.2.16 | decorateur | 5.0.6 | distlib | 0.3.2 |
distro-info | 0.23opgegeven1 | facets-overview | 1.0.0 | filelock | 3.0.12 |
idna | 2.10 | ipykernel | 5.3.4 | ipython | 7.22.0 |
ipython-genutils | 0.2.0 | jedi | 0.17.2 | jmespath | 0.10.0 |
joblib | 1.0.1 | jupyter-client | 6.1.12 | jupyter-core | 4.7.1 |
kiwisolver | 1.3.1 | koala's | 1.8.1 | matplotlib | 3.4.2 |
numpy | 1.19.2 | Pandas | 1.2.4 | parso | 0.7.0 |
Patsy | 0.5.1 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
Kussen | 8.2.0 | pit | 21.0.1 | plotly | 4.14.3 |
prompt-toolkit | 3.0.17 | protobuf | 3.17.2 | psycopg2 | 2.8.5 |
ptyprocess | 0.7.0 | pyarrow | 4.0.0 | Pygments | 2.8.1 |
PyGObject | 3.36.0 | pyparsing | 2.4.7 | python-apt | 2.0.0+ubuntu0.20.4.5 |
python-dateutil | 2.8.1 | pytz | 2020.5 | pyzmq | 20.0.0 |
requests | 2.25.1 | requests-unixsocket | 0.2.0 | Opnieuw proberen... | 1.3.3 |
s3transfer | 0.3.7 | scikit-learn | 0.24.1 | scipy | 1.6.2 |
seaborn | 0.11.1 | setuptools | 52.0.0 | Zes | 1.15.0 |
ssh-import-id | 5.10 | statsmodels | 0.12.2 | threadpoolctl | 2.1.0 |
tornado | 6.1 | traitlets | 5.0.5 | upgrades zonder toezicht | 0,1 |
urllib3 | 1.25.11 | virtualenv | 20.4.1 | wcwidth | 0.2.5 |
wiel | 0.36.2 |
Geïnstalleerde R-bibliotheken
R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2021-07-28.
Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
base | 4.1.0 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
opstarten | 1.3-28 | brouwsel | 1.0-6 | Brio | 1.1.0 |
bezem | 0.7.2 | beller | 3.5.1 | caret | 6.0-86 |
cellranger | 1.1.0 | Chron | 2.3-56 | class | 7.3-19 |
cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.2 |
codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1,7 |
compiler | 4.1.0 | configuratie | 0,3 | covr | 3.5.1 |
cpp11 | 0.2.4 | Crayon | 1.3.4 | aanmeldingsgegevens | 1.3.0 |
Overspraak | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
gegevenssets | 4.1.0 | DBI | 1.1.0 | dbplyr | 2.0.0 |
Desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
verteren | 0.6.27 | dplyr | 1.0.2 | DT | 0,16 |
beletselteken | 0.3.1 | evaluate | 0,14 | fansi | 0.4.1 |
farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
foreach | 1.5.1 | buitenlands | 0.8-81 | smeden | 0.2.0 |
Fs | 1.5.0 | toekomst | 1.21.0 | Generics | 0.1.0 |
Gert | 1.0.2 | ggplot2 | 3.3.2 | Gh | 1.2.0 |
gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
lijm | 1.4.2 | Gower | 0.2.2 | afbeeldingen | 4.1.0 |
grDevices | 4.1.0 | rooster | 4.1.0 | gridExtra | 2.3 |
gsubfn | 0,7 | gtable | 0.3.0 | haven | 2.3.1 |
highr | 0,8 | Hms | 0.5.3 | htmltools | 0.5.0 |
htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
ipred | 0.9-9 | isoband | 0.2.3 | Iterators | 1.0.13 |
jsonlite | 1.7.2 | KernSmooth | 2.23-20 | breiwerk | 1,30 |
Labeling | 0.4.2 | later | 1.1.0.1 | latwerk | 0.20-44 |
lava | 1.6.8.1 | lazyeval | 0.2.2 | levenscyclus | 0.2.0 |
listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
Markdown | 1.1 | MASSA | 7.3-54 | Matrix | 1.3-4 |
memoise | 1.1.0 | methoden | 4.1.0 | mgcv | 1.8-36 |
Mime | 0,9 | ModelMetrics | 1.2.2.2 | modeller | 0.1.8 |
munsell | 0.5.0 | nlme | 3.1-152 | nnet | 7.3-16 |
numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.1.0 |
parallel | 1.22.0 | pilaar | 1.4.7 | pkgbuild | 1.1.0 |
pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
plyr | 1.8.6 | loven | 1.0.0 | prettyunits | 1.1.1 |
Proc | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
Voortgang | 1.2.2 | Beloften | 1.1.1 | Proto | 1.0.0 |
ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
leesbewerking | 1.4.0 | readxl | 1.3.1 | recepten | 0.1.15 |
Rematch | 1.0.1 | opnieuw overeenkomen2 | 2.1.2 | Afstandsbedieningen | 2.2.0 |
reprex | 0.3.0 | hervorm2 | 1.4.4 | Rex | 1.2.0 |
rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
Rserve | 1.8-8 | RSQLite | 2.2.1 | rstudioapi | 0,13 |
rversions | 2.0.2 | rvest | 0.3.6 | weegschaal | 1.1.1 |
selectr | 0.4-2 | sessioninfo | 1.1.1 | vorm | 1.4.5 |
glanzend | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
SparkR | 3.1.1 | ruimtelijk | 7.3-11 | Splines | 4.1.0 |
sqldf | 0.4-11 | SQUAREM | 2020.5 | Stats | 4.1.0 |
stats4 | 4.1.0 | stringi | 1.5.3 | stringr | 1.4.0 |
overleving | 3.2-11 | sys | 3.4 | tcltk | 4.1.0 |
TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
timeDate | 3043.102 | tinytex | 0,28 | tools | 4.1.0 |
usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.1.0 |
uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
Waldo | 0.2.3 | snor | 0,4 | withr | 2.3.0 |
xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
xtable | 1.8-4 | yaml | 2.2.1 | ritssluiting | 2.1.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)
Groeps-id | Artefact-id | Versie |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonaws | aws-java-sdk-config | 1.11.655 |
com.amazonaws | aws-java-sdk-core | 1.11.655 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
com.amazonaws | aws-java-sdk-directory | 1.11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
com.amazonaws | aws-java-sdk-efs | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
com.amazonaws | aws-java-sdk-emr | 1.11.655 |
com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
com.amazonaws | aws-java-sdk-glue | 1.11.655 |
com.amazonaws | aws-java-sdk-iam | 1.11.655 |
com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
com.amazonaws | aws-java-sdk-kms | 1.11.655 |
com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
com.amazonaws | aws-java-sdk-logs | 1.11.655 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacecommerceanalytics | 1.11.655 |
com.amazonaws | aws-java-sdk-marketplacemeteringservice | 1.11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
com.amazonaws | aws-java-sdk-rds | 1.11.655 |
com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
com.amazonaws | aws-java-sdk-ses | 1.11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
com.amazonaws | aws-java-sdk-sns | 1.11.655 |
com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonaws | aws-java-sdk-sts | 1.11.655 |
com.amazonaws | aws-java-sdk-support | 1.11.655 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
com.amazonaws | jmespath-java | 1.11.655 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | stroom | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-gearceerd | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasgenoot | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotaties | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
com.github.ben-manes.cafeïne | cafeïne | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | kern | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1.4.8-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.flatbuffers | flatbuffers-java | 1.9.0 |
com.google.guava | guave | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 1.4.195 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.9.5 |
com.twitter | chill_2.12 | 0.9.5 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | configuratie | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.9.4 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1,10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuratie | commons-configuratie | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
hive-2.3__hadoop-2.7 | jets3t-0.7 | liball_deps_2.12 |
hive-2.3__hadoop-2.7 | zookeeper-3.4 | liball_deps_2.12 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.10 |
io.delta | delta-sharing-spark_2.12 | 0.1.0 |
io.dropwizard.metrics | metrische gegevenskern | 4.1.1 |
io.dropwizard.metrics | metrische gegevensgrafiet | 4.1.1 |
io.dropwizard.metrics | metrische statuscontroles | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.51.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | verzamelaar | 0.12.0 |
jakarta.annotatie | jakarta.annotation-api | 1.3.5 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activering | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.5 |
log4j | apache-log4j-extra's | 1.2.17 |
log4j | log4j | 1.2.17 |
maven-trees | hive-2.3__hadoop-2.7 | liball_deps_2.12 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | pyrolite | 4.30 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-CSV | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.3 |
net.snowflake | spark-snowflake_2.12 | 2.9.0-spark_3.1 |
net.sourceforge.f2j | arpack_combined_all | 0,1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8-1 |
org.antlr | tekenreekstemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | pijlnotatie | 2.0.0 |
org.apache.arrow | arrow-memory-core | 2.0.0 |
org.apache.arrow | arrow-memory-netty | 2.0.0 |
org.apache.arrow | pijlvector | 2.0.0 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | commons-compress | 1,20 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.10 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | commons-text | 1.6 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recepten | 2.7.1 |
org.apache.derby | Derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-aantekeningen | 2.7.4 |
org.apache.hadoop | hadoop-auth | 2.7.4 |
org.apache.hadoop | hadoop-client | 2.7.4 |
org.apache.hadoop | hadoop-common | 2.7.4 |
org.apache.hadoop | hadoop-hdfs | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | hive-cli | 2.3.7 |
org.apache.hive | hive-jdbc | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-llap-common | 2.3.7 |
org.apache.hive | hive-serde | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
org.apache.hive.shims | hive-shims-common | 2.3.7 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | klimop | 2.4.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | orc-shims | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-databricks9 |
org.apache.parquet | parquet-common | 1.10.1-databricks9 |
org.apache.parquet | parquet-codering | 1.10.1-databricks9 |
org.apache.parquet | parquet-indeling | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-databricks9 |
org.apache.parquet | parquet-jackson | 1.10.1-databricks9 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm7-gearceerd | 4.15 |
org.apache.yetus | aantekeningen voor doelgroepen | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-vervolg | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-http | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-io | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-jndi | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-plus | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-proxy | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-security | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-server | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-servlet | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-servlets | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-util | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-util-ajax | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-webapp | 9.4.36.v20210114 |
org.eclipse.jetty | jetty-xml | 9.4.36.v20210114 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
org.glassfish.jersey.core | jersey-client | 2.30 |
org.glassfish.jersey.core | jersey-common | 2.30 |
org.glassfish.jersey.core | jersey-server | 2.30 |
org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
org.hibernate.validator | sluimerstand-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1,7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
org.json4s | json4s-core_2.12 | 3.7.0-M5 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.jdbc | mariadb-java-client | 2.2.5 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.9.14 |
org.roaringbitmap | Shims | 0.9.14 |
org.rocksdb | rocksdbjni | 6.20.3 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.10 |
org.scala-lang | scala-library_2.12 | 2.12.10 |
org.scala-lang | scala-reflect_2.12 | 2.12.10 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | jul-to-slf4j | 1.7.30 |
org.slf4j | slf4j-api | 1.7.30 |
org.slf4j | slf4j-log4j12 | 1.7.30 |
org.spark-project.spark | ongebruikt | 1.0.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | katten-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
org.typelevel | spire-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.2 |
org.yaml | snakeyaml | 1,24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0,52 |