Delen via

Databricks Runtime 12.2 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.2 LTS, mogelijk gemaakt door Apache Spark 3.3.2.

Databricks heeft deze versie uitgebracht in maart 2023.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Tip

Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Gedragswijzigingen

[Wijziging die fouten veroorzaakt] Voor de nieuwe Python-versie moet Databricks Connect V1 Python-clients worden bijgewerkt

Notitie

Een volgende update verplaatst de Python-versie in Databricks Runtime 12.2 LTS naar 3.9.21. De versie 3.9.21 introduceert geen gedragswijzigingen.

Als u vereiste beveiligingspatches wilt toepassen, wordt de Python-versie in Databricks Runtime 12.2 LTS bijgewerkt van 3.9.5 naar 3.9.19. Omdat deze wijzigingen fouten kunnen veroorzaken in clients die gebruikmaken van specifieke PySpark-functies, moeten clients die Databricks Connect V1 voor Python gebruiken met Databricks Runtime 12.2 LTS worden bijgewerkt naar Python 3.9.7 of hoger.

Nieuwe functies en verbeteringen

Python bijgewerkt van 3.9.19 naar 3.9.21

De Python-versie in Databricks Runtime 12.2 LTS wordt bijgewerkt van 3.9.19 naar 3.9.21.

Delta Lake-schemaontwikkeling ondersteunt het opgeven van bronkolommen in samenvoeginstructies

U kunt nu alleen kolommen opgeven die aanwezig zijn in de brontabel in invoeg- of updateacties voor samenvoeginstructies wanneer schemaontwikkeling is ingeschakeld. In Databricks Runtime 12.1 en lager kunnen alleen INSERT * acties UPDATE SET * worden gebruikt voor het ontwikkelen van schema's met samenvoegen. Zie Automatische schemaontwikkeling voor Delta Lake-samenvoeging.

Gestructureerde streamingworkloads worden ondersteund op clusters met de modus voor gedeelde toegang

U kunt nu Structured Streaming gebruiken om te communiceren met Unity Catalog op een compute met standaard toegangsmodus. Er gelden enkele beperkingen. Bekijk welke functionaliteit voor gestructureerd streamen ondersteuning biedt voor Unity Catalog.

Nieuwe functies voor voorspellende I/O

Photon-ondersteuning voor de Foreachbatch sink is nu beschikbaar. Workloads die worden gestreamd van een bron en samenvoegen in Delta-tabellen of schrijven naar meerdere sinks, kunnen nu profiteren van photonized Foreachbatch sink.

Ondersteuning voor impliciete laterale kolomaliassen

Azure Databricks biedt nu standaard ondersteuning voor impliciete laterale kolomaliassen. U kunt nu een expressie die eerder in dezelfde SELECT lijst is opgegeven, opnieuw gebruiken. Bijvoorbeeld, gegeven SELECT 1 AS a, kan a + 1 AS bde a in a + 1 worden omgezet als de eerder gedefinieerde 1 AS a. Controleer naamomzetting voor meer informatie in resolutievolgorde. Als u deze functie wilt uitschakelen, kunt u instellen spark.sql.lateralColumnAlias.enableImplicitResolution op false.

Nieuwe forEachBatch-functie

Photon wordt nu ondersteund bij het foreachBatch schrijven naar een gegevenssink.

Gestandaardiseerde verbindingsopties voor queryfederatie

U kunt nu een geïntegreerde set opties (host, poort, database, gebruiker, wachtwoord) gebruiken om verbinding te maken met gegevensbronnen die worden ondersteund in queryfederatie. Port is optioneel en gebruikt het standaardpoortnummer voor elke gegevensbron, tenzij opgegeven.

Uitgebreide SQL-functiebibliotheek voor matrixbeheer

U kunt nu alle NULL-elementen uit een matrix verwijderen met behulp van array_compact. Als u elementen wilt toevoegen aan een matrix, gebruikt u array_append.

Nieuwe maskerfunctie voor het anoniem maken van tekenreeksen

Roep de maskerfunctie aan om gevoelige tekenreekswaarden anoniem te maken.

Veelvoorkomende foutvoorwaarden retourneren nu SQLSTATEs

De meeste foutvoorwaarden die Databricks Runtime nu bevatten gedocumenteerde SQLSTATE-waarden die kunnen worden gebruikt om te testen op fouten op een conforme SQL-standaardmethode.

Generatorfuncties aanroepen in de FROM-component

U kunt nu generatorfuncties met tabelwaarden aanroepen, zoals exploderen in de reguliere FROM component van een query. Hiermee wordt de aanroep van generatorfuncties uitgelijnd met andere ingebouwde en door de gebruiker gedefinieerde tabelfuncties.

Ondersteuning voor protocolbuffers is algemeen beschikbaar

U kunt de from_protobuf en to_protobuf functies gebruiken om gegevens uit te wisselen tussen binaire en structtypen. Zie Buffers voor lees- en schrijfprotocollen.

Go-to-definition voor notebookvariabelen en -functies

In notebooks kunt u snel naar de definitie van een variabele, functie of de code achter een %run instructie gaan door met de rechtermuisknop op de naam van de variabele of functie te klikken.

Snelle oplossing voor notebooks voor het automatisch importeren van bibliotheken

Databricks Notebooks biedt nu een functie voor snelle oplossing voor het automatisch importeren van bibliotheken. Als u vergeet een bibliotheek zoals pandas te importeren, plaatst u de muisaanwijzer op de waarschuwing voor onderstreepte syntaxis en klikt u vervolgens op Quick Fix. Hiervoor moet de Databricks Assistant zijn ingeschakeld in uw werkruimte.

Bugfixes

  • Verbeterde consistentie voor Delta-doorvoergedrag voor lege transacties met betrekking tot update, deleteen merge opdrachten. In WriteSerializable isolatieniveau maken opdrachten die resulteren in geen wijzigingen, nu een lege doorvoering. In een Serializable isolatieniveau maken dergelijke lege transacties nu geen doorvoer.

Gedragswijzigingen

Gedrag wordt gewijzigd met de nieuwe functie voor laterale kolomalias

De nieuwe functie voor laterale kolomalias introduceert gedragswijzigingen voor de volgende gevallen tijdens de naamomzetting:

  • Laterale kolomalias heeft nu voorrang op gecorreleerde verwijzingen met dezelfde naam. Voor deze query is de SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1) binnenste c1 bijvoorbeeld omgezet in de gecorreleerde verwijzingc1 AS c2, maar wordt nu gewijzigd in laterale kolomaliast.c1.1 AS c1 De query retourneert NULLnu .
  • De laterale kolomalias heeft nu voorrang op functieparameters met dezelfde naam. Voor de functie is CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xde x hoofdtekst van de functie bijvoorbeeld omgezet in de functieparameter x, maar verandert in de laterale kolomalias x + 1 in de hoofdtekst van de functie. De query wordt SELECT * FROM func(1) nu geretourneerd 2, 2.
  • Als u de functie voor de laterale kolomalias wilt uitschakelen, stelt u deze in spark.sql.lateralColumnAlias.enableImplicitResolution op false. Zie Naamomzetting voor meer informatie.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • filelock van 3.8.2 tot 3.9.0
    • joblib van 1.1.0 tot 1.1.1
    • platformdirs van 2.6.0 tot 2.6.2
    • whatthepatch van 1.0.3 tot 1.0.4
  • Bijgewerkte R-bibliotheken:
    • klasse van 7.3-20 tot 7.3-21
    • codetools van 0,2-18 tot 0,2-19
    • MASSA van 7,3-58 tot 7,3-58.2
    • nlme van 3.1-160 tot 3.1-162
    • Rserve van 1,8-11 tot 1,8-12
    • SparkR van 3.3.1 tot 3.3.2

Gedragswijzigingen

  • Gebruikers moeten nu over een bestand beschikken en SELECT bevoegdheden hebben MODIFY bij het maken van een schema met een gedefinieerde locatie.

Apache Spark

Databricks Runtime 12.2 bevat Apache Spark 3.3.2. Deze release bevat alle Spark-fixes en -verbeteringen die zijn opgenomen in Databricks Runtime 12.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-42416] [SC-123205][sc-122851][SQL] Datumsetbewerkingen mogen het geanalyseerde logische plan niet opnieuw oplossen
  • [SPARK-41848] Terugdraaien “[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Taak overgescheduled herstellen met TaskResourceProfile”
  • [SPARK-42162] [SC-122711][es-556261] Introduceert MultiCommutativeOp-expressie als geheugenoptimalisatie voor het canoniseren van grote structuren van commutatieve expressies.
  • [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Recursieve diepte-instelling herstellen voor Protobuf-functies
  • [SPARK-42002] [SC-122476][connect][PYTHON] DataFrameWriterV2 implementeren
  • [SPARK-41716] [SC-122545][connect] Naam van _catalog_to_pandas wijzigen in _execute_and_fetch in Catalog
  • [SPARK-41490] [SC-121774][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2441
  • [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Implement Catalog.cacheTable, isCached and uncache
  • [SPARK-42191] [SC-121990][sql] Ondersteuning voor udf 'luhn_check'
  • [SPARK-42253] [SC-121976][python] Test toevoegen voor het detecteren van gedupliceerde foutklasse
  • [SPARK-42268] [SC-122251][connect][PYTHON] UserDefinedType toevoegen in protos
  • [SPARK-42231] [SC-121841][sql] Zet MISSING_STATIC_PARTITION_COLUMN in internalError
  • [SPARK-42136] [SC-122554] Partitioneringsberekening broadcastHashJoinExec-uitvoer herstructureren
  • [SPARK-42158] [SC-121610][sql] Integreer _LEGACY_ERROR_TEMP_1003 in FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][sc-121820][PYTHON] De TypeError migreren van pyspark/sql/dataframe.py naar PySparkTypeError
  • [SPARK-35240] Herstel "[SC-118242][ss] Gebruik CheckpointFileManager ...
  • [SPARK-41488] [SC-121858][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1176 (en 1177)
  • [SPARK-42232] [SC-122267][sql] Naam van foutklasse wijzigen: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [SC-122480][sql] Afzonderlijke aggregaties herschrijven na samenvoegen van subquery
  • [SPARK-42306] [SC-122539][sql] Integreer _LEGACY_ERROR_TEMP_1317 in UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][sql] Naam van foutklasse wijzigen: UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] IOException negeren in handleBlockRemovalFailure als SparkContext is gestopt
  • [SPARK-41295] [SC-122442][spark-41296][SQL] Wijzig de naam van de foutklassen
  • [SPARK-42320] [SC-122478][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [SC-121851][connect] SparkConnectClient ondersteunt nu RetryPolicies
  • [SPARK-38728] [SC-116723][sql] Test de foutklasse: FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] Zelfstandige voorbeelden in PySpark
  • [SPARK-39347] [SC-122457][ss] Bugfix voor tijdvensterberekening wanneer evenementtijd < 0
  • [SPARK-42336] [SC-122458][core] Gebruik getOrElse() in plaats van contains() in ResourceAllocator
  • [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF in Spark Connect
  • [SPARK-42217] [SC-122263][sql] Ondersteuning voor impliciete laterale kolomalias in query's met Window
  • [SPARK-35240] [SC-118242][ss] CheckpointFileManager gebruiken voor het bewerken van controlepuntenbestanden
  • [SPARK-42294] [SC-122337][sql] Kolomstandaardwaarden opnemen in DESCRIBE-uitvoer voor V2-tabellen
  • [SPARK-41979] Herstel "Herstel '[12.x][sc-121190][SQL] Ontbrekende punten toevoegen voor foutberichten in foutklassen.'"
  • [SPARK-42286] [SC-122336][sql] Terugvallen op de vorige codegeneratie pad voor complexe expressie met CAST
  • [SPARK-42275] [SC-122249][connect][PYTHON] Vermijd het gebruik van ingebouwde lijst, dicteren in statisch typen
  • [SPARK-41985] [SC-122172][sql] Centraliseer meer regels voor kolomresolutie
  • [SPARK-42126] [SC-122330][python][CONNECT] Retourtype accepteren in DDL-tekenreeksen voor Python Scalar UDF's in Spark Connect
  • [SPARK-42197] [SC-122328][sc-121514][CONNECT] Hergebruikt JVM-initialisatie en aparte configuratiegroepen die in de lokale modus op afstand moeten worden ingesteld
  • [SPARK-41575] [SC-120118][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] 'Herstel “[SC-122172][sql] Centraliseer meer regels voor kolomresolutie”'
  • [SPARK-42123] [SC-122234][sc-121453][SQL] Kolomstandaardwaarden opnemen in DESCRIBE- en SHOW CREATE TABLE-uitvoer
  • [SPARK-41985] [SC-122172][sql] Centraliseer meer regels voor kolomresolutie
  • [SPARK-42284] [SC-122233][connect] Zorg ervoor dat de serverassembly is samengesteld voordat de clienttests worden uitgevoerd - SBT
  • [SPARK-42239] [SC-121790][sql] Integreren MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [SC-122170][sql] DS V2-pushdown ondersteunt zelf het compileren van JDBC-dialecten SortOrder
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics moet zorgen voor Python UDAF
  • [SPARK-41979] Revert “[12.x][sc-121190][SQL] Ontbrekende puntjes voor foutberichten in foutklassen ongedaan maken.”
  • [SPARK-42224] [12.x][sc-121708][CONNECT] TypeError migreren naar foutframework voor Spark Connect-functies
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Migreer de Spark Connect-fouten naar het PySpark-foutframework.
  • [SPARK-42119] [SC-121913][sc-121342][SQL] Ingebouwde tabelwaardefuncties inline en inline_outer toevoegen
  • [SPARK-41489] [SC-121713][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Introduceer PySparkValueError en PySparkTypeError
  • [SPARK-42081] [SC-121723][sql] De validatie van de planwijziging verbeteren
  • [SPARK-42225] [12.x][sc-121714][CONNECT] SparkConnectIllegalArgumentException toevoegen om spark Connect-fout nauwkeurig af te handelen.
  • [SPARK-42044] [12.x][sc-121280][SQL] Een onjuist foutbericht voor MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY oplossen
  • [SPARK-42194] [12.x][sc-121712][PS] Kolommenparameter toestaan bij het maken van DataFrame met reeks.
  • [SPARK-42078] [12.x][sc-120761][PYTHON] Migreer fouten die door JVM zijn gegenereerd in PySparkException.
  • [SPARK-42133] [12.x][sc-121250] Eenvoudige methoden voor gegevensset-API toevoegen aan SparkConnect Scala-client
  • [SPARK-41979] [12.x][sc-121190][SQL] Ontbrekende puntjes toevoegen voor foutberichten in foutklassen.
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF in Spark Connect
  • [SPARK-42051] [SC-121994][sql] Codegen-ondersteuning voor HiveGenericUDF
  • [SPARK-42257] [SC-121948][kern] Ongebruikte variabele externe sorteerfunctie verwijderen
  • [SPARK-41735] [SC-121771][sql] Gebruik MINIMAAL in plaats van STANDARD voor SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][sql] Verfijn NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] Foutbericht voor PIVOT_AFTER_GROUP_BY verbeteren
  • [SPARK-42229] [SC-121856][core] SparkCoreErrors migreren naar foutklassen
  • [SPARK-42163] [SC-121839][sql] Schema bijwerken voor niet-vouwbare array-index of map-sleutel herstellen
  • [SPARK-40711] [SC-119990][sql] Spillgrootte-metriek toevoegen voor venster
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] createDataFrame ondersteunen met AtomicType -> StringType coercion
  • [SPARK-42202] [SC-121837][connect][Test] De E2E-testserverstoplogica verbeteren
  • [SPARK-41167] [SC-117425][sql] Verbeter de prestaties van "multi like" door een predicaat voor een evenwichtige expressiestructuur te maken
  • [SPARK-41931] [SC-121618][sql] Beter foutbericht voor onvolledige complexe typedefinitie
  • [SPARK-36124] [SC-121339][sc-110446][SQL] Ondersteuning voor subquery's met correlatie via UNION
  • [SPARK-42090] [SC-121290][3.3] Introductie van sasl-aantal nieuwe pogingen in RetryingBlockTransferor
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR moet FAIR scheduler bieden
  • [SPARK-41572] [SC-120772][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [SC-121224][sql] Naam wijzigen & foutbericht voor NULL_COMPARISON_RESULT verbeteren
  • [SPARK-41976] [SC-121024][sql] Foutbericht voor INDEX_NOT_FOUND verbeteren
  • [SPARK-41994] [SC-121210][sc-120573] SQLSTATE toewijzen (1/2)
  • [SPARK-41415] [SC-121117][3.3] Nieuwe pogingen voor SASL-aanvragen
  • [SPARK-38591] [SC-121018][sql] FlatMapSortedGroups en cogroupSorted toevoegen
  • [SPARK-41975] [SC-120767][sql] Foutbericht voor INDEX_ALREADY_EXISTS verbeteren
  • [SPARK-42056] [SC-121158][sql][PROTOBUF] Ontbrekende opties toevoegen voor Protobuf-functies
  • [SPARK-41984] [SC-120769][sql] Naam wijzigen & foutbericht voor RESET_PERMISSION_TO_ORIGINAL verbeteren
  • [SPARK-41948] [SC-121196][sql] NPE herstellen voor foutklassen: CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][connect][PYTHON] Onjuiste kolomnaam in doctest van withFieldcorrigeren
  • [SPARK-41283] [SC-121175][connect][PYTHON] array_append toevoegen om verbinding te maken
  • [SPARK-41960] [SC-120773][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [SC-121116][sql] GetPartitionFiltersAndDataFilters() herstellen om filters te verwerken zonder verwijzingen naar kenmerken
  • [SPARK-42096] [SC-121012][connect] Sommige codeopruiming voor connect module
  • [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] count(*) en count(col(*)) oplossen
  • [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL-modus: Round/Bround moet een fout retourneren bij een overloop van gehele getallen
  • [SPARK-42043] [SC-120968][connect] Scala-clientresultaat met E2E-tests
  • [SPARK-41884] [SC-121022][connect] Ondersteuning voor naïve tuple als geneste rij
  • [SPARK-42112] [SC-121011][sql][SS] Controle op null toevoegen voordat functie ContinuousWriteRDD#compute wordt gesloten dataWriter
  • [SPARK-42077] [SC-120553][connect][PYTHON] Literal moet een TypeError genereren voor niet-ondersteunde gegeventypes
  • [SPARK-42108] [SC-120898][sql] Laat Analyzer Count(*) omzetten in Count(1)
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] Ondersteuning voor geparameteriseerde SQL door sql()
  • [SPARK-40599] [SC-120930][sql] De regeltype van multiTransform versoepelen om alternatieven van elk soort Seq toe te staan
  • [SPARK-41574] [SC-120771][sql] _LEGACY_ERROR_TEMP_2009 bijwerken als INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1249
  • [SPARK-41974] [SC-120766][sql] Zet INCORRECT_END_OFFSET in INTERNAL_ERROR
  • [SPARK-41530] [SC-120916][sc-118513][CORE] Naam van MedianHeap wijzigen in PercentielMap en ondersteuning voor percentiel
  • [SPARK-41757] [SC-120608][spark-41901][CONNECT] Tekenreeksweergave voor kolomklasse herstellen
  • [SPARK-42084] [SC-120775][sql] Vermijd het lekken van de beperking van exclusieve toegang
  • [SPARK-41973] [SC-120765][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_1311
  • [SPARK-42039] [SC-120655][sql] SPJ: Optie verwijderen in KeyGroupedPartitioning#partitionValuesOpt
  • [SPARK-42079] [SC-120712][connect][PYTHON] Proto-berichten hernoemen voor toDF en withColumnsRenamed
  • [SPARK-42089] [SC-120605][connect][PYTHON] Problemen met variabelenamen in geneste lambda-functies oplossen
  • [SPARK-41982] [SC-120604][sql] Partities van het type tekenreeks mogen niet worden behandeld als numerieke typen
  • [SPARK-40599] [SC-120620][sql] MultiTransform-methoden toevoegen aan TreeNode om alternatieven te genereren
  • [SPARK-42085] [SC-120556][connect][PYTHON] Zorg ervoor dat from_arrow_schema ondersteuning biedt voor geneste types
  • [SPARK-42057] [SC-120507][sql][PROTOBUF] Oplossen hoe uitzondering wordt verwerkt in foutrapportage.
  • [SPARK-41586] [12.x][alle tests][SC-120544][python] Introduceer pyspark.errors- en foutklassen voor PySpark.
  • [SPARK-41903] [SC-120543][connect][PYTHON] Literal moet 1-dim ndarray ondersteunen
  • [SPARK-42021] [SC-120584][connect][PYTHON] createDataFrame ondersteuning array.array
  • [SPARK-41896] [SC-120506][sql] Filteren op rijindex retourneert lege resultaten
  • [SPARK-41162] [SC-119742][sql] Anti- en semi-join repareren voor self-join met aggregaties
  • [SPARK-41961] [SC-120501][sql] Ondersteuning voor tabelwaardefuncties met LATERAL
  • [SPARK-41752] [SC-120550][sql][UI] Geneste uitvoeringen onder de hoofduitvoering groeperen
  • [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Literal moet Numpy-gegevensformaten ondersteunen
  • [SPARK-42028] [SC-120344][connect][PYTHON] Het afkappen van nanoseconden timestamps
  • [SPARK-42011] [SC-120534][connect][PYTHON] Implementeren DataFrameReader.csv
  • [SPARK-41990] [SC-120532][sql] Gebruik FieldReference.column in plaats van apply in V1 naar V2-filterconversie
  • [SPARK-39217] [SC-120446][sql] Maakt dat DPP het snoeien kan ondersteunen aan de kant met Union.
  • [SPARK-42076] [SC-120551][connect][PYTHON] Factor data conversie arrow -> rows naar conversion.py
  • [SPARK-42074] [SC-120540][sql] Schakel KryoSerializer in TPCDSQueryBenchmark in om registratie van SQL-klassen af te dwingen
  • [SPARK-42012] [SC-120517][connect][PYTHON] DataFrameReader.orc implementeren
  • [SPARK-41832] [SC-120513][connect][PYTHON] Los DataFrame.unionByNameop, voeg allow_missing_columns toe
  • [SPARK-38651] [SC-120514] [SQL] Toevoegen spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert zou ExpressionProxy als kind moeten accepteren
  • [SPARK-41232] [SC-120073][sql][PYTHON] Array_append-functie toevoegen
  • [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader moet een lijst met paden ondersteunen
  • [SPARK-42071] [SC-120533][core] Registreer scala.math.Ordering$Reverse bij KyroSerializer
  • [SPARK-41986] [SC-120429][sql] Introduceer shuffle voor SinglePartition
  • [SPARK-42016] [SC-120428][connect][PYTHON] Tests inschakelen die betrekking hebben op de geneste kolom
  • [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader moet ondersteuning bieden voor het StructType-schema
  • [SPARK-42031] [SC-120389][core][SQL] remove methoden opschonen die niet hoeven te worden overschreven
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Maak createDataFrame(rows/lists/tuples/dicts) ondersteuning voor geneste typen
  • [SPARK-41437] [SC-117601][sql][ALLE TESTS] De invoerquery niet tweemaal optimaliseren voor v1 write fallback
  • [SPARK-41840] [SC-119719][connect][PYTHON] De ontbrekende alias toevoegen groupby
  • [SPARK-41846] [SC-119717][connect][PYTHON] Doctests inschakelen voor vensterfuncties
  • [SPARK-41914] [SC-120094][sql] FileFormatWriter materialiseert AQE-plan voordat u outputOrdering opent
  • [SPARK-41805] [SC-119992][sql] Expressies opnieuw gebruiken in WindowSpecDefinition
  • [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range om als argumenten te zweven
  • [SPARK-42029] [SC-120336][connect] Guava-shadingregels toevoegen aan connect-common om opstartfout te voorkomen
  • [SPARK-41989] [SC-120334][python] Voorkomen dat de logconfiguratie verstoord wordt door pyspark.pandas
  • [SPARK-42003] [SC-120331][sql] Dubbele code verminderen in ResolveGroupByAll
  • [SPARK-41635] [SC-120313][sql] Groep herstellen op alle foutenrapportage
  • [SPARK-41047] [SC-120291][sql] Documenten verbeteren voor ronde
  • [SPARK-41822] [SC-120122][connect] GRPC-verbinding instellen voor Scala/JVM-client
  • [SPARK-41879] [SC-120264][connect][PYTHON] Maak DataFrame.collect ondersteuning voor geneste typen
  • [SPARK-41887] [SC-120268][connect][PYTHON] Zorg ervoor dat DataFrame.hint parameter met lijsttype accepteren
  • [SPARK-41964] [SC-120210][connect][PYTHON] Voeg de lijst met niet-ondersteunde IO-functies toe
  • [SPARK-41595] [SC-120097][sql] Ondersteuning van generatorfunctie explode/explode_outer in de FROM-clause
  • [SPARK-41957] [SC-120121][connect][PYTHON] De doctest inschakelen voor DataFrame.hint
  • [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect doctest-uitvoer een andere volgorde heeft
  • [SPARK-41442] [SC-117795][sql][ALLE TESTS] Alleen SQLMetric-waarde bijwerken als deze wordt samengevoegd met geldige metrische gegevens
  • [SPARK-41944] [SC-120046][connect] Geef configuraties door wanneer de lokale en externe modus is ingeschakeld
  • [SPARK-41708] [SC-119838][sql] Haal v1write-informatie naar WriteFiles
  • [SPARK-41780] [SC-120000][sql] Moet INVALID_PARAMETER_VALUE.PATROON genereren wanneer de parameters regexp ongeldig zijn.
  • [SPARK-41889] [SC-119975][sql] Hoofdoorzaak koppelen aan invalidPatternError & foutklassen herstructureren INVALID_PARAMETER_VALUE
  • [SPARK-41860] [SC-120028][sql] AvroScanBuilder en JsonScanBuilder-caseklassen maken
  • [SPARK-41945] [SC-120010][connect][PYTHON] Python: connect-client heeft kolomgegevens verloren met pyarrow.Table.to_pylist
  • [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Onafhankelijke Coderingen
  • [SPARK-41354] [SC-119995][connect][PYTHON] RepartitionByExpression implementeren
  • [SPARK-41581] [SC-119997][sql] _LEGACY_ERROR_TEMP_1230 bijwerken als INTERNAL_ERROR
  • [SPARK-41928] [SC-119972][connect][PYTHON] De niet-ondersteunde lijst voor functions toevoegen
  • [SPARK-41933] [SC-119980][connect] Lokale modus opgeven waarmee de server automatisch wordt gestart
  • [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' moet de door de gebruiker opgegeven DDL-schema respecteren
  • [SPARK-41936] [SC-119978][connect][PYTHON] withMetadata het withColumns proto opnieuw gebruiken
  • [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typecontrolepariteit met pyspark
  • [SPARK-41939] [SC-119977][connect][PYTHON] De niet-ondersteunde lijst voor catalog-functies toevoegen
  • [SPARK-41924] [SC-119946][connect][PYTHON] Maak StructType ondersteunt metadata en Implementeer DataFrame.withMetadata
  • [SPARK-41934] [SC-119967][connect][PYTHON] Voeg de niet-ondersteunde functielijst toe voor session
  • [SPARK-41875] [SC-119969][connect][PYTHON] Testcases toevoegen voor Dataset.to()
  • [SPARK-41824] [SC-119970][connect][PYTHON] Negeer de doctest voor uitleg van connect
  • [SPARK-41880] [SC-119959][connect][PYTHON] Functie maken from_json niet-letterlijk schema accepteren
  • [SPARK-41927] [SC-119952][connect][PYTHON] De niet-ondersteunde lijst voor GroupedData toevoegen
  • [SPARK-41929] [SC-119949][connect][PYTHON] Functie toevoegen array_compact
  • [SPARK-41827] [SC-119841][connect][PYTHON] Zorg ervoor dat GroupBy kolomlijst accepteren
  • [SPARK-41925] [SC-119905][sql] Standaard spark.sql.orc.enableNestedColumnVectorizedReader inschakelen
  • [SPARK-41831] [SC-119853][connect][PYTHON] Laat DataFrame.select kolomlijst accepteren
  • [SPARK-41455] [SC-119858][connect][PYTHON] Zorg ervoor dat DataFrame.collect de tijdzonegegevens verwijdert
  • [SPARK-41923] [SC-119861][connect][PYTHON] Voeg DataFrame.writeTo toe aan de niet-ondersteunde lijst
  • [SPARK-41912] [SC-119837][sql] Subquery mag CTE niet valideren
  • [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Maak createDataFrame ondersteuning voor een leeg dataframe
  • [SPARK-41905] [SC-119848][connect] Ondersteuning van namen als tekenreeksen in deel
  • [SPARK-41869] [SC-119845][connect] Enkele tekenreeks afwijzen in DropDuplicates
  • [SPARK-41830] [SC-119840][connect][PYTHON] Zorg ervoor dat DataFrame.sample dezelfde parameters accepteert als PySpark
  • [SPARK-41849] [SC-119835][connect] DataFrameReader.text implementeren
  • [SPARK-41861] [SC-119834][sql] Zorg ervoor dat de v2 ScanBuilders build() een getypte scan retourneert
  • [SPARK-41825] [SC-119710][connect][PYTHON] Doctests inschakelen met betrekking tot DataFrame.show
  • [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] createDataFrame handle None/NaN correct maken
  • [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][PYTHON] DataFrame.collect verwerkt None/NaN/Array/Binary correct
  • [SPARK-39318] [SC-119713][sql] Verwijder tpch-plan-stability WithStats gouden bestanden
  • [SPARK-41791] [SC-119745] Nieuwe kolomtypen voor metagegevens van bestandsbron toevoegen
  • [SPARK-41790] [SC-119729][sql] TRANSFORM-lezer en schrijfindeling correct instellen
  • [SPARK-41829] [SC-119725][connect][PYTHON] Voeg de ontbrekende volgordeparameter toe in Sort en sortWithinPartitions
  • [SPARK-41576] [SC-119718][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2051
  • [SPARK-41821] [SC-119716][connect][PYTHON] Doc-test voor DataFrame.describe herstellen
  • [SPARK-41871] [SC-119714][connect] DataFrame hint-parameter kan een string, float of int zijn.
  • [SPARK-41720] [SC-119076][sql] Hernoem UnresolvedFunc naar UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][sql] Naam toewijzen aan _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [SC-119492][sql] Corrigeer de juistheidsfout met betrekking tot STANDAARDwaarden in Orc-lezer
  • [SPARK-41582] [SC-119482][sc-118701][CORE][sql] INVALID_TYPED_LITERAL opnieuw gebruiken in plaats van _LEGACY_ERROR_TEMP_0022

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 12.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.68.0.21-CA-linux64
  • Scala: 2.12.15
  • Python: 3.9.21
  • R: 4.2.2
  • Delta Lake: 2.2.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 zwart 22.3.0 bleken 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffiffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cryptografie 3.4.8 wielrijder 0.11.0
Cython 0.29.28 dbus-python 1.2.16 foutopsporing 1.5.1
decorateur 5.1.1 defusedxml 0.7.1 distlib 0.3.6
docstring-to-markdown 0,11 invoerpunten 0,4 Uitvoeren 0.8.3
facets-overview 1.0.0 fastjsonschema 2.16.2 filelock 3.9.0
fonttools 4.25.0 idna 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 jupyter-client 6.1.12
jupyter_core 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 Mccabe 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
notebook 6.4.8 numpy 1.21.5 verpakking 21.3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Kussen 9.0.1 pit 21.2.4
platformdirs 2.6.2 plotly 5.6.0 pluggy 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 pycparser 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing 3.0.4 pyright 1.1.283
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
requests 2.27.1 requests-unixsocket 0.2.0 touw 0.22.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
Zes 1.16.0 soepsieve 2.3.1 ssh-import-id 5.10
stack-data 0.2.0 statsmodels 0.13.2 vasthoudendheid 8.0.1
terminado 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 ujson 5.1.0
upgrades zonder toezicht 0,1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.4
wiel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11. De momentopname is niet meer beschikbaar.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.0 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.1 bslib 0.4.1 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-58 class 7.3-21 cli 3.4.1
clipr 0.8.0 klok 0.6.1 cluster 2.1.4
codetools 0.2-19 colorspace 2.0-3 commonmark 1.8.1
compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
Crayon 1.5.2 aanmeldingsgegevens 1.3.2 curl 4.3.3
data.table 1.14.4 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 verteren 0.6.30 downlit 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
beletselteken 0.3.2 evaluate 0,18 fansi 1.0.3
farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 buitenlands 0.8-82
smeden 0.2.0 Fs 1.5.2 toekomst 1.29.0
future.apply 1.10.0 gorgelen 1.2.1 Generics 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 afbeeldingen 4.2.2 grDevices 4.2.2
rooster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 hardhat 1.2.0 haven 2.5.1
highr 0,9 Hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 breiwerk 1,40
Labeling 0.4.2 later 1.3.0 latwerk 0.20-45
lava 1.7.0 levenscyclus 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASSA 7.3-58.2 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modeller 0.1.9
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallel 1.32.1 pilaar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 loven 1.0.0
prettyunits 1.1.1 Proc 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.11.0 Beloften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
leesbewerking 2.1.3 readxl 1.4.1 recepten 1.0.3
Rematch 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reprex 2.0.2 hervorm2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 weegschaal 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 vorm 1.4.6
glanzend 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 ruimtelijk 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Stats 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
overleving 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 tekstvorm 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 timechange 0.1.1 timeDate 4021.106
tinytex 0.42 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
snor 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 ritssluiting 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy klimop 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet parquet-codering 1.12.3-databricks-0002
org.apache.parquet parquet-format-structuren 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.13.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark ongebruikt 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1