Dela via

Databricks Runtime 15.1 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande viktig information innehåller information om Databricks Runtime 15.1, som drivs av Apache Spark 3.5.0.

Databricks släppte den här versionen i april 2024.

Dricks

Information om hur du ser viktig information för Databricks Runtime-versioner som har nått supportens slut (EoS) finns i Viktig information om Databricks Runtime-slut. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.

Icke-bakåtkompatibla ändringar

Stöd för Databricks Runtime 15.0 och Databricks Runtime 15.0 för Machine Learning upphör den 31 maj 2024 eftersom en uppgradering av Pandas-biblioteket från 1.5.3 till 2.0.3 i 15.0 orsakade en icke-bakåtkompatibel ändring i flera Apache Spark-API:er. Mer information om de icke-bakåtkompatibla ändringarna finns i Pandas Python-biblioteket nedgraderas till 1.5.3. För att lösa den här inkompatibiliteten har Databricks släppt Databricks Runtime 15.1 och Databricks Runtime 15.1 för Machine Learning. Funktionerna som stöds av dessa versioner är desamma som 15.0-versionerna, men med Pandas-versionen nedgraderad till 1.5.3.

Alla befintliga kluster eller jobb som använder Databricks Runtime 15.0-versioner fortsätter att fungera men får inte produkt- eller säkerhetsuppdateringar. Du kan inte längre konfigurera ny beräkning som använder Databricks Runtime 15.0 eller Databricks Runtime 15.0 ML i Databricks-användargränssnittet. Om du inte använder funktioner eller API:er som kräver Pandas 2.0+, rekommenderar Databricks att du byter dessa arbetsbelastningar till Databricks Runtime 15.1.

Om du använder funktioner eller API:er som endast är tillgängliga i Pandas 2.0+ och inte använder några funktioner som påverkas av den här versionen rekommenderar Databricks att växla till Databricks Runtime 15.1 och uppgradera standardpaketet för Pandas med hjälp av kluster - eller notebook-omfångsbibliotek . Om du till exempel vill uppgradera Pandas-biblioteket i en Databricks-notebook-fil använder du följande kommando:

%pip install pandas==2.0.3

Pandas Python-biblioteket nedgraderas till 1.5.3

I den här versionen nedgraderas Pandas-biblioteket från version 2.0.3 till 1.5.3. Den här nedgraderingen krävdes eftersom inkompatibiliteter i 2.0.3-versionen av Pandas orsakade fel i vissa Pandas API på Spark-funktioner. Följande visar de funktioner som påverkas av 2.0.3-versionen av Pandas:

  • pyspark.date_range: Parametern closed saknas och orsakar fel när den här funktionen anropas av befintlig kod.
  • Funktionen GroupBy för med MultiIndex kolumner ändras, vilket orsakar oväntat beteende.
  • Vissa datetime attribut för DatetimeIndex (till exempel day, month, yearoch så vidare) returnerar int32 datatyper i stället för int64 datatyper.

Funktionen PySpark spark.sql() misslyckas nu för ogiltiga argumenttyper

I Databricks Runtime 15.1 och senare måste parametern args för namngivna parametrar eller positionsparametrar som skickas till spark.sql() funktionen vara en ordlista eller lista. Om någon annan objekttyp skickas utlöses följande fel: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Lagring av bibliotek i DBFS-roten är inaktuell och inaktiverad som standard

För att förbättra säkerheten för bibliotek på en Azure Databricks-arbetsyta är lagring av biblioteksfiler i DBFS-roten inaktuell och inaktiverad som standard från och med Databricks Runtime 15.1. Databricks rekommenderar att du laddar upp alla bibliotek, inklusive Python-bibliotek, JAR-filer och Spark-anslutningsappar, till arbetsytefiler, Unity Catalog-volymer eller med hjälp av en paketlagringsplats. Se Rekommendationer för att ladda upp bibliotek.

Om du vill återaktivera lagringsbibliotek i DBFS-roten anger du följande Spark-konfigurationsparameter: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Standardversionen av Python uppgraderas från 3.10 till 3.11

Med Databricks Runtime 15.1 är standardversionen av Python 3.11.0. Listan över uppgraderade Python-bibliotek finns i Biblioteksuppgraderingar.

JDK 11 tas bort

Som tidigare meddelats tas JDK 11 bort från Databricks Runtime 15.1 och senare. Databricks rekommenderar att du uppgraderar till JDK 17 när du uppgraderar till Databricks Runtime 15.1 och senare. Se Databricks SDK för Java.

Python REPL avslutas nu på ett smidigt sätt

Med Databricks Runtime 15.1 avslutas nu notebook-filens Python REPL-process på ett smidigt sätt vid avslut. Detta gör att alla atexitkrokar respekteras. I ett arbetsflöde med flera Python Notebook-uppgifter kan atexit-hookar som registrerats i den första aktiviteten köras innan den andra python-notebook-aktiviteten körs.

Nya funktioner och förbättringar

*-satsen (star) stöds nu i WHERE-satsen

Nu kan du använda star-satsen (*) i WHERE -satsen för att referera till alla kolumner från SELECT listan. Exempel: SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)

Konfigurationen spark.sql.json.enablePartialResults är nu aktiverad som standard

Spark-konfigurationen spark.sql.json.enablePartialResults är nu aktiverad som standard, vilket gör att JSON-parsern kan hantera parsningsfel för komplexa typer som struct, map och array utan att släppa de återstående fälten. Den här ändringen åtgärdar ett konsekvensproblem för JSON-datakällor med kolumnrensning.

Klusterbibliotek stöder nu requirements.txt filer

Nu kan du installera klusterbibliotek med hjälp av en requirements.txt fil som lagras i en arbetsytefil eller Unity Catalog-volym. I kluster requirements.txt för enkel användare och delad åtkomst kan filen referera till andra filer. I Kluster med delat åtkomstläge utan isolering stöds endast PyPI-paket. Se Klusterbibliotek.

Databricks CLI är nu tillgängligt i webbterminalen

Nu kan du använda Databricks CLI från webbterminalen i notebook-filen. Anteckningsboken måste vara ansluten till ett kluster i läget Enskild användare eller Ingen isolering för delad åtkomst. Mer information finns i Använda webbterminal och Databricks CLI.

Lägga till standardlagringsplatser för Python i klusterkonfigurationer

I Databricks Runtime 15.1 och senare kan du konfigurera globala pip index-url parametrar och extra-index-url parametrar för installation av kluster- och notebook-bibliotek när du konfigurerar ett kluster eller definierar en klusterprincip. Det gör du genom att ange miljövariablerna DATABRICKS_PIP_INDEX_URL och DATABRICKS_PIP_EXTRA_INDEX_URL.

Åtkomstkontrollerna för autentiseringsuppgifter och Hive-metaarkivtabellen är inaktuella

Åtkomstkontroller för autentiseringsuppgifter och Åtkomstkontroller för Hive-metaarkivtabeller är äldre datastyrningsmodeller. Uppgradera till Unity Catalog för att förenkla säkerheten och styrningen av dina data genom att tillhandahålla en central plats för att administrera och granska dataåtkomst över flera arbetsytor i ditt konto. Se Vad är Unity Catalog?.

Stöd för åtkomstkontroller för autentiseringsuppgifter och åtkomstkontroller för Hive-metaarkivtabeller tas bort i en kommande DBR-version.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • svart från 22.6.0 till 23.3.0
    • boto3 från 1.24.28 till 1.34.39
    • botocore från 1.27.96 till 1.34.39
    • certifi från 2022.12.7 till 2023.7.22
    • kryptografi från 39.0.1 till 41.0.3
    • databricks-sdk från 0.1.6 till 0.20.0
    • distlib från 0.3.7 till 0.3.8
    • googleapis-common-protos från 1.62.0 till 1.63.0
    • grpcio från 1.48.2 till 1.60.0
    • grpcio-status från 1.48.1 till 1.60.0
    • importlib-metadata från 4.6.4 till 6.0.0
    • ipykernel från 6.25.0 till 6.25.1
    • ipython från 8.14.0 till 8.15.0
    • ipywidgets från 7.7.2 till 8.0.4
    • jupyter_core från 5.2.0 till 5.3.0
    • jupyterlab-widgets från 1.0.0 till 3.0.5
    • matplotlib från 3.7.0 till 3.7.2
    • pip från 22.3.1 till 23.2.1
    • platformdirs från 2.5.2 till 3.10.0
    • protobuf från 4.24.0 till 4.24.1
    • pyarrow från 8.0.0 till 14.0.1
    • Pygments från 2.11.2 till 2.15.1
    • pyodbc från 4.0.32 till 4.0.38
    • begäranden från 2.28.1 till 2.31.0
    • s3transfer från 0.6.2 till 0.10.0
    • scikit-learn från 1.1.1 till 1.3.0
    • scipy från 1.10.0 till 1.11.1
    • setuptools från 65.6.3 till 68.0.0
    • statsmodels från 0.13.5 till 0.14.0
    • från 8.1.0 till 8.2.2
    • tornado från 6,1 till 6,3,2
    • typing_extensions från 4.4.0 till 4.7.1
    • urllib3 från 1.26.14 till 1.26.16
    • virtualenv från 20.16.7 till 20.24.2
    • widgetsnbextension från 3.6.1 till 4.0.5
    • zipp från 1.0.0 till 3.11.0
  • Uppgraderade R-bibliotek:
    • pil från 12.0.1 till 14.0.0.2
    • askpass från 1.1 till 1.2.0
    • bas från 4.3.1 till 4.3.2
    • brygg från 1,0-8 till 1,0-10
    • brio från 1.1.3 till 1.1.4
    • bslib från 0.5.0 till 0.6.1
    • cli från 3.6.1 till 3.6.2
    • commonmark från 1.9.0 till 1.9.1
    • kompilator från 4.3.1 till 4.3.2
    • konfiguration från 0.3.1 till 0.3.2
    • cpp11 från 0.4.4 till 0.4.7
    • autentiseringsuppgifter från 1.3.2 till 2.0.1
    • curl från 5.0.1 till 5.2.0
    • data.table från 1.14.8 till 1.15.0
    • datauppsättningar från 4.3.1 till 4.3.2
    • DBI från 1.1.3 till 1.2.1
    • dbplyr från 2.3.3 till 2.4.0
    • desc från 1.4.2 till 1.4.3
    • sammanfatta från 0.6.33 till 0.6.34
    • dplyr från 1.1.2 till 1.1.4
    • e1071 från 1,7-13 till 1,7-14
    • utvärdera från 0,21 till 0,23
    • fansi från 1.0.4 till 1.0.6
    • fontawesome från 0.5.1 till 0.5.2
    • fs från 1.6.2 till 1.6.3
    • från 1.33.0 till 1.33.1
    • future.apply från 1.11.0 till 1.11.1
    • gargle från 1.5.1 till 1.5.2
    • gert från 1.9.2 till 2.0.1
    • ggplot2 från 3.4.2 till 3.4.4
    • glmnet från 4.1-7 till 4.1-8
    • lim från 1.6.2 till 1.7.0
    • grafik från 4.3.1 till 4.3.2
    • grDevices från 4.3.1 till 4.3.2
    • rutnät från 4.3.1 till 4.3.2
    • gtable från 0.3.3 till 0.3.4
    • hardhat från 1.3.0 till 1.3.1
    • haven från 2.5.3 till 2.5.4
    • htmltools från 0.5.5 till 0.5.7
    • htmlwidgets från 1.6.2 till 1.6.4
    • httpuv från 1.6.11 till 1.6.14
    • httr från 1.4.6 till 1.4.7
    • httr2 från 0.2.3 till 1.0.0
    • jsonlite från 1.8.7 till 1.8.8
    • stickning från 1,43 till 1,45
    • etikettering från 0.4.2 till 0.4.3
    • senare från 1.3.1 till 1.3.2
    • lava från 1.7.2.1 till 1.7.3
    • livscykel från 1.0.3 till 1.0.4
    • listenv från 0.9.0 till 0.9.1
    • lubridat från 1.9.2 till 1.9.3
    • markdown från 1.7 till 1.12
    • metoder från 4.3.1 till 4.3.2
    • openssl från 2.0.6 till 2.1.1
    • parallell från 4.3.1 till 4.3.2
    • pkgbuild från 1.4.2 till 1.4.3
    • pkgload från 1.3.2.1 till 1.3.4
    • från 1,8,8 till 1,8,9
    • prettyunits från 1.1.1 till 1.2.0
    • pROC från 1,18,4 till 1,18,5
    • processx från 3.8.2 till 3.8.3
    • prodlim från 2023.03.31 till 2023.08.28
    • framsteg från 1.2.2 till 1.2.3
    • progressr från 0.13.0 till 0.14.0
    • löften från 1.2.0.1 till 1.2.1
    • ps från 1.7.5 till 1.7.6
    • purrr från 1.0.1 till 1.0.2
    • ragg från 1.2.5 till 1.2.7
    • Rcpp från 1.0.11 till 1.0.12
    • RcppEigen från 0.3.3.9.3 till 0.3.3.9.4
    • readr från 2.1.4 till 2.1.5
    • recept från 1.0.6 till 1.0.9
    • rematch från 1.0.1 till 2.0.0
    • remotes från 2.4.2 till 2.4.2.1
    • reprex från 2.0.2 till 2.1.0
    • rlang från 1.1.1 till 1.1.3
    • rmarkdown från 2.23 till 2.25
    • RODBC från 1.3-20 till 1.3-23
    • roxygen2 från 7.2.3 till 7.3.1
    • rprojroot från 2.0.3 till 2.0.4
    • Rserve från 1,8-11 till 1,8-13
    • RSQLite från 2.3.1 till 2.3.5
    • sass från 0.4.6 till 0.4.8
    • skalar från 1.2.1 till 1.3.0
    • glänsande från 1.7.4.1 till 1.8.0
    • sparklyr från 1.8.1 till 1.8.4
    • splines från 4.3.1 till 4.3.2
    • statistik från 4.3.1 till 4.3.2
    • stats4 från 4.3.1 till 4.3.2
    • stringi från 1.7.12 till 1.8.3
    • stringr från 1.5.0 till 1.5.1
    • systemfonts från 1.0.4 till 1.0.5
    • tcltk från 4.3.1 till 4.3.2
    • testthat från 3.1.10 till 3.2.1
    • textshaping från 0.3.6 till 0.3.7
    • tidyr från 1.3.0 till 1.3.1
    • timechange från 0.2.0 till 0.3.0
    • timeDate från 4022.108 till 4032.109
    • tinytex från 0,45 till 0,49
    • verktyg från 4.3.1 till 4.3.2
    • utf8 från 1.2.3 till 1.2.4
    • från 4.3.1 till 4.3.2
    • uuid från 1.1-0 till 1.2-0
    • vctrs från 0.6.3 till 0.6.5
    • vroom från 1.6.3 till 1.6.5
    • waldo från 0.5.1 till 0.5.2
    • withr från 2.5.0 till 3.0.0
    • xfun från 0,39 till 0,41
    • xml2 från 1.3.5 till 1.3.6
    • yaml från 2.3.7 till 2.3.8
    • zip från 2.3.0 till 2.3.1
  • Uppgraderade Java-bibliotek:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 från 2.15.1 till 2.16.0
    • com.google.flatbuffers.flatbuffers-java från 1.12.0 till 23.5.26
    • com.typesafe.config från 1.2.1 till 1.4.3
    • org.apache.ant.ant från 1.9.16 till 1.10.11
    • org.apache.ant.ant-jsch från 1.9.16 till 1.10.11
    • org.apache.ant.ant-launcher från 1.9.16 till 1.10.11
    • org.apache.arrow.arrow-format från 12.0.1 till 15.0.0
    • org.apache.arrow.arrow-memory-core från 12.0.1 till 15.0.0
    • org.apache.arrow.arrow-memory-netty från 12.0.1 till 15.0.0
    • org.apache.arrow.arrow-vector från 12.0.1 till 15.0.0
    • org.apache.avro.avro från 1.11.2 till 1.11.3
    • org.apache.avro.avro-ipc från 1.11.2 till 1.11.3
    • org.apache.avro.avro-mapred från 1.11.2 till 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api från 2.20.0 till 2.22.1
    • org.apache.logging.log4j.log4j-api från 2.20.0 till 2.22.1
    • org.apache.logging.log4j.log4j-core från 2.20.0 till 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl från 2.20.0 till 2.22.1
    • org.postgresql.postgresql från 42.6.0 till 42.6.1

Apache Spark

Databricks Runtime 15.1 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 14.3 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Återställ "[SC-151626][CORE] Använd bråk för att utföra resursberäkningen"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Lägg till konfigurationsflaggan COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] Hoppa över V2-tabellsökning när en tabell finns i V1-tabellcache
  • [SPARK-46808] [SC-154113][PYTHON] Förfina felklasser i Python med automatisk sorteringsfunktion
  • [SPARK-47251] [SC-158291][PYTHON] Blockera ogiltiga typer från args argumentet för sql kommandot
  • [SPARK-47251] [SC-158121][PYTHON] Blockera ogiltiga typer från args argumentet för sql kommandot
  • [SPARK-47108] [SC-157204][CORE] Ange derby.connection.requireAuthentication till false explicit i CLIs
  • [SPARK-45599] [SC-157537][CORE] Använda objektjämlikhet i OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] Använd ordinalNumber för att enhetligt ange värdet paramIndex för för felklassen UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][ANSLUT] Extrahera en hjälpfunktion för att eliminera duplicerad kod som hämtas MessageParameters från ErrorParams i GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][ANSLUT] Stöd ProtoUtils.abbreviate för upprepade fält
  • [SPARK-46342] [SC-150283][SQL] SparkException.internalError Ersätt med IllegalStateException i sql
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD hanterar inte fel korrekt i getQueryOutputSchema
  • [SPARK-47189] [SC-157667][SQL] Justera kolumnfelnamn och text
  • [SPARK-45789] [SC-157101][SQL] Stöd för DESCRIBE TABLE för klustringskolumner
  • [SPARK-43256] [SC-157699][SQL] Ta bort felklass _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][ANSLUT] sameSemantics kontrollerar indatatyper
  • [SPARK-47183] [SC-157660][PYTHON] Åtgärda felklassen för sameSemantics
  • [SPARK-47179] [SC-157663][SQL] Förbättra felmeddelandet från SparkThrowableSuite för bättre felsökning
  • [SPARK-46965] [SC-155791][CORE] Checka logType in Utils.getLog
  • [SPARK-46832] [SC-156774][SQL] Introduktion till sorterings- och sorteringsuttryck
  • [SPARK-46946] [SC-155721][SQL] Stöd för sändning av flera filtreringsnycklar i DynamicPruning
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][ANSLUT] Lägg till information om varianttyp i PySpark
  • [SPARK-47101] [SC-157360][SQL] Tillåt att kommatecken används i kolumnnamn på den översta nivån och ta bort kryssrutan kapslad typdefinition i HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][Användargränssnitt] Åtgärda ett stavfel i förklaringen för direktuppspelningsgränssnittet
  • [SPARK-47113] [SC-157348][CORE] Återställ S3A-slutpunktskorrigeringslogik för SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] Använd listStatus för att kringgå blockplatsinformation vid rensning av drivrutinsloggar
  • [SPARK-43259] [SC-157368][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec bör initiera den osäkra projektionen
  • [SPARK-47137] [SC-157463][PYTHON][ANSLUT] Lägg till getAll i spark.conf för funktionsparitet med Scala
  • [SPARK-46924] [SC-154905][CORE] Knappen Åtgärda Load New i Master/HistoryServer logggränssnittet
  • [SPARK-47069] [SC-157370][PYTHON][ANSLUT] Introduktion spark.profile.show/dump för SparkSession-baserad profilering
  • [SPARK-46812] [SC-157075][SQL][PYTHON] Skapa mapInPandas/mapInArrow-stöd för ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Sortering – Introduktion till CollationFactory som tillhandahåller jämförelse- och hashningsregler för sortering som stöds
  • [SPARK-47057] [SC-157036][PYTHON] Reeanble MyPy-datatest
  • [SPARK-46934] [SC-157084][SQL] Läs/skriv tur och retur för structtyp med specialtecken med HMS
  • [SPARK-46727] [SC-153472][SQL] Port classifyException() i JDBC-dialekter i felklasser
  • [SPARK-46964] [SC-155740][SQL] Ändra signaturen för frågekörningsfelet hllInvalidLgK för att ta ett heltal som fjärde argumentet
  • [SPARK-46949] [SC-155719][SQL] Stöd för CHAR/VARCHAR via ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][SQL] Åtgärda asymmetrisk ersättning för tecken/varchar i V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PYTHON][ANSLUT] Implementera metoder dumpPerfProfiles och dumpMemoryProfiles för SparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][ANSLUT] Stöd för v2-profilering i grupp/grupp applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][ANSLUT] Tillåt att Spark Connect Server-skript väntar
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][ANSLUT] Stöd för v2-profilering i aggregerade Pandas UDF:er
  • [SPARK-47004] [SC-156499][ANSLUT] Fler tester har lagts till i ClientStreamingQuerySuite för att öka Scala-klienttesttäckningen
  • [SPARK-46994] [SC-156169][PYTHON] Omstrukturera PythonWrite för att förbereda för att stödja strömningsskrivning för python-datakälla
  • [SPARK-46979] [SC-156587][SS] Lägg till stöd för att ange nyckel- och värdekodare separat och även för varje col-familj i RocksDB state store-providern
  • [SPARK-46960] [SC-155940][SS] Testa flera indataströmmar med TransformWithState-operatorn
  • [SPARK-46966] [SC-156112][Python] Lägg till UDTF-API för "analysera"-metoden för att ange delmängden av indatatabellkolumner som ska väljas
  • [SPARK-46895] [SC-155950][CORE] Ersätt Timer med en tråds schemalagda köre
  • [SPARK-46967] [SC-155815][CORE][Användargränssnitt] Dölj Thread Dump och Heap Histogram för Dead utförare i Executors användargränssnittet
  • [SPARK-46512] [SC-155826][CORE] Optimera blandningsläsning när både sortering och kombination används.
  • [SPARK-46958] [SC-155942][SQL] Lägg till tidszon som saknas för att tvinga standardvärden
  • [SPARK-46754] [SC-153830][SQL][AVRO] Åtgärda matchning av komprimeringskod i definitions- och skrivalternativ för avro-tabeller
  • [SPARK-46728] [SC-154207][PYTHON] Kontrollera att Pandas-installationen är korrekt
  • [SPARK-43403] [SC-154216][Användargränssnitt] Kontrollera att det gamla SparkUI i HistoryServer har kopplats från innan du läser in nytt
  • [SPARK-39910] [SC-156203][SQL] Delegera sökvägskvalificering till filsystem under globbning av DataSource-filsökväg
  • [SPARK-47000] [SC-156123] Återställ "[SC-156123][CORE] Använd getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] Flytta felkategorier och tillstånd till JSON
  • [SPARK-46997] [SC-156175][CORE] Aktivera spark.worker.cleanup.enabled som standard
  • [SPARK-46865] [SC-156168][SS] Lägga till Batch-stöd för TransformWithState-operator
  • [SPARK-46987] [SC-156040][ANSLUT] ProtoUtils.abbreviate undvik onödiga setField åtgärder
  • [SPARK-46970] [SC-155816][CORE] Skriv om OpenHashSet#hasher med pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Ta bort pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] Använd getTotalMemorySize i WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][MINOR] Undvik att använda interna API:er i dataramens slutpunkt till slutpunkt-tester
  • [SPARK-46931] Återställ "[SC-155661][PS] Implementera {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] Förbättra felmeddelanden för DATA_SOURCE_NOT_FOUND fel
  • [SPARK-46849] [SC-154586][SQL] Kör optimeraren på standardvärden för CREATE TABLE-kolumnen
  • [SPARK-46911] [SC-155724][SS] Lägga till operatorn deleteIfExists i StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Stöd lz4raw för komprimeringskodc för Parquet
  • [SPARK-47002] [SC-156223][Python] Returnera bättre felmeddelande om UDTF-metoden "analysera" fältet orderBy av misstag returnerar en lista med strängar
  • [SPARK-46890] [SC-155802][SQL] Åtgärda CSV-parsningsfel med förekomst av standardvärden och kolumnrensning
  • [SPARK-46977] [SC-155892][CORE] En misslyckad begäran om att hämta en token från en NameNode bör inte hoppa över efterföljande tokenbegäranden
  • [SPARK-46608] [SC-151806][SQL] Återställa bakåtkompatibilitet för JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] Support star-satsen i WHERE-satsen
  • [SPARK-46908] [SC-155702][SQL] Support star-satsen i WHERE-satsen
  • [SPARK-46852] [SC-155665][SS] Ta bort användningen av explicit nyckelkodare och skicka den implicit till operatorn för transformWithState-operatorn
  • [SPARK-46864] [SC-155669][SS] Registrera godtyckliga StateV2 på nytt ramverk för felklass
  • [SPARK-45807] [SC-155706][SQL] Returnera vyn efter att ha anropat replaceView(..)
  • [SPARK-46899] [SC-154651][CORE] Ta bort POST API:er från MasterWebUI när spark.ui.killEnabled är false
  • [SPARK-46868] [SC-154539][CORE] Stöd för Spark Worker-logggränssnittet
  • [SPARK-46931] [SC-155661][PS] Implementera {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Ta bort oanvänd updateSparkConfigFromProperties och isAbsoluteURI i o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][ANSLUT][SS] Använda ThreadUtils.shutdown för att stänga trådpooler
  • [SPARK-46400] [SC-155658][CORE][SQL] När det finns skadade filer på den lokala maven-lagringsplatsen hoppar du över cacheminnet och försöker igen
  • [SPARK-46932] [SC-155655] Rensa importen i pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Skriva en underfrågasgenerator som genererar underfrågor permutationer för att öka testtäckningen
  • [SPARK-46914] [SC-154776][Användargränssnitt] Förkorta appnamnet i sammanfattningstabellen på historiksidan
  • [SPARK-46831] [SC-154699][SQL] Sortering – Utöka StringType och PhysicalStringType med sorterings-ID-fält
  • [SPARK-46816] [SC-154415][SS] Lägg till basstöd för ny godtycklig tillståndshanteringsoperator, enskild valueState-typ, flera tillståndsvariabler och underliggande stöd för kolumnfamiljer för RocksDBStateStoreProvider med/utan kontrollpunkter för ändringsloggar
  • [SPARK-46925] [SC-154890][PYTHON][ANSLUT] Lägg till en varning som instruerar att installera memory_profiler för minnesprofilering
  • [SPARK-46927] [SC-154904][PYTHON] Gör så att assertDataFrameEqual det fungerar korrekt utan PyArrow
  • [SPARK-46021] [SC-148987][CORE] Supporten avbryter framtida jobb som tillhör en jobbgrupp
  • [SPARK-46747] [SC-154789][SQL] Undvik genomsökning i getTableExistsQuery för JDBC-dialekter
  • [SPARK-46904] [SC-154704][Användargränssnitt] Åtgärda visningsproblem med sammanfattning av användargränssnittet för historik
  • [SPARK-46870] [SC-154541][CORE] Stöd för Spark Master Log-användargränssnitt
  • [SPARK-46893] [SC-154780][Användargränssnitt] Ta bort infogade skript från användargränssnittsbeskrivningar
  • [SPARK-46910] [SC-154760][PYTHON] Eliminera JDK-krav i PySpark-installation
  • [SPARK-46907] [SC-154736][CORE] Visa platsen för drivrutinsloggen i Spark-historikservern
  • [SPARK-46902] [SC-154661][Användargränssnitt] Åtgärda Spark History Server-användargränssnittet för att använda oexporterad uppsättningAppLimit
  • [SPARK-46687] [SC-154725][PYTHON][ANSLUT] Grundläggande stöd för SparkSession-baserad minnesprofilerare
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Ersätt SimpleDateFormat med DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] När är mode null ska not en NullPointException kastas
  • [SPARK-46872] [SC-154543][CORE] Återställ log-view.js för att vara icke-modul
  • [SPARK-46883] [SC-154629][CORE] Support-API /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Aktivera spark.ui.prometheus.enabled som standard
  • [SPARK-46873] [SC-154638][SS] Återskapa inte nya StreamingQueryManager för samma Spark-session
  • [SPARK-46829] [SC-154419][CORE] Ta bort createExecutorEnv från SparkEnv
  • [SPARK-46827] [SC-154280][CORE] Skapa RocksDBPersistenceEngine för att stödja en symbolisk länk
  • [SPARK-46903] [SC-154662][CORE] Stöd för Användargränssnitt för Spark-historikserverlogg
  • [SPARK-46874] [SC-154646][PYTHON] Ta bort pyspark.pandas beroende från assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] Verifiera spark.master.ui.decommission.allow.mode inställning
  • [SPARK-46850] [SC-154443][SQL] Konvertera _LEGACY_ERROR_TEMP_2102 till UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][Användargränssnitt] Korrigering MasterPage för att sortera Running Drivers tabell efter Duration kolumn korrekt
  • [SPARK-46796] [SC-154279][SS] Kontrollera att rätt fjärrfiler (som nämns i metadata.zip) används vid RocksDB-versionsinläsning
  • [SPARK-46888] [SC-154636][CORE] Korrigering Master för att avvisa /workers/kill/ begäranden om avaktivera är inaktiverat
  • [SPARK-46818] [SC-154422][SQL] Förbättra felmeddelanden för Intervall med icke-vikbara indata
  • [SPARK-46898] [SC-154649][ANSLUT] Förenkla protobuf-funktionstransformeringen i Planner
  • [SPARK-46828] [SC-154413][SQL] Ta bort det ogiltiga försäkran om fjärrläge för Spark SQL Shell
  • [SPARK-46733] [SC-154274][CORE] Förenkla BlockManager genom att avsluta åtgärden beror bara på avbrottstråd.
  • [SPARK-46777] [SC-154016][SS] StreamingDataSourceV2Relation Omstrukturera katalysatorstrukturen så att den är mer i nivå med batchversionen
  • [SPARK-46515] [SC-151716] Lägg till funktionen MONTHNAME
  • [SPARK-46823] [SC-154276][ANSLUT][PYTHON] LocalDataToArrowConversion bör kontrollera nullabiliteten
  • [SPARK-46787] [SC-154404][ANSLUT] bloomFilter funktionen ska utlösas AnalysisException för ogiltiga indata
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation instanser av samma cachelagrade plan ska vara semantiskt likvärdiga
  • [SPARK-45827] [SC-153973] Tillåt inte partitionering i kolumnen Variant
  • [SPARK-46797] [SC-154085][CORE] Byt spark.deploy.spreadOut namn till spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Stöd för JVM-profilering för executor
  • [SPARK-46746] [SC-153557][SQL][AVRO] Bifoga codec-tillägget till avro-datakällans filer
  • [SPARK-46698] [SC-153288][CORE] Ersätt Timer med en tråds schemalagda köre för ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Korrigering för STRUCT-typ DDL plockar inte upp nullbarhet och kommentar
  • [SPARK-46750] [SC-153772][ANSLUT][PYTHON] DataFrame-API:er rensas
  • [SPARK-46769] [SC-153979][SQL] Förfina tidsstämpelrelaterad schemainferens
  • [SPARK-46765] [SC-153904][PYTHON][ANSLUT] Ange shuffle datatypen för seed
  • [SPARK-46579] [SC-151481][SQL] Redigera JDBC-url i fel och loggar
  • [SPARK-46686] [SC-153875][PYTHON][ANSLUT] Grundläggande stöd för SparkSession-baserad Python UDF-profilerare
  • [SPARK-46748] Återställ "[SC-153800][CORE] Ta bort *slav**.sh scri...
  • [SPARK-46707] [SC-153833][SQL] Fält som kan kastas har lagts till i uttryck för att förbättra predikat-pushdown
  • [SPARK-46519] [SC-151278][SQL] Rensa oanvända felklasser från error-classes.json filen
  • [SPARK-46677] [SC-153426][SQL][ANSLUT] Åtgärda dataframe["*"] upplösning
  • [SPARK-46317] [SC-150184][PYTHON][ANSLUT] Matcha matchning av mindre beteende i SparkSession med fullständig testtäckning
  • [SPARK-46748] [SC-153800][CORE] Ta bort *slav**.sh skript
  • [SPARK-46663] [SC-153490][PYTHON] Inaktivera minnesprofilering för Pandas UDF:er med iteratorer
  • [SPARK-46410] [SC-150776][SQL] Tilldela felklasser/underklasser till JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] Verifiera start-URL:ar med konfigurationen som anges
  • [SPARK-46612] [SC-153536][SQL] Konvertera inte matristypsträng som hämtats från jdbc-drivrutinen
  • [SPARK-46254] [SC-149788][PYTHON] Ta bort inaktuell python 3.8/3.7-versionskontroll
  • [SPARK-46490] [SC-151335][SQL] Kräv felklasser i SparkThrowable underklasser
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] Minska drivrutins heapanvändningen genom att minska livslängden för TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][ANSLUT] Åtgärda den tvetydiga kolumnreferensen i självkoppling
  • [SPARK-46381] [SC-150495][SQL] Migrera underklasser AnalysisException till felklasser
  • [SPARK-46351] [SC-150335][SQL] Kräv en felklass i AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Begränsa teckenuppsättningar i decode()
  • [SPARK-46369] [SC-150340][CORE] Ta bort kill länk från RELAUNCHING drivrutiner i MasterPage
  • [SPARK-46052] [SC-153284][CORE] Ta bort funktionen TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] SupportGRUPP EFTER calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] Ta bort oanvänd inferTimestampNTZ i ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] Förenkla ReloadingX509TrustManager genom att avsluta åtgärden beror bara på avbrott tråd.
  • [SPARK-46722] [SC-153438][ANSLUT] Lägg till ett test för bakåtkompatibilitetskontroll för StreamingQueryListener i Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Justera codegen- och icke-codegen-implementering av StringDecode
  • [SPARK-46258] [SC-149799][CORE] Addera RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Förbättra FileSystemPersistenceEngine för att stödja komprimering
  • [SPARK-46189] [SC-149567][PS][SQL] Utföra jämförelser och aritmetik mellan samma typer i olika Pandas-mängdfunktioner för att undvika fel i tolkat läge
  • [SPARK-46184] [SC-149563][CORE][SQL][ANSLUT][MLLIB] Minska stackdjupet genom att ersätta Option.isDefined med Option.isEmpty
  • [SPARK-46700] [SC-153329][CORE] Räkna det senaste spillet för måttet shuffle disk spillande byte
  • [SPARK-45642] [SC-150286][CORE][SQL] Reparera FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] Åtgärda RemoveRedundantAlias genom att exkludera underfrågor
  • [SPARK-46681] [SC-153287][CORE] ExecutorFailureTracker#maxNumExecutorFailures Omstrukturera för att undvika att beräkna defaultMaxNumExecutorFailures när MAX_EXECUTOR_FAILURES har konfigurerats
  • [SPARK-46695] [SC-153289][SQL][HIVE] Ange alltid hive.execution.engine till mr
  • [SPARK-46325] [SC-150228][ANSLUT] Ta bort onödiga åsidosättningsfunktioner när du WrappedCloseableIterator skapar i ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Migrera alla återstående ValueError till PySpark-felramverket.
  • [SPARK-46547] [SC-153174][SS] Svälj ett undantag som inte är dödligt i underhållsuppgiften för att undvika dödläge mellan underhållstråd och strömningsaggregeringsoperator
  • [SPARK-46169] [SC-149373][PS] Tilldela lämpliga JIRA-nummer för parametrar som saknas från DataFrame API:et.
  • [SPARK-45857] [SC-148096][SQL] Framtvinga felklasserna i underklasser av AnalysisException

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 15.1.

Systemmiljö

  • Operativsystem: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta lake: 3.1.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
svart 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
contourpy 1.0.5 kryptografi 41.0.3 cyklist 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
felsökning 1.6.7 dekoratör 5.1.1 distlib 0.3.8
entrypoints 0,4 Verkställande 0.8.3 facets-overview 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 nyckelring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 emballage 23.2
Pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Kudde 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantisk 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 begäranden 2.31.0
RSA 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 sex 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 orubblighet 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tromb 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
obevakade uppgraderingar 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 hjul 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Installerade R-bibliotek

R-bibliotek installeras från Posit Package Manager CRAN-ögonblicksbilden 2023-02-10.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backportar 1.4.1 bas 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 start 1.3-28
brygga 1.0-10 Brio 1.1.4 kvast 1.0.5
bslib 0.6.1 cachem 1.0.8 anropare 3.7.3
textmarkör 6.0-94 cellranger 1.1.0 Chron 2.3-61
klass 7.3-22 cli 3.6.2 clipr 0.8.0
klocka 0.7.0 cluster 2.1.4 codetools 0.2-19
färgområde 2.1-0 commonmark 1.9.1 kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
krita 1.5.2 autentiseringsuppgifter 2.0.1 hårlock 5.2.0
data.table 1.15.0 datauppsättningar 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 smälta 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evaluate (utvärdera) 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
främmande 0.8-85 smida 0.2.0 Fs 1.6.3
framtid 1.33.1 future.apply 1.11.1 gurgla 1.5.2
Generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 lim 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafik 4.3.2 grDevices 4.3.2 gitter 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 hamn 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratorer 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 stickning 1.45 Märkning 0.4.3
senare 1.3.2 Galler 0.21-8 lava 1.7.3
livscykel 1.0.4 lyssna 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASSA 7.3-60
Matris 1.5-4.1 pmise 2.0.1 metoder 4.3.2
mgcv 1.8-42 MIME 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallellt 1.36.0 pelare 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 berömma 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Förlopp 1.2.3
progressr 0.14.0 Löften 1.2.1 Proto 1.0.0
proxyserver 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reakterbar 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recept 1.0.9 Returmatch 2.0.0 rematch2 2.1.2
Fjärrkontroller 2.4.2.1 reprex 2.1.0 omforma2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversioner 2.1.2 rvest 1.0.3 Sass 0.4.8
våg 1.3.0 väljare 0.4-2 sessioninfo 1.2.2
form 1.4.6 skinande 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 rumslig 7.3-15 Splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
överlevnad 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
avmarkera 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0,49 verktyg 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 verktyg 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 morrhår 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 Zip 2.3.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.koffein koffein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tingeling 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffert 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pilformat 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pilvektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy murgröna 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-samlingar 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-fortsättning 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty brygga-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty brygga plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty brygga-server 9.4.52.v20230823
org.eclipse.jetty brygga-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty brygga-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator vilolägesverifierare 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-kompatibel 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1