Sdílet prostřednictvím

Databricks Runtime 13.3 LTS

  • Článek

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 13.3 LTS, který využívá Apache Spark 3.4.1.

Databricks vydala tuto verzi v srpnu 2023.

Poznámka:

LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.

Tip

Poznámky k verzi pro verze Databricks Runtime, které dosáhly konce podpory (EoS), najdete v poznámkách k verzi Databricks Runtime pro ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Nové funkce a vylepšení

Podpora Scala pro sdílené clustery

Sdílené clustery s podporou katalogu Unity teď podporují Scala, když používáte Databricks Runtime 13.3 a vyšší.

Seznam povolených pro inicializační skripty, jars a souřadnice Mavenu ve sdílených clusterech katalogu Unity je ve verzi Public Preview.

Katalog Unity allowlist teď můžete použít k řízení instalace inicializačních skriptů, jars a souřadnic Mavenu na výpočetních prostředcích s režimem sdíleného přístupu, ve kterém běží Databricks Runtime 13.3 a vyšší. Viz Knihovny allowlist a inicializační skripty pro sdílené výpočetní prostředky.

Podpora svazků pro inicializační skripty a jar je ve verzi Public Preview

Svazky katalogu Unity teď můžete použít k ukládání inicializačních skriptů a jar na výpočetní prostředky s přiřazenými nebo sdílenými režimy přístupu, na kterých běží Databricks Runtime 13.3 a vyšší. Podívejte se , kde lze inicializační skripty nainstalovat? a knihovny v oboru clusteru.

Bezpečné přetypování je ve výchozím nastavení pro operace Delta Lake zapnuté.

Operace Delta UPDATE a MERGE operace teď způsobí chybu, když hodnoty nelze bezpečně přetypovat na typ ve schématu cílové tabulky. Všechny implicitní přetypování v Delta nyní následují spark.sql.storeAssignmentPolicy místo spark.sql.ansi.enabled. Viz dodržování předpisů ANSI v Databricks Runtime.

Představujeme značky s katalogem Unity

S Databricks Runtime 13.3 LTS a novějším můžete použít značky na zabezpečitelné objekty. Značky pomáhají uspořádat zabezpečitelné objekty a zjednodušit vyhledávání a zjišťování datových prostředků. Viz Použití značek na zabezpečitelné objekty Katalogu Unity.

Databricks Runtime vrátí chybu, pokud se soubor změní mezi plánováním dotazů a vyvoláním.

Dotazy Databricks Runtime teď vrací chybu, pokud se soubor aktualizuje mezi plánováním dotazů a vyvoláním. Než se tato změna změní, databricks Runtime přečte soubor mezi těmito fázemi, což občas vede k nepředvídatelným výsledkům.

Blokování přepsání schématu při použití dynamického přepsání oddílů

V kombinaci s dynamickým přepsáním oddílů v Delta Lake není možné nastavit overwriteSchema true na hodnotu v kombinaci. To brání možnému poškození tabulky kvůli neshodě schématu. Viz Dynamické přepsání oddílů.

Integrace rozhraní COPYFile API do dbutils.fs.cp

Příkaz dbutils.fs.cp dbutils copy je teď optimalizovaný pro rychlejší kopírování. Díky tomuto vylepšení můžou být operace kopírování až 100krát rychlejší v závislosti na velikosti souboru. Tato funkce je dostupná ve všech systémech souborů dostupných v Azure Databricks, včetně svazků katalogu Unity a připojení systému souborů Databricks.

Podpora ovladačů Databricks ODBC/JDBC

Azure Databricks podporuje ovladače ODBC a JDBC vydané v posledních 2 letech. Stáhněte si nejnovější ovladač na webu Download ODBC Driver a Stáhněte ovladač JDBC.

Podpora značek nepojmenovaných (pozičních) parametrů

Rozhraní SparkSession.sql() API teď podporuje parametrizované dotazy pomocí ? syntaxe kromě parametrizovaných dotazů pomocí :parm syntaxe. Viz značky parametrů.

Povolení popisování sloupců časových řad

Při vytváření omezení primárního klíče teď můžete označit sloupce časových řad.

Nové bitmapové funkce SQL

Azure Databricks teď poskytuje sadu funkcí, které je možné použít k mapování integrálních číselných hodnot na rastrový obrázek a jejich agregaci. Dá se použít k předběžnému výpočtu počtu jedinečných hodnot.

Vylepšené funkce šifrování

Funkce aes_encrypt, aes_decrypt a try_aes_decrypt byly vylepšeny s podporou inicializačních vektorů (IV) a ověřenými dalšími daty (AAD).

Podpora katalogu Unity pro REFRESH FOREIGN

Nyní můžete aktualizovat zahraniční katalogy, schémata a tabulky v Katalogu Unity pomocí REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMAa REFRESH FOREIGN TABLE. Viz AKTUALIZOVAT CIZÍ (KATALOG, SCHÉMA a TABULKA).

VLOŽIT PODLE NÁZVU

Když do tabulky vložíte řádky, můžete teď nechat Azure Databricks automaticky mapovat sloupce a pole ve zdrojovém dotazu na sloupce tabulky podle jejich názvu. Viz INSERT INTO.

Sdílení materializovaných zobrazení pomocí rozdílového sdílení

Příkaz ALTER SHARE teď podporuje materializovaná zobrazení.

Změny způsobující chyby

Změny implicitního přetypování při ukládání řádků v tabulce pomocí funkce MERGE INTO a UPDATE

Azure Databricks se teď řídí konfigurací spark.sql.storeAssignmentPolicy implicitního přetypování při ukládání řádků do tabulky. Výchozí hodnota ANSI vyvolá chybu při ukládání hodnot přetečení. Dříve se hodnoty ukládaly jako NULL výchozí.

Stejně jako v následujícím příkladu můžete přetečení adresovat přepsáním tabulky tak, aby používala širší typ sloupce, který chybu způsobuje.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Změny odvození schématu Parquet

Při odvozování schémat ze souborů Parquet, které spark nezapisuje, int64 budou sloupce časového razítka anotované isAdjustedToUTC=false nyní výchozí typ TIMESTAMP_NTZ . Dříve byly odvozeny jako TIMESTAMP typ. Tato aktualizace vylepšuje přesnost mapování typů Parquet na typy Spark SQL.

V důsledku toho může čtení dat z externích souborů Parquet do tabulky Delta vést k chybě, pokud timestampNtz tato funkce není povolená. Chyba se zobrazí takto:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

Chcete-li zachovat předchozí chování a zabránit této chybě, můžete nastavit parametr spark.sql.parquet.inferTimestampNTZ.enabled konfigurace Sparku na false.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • debugpy od 1.5.1 do 1.6.0
    • distlib od 0.3.6 do 0.3.7
    • fastjsonschema od 2.16.3 do 2.18.0
    • filelock od 3.12.0 do 3.12.2
  • Upgradované knihovny jazyka R:
    • SparkR od 3.4.0 do 3.4.1
  • Upgradované knihovny Java:
    • org.apache.orc.orc-core od 1.8.3-shaded-protobuf na 1.8.4-shaded-protobuf
    • org.apache.orc.orc-mapreduce z 1.8.3-shaded-protobuf až 1.8.4-shaded-protobuf
    • org.apache.orc.orc-shims od 1.8.3 do 1.8.4
    • org.eclipse.jetty.jetty-client od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-pokračování z 9.4.50.v20221201 až 9.4.51.v20230217
    • org.eclipse.jetty.jetty-http od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-io od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-jndi od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-plus od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-proxy z 9.4.50.v20221201 až 9.4.51.v20230217
    • org.eclipse.jetty.jetty-security od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-server od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlet od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-util-ajax od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.jetty-webapp from 9.4.50.v20221201 to 9.4.51.v20230217
    • org.eclipse.jetty.jetty-xml z 9.4.50.v20221201 až 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-api od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-client od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-common od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-server od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.eclipse.jetty.websocket.websocket-servlet od 9.4.50.v20221201 do 9.4.51.v20230217
    • org.xerial.snappy.snappy-java od 1.1.8.4 do 1.1.10.1

Apache Spark

Databricks Runtime 13.3 zahrnuje Apache Spark 3.4.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 13.2 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • Teď můžete nastavit proměnnou SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 prostředí clusteru tak, aby používala konektor Spark-snowflake v2.12.0.
  • [SPARK-43380] [DBRRM-383] Vrátit "[SC-133100][SQL] Oprava datového typu Avro konver...
  • [SPARK-44504] [Backport][13.2][13.x][13.3] Uvolnění zprostředkovatele, čímž vynutí zavření instance databáze a uvolnění prostředků při chybě úlohy údržby
  • [SPARK-44059] [SC-137023] Přidání podpory analyzátoru pojmenovaných argumentů pro předdefinované funkce
  • [SPARK-44485] [SC-137653][SQL] Optimalizace TreeNode.generateTreeString
  • [SPARK-42944] [SC-137164][SS][PYTHON] Streamování ForeachBatch v Pythonu
  • [SPARK-44446] [SC-136994][PYTHON] Přidání kontrol pro očekávané případy typu seznamu
  • [SPARK-44439] [SC-136973][CONNECT][SS]Oprava seznamůListeners pro odesílání ID pouze zpět klientovi
  • [SPARK-44216] [SC-136941] [PYTHON] Veřejné rozhraní API assertSchemaEqual
  • [SPARK-44201] [SC-136778][CONNECT][SS]Přidání podpory pro naslouchací proces streamování v jazyce Scala pro Spark Connect
  • [SPARK-43915] [SC-134766][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43798] Vrátit zpět "[SC-133990][SQL][PYTHON] Podpora uživatelem definovaných tabulkových funkcí Pythonu
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44476] [SC-137169][JÁDRO][CONNECT] Oprava základního souboru artefaktů pro JobArtifactState bez přidružených artefaktů
  • [SPARK-44269] [SC-135817][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2310-2314]
  • [SPARK-44395] [SC-136744][SQL] Aktualizujte argumenty TVF tak, aby vyžadovaly závorky kolem identifikátoru za klíčovým slovem TABLE.
  • [SPARK-43915] [SC-134766][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2438-2445]
  • [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Přidání podpory pro UDFRegistration do klienta Connect Scala
  • [SPARK-44109] [SC-134755][JÁDRO] Odebrání duplicitních upřednostňovaných umístění každého oddílu SADY RDD
  • [SPARK-44169] [SC-135497][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2300-2304]
  • [SPARK-41487] [SC-135636][SQL] Přiřazení názvu k _LEGACY_ERROR_TEMP_1020
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-44153] [SC-134977][JÁDRO][UŽIVATELSKÉ ROZHRANÍ] Sloupec Podpora Heap Histogram na Executors kartě
  • [SPARK-44044] [SC-135695][SS] Zlepšení chybové zprávy pro funkce okna se streamováním
  • [SPARK-43914] [SC-135414][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2433-2437]
  • [SPARK-44217] [SC-136805][PYTHON] Povolit vlastní přesnost pro přibližnou rovnost fp
  • [SPARK-44370] [SC-136575][CONNECT] Migrace alfa vzdálené generace Buf do vzdálených modulů plug-in
  • [SPARK-44410] [SC-136930][PYTHON][CONNECT] Nastavení aktivní relace při vytváření, nejen getOrCreate
  • [SPARK-44348] [SAS-1910][SC-136644][13.X][JÁDRO][CONNECT][PYTHON] Opětovné povolení test_artifact s relevantními změnami
  • [SPARK-44145] [SC-136698][SQL] Zpětné volání, když je připraveno ke spuštění
  • [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler – třída
  • [SPARK-43986] [SC-135623][SQL] Vytvoření tříd chyb pro selhání volání funkce HyperLogLog
  • [SPARK-44139] [SC-134967][SQL] Zahodit zcela vložené filtry v operacích SLOUČENÍ založené na skupinách
  • [SPARK-44338] [SC-136718][SQL] Oprava chybové zprávy o neshodě schématu zobrazení
  • [SPARK-44208] [SC-135505][JÁDRO][SQL] Přiřazení jasných názvů tříd chyb pro určitou logiku, která přímo používá výjimky
  • [SPARK-44364] [SC-136773] [PYTHON] Přidání podpory pro datový typ List[Řádek] pro očekávané
  • [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils by měl použít ResolveTimeZone
  • [SPARK-43389] [SC-136772][SQL] Přidání možnosti lineSep při kontrole hodnoty null
  • [SPARK-44388] [SC-136695][CONNECT] Oprava problému s přetypování protobuf při aktualizaci instance UDF
  • [SPARK-44352] [SC-136373][CONNECT] Vložte stejný typ a přátele do datového typu.
  • [SPARK-43975] [SC-134265][SQL] Zdroj dat V2: Zpracování příkazů UPDATE pro zdroje založené na skupinách
  • [SPARK-44360] [SC-136461][SQL] Podpora vyřezávání schématu v operacích sloučení založené na rozdílech
  • [SPARK-44138] [SC-134907][SQL] Zakázání ne deterministických výrazů, poddotazů a agregací v podmínkách sloučení
  • [SPARK-43321] [SC-136678][Připojit][Zpracovat] Lepší názvy pro rozhraní API používaná v nástroji Scala Client JoinWith
  • [SPARK-44263] [SC-136447][CONNECT] Podpora vlastních průsečíků
  • [SPARK-39851] [SC-123383][SQL] Zlepšení odhadu statistik spojení, pokud jedna strana může zachovat jedinečnost
  • [SPARK-44390] [SC-136677][JÁDRO][SQL] Přejmenovat SparkSerDerseUtils na SparkSerDeUtils
  • [SPARK-44004] [SC-134751][SQL] Přiřaďte název a vylepšete chybovou zprávu pro časté chyby STARŠÍ VERZE.
  • [SPARK-44322] [SC-136204][CONNECT] Využít analyzátor sqlApiConf místo SQLConf.
  • [SPARK-44271] [SC-136347][SQL] Přesunutí výchozích hodnot funkcí z StructType do ResolveDefaultColumns
  • [SPARK-44332] [SC-136413][JÁDRO][WEBI] Oprava chyby řazení sloupce ID exekutoru na stránce uživatelského rozhraní Exekutorů
  • [SPARK-44282] [SC-135948][CONNECT] Příprava analýzy datových typů pro použití v klientovi Spark Connect Scala
  • [SPARK-44349] [SC-136581][R] Přidání matematických funkcí do SparkR
  • [SPARK-44397] [SC-136647][PYTHON] Zveřejnění assertDataFrameEqual v pyspark.testing.utils
  • [SPARK-42981] [SC-136620][CONNECT] Přidání přímé šipky serializace
  • [SPARK-44373] [SC-136577][SQL] Zabalení pomocíActive pro rozhraní API datové sady s logikou analýzy za účelem vytvoření konfigurace související s analyzátorem
  • [SPARK-44340] [SC-136574][SQL] Definování výpočetní logiky prostřednictvím rozhraní PartitionEvaluator API a jeho použití v windowGroupLimitExec
  • [SPARK-43665] [SC-136573][CONNECT][PS] Povolení pandasSQLStringFormatter.vformat pro práci se Spark Connect
  • [SPARK-44325] [SC-136572][SQL] Použití rozhraní API PartitionEvaluatoru v SortMergeJoinExec
  • [SPARK-44315] [SC-136171][SQL][CONNECT] Přesun DefinedByConstructorParams do sql/api
  • [SPARK-44275] [SC-136184][CONNECT] Přidání konfigurovatelného mechanismu opakování do řešení Scala Spark Connect
  • [SPARK-44326] [SC-136208][SQL][CONNECT] Přesun nástrojů, které se používají z klienta Scala, do běžných modulů
  • [SPARK-43321] [SC-136156][Připojit] Datová sada#Joinwith
  • [SPARK-44343] [SC-136372][CONNECT] Příprava ScalaReflection na přesun do SQL/API
  • [SPARK-44313] [SC-136081][SQL] Oprava ověření vygenerovaného výrazu sloupce, pokud je ve schématu sloupec char/varchar
  • [SPARK-43963] [SC-134145][SQL] Zdroj dat V2: Zpracování příkazů MERGE pro zdroje založené na skupinách
  • [SPARK-44363] [SC-136433] [PYTHON] Zobrazení procenta nerovných řádků v porovnání datových rámců
  • [SPARK-44251] [SC-136432][SQL] Nastavte správně hodnotu null u spojování shodného spojovacího klíče v plném vnějším spojení USING.
  • [SPARK-43948] [SC-133366][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[0050|0057|0058|0059]
  • [SPARK-44329] [SC-136326][CONNECT][PYTHON] Přidání hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt do Scala a Pythonu
  • [SPARK-44351] [SC-136353][SQL] Zjednodušení syntaktické
  • [SPARK-44281] [SC-135963][SQL] Chyba přesunu funkce QueryCompilation, která používá datový typ do sql/api jako DataTypeErrors
  • [SPARK-44283] [SC-136109][CONNECT] Přesun originu do SQL nebo rozhraní API
  • [SPARK-43926] [SC-135590][CONNECT][PYTHON] Přidání array_agg, array_size, kardinality, count_min_sketch, masky, named_struct, json_* do Scala a Pythonu
  • [SPARK-44327] [SC-136187][SQL][CONNECT] Přidání funkcí any a len do scaly
  • [SPARK-44290] [SC-136300][CONNECT] Soubory a archivy založené na relacích v nástroji Spark Connect
  • [SPARK-44061] [SC-136299][PYTHON] Přidání funkce assertDataFrameEqual util
  • [SPARK-44331] [SC-136324][CONNECT][PYTHON] Přidání rastrových funkcí do Scala a Pythonu
  • [SPARK-44342] [SC-136334][SQL] Nahrazení SQLContext SparkSession pro GenTPCDSData
  • [SPARK-42583] [SC-124190][SQL] Odebrání vnějšího spojení, pokud jsou všechny odlišné agregační funkce
  • [SPARK-44333] [SC-136206][CONNECT][SQL] Přesunout EnhancedLogicalPlan z ParserUtils
  • [SPARK-43824] [SC-132655][SPARK-43825] [SQL] Přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_128[1-2]
  • [SPARK-43939] [SC-134602][CONNECT][PYTHON] Přidání funkcí try_* do Scala a Pythonu
  • [SPARK-44193] [SC-135886][CONNECT] Implementace zachycení výjimek GRPC pro převod
  • [SPARK-44284] [SC-136107][CONNECT] Vytvoření jednoduchého systému conf pro sql/api
  • [SPARK-43913] [SC-133368][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2426-2432]
  • [SPARK-44291] Vrátit zpět [SC-135924][SPARK-43416][CONNECT] Oprava nesprávného schématu pro dotaz rozsahu
  • [SPARK-44312] [SC-136185][CONNECT][PYTHON] Povolit nastavení uživatelského agenta s proměnnou prostředí
  • [SPARK-44154] [SC-136060] Implementace rastrových funkcí
  • [SPARK-43885] [SC-133996][SQL] Zdroj dat V2: Zpracování příkazů MERGE pro rozdílové zdroje
  • [SPARK-43924] [SC-135161][CONNECT][PYTHON] Přidání chybových funkcí do Scala a Pythonu
  • [SPARK-43969] [SC-134556][SQL] Refaktoring a přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_1170
  • [SPARK-44185] [SC-135730][SQL] Oprava nekonzistentní cesty opravňující mezi katalogem a datovými operacemi
  • [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Přidání funkcí data a času do Scala, Pythonu a Connect – část 2
  • [SPARK-43942] [SC-134527][CONNECT][PYTHON] Přidání řetězcových funkcí do Scala a Pythonu – část 1
  • [SPARK-44266] [SC-135813][SQL] Přesun Util.truncatedString do sql/api
  • [SPARK-44195] [SC-135722][R] Přidání rozhraní API značky úloh do SparkR SparkContext
  • [SPARK-44200] [SC-135736][SQL] Podpora pravidla analyzátoru argumentů TABLE pro TableValuedFunction
  • [SPARK-44254] [SC-135709][SQL] Přesunutí QueryExecutionErrors, které používá datový typ, do sql/api jako DataTypeErrors
  • [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] Oprava nesprávného schématu pro dotaz rozsahu
  • [SPARK-43922] [SC-135612][SQL] Přidání podpory pojmenovaných parametrů v analyzátoru pro volání funkcí
  • [SPARK-44300] [SC-135882][CONNECT] Oprava vyčištění artefaktů kvůli omezení rozsahu odstranění na artefakty specifické pro relaci
  • [SPARK-44293] [SC-135849][CONNECT] Oprava neplatného identifikátoru URI pro vlastní jars v nástroji Spark Connect
  • [SPARK-44215] [SC-135850][SHUFFLE] Pokud jsou bloky čísel 0, měl by server vyvolat výjimku RuntimeException.
  • [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctesty by měly být ilustrativní pouze
  • [SPARK-44274] [SC-135814][CONNECT] Přesunutí funkcí nástrojů používaných nástrojem ArtifactManager k běžným nástrojům nebo nástrojům
  • [SPARK-44194] [SC-135815][PYTHON][JÁDRO] Přidání rozhraní API JobTag do PySpark SparkContext
  • [SPARK-42828] [SC-135733][PYTHON][SQL] Explicitnější poznámky k typům Pythonu pro GroupedData
  • [SPARK-44079] [SC-135486][SQL] Oprava ArrayIndexOutOfBoundsException při analýze pole jako struktury pomocí režimu PERMISSIVE s poškozeným záznamem
  • [SPARK-44255] [SC-135809][SQL] Přemístění úrovně úložiště do běžných /utilů
  • [SPARK-42169] [SC-135795] [SQL] Implementace generování kódu pro funkci to_csv (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] Refaktoring PythonUDTFRunneru pro odeslání návratového typu samostatně
  • [SPARK-43353] [SC-132734][PYTHON] Migrace zbývajících chyb relace do třídy chyb
  • [SPARK-44211] [SC-135718][PYTHON][CONNECT] Implementace SparkSession.is_stopped
  • [SPARK-42784] [SC-135691] by měl přesto vytvořit poddir, pokud je počet poddirů při slučovacím adresáři menší než conf.
  • [SPARK-41599] [SC-135616] Únik paměti v FileSystem.CACHE při odesílání aplikací do zabezpečeného clusteru pomocí InProcessLauncher
  • [SPARK-44241] [SC-135613][Jádro] Chybné nastavení io.connectionTimeout/connectionCreationTimeout na nulu nebo negativní způsobí neskutečně spuštěný cons/destructionsant
  • [SPARK-44133] [SC-134795][13.X][PYTHON] Upgrade MyPy z verze 0.920 na 0.982
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Událost Serde ve formátu JSON
  • [SPARK-44188] [SC-135173][JÁDRO] Odebrání zbytečné resetAllPartitions metody v ActiveJob
  • [SPARK-43757] [SC-135418][CONNECT] Změna kompatibility klienta ze seznamu povolených na seznam odepření
  • [SPARK-43474] [SC-135521] [SS] [CONNECT] Přidejte přístup Spark Connect k datovým rámcům modulu runtime podle ID.
  • [SPARK-44183] [SC-135209][PYTHON] Vytvoření PyArrow minimální verze na 4.0.0
  • [SPARK-44248] [SC-135554][SS][SQL][Kafka] Přidání upřednostňovaného umístění ve zdroji Kafka v2
  • [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Přidání funkcí data a času do rozhraní Scala, Python a Connect API – část 1
  • [SPARK-44161] [SC-135326][Připojit] Zpracování vstupu řádku pro uživatelem definované uživatelem
  • [SPARK-44227] [SC-135520][SQL] Extrakce nástrojů SchemaUtils z StructField
  • [SPARK-44064] [SC-135116][JÁDRO][SQL] Přidání nové apply funkce do NonFateSharingCache
  • [SPARK-44171] [SC-135269][SQL] Přiřazení názvů ke třídě chyb LEGACY_ERROR_TEMP[2279-2282] a odstranění některých nepoužívaných tříd chyb
  • [SPARK-44056] [SC-134758][SQL] Zahrnout název UDF do chybové zprávy o selhání spuštění UDF, pokud je k dispozici
  • [SPARK-44205] [SC-135422][SQL] Extrakce kódu Catalyst z DecimalType
  • [SPARK-44220] [SC-135484][SQL] Přesun StringConcat do sql/api
  • [SPARK-44146] [SC-135230][CONNECT] Izolace souborů JAR relace služby Spark Connect a souborů tříd
  • [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
  • [SPARK-40850] [SC-135417][SQL] Oprava interpretovaných dotazů testovacích případů může spustit Codegen.
  • [SPARK-44204] [SC-135253][SQL][HIVE] Přidání chybějícího záznamuHiveCall pro getPartitionNames
  • [SPARK-44237] [SC-135485][JÁDRO] Zjednodušení logiky vyhledávání konstruktoru DirectByteBuffer
  • [SPARK-44189] [SC-135170][CONNECT][PYTHON] Podpora pozičních parametrů podle sql()
  • [SPARK-44140] [SC-134893][SQL][PYTHON] Podpora pozičních parametrů v Pythonu sql()
  • [SPARK-44164] [SC-135158][SQL] Extrakce metody toAttribute z StructField do třídy Util
  • [SPARK-44178] [SC-135113][CONNECT] Podpora pozičních parametrů v sql()
  • [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader by měl po přečtení zavřít třídu InputStream třídy bariéry
  • [SPARK-43063] [SC-128382][SQL] df.show Popisovač null by měl místo hodnoty null vytisknout hodnotu NULL.
  • [SPARK-42539] [SC-124464][SQL][HIVE] Vyloučení samostatného zavaděče tříd při použití předdefinované verze Hive pro klienta metadat
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Přidání volitelného vzoru pro Catalog.listFunctions
  • [SPARK-44066] [SC-134878][SQL] Podpora pozičních parametrů v jazyce Scala/Java sql()
  • [SPARK-44078] [SC-134869][CONNECT][JÁDRO] Přidání podpory pro zavaděč tříd nebo izolaci prostředků
  • [SPARK-43470] [SC-135187][JÁDRO] Přidání informací o verzi operačního systému, Javy a Pythonu do protokolu aplikací
  • [SPARK-43136] [SC-135238][CONNECT][Zpracovat] Přidání testů pro klíče
  • [SPARK-39740] [SC-135093][UI]: Upgrade na časovou osu na 7.7.2 za účelem opravy CVE-2020-28487
  • [SPARK-42298] [SC-133952][SQL] Přiřazení názvu _LEGACY_ERROR_TEMP_2132
  • [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Přidání volitelného vzoru pro Catalog.listTables
  • [SPARK-44026] [SC-135181] Povolit poskytnutí počáteční hodnoty pro metriky SQL
  • [SPARK-44202] [SC-135244][JÁDRO] Přidání rozhraní API JobTag do JavaSparkContext
  • [SPARK-44030] [SC-135237][SQL] Implementace DataTypeExpression pro nabídku Unapply pro výraz
  • [SPARK-43876] Vrátit zpět [SC-134603][SQL] Povolit rychlou hashmapu pro různé dotazy
  • [SPARK-40082] [SC-126437] Naplánovat mergeFinalize při opakovaném pokusu o vložení sloučení shuffleMapStage, ale žádné spuštěné úlohy
  • [SPARK-43888] [SC-132893][JÁDRO] Přemístění protokolování do běžných /utilů
  • [SPARK-43474] [SC-134400] [SS] [CONNECT] Přidání správce relace do SparkConnectPlanneru
  • [SPARK-43944] [SC-134490][CONNECT][PYTHON] Přidání řetězcových funkcí do Scala a Pythonu – část 2
  • [SPARK-44134] [SC-134954][JÁDRO] Oprava nastavení prostředků (GPU/FPGA) na 0, když jsou nastavené ve spark-defaults.conf
  • [SPARK-44142] [SC-134947][PYTHON] Nahrazení typu tpe v nástroji pro převod typů Pythonu na typy Spark
  • [SPARK-43952] [SC-134695][JÁDRO][CONNECT][SQL] Přidání rozhraní SPARKContext API pro zrušení dotazu podle značky
  • [SPARK-44000] [SC-133634][SQL] Přidání nápovědy pro zakázání vysílání a replikace jedné strany spojení
  • [SPARK-43937] [SC-134362][CONNECT][PYTHON] Přidání ifnull,isnotnull,equal_null,nullif,nvl,nvl2 do Scala a Pythonu
  • [SPARK-43624] [13.x][SC-134557][PS][CONNECT] Přidejte EWM do SparkConnectPlanneru.
  • [SPARK-44040] [SC-134366][SQL] Oprava výpočetních statistik při agregačním uzlu AggregateExec nad QueryStageExec
  • [SPARK-43485] [SC-131264][SQL] Oprava chybové zprávy pro unit argument přidání nebo rozdílové funkce datetime
  • [SPARK-43794] [SC-132561][SQL] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1335
  • [SPARK-43511] [SC-134749][CONNECT][SS]Implementace rozhraní API MapGroupsWithState a FlatMapGroupsWithState pro Spark Connect
  • [SPARK-43529] [SQL] Podpora výrazů CREATE/REPLACE TABLE OPTIONS + vyčištění kódu
  • [SPARK-44106] [SC-134750][PYTHON][CONNECT] Přidat __repr__ pro GroupedData
  • [SPARK-42299] [SC-133190] Přiřazení názvu _LEGACY_ERROR_TEMP_2206
  • [SPARK-43290] [SC-134388][SQL] Přidává podporu pro aes_encrypt IV a AAD.
  • [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Přidání current podobných funkcí do Scala a Pythonu
  • [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Přidání funkcí regexp_* do Scala a Pythonu
  • [SPARK-44107] [SC-134746][CONNECT][PYTHON] Skrytí nepodporovaných metod sloupců před automatickým dokončováním
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener – Událost Serde ve formátu JSON
  • [SPARK-43773] [SC-132659][CONNECT][PYTHON] Implementace funkcí levenshtein(str1, str2[, threshold]) v klientovi Pythonu
  • [SPARK-44125] [SC-134745][R] Podpora Javy 21 v SparkR
  • [SPARK-43919] [SC-133374][SQL] Extrahování funkcí JSON z řádku
  • [SPARK-43769] [SC-132520][CONNECT] Implementace funkcí levenshtein(str1, str2[, prahová hodnota])
  • [SPARK-44012] [SC-134662][SS] KafkaDataConsumer pro tisk stavu čtení
  • [SPARK-43876] [SC-134603][SQL] Povolení rychlé hashmapy pro různé dotazy
  • [SPARK-44024] [SC-134497][SQL] Změna použití map , pokud unzip se používá pouze k extrahování jednoho prvku
  • [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Přidání bitových operací do rozhraní Scala, Python a Connect API
  • [SPARK-44092] [SC-134506][JÁDRO] Přidání Utils.isJavaVersionAtLeast21 a předání core modulu pomocí Javy 21
  • [SPARK-44018] [SC-134512][SQL] Vylepšení hashCode a toString pro některé výrazy DS V2
  • [SPARK-44105] [SC-134582][SQL] LastNonNull mělo by být opožděně vyřešeno
  • [SPARK-44081] [SC-134434] Trochu zjednodušit rozhraní API PartitionedFileUtil
  • [SPARK-43791] [SC-132531][SQL] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_1336
  • [SPARK-44071] [SC-134435] Definování a použití nevyřešených[List|Unární]Node traits.
  • [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] Přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_2418-2425
  • [SPARK-43742] [SC-132684][SQL] Refaktoring výchozího rozlišení hodnoty sloupce
  • [SPARK-43493] [SC-132063][SQL] Přidání argumentu maximální vzdálenosti do funkce levenshtein()
  • [SPARK-44075] [SC-134382][CONNECT] Líné transformStatCorr
  • [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Přidejte některé, bool_or, bool_and, každý do Scala, Pythonu a připojení
  • [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Přidání funkcí make_* do Scala a Pythonu
  • [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] Přiřazení názvů ke třídě chyb _LEGACY_ERROR_TEMP_24[06-10]
  • [SPARK-43962] [SC-133367][SQL] Zlepšení chybových zpráv: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMAL, CANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
  • [SPARK-43938] [SC-133887][CONNECT][PYTHON] Přidání funkcí to_* do Scala a Pythonu
  • [SPARK-44055] [SC-134321][JÁDRO] Odebrání redundantních override funkcí z CheckpointRDD
  • [SPARK-43802] [SC-132597][SQL] Oprava codegenu pro unhex a unbase64 s failOnError=true
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Podpora uživatelem definovaných tabulkových funkcí v Pythonu
  • [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] Přidání any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value, redukce na scala, Python a connect API
  • [SPARK-43380] [SC-133100][SQL] Oprava problémů s převodem datových typů Avro, abyste se vyhnuli nesprávnému výsledku
  • [SPARK-43803] [SC-133729] [SS] [CONNECT] Vylepšení awaitTermination() pro zpracování odpojení klienta
  • [SPARK-43179] [SC-129070][SHUFFLE] Povolení aplikací řídit, jestli se jejich metadata ukládají do databáze službou Externí shuffle Service

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgradujte (stáhněte rozhraní ODBC, stáhněte JDBC).

Viz aktualizace údržby Databricks Runtime 13.3.

Prostředí systému

  • Operační systém: Ubuntu 22.04.2 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.2.2
  • Delta Lake: 2.4.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
appdirs 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
krásnásoup4 4.11.1 černý 22.6.0 bělit 4.1.0
blinkr 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 kliknutí 8.0.4 kryptografie 37.0.1
cyklista 0.11.0 Cython 0.29.32 Databricks-sdk 0.1.6
dbus-python 1.2.18 ladění 1.6.0 dekoratér 5.1.1
defusedxml 0.7.1 distlib 0.3.7 docstring-to-markdown 0.12
vstupní body 0,4 vykonávající 1.2.0 přehled omezujících vlastností 1.0.3
fastjsonschema 2.18.0 filelock 3.12.2 fonttools 4.25.0
googleapis-common-protos 1.56.4 grpcio 1.48.1 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.3 importlib-metadata 4.6.4
ipykernel 6.17.1 ipython 8.10.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 Jedi 0.18.1 Jeepney 0.7.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.16.0 jupyter-client 7.3.4 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgety 1.0.0 keyring 23.5.0
verizonsolver 1.4.2 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 MarkupSafe 2.0.1 matplotlib 3.5.2
matplotlib-inline 0.1.6 Mccabe 0.7.0 špatně zamyšlení 0.8.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.5.0 nest-asyncio 1.5.5
nodeenv 1.8.0 poznámkový blok 6.4.12 numpy 1.21.5
oauthlib 3.2.0 balení 21.3 pandas 1.4.4
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.9.0
bábovka 0.5.2 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.2.0 jádro 22.2.2 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 3.19.4 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 čistý-eval 0.2.2
pyarrow 8.0.0 pycparser 2.21 pydantic 1.10.6
pyflakes 3.0.1 Pygments 2.11.2 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.32 pyparsing 3.0.9
pyright 1.1.294 pyrsistent 0.18.0 python-dateutil 2.8.2
python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1 pytoolconfig 1.2.2
pytz 2022.1 pyzmq 23.2.0 žádosti 2.28.1
lano 1.7.0 s3transfer 0.6.0 scikit-learn 1.1.1
scipy 1.9.1 seaborn 0.11.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 63.4.1 Šest 1.16.0
polévky 2.3.1 ssh-import-id 5,11 stack-data 0.6.2
statsmodels 0.13.2 houževnatost 8.1.0 terminado 0.13.1
testpath 0.6.0 threadpoolctl 2.2.0 tokenize-rt 4.2.1
tomli 2.0.1 tornádo 6.1 vlastnosti 5.1.1
typing_extensions 4.3.0 ujson 5.4.0 bezobslužné upgrady 0,1
urllib3 1.26.11 virtualenv 20.16.3 wadllib 1.3.6
wcwidth 0.2.5 webencodings 0.5.1 whatthepatch 1.0.2
kolo 0.37.1 widgetsnbextension 3.6.1 yapf 0.31.0
zipp 1.0.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN na 2023-02-10.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 10.0.1 askpass 1,1 assertthat 0.2.1
backporty 1.4.1 base 4.2.2 base64enc 0.1-3
bitové 4.0.5 bit64 4.0.5 blob 1.2.3
startování 1.3-28 vařit 1.0-8 verva 1.1.3
koště 1.0.3 bslib 0.4.2 cachem 1.0.6
volající 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 class 7.3-21 Rozhraní příkazového řádku 3.6.0
clipr 0.8.0 clock 0.6.1 cluster 2.1.4
codetools 0.2-19 barevný prostor 2.1-0 commonmark 1.8.1
– kompilátor 4.2.2 config 0.3.1 cpp11 0.4.3
pastelka 1.5.2 přihlašovací údaje 1.3.2 kudrna 5.0.0
data.table 1.14.6 Power BI 4.2.2 DBI 1.1.3
dbplyr 2.3.0 Desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 trávit 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
tři tečky 0.3.2 evaluate 0,20 fanynky 1.0.4
farver 2.1.1 fastmap 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 zahraniční 0.8-82
kovat 0.2.0 Fs 1.6.1 budoucnost 1.31.0
future.apply 1.10.0 kloktadlo 1.3.0 Generik 0.1.3
Gert 1.9.2 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globálních objektů 0.16.2
lepidlo 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.1 Grafika 4.2.2 grDevices 4.2.2
mřížka 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 bezpečnostní přilba 1.2.0 útočiště 2.5.1
highr 0.10 Hms 1.1.2 htmltools 0.5.4
htmlwidgets 1.6.1 httpuv 1.6.8 httr 1.4.4
Id 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 Iterátory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 pletení 1.42
značení 0.4.2 později 1.3.0 mříž 0.20-45
láva 1.7.1 lifecycle 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 sleva 1.5
MŠE 7.3-58.2 Matice 1.5-1 memoise 2.0.1
metody 4.2.2 mgcv 1.8-41 mim 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
munsell 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.5 parallel 4.2.2
paralelně 1.34.0 pilíř 1.8.1 pkgbuild 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
plogr 0.2.0 plyr 1.8.8 chválit 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Průběh 1.2.2
progressr 0.13.0 sliby 1.2.0.1 proto 1.0.0
plná moc 0.4-27 PS 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 Analýza rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 recepty 1.0.4
odvetný zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2,20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 drzá napodobenina 0.4.5 váhy 1.2.1
selektor 0.4-2 sessioninfo 1.2.2 tvar 1.4.6
lesklý 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.1 prostorový 7.3-15 spline křivky 4.2.2
sqldf 0.4-11 ČTVEREC 2021.1 statistické údaje 4.2.2
Statistiky 4 4.2.2 stringi 1.7.12 stringr 1.5.0
přežití 3.5-3 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.6 textshaping 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 časový interval 0.2.0 timeDate 4022.108
tinytex 0.44 tools 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 Uuid 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 Waldo 0.4.0
vous 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 zip 2.2.2

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws podpora aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink Tink 1.7.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metriky – jádro 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics metriky – kontroly stavu 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics metriky – servlety 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty- common 4.1.87.Final
io.netty obslužná rutina netty 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver 4.1.87.Final
io.netty netty transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.33
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow arrow-vector 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.4-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.4-shaded-protobuf
org.apache.orc orc-shims 1.8.4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus cílové skupiny a poznámky 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty pokračování jetty 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket – společné 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core žerzejové společné 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap Podložky 0.9.39
org.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.1
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1