Sdílet prostřednictvím

Databricks Runtime 15.4 LTS

  • Článek

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 15.4 LTS, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v srpnu 2024.

Poznámka:

LTS znamená, že tato verze je dlouhodobě podporována. Viz životní cyklus verze LTS modulu Databricks Runtime.

Tip

Poznámky k verzi pro verze Databricks Runtime, které dosáhly konce podpory (EoS), najdete v poznámkách k verzi Databricks Runtime pro ukončení podpory. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Změny chování

VARIANT Použití jako vstupního nebo výstupního typu s UDF, UDAF nebo UDTF v Pythonu vyvolá výjimku.

[Zásadní změna] Ve službě Databricks Runtime 15.3 a novějších volání jakékoli uživatelem definované funkce Pythonu (UDF), uživatelem definované agregační funkce (UDAF) nebo uživatelem definované tabulkové funkce (UDTF), která používá VARIANT typ jako argument nebo návratovou hodnotu vyvolá výjimku. Tato změna brání problémům, ke kterým může dojít kvůli neplatné hodnotě vrácené některou z těchto funkcí. Další informace o VARIANT typu najdete v tématu Použití VARIANTs k ukládání částečně strukturovaných dat.

Přechod na výchozí režim vazby schématu pro zobrazení

Zobrazení se teď přizpůsobují změnám schématu v podkladovém dotazu pomocí kompenzace schématu s běžnými pravidly přetypování. Jedná se o změnu oproti předchozímu výchozímu BINDING režimu, která vyvolala chyby, když se při odkazování na zobrazení nepodařilo provést bezpečné přetypování.

Viz FUNKCE CREATE VIEW a přetypování.

Zákaz použití nezdokumentované ! syntaxe místo NOT mimo logické výrazy

V této verzi už není povolené použití ! jako synonyma pro NOT vnější logické výrazy. Například příkazy jako například: CREATE ... IF ! EXISTS, JE ! NULL, ! NULL vlastnost ! IN sloupce nebo pole a ! FUNKCE BETWEEN, musí být nahrazena: CREATE ... IF NOT EXISTS, IS NOT NULL, NOT NULL sloupec nebo vlastnost NOT IN pole a NOT BETWEEN.

Tato změna zajišťuje konzistenci, odpovídá standardu SQL a usnadňuje přenosnost SQL.

Na operátor logické předpony! (například !is_mgr nebo !(true AND false)) tato změna nemá vliv.

Zakázat syntaxi definice nezdokumentovaného sloupce v zobrazeních

Databricks podporuje CREATE VIEW s pojmenovanými sloupci a komentáři sloupců. Dříve byla povolena specifikace typů sloupců, NOT NULL omezení nebo DEFAULT byla povolena. V této verzi už tuto syntaxi nemůžete použít.

Tato změna zajišťuje konzistenci, odpovídá standardu SQL a podporuje budoucí vylepšení.

Konzistentní zpracování chyb pro dekódování Base64 ve Sparku a Photonu

Tato verze změní způsob, jakým Photon zpracovává chyby dekódování Base64 tak, aby odpovídaly zpracování těchto chyb Sparku. Před těmito změnami se cesta generování kódu Photon a Spark někdy nepodařilo vyvolat výjimky analýzy, zatímco Spark interpretoval správně provedené IllegalArgumentException spuštění nebo ConversionInvalidInputError. Tato aktualizace zajišťuje, že Photon konzistentně vyvolává stejné výjimky jako Spark během chyb dekódování Base64, což poskytuje předvídatelnější a spolehlivější zpracování chyb.

CHECK Přidání omezení pro neplatný sloupec teď vrátí UNRESOLVED_COLUMN. WITH_SUGGESTION třída chyby

Pokud chcete poskytovat užitečnější chybové zprávy, vrátí příkaz databricks Runtime 15.3 a vyšší příkaz, ALTER TABLE ADD CONSTRAINT který obsahuje CHECK omezení odkazující na neplatný název sloupce, vrátí UNRESOLVED_COLUMN. WITH_SUGGESTION třídy chyb. Dříve byla vrácena INTERNAL_ERROR .

Nové funkce a vylepšení

Ověřovací funkce UTF-8

Tato verze zavádí následující funkce pro ověřování řetězců UTF-8:

  • is_valid_utf8 ověřil, jestli je řetězec platným řetězcem UTF-8.
  • make_valid_utf8 převede potenciálně neplatný řetězec UTF-8 na platný řetězec UTF-8 pomocí náhradních znaků.
  • validate_utf8 vyvolá chybu, pokud vstup není platným řetězcem UTF-8.
  • try_validate_utf8 vrátíNULL, pokud vstup není platným řetězcem UTF-8.

Typed Dataset APIs with Scala UDF

Tato verze zahrnuje přidanou podporu rozhraní API datových sad s uživatelsky definovanými funkcemi Scala (s výjimkou uživatelem definovaných agregačních funkcí) ve výpočetních prostředcích s podporou katalogu Unity s režimem sdíleného přístupu. Viz rozhraní API typové datové sady.

Povolení UniForm Icebergu pomocí ALTER TABLE

UniForm Iceberg teď můžete povolit u existujících tabulek bez přepsání datových souborů. Viz Povolení úpravou existující tabulky.

try_url_decode

Tato verze představuje funkci try_url_decode , která dekóduje řetězec kódovaný adresou URL. Pokud řetězec není ve správném formátu, vrátí NULL funkce místo vyvolání chyby.

Volitelně můžete optimalizátoru povolit, aby se spoléhal na nevynucená omezení cizího klíče.

Pokud chcete zvýšit výkon dotazů, můžete teď zadat RELY klíčové slovo pro FOREIGN KEY omezení při VYTVOŘENÍ nebo ALTER tabulky.

Paralelní spuštění úloh pro selektivní přepsání

Selektivní přepsání pomocí replaceWhere nyní spuštěných úloh, které odstraňují data a vkládají nová data paralelně, zlepšují výkon dotazů a využití clusteru.

Vylepšený výkon kanálu změn dat se selektivním přepisem

Selektivní přepsání pomocí replaceWhere tabulek s datovým kanálem změn už pro vložená data nezapisuje samostatné datové soubory změn. Tyto operace používají skrytý _change_type sloupec, který se nachází v podkladových datových souborech Parquet, k zaznamenání změn bez zmenšování zápisu.

Vylepšená latence dotazů pro COPY INTO příkaz

Tato verze zahrnuje změnu, která zlepšuje latenci dotazu pro COPY INTO příkaz. Toto vylepšení je implementováno tak, že načtení stavu úložištěm stavů RocksDB je asynchronní. Při této změně byste měli vidět vylepšení počátečních časů pro dotazy s velkými stavy, jako jsou dotazy s velkým počtem již přijatých souborů.

Podpora pro vyřazení funkce tabulky kontrolních omezení

Funkci tabulky teď můžete odstranit checkConstraints z tabulky Delta pomocí ALTER TABLE table_name DROP FEATURE checkConstraintsfunkce . Viz Zakázání omezení kontroly.

Výpočetní prostředky s jedním uživatelem podporují jemně odstupňované řízení přístupu, materializovaná zobrazení a streamované tabulky (Public Preview).

Pokud je pracovní prostor povolený pro bezserverové výpočetní prostředky, databricks Runtime 15.4 LTS přidává podporu podrobného řízení přístupu pro výpočetní prostředky jednoho uživatele. Když dotaz přistupuje k některému z následujících objektů, jeden uživatelský výpočetní prostředek v Databricks Runtime 15.4 LTS předá dotaz do bezserverového výpočetního prostředí pro spuštění filtrování dat:

  • Zobrazení definovaná v tabulkách, u kterých uživatel nemá SELECT oprávnění.
  • Dynamická zobrazení
  • Tabulky s použitými filtry řádků nebo maskami sloupců
  • Materializovaná zobrazení a tabulky streamování

Tyto dotazy nejsou podporovány na výpočetních prostředcích jednoho uživatele, na kterých běží Databricks Runtime 15.3 a novější.

Další informace najdete v tématu Jemně odstupňované řízení přístupu u výpočetních prostředků jednoho uživatele.

Rozšířená podpora knihoven Java a Scala

Počínaje modulem Databricks Runtime 15.4 LTS jsou všechny knihovny Java a Scala, které jsou součástí modulu Databricks Runtime, dostupné ve všech režimech výpočetního přístupu při použití katalogu Unity. Další informace o podpoře jazyka ve výpočetních prostředcích s podporou katalogu Unity najdete v tématu Omezení režimu přístupu k výpočetním prostředkům pro Katalog Unity.

Rozšířená podpora operací datové sady Scala

V této verzi podporují výpočetní prostředky s podporou katalogu Unity, které používají režim sdíleného přístupu, následující operace ScalaDataset: map, mapPartitions, foreachPartition, flatMapreduce a filter.

Scala je ga ve sdíleném výpočetním prostředí katalogu Unity

V této verzi je Scala obecně dostupná pro výpočetní prostředky s podporou katalogu Unity v režimu sdíleného přístupu, včetně podpory skalárních uživatelem definovaných funkcí (UDF). Agregační funkce definované uživatelem a strukturované streamování Hive, definované uživatelem nejsou podporované. Úplný seznam omezení najdete v tématu Omezení režimu přístupu k výpočetním prostředkům pro katalog Unity.

Přístup k externím cloudovým službám se řídí katalogem Unity pomocí přihlašovacích údajů služby (Public Preview)

Přihlašovací údaje služby umožňují jednoduché a zabezpečené ověřování pomocí služeb cloudového tenanta pomocí spravovaných identit Azure (MI) a katalogu Unity. Viz Správa přístupu k externím cloudovým službám pomocí přihlašovacích údajů služby.

Opravy chyb

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • Azure Core od 1.30.1 do 1.30.2
    • google-auth od 2.29.0 do 2.31.0
    • google-cloud-storage od 2.16.0 do 2.17.0
    • google-resumable-media od 2.7.0 do 2.7.1
    • googleapis-common-protos od 1.63.0 do 1.63.2
    • mlflow-skinny od 2.11.3 do 2.11.4
    • proto-plus od 1.23.0 do 1.24.0
    • s3transfer from 0.10.1 to 0.10.2
  • Upgradované knihovny jazyka R:
  • Upgradované knihovny Java:
    • com.databricks.databricks-sdk-java od 0.17.1 do 0.27.0
    • com.ibm.icu.icu4j od 72.1 do 75.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider od 1.6.1-linux-x86_64 do 1.6.2-linux-x86_64

Apache Spark

Databricks Runtime 15.4 LTS zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 15.3, a následující další opravy chyb a vylepšení Sparku:

  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] Povolit seskupení výrazů ve skalárních poddotazech, pokud jsou svázané s vnějšími řádky
  • [SPARK-48834] [CHOVÁNÍ-79][SC-170972][SQL] Zakázání vstupu a výstupu varianty pro skalární uživatelem definované uživatelem v Pythonu, UDTF a UDAF během kompilace dotazů
  • [SPARK-48441] [SC-170980][SQL][WARMFIX] Oprava chování StringTrim pro kolace, které nejsou UTF8_BINARY
  • [SPARK-48440] [SC-170895][SQL][WARMFIX] Oprava chování StringTranslate pro kolace bez UTF8_BINARY
  • [SPARK-48872] [SC-170866][PYTHON] Snížení režie _capture_call_site
  • [SPARK-48862] [SC-170845][PYTHON][CONNECT] Vyhněte se volání _proto_to_string , pokud není povolená úroveň INFORMACÍ
  • [SPARK-48852] [SC-170837][CONNECT] Oprava funkce oříznutí řetězce v connect
  • [SPARK-48791] [SC-170658][JÁDRO] Oprava regrese výkonu způsobená režií registrace akumulátorů pomocí copyOnWriteArrayList
  • [SPARK-48118] [SQL] Podpora SPARK_SQL_LEGACY_CREATE_HIVE_TABLE proměnné env
  • [SPARK-48241] [SC-165811][SQL] Selhání analýzy sdíleného svazku clusteru se sloupci typu char/varchar
  • [SPARK-48168] [SC-166900][SQL] Přidání bitové podpory operátorů posunu
  • [SPARK-48148] [SC-165630][JÁDRO] Objekty JSON by neměly být změněny při čtení jako STRING.
  • [SPARK-46625] [SC-170561] CTE s klauzulí Identifier jako odkaz
  • [SPARK-48771] [SC-170546][SQL] LogicalPlanIntegrity.validateExprIdUniqueness Zrychlení rozsáhlých plánů dotazů
  • [SPARK-48831] [CHOVÁNÍ-76][SC-170554][CONNECT] Nastavení výchozího názvu sloupce kompatibilního cast s klasickým Sparkem
  • [SPARK-48623] [SC-170544][JÁDRO] Migrace strukturovaného protokolování [část 2]
  • [SPARK-48296] [SC-166138][SQL] Podpora Codegenu pro to_xml
  • [SPARK-48027] [SC-165154][SQL] InjektážRuntimeFilter pro víceúrovňové spojení by měla zkontrolovat typ podřízeného spojení.
  • [SPARK-48686] [SC-170365][SQL] Zvýšení výkonu ParserUtils.unescapeSQLString
  • [SPARK-48798] [SC-170588][PYTHON] Zavedení spark.profile.render profilace založené na SparkSession
  • [SPARK-48048] [SC-169099] Vrátit zpět "[SC-164846][CONNECT][SS] Přidání podpory naslouchacího procesu na straně klienta pro Scala
  • [SPARK-47910] [SC-168929][CORE] Zavřete datový proud, když DiskBlockObjectWriter closeResources, aby nedošlo k nevrácení paměti
  • [SPARK-48816] [SC-170547][SQL] Zkratka pro převaděče intervalů v univocityParser
  • [SPARK-48589] [SC-170132][SQL][SS] Přidání snímku možnosti SnapshotStartBatchId a snapshotPartitionId do zdroje dat stavu
  • [SPARK-48280] [SC-170293][SQL] Zlepšení oblasti testování kolace pomocí chůze výrazů
  • [SPARK-48837] [SC-170540][ML] V CountVectorizeru stačí číst binární parametr jednou za transformaci, ne jednou na řádek.
  • [SPARK-48803] [SC-170541][SQL] Vyvolá vnitřní chybu v orc(De)serializátoru, aby byl zarovnaný s ParquetWriteSupport
  • [SPARK-48764] [SC-170129][PYTHON] Filtrování rámců souvisejících s protokolem IPython ze zásobníku uživatelů
  • [SPARK-48818] [SC-170414][PYTHON] Zjednodušení percentile funkcí
  • [SPARK-48479] [SC-169079][SQL] Podpora vytvářenískalch
  • [SPARK-48697] [SC-170122][LC-4703][SQL] Přidání filtrů řetězců pracujících s kolací
  • [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
  • [SPARK-48738] [SC-169814][SQL] Oprava od verze pro předdefinovaný alias randomfunc , position, mod, cardinality, current_schema, user, session_user,char_lengthcharacter_length
  • [SPARK-48638] [SC-169575][CONNECT] Přidání podpory ExecutionInfo pro datový rámec
  • [SPARK-48064] [SC-164697][SQL] Aktualizace chybových zpráv pro rutinní související třídy chyb
  • [SPARK-48810] [CONNECT] Rozhraní API pro zastavení relace by mělo být idempotentní, a pokud je relace již uzavřena serverem, nemělo by selhat.
  • [SPARK-48650] [15.x][PYTHON] Zobrazení správného webu volání z poznámkového bloku IPython
  • [SPARK-48271] [SC-166076][SQL] Převod chyby shody v RowEncoder na UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] Oprava neshody překladu typu varchar pro CTAS DataSourceV2
  • [SPARK-48792] [SC-170335][SQL] Oprava regrese příkazu INSERT s částečným seznamem sloupců do tabulky s znakem nebo varcharem
  • [SPARK-48767] [SC-170330][SQL] Oprava některých chybových výzev, když variant jsou data typu neplatná
  • [SPARK-48719] [SC-170339][SQL] Oprava chyby výpočtu při RegrSlopeRegrIntercept hodnotě null prvního parametru
  • [SPARK-48815] [SC-170334][CONNECT] Aktualizace prostředí při zastavení relace připojení
  • [SPARK-48646] [SC-169020][PYTHON] Upřesnění dokumentace k rozhraní API zdroje dat Pythonu a nápovědy k typům
  • [SPARK-48806] [SC-170310][SQL] Předání skutečné výjimky při selhání url_decode
  • [SPARK-47777] [SC-168818] Oprava testu připojení streamovaného zdroje dat Pythonu
  • [SPARK-48732] [SC-169793][SQL] Vyčištění zastaralého využití rozhraní API související s JdbcDialect.compileAggregate
  • [SPARK-48675] [SC-169538][SQL] Oprava tabulky mezipaměti s kompletovaným sloupcem
  • [SPARK-48623] [SC-169034][JÁDRO] Migrace strukturovaného protokolování
  • [SPARK-48655] [SC-169542][SQL] SPJ: Přidání testů pro přeskakování shuffle pro agregované dotazy
  • [SPARK-48586] [SC-169808][SS] Odebrání získání zámku v doMaintenance() provedením hloubkové kopie mapování souborů v RocksDBFileManager v load()
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] Refaktoring správy verzí pro metadata operátora pro čtení a zápis a volající
  • [SPARK-48808] [SC-170309][SQL] Oprava NPE při připojování thriftserveru přes Hive 1.2.1 a výsledné schéma je prázdné
  • [SPARK-48715] [SC-170291][SQL] Integrace ověřování UTF8String do implementací řetězcových funkcí pracujících s kolací
  • [SPARK-48747] [SC-170120][SQL] Přidání iterátoru bodu kódu do UTF8String
  • [SPARK-48748] [SC-170115][SQL] NumChars mezipaměti v UTF8String
  • [SPARK-48744] [SC-169817][Jádro] Položka protokolu by měla být vytvořena pouze jednou.
  • [SPARK-46122] [SC-164313][SQL] Nastavit spark.sql.legacy.createHiveTableByDefault na false výchozí
  • [SPARK-48765] [SC-170119][DEPLOY] Vylepšení výchozího vyhodnocení hodnoty pro SPARK_IDENT_STRING
  • [SPARK-48759] [SC-170128][SQL] Přidání dokumentace k migraci pro změnu chování CREATE TABLE AS SELECT od Sparku 3.4
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] Šíření schématu uloženého v mezipaměti v operacích datového rámce
  • [SPARK-48766] [SC-170126][PYTHON] Zdokumentujte rozdíl mezi chováním extraction a element_attry_element_at
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT] Neměla by být uložena v mezipaměti. explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] Změna metadat operátoru čtení jednou na ovladači a kontrola, jestli můžeme najít informace pro numColsPrefixKey používané pro dotazy agg okna relace
  • [SPARK-48656] [SC-169529][JÁDRO] Kontrola délky a vyvolání chyby COLLECTION_SIZE_LIMIT_EXCEEDED v CartesianRDD.getPartitions
  • [SPARK-48597] [SC-168817][SQL] Zavedení značky pro vlastnost isStreaming v textové reprezentaci logického plánu
  • [SPARK-48472] [SC-169044][SQL] Povolení výrazů reflect s kompletovanými řetězci
  • [SPARK-48699] [SC-169597][SQL] Upřesnění rozhraní API kolace
  • [SPARK-48682] [SC-169812][SQL][CHOVÁNÍ-58] Použití ICU ve výrazu InitCap pro řetězce UTF8_BINARY
  • [SPARK-48282] [SC-169813][SQL] Logika hledání řetězců pro kolaci UTF8_BINARY_LCASE (StringReplace, FindInSet)
  • [SPARK-47353] [SC-169599][SQL] Povolení podpory kolace pro výraz Mode
  • [SPARK-48320] [SPARK-48490] Synchronizace nejnovějších vlastností protokolování a testovacích případů ze Sparku operačního systému
  • [SPARK-48629] [SC-169479] Migrace zbytkového kódu do architektury strukturovaného protokolování
  • [SPARK-48681] [SC-169469][SQL][CHOVÁNÍ-58] Použití ICU ve výrazech lower/upper pro řetězce UTF8_BINARY
  • [SPARK-48573] [15.x][SC-169582][SQL] Upgrade verze ICU
  • [SPARK-48687] [Backport][15.x][SS] Přidání změny pro ověření schématu stavu a aktualizaci ovladače pro stavové dotazy
  • [SPARK-47579] [15.x][SC-167310][JÁDRO][ČÁST4] Migrace logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-48008] [SC-167363][1/2] Podpora UDAF ve Spark Connect
  • [SPARK-48578] [SC-169505][SQL] Přidání funkcí souvisejících s ověřováním řetězců UTF8
  • [SPARK-48670] [SC-169598][SQL] Poskytnutí návrhu jako součásti chybové zprávy při zadání neplatného názvu kolace
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] Architektura strukturovaného protokolu na straně Javy
  • [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: Migrace logWarn s proměnnými do architektury strukturovaného protokolování
  • [SPARK-48706] [SC-169589][PYTHON] Funkce definované uživatelem Pythonu ve vyšších pořadí by neměly vyvolat vnitřní chybu.
  • [SPARK-48498] [CHOVÁNÍ-38][SC-168060][SQL] Vždy provádět odsazení znaků v predikátech
  • [SPARK-48662] [SC-169533][SQL] Oprava výrazu StructsToXml pomocí kolací
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates a dropDuplicatesWIthinWatermark by měl přijmout proměnné délky args
  • [SPARK-48678] [SC-169463][JÁDRO] Optimalizace výkonu pro SparkConf.get(ConfigEntry)
  • [SPARK-48576] [SQL] Přejmenování UTF8_BINARY_LCASE na UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]: Oprava atributu nullability v dekodéru UDF
  • [SPARK-47579] [SC-165297][JÁDRO][ČÁST1] Migrace logInfo s proměnnými do architektury strukturovaného protokolování (nové)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal nepoužívejte zastaralé metody.
  • [SPARK-48431] [SC-167290][LC-4066][SQL] Nepřeposílat predikáty u kompletovaných sloupců čtenářům souborů
  • [SPARK-47579] Vrátit zpět [SC-165297][CORE][PART1] Migrovat logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-47585] [SC-164306][SQL] Jádro SQL: Migrace logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-48466] [SC-169042][SQL] Vytvoření vyhrazeného uzlu pro EmptyRelation v AQE
  • [SPARK-47579] [SC-165297][JÁDRO][ČÁST1] Migrace logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-48410] [SC-168320][SQL] Oprava výrazu InitCap pro kolace UTF8_BINARY_LCASE a ICU
  • [SPARK-48318] [SC-167709][SQL] Povolení podpory spojení hash pro všechny kolace (komplexní typy)
  • [SPARK-48435] [SC-168128][SQL] Kolace UNICODE by neměla podporovat binární rovnost
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] Podpora použití sloupců jako parametrů pro několik funkcí v pyspark/scala
  • [SPARK-48591] [SC-169081][PYTHON] Přidání pomocné funkce pro zjednodušení Column.py
  • [SPARK-48574] [SC-169043][SQL] Oprava podpory pro StructTypes s kolacemi
  • [SPARK-48305] [SC-166390][SQL] Přidání podpory kolace pro výrazy CurrentLike
  • [SPARK-48342] [SC-168941][SQL] Úvod do analyzátoru skriptování SQL
  • [SPARK-48649] [SC-169024][SQL] Přidejte konfigurace ignoreInvalidPartitionPaths a spark.sql.files.ignoreInvalidPartitionPaths, aby bylo možné ignorovat neplatné cesty k oddílům.
  • [SPARK-48000] [SC-167194][SQL] Povolení podpory spojení hash pro všechny kolace (StringType)
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON] Implementace prvku DataFrameQueryContext v nástroji Spark Connect
  • [SPARK-48602] [SC-168692][SQL] Nastavení generátoru csv pro různé styly výstupu pomocí spark.sql.binaryOutputStyle
  • [SPARK-48283] [SC-168129][SQL] Úprava porovnání řetězců pro UTF8_BINARY_LCASE
  • [SPARK-48610] [SC-168830]Refaktoring [SQL] : Místo OP_ID_TAG použijte pomocné idMap
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] Vyhněte se staticky inicializaci fondu vláken v ExecutePlanResponseReattachableIterator
  • [SPARK-47911] [SC-164658][SQL] Zavádí univerzální BinaryFormatter, aby binární výstup byl konzistentní.
  • [SPARK-48642] [SC-168889][JÁDRO] False SparkOutOfMemoryError způsobená zabíjením úkolu při přelití
  • [SPARK-48572] [SC-168844][SQL] Oprava výrazů DateSub, DateAdd, WindowTime, TimeWindow a SessionWindow
  • [SPARK-48600] [SC-168841][SQL] Oprava implicitního přetypování výrazů FrameLessOffsetWindowFunction
  • [SPARK-48644] [SC-168933][SQL] Kontrola délky a vyvolání chyby COLLECTION_SIZE_LIMIT_EXCEEDED v hex.hex
  • [SPARK-48587] [SC-168824][VARIANT] Vyhněte se zesílení úložiště při přístupu k dílčí variantě
  • [SPARK-48647] [SC-168936][PYTHON][CONNECT] Upřesněte chybovou zprávu pro YearMonthIntervalTypedf.collect
  • [SPARK-48307] [SC-167802][SQL] VloženýCTE by měl udržovat neschované vztahy v původním uzlu WithCTE.
  • [SPARK-48596] [SC-168581][SQL] Vylepšení výkonu pro výpočet šestnáctkového řetězce po dlouhou dobu
  • [SPARK-48621] [SC-168726][SQL] Oprava zjednodušení like v optimalizátoru pro kompletované řetězce
  • [SPARK-47148] [SC-164179][SQL] Vyhněte se materializaci AQE ExchangeQueryStageExec při zrušení
  • [SPARK-48584] [SC-168579][SQL] Vylepšení výkonu pro unescapePathName
  • [SPARK-48281] [SC-167260][SQL] Alter string search logic for UTF8_BINARY_LCASE collation (StringInStr, SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] Nahrazení neplatné sekvence bajtů UTF-8
  • [SPARK-48595] [SC-168580][JÁDRO] Vyčištění zastaralého využití rozhraní API související s commons-compress
  • [SPARK-48030] [SC-164303][SQL] SPJ: cache rowOrdering and structType for InternalRowComparableWrapper
  • [SPARK-48004] [SC-164005][SQL] Přidání vlastnosti WriteFilesExecBase pro zápis v1
  • [SPARK-48551] [SC-168438][SQL] Vylepšení výkonu pro escapePathName
  • [SPARK-48565] [SC-168437][UŽIVATELSKÉ ROZHRANÍ] Oprava zobrazení výpisu stavu vlákna v uživatelském rozhraní
  • [SPARK-48364] [SC-166782][SQL] Přidání přetypování typu AbstractMapType a oprava mapování parametrů RaiseError pro práci s kompletovanými řetězci
  • [SPARK-48421] [SC-168689][SQL] SPJ: Přidání dokumentace
  • [SPARK-48604] [SC-168698][SQL] Nahrazení zastaralého new ArrowType.Decimal(precision, scale) volání metody
  • [SPARK-46947] [SC-157561][JÁDRO] Zpoždění inicializace správce paměti, dokud se nenačte modul plug-in Driver
  • [SPARK-48411] [SC-168576][SS][PYTHON] Přidání testu E2E pro DropDuplicateWithinWatermark
  • [SPARK-48543] [SC-168697][SS] Sledování selhání ověření řádku stavu pomocí explicitní třídy chyb
  • [SPARK-48221] [SC-167143][SQL] Logika hledání řetězců pro kolaci UTF8_BINARY_LCASE (Contains, StartsWith, EndsWith, StringLocate)
  • [SPARK-47415] [SC-168441][SQL] Přidání podpory kolace pro výraz Levenshtein
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT] Oprava řetězcové reprezentace funkce lambda
  • [SPARK-48622] [SC-168710][SQL] Získání SQLConf jednou při překladu názvů sloupců
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT] Přejmenovat parent pole na childColumnAlias
  • [SPARK-48403] [SC-168319][SQL] Oprava dolních a horních výrazů pro kolace UTF8_BINARY_LCASE a ICU
  • [SPARK-48162] [SC-166062][SQL] Přidání podpory kolace pro výrazy MISC
  • [SPARK-48518] [SC-167718][JÁDRO] Zpřístupnit kompresi LZF paralelně
  • [SPARK-48474] [SC-167447][JÁDRO] Oprava názvu třídy přihlášení a přihlášení SparkSubmitArgumentsSparkSubmit
  • [SPARK-48012] [SC-168267][SQL] SPJ: Podpora výrazů transfrom pro jeden boční shuffle
  • [SPARK-48552] [SC-168212][SQL] Odvození víceřádkového schématu sdíleného svazku clusteru by mělo také vyvolat FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] Nastavení settable StreamingQueryListener.spark
  • [SPARK-48569] [SC-168321][SS][CONNECT] Zpracování hraničních případů v query.name
  • [SPARK-47260] [SC-167323][SQL] Přiřazení názvu ke třídě chyb _LEGACY_ERROR_TEMP_3250
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] Šíření schématu uloženého v mezipaměti v operacích sady
  • [SPARK-48155] [SC-165910][SQL] AQEPropagateEmptyRelation pro připojení by mělo zkontrolovat, jestli zůstat podřízený je pouze BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][JÁDRO] Krátké názvy kodeků komprese nerozlišují velká a malá písmena s výjimkou protokolování událostí.
  • [SPARK-48447] [SC-167607][SS] Před vyvoláním konstruktoru zkontrolujte třídu zprostředkovatele úložiště stavů.
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff a DateTimeUtils.timestampAdd by neměly vyvolat výjimku INTERNAL_ERROR
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] Přidání třídy chyb pro kompatibilitu schématu stavu a menší refaktoring
  • [SPARK-48413] [SC-167669][SQL] ALTER COLUMN s kolací
  • [SPARK-48561] [SC-168250][PS][CONNECT] Vyvolání PandasNotImplementedError nepodporovaných funkcí vykreslování
  • [SPARK-48465] [SC-167531][SQL] Vyhněte se šíření prázdných relací bez op.
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT] Ukládání dalších vlastností do mezipaměti
  • [SPARK-48540] [SC-168069][JÁDRO] Vyhněte se nastavení načítání ivy výstupu do výstupu stdout
  • [SPARK-48535] [SC-168057][SS] Aktualizace konfiguračních dokumentů s cílem indikovat možnost problému se ztrátou nebo poškozením dat, pokud je povolená možnost vynechat hodnoty null pro konfiguraci připojení streamu
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT] Uživatel mezipaměti zadaný schéma v applyInPandas a applyInArrow
  • [SPARK-47873] [SC-163473][SQL] Zápis kompletovaných řetězců do metastoru Hive pomocí běžného typu řetězce
  • [SPARK-48461] [SC-167442][SQL] Nahrazení NullPointerExceptions třídou chyby ve výrazu AssertNotNull
  • [SPARK-47833] [SC-163191][SQL][JÁDRO] Zadání zásobníku volajícího pro checkAndGlobPathIfNecessary AnalysisException
  • [SPARK-47898] [SC-163146][SQL] Port HIVE-12270: Přidání podpory DBTokenStore do tokenu delegování HS2
  • [SPARK-47578] [SC-167497][R] Migrace nástrojů RPackageUtils s proměnnými do architektury strukturovaného protokolování
  • [SPARK-47875] [SC-162935][JÁDRO] Odstranit spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][JÁDRO] Pokud chybí, nastavte spark.hadoop.fs.s3a.connection.establish.timeout na 30s.
  • [SPARK-47972] [SC-167692][SQL] Omezení výrazu CAST pro kolace
  • [SPARK-48430] [SC-167489][SQL] Oprava extrakce hodnot mapy, když mapa obsahuje kompletované řetězce
  • [SPARK-47318] [SC-162712][JÁDRO][3.5] Přidá kolo HKDF do odvození klíče AuthEngine, aby bylo možné postupovat podle standardních postupů KEX.
  • [SPARK-48503] [CHOVÁNÍ-29][ES-1135236][SQL] Opravaneplatných
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON] Uživatel v mezipaměti zadal schéma v DataFrame.{to, mapInPandas, mapInArrow}
  • [SPARK-23015] [SC-167188][WINDOWS] Oprava chyby ve Windows, kdy spuštění několika instancí Sparku ve stejné sekundě způsobí selhání
  • [SPARK-45891] [SC-167608]Revert " Describe shredding scheme for Variant"
  • [SPARK-48391] [SC-167554][JÁDRO]Použití addAll místo přidání funkce v fromAccumulatorInfos metoda TaskMetrics – třída
  • [SPARK-48496] [SC-167600][JÁDRO] Použití statických instancí vzorů regulárních výrazů v JavaUtils.timeStringAs a JavaUtils.byteStringAs
  • [SPARK-48476] [SC-167488][SQL] Oprava chybové zprávy NPE pro soubor CSV s hodnotou null
  • [SPARK-48489] [SC-167598][SQL] Vyvolání lepší uživatelské chyby při čtení neplatného schématu z textového zdroje dat
  • [SPARK-48471] [SC-167324][JÁDRO] Vylepšení dokumentace a průvodce používáním pro server historie
  • [SPARK-45891] [SC-167597] Popis schématu shredding pro variantu
  • [SPARK-47333] [SC-159043][SQL] Použití checkInputDataTypes ke kontrole typů parametrů funkce to_xml
  • [SPARK-47387] [SC-159310][SQL] Odebrání některých nepoužívaných tříd chyb
  • [SPARK-48265] [ES-1131440][SQL] Odvození dávky limitu skupiny oken by měly provádět konstantní posouvání
  • [SPARK-47716] [SC-167444][SQL] Vyhněte se konfliktu názvů zobrazení v sémantickém testovacím případu SQLQueryTestSuite
  • [SPARK-48159] [SC-167141][SQL] Rozšíření podpory pro kompletované řetězce ve výrazech datetime
  • [SPARK-48462] [SC-167271][SQL][Testy] Použití sSQLConf v testech: Refaktoring HiveQuerySuite a HiveTableScanSuite
  • [SPARK-48392] [SC-167195][JÁDRO] spark-defaults.conf Načtení také při poskytnutí --properties-file
  • [SPARK-48468] [SC-167417] Přidání rozhraní LogicalQueryStage v katalyzátoru
  • [SPARK-47578] [SC-164988][JÁDRO] Ruční backport pro Spark PR #46309: Migrace logWarning s proměnnými do architektury strukturovaného protokolování
  • [SPARK-48415] [SC-167321]Vraťte "[PYTHON] Refaktoring TypeName pro podporu parametrizovaných datových typů.
  • [SPARK-46544] [SC-151361][SQL] Podpora v2 DESCRIBE TABLE EXTENDED s tabulkovými statistikami
  • [SPARK-48325] [SC-166963][JÁDRO] Vždy zadat zprávy v ExecutorRunner.killProcess
  • [SPARK-46841] [SC-167139][SQL] Přidání podpory kolace pro národní prostředí a specifikátory kolace ICU
  • [SPARK-47221] [SC-157870][SQL] Používá podpisy z CsvParseru k abstraktnímuparseru.
  • [SPARK-47246] [SC-158138][SQL] InternalRow.fromSeq Nahrazení new GenericInternalRow uložením převodu kolekce
  • [SPARK-47597] [SC-163932][STREAMOVÁNÍ] Ruční backport pro Spark PR #46192: Streamování: Migrace logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-48415] [SC-167130][PYTHON] Refaktoring TypeName pro podporu parametrizovaných datových typů
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] Použití printSchema schématu uloženého v mezipaměti
  • [SPARK-48432] [ES-1097114][SQL] Vyhněte se unboxing integers in UnivocityParser
  • [SPARK-47463] [SC-162840][SQL] Použití V2Predicate k zabalení výrazu s návratovým typem logické hodnoty
  • [SPARK-47781] [SC-162293][SQL] Zpracování záporných desetinných míst měřítka pro zdroje dat JDBC
  • [SPARK-48394] [SC-166966][JÁDRO] Vyčištění mapIdToMapIndex při zrušení registrace mapoutput
  • [SPARK-47072] [SC-156933][SQL] Oprava podporovaných formátů intervalů v chybových zprávách
  • [SPARK-47001] [SC-162487][SQL] Odsdílení ověření v optimalizátoru
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] Zajištění _parse_datatype_string kompatibility se Službou Spark Connect
  • [SPARK-48329] [SC-166518][SQL] Povolit spark.sql.sources.v2.bucketing.pushPartValues.enabled ve výchozím nastavení
  • [SPARK-48412] [SC-166898][PYTHON] Refaktoring datového typu json parse
  • [SPARK-48215] [SC-166781][SQL] Rozšíření podpory kompletovaných řetězců ve výrazu date_format
  • [SPARK-45009] [SC-166873][SQL][ZPRACOVAT] Přidání třídy chyb a testů pro dekódaci poddotazů predikátu v podmínce spojení, které odkazují na obě podřízené spojení
  • [SPARK-47960] [SC-165295][SS][15.x] Povolit řetězení dalších stavových operátorů po transformWithState operátor.
  • [SPARK-48340] [SC-166468][PYTHON] Podpora časového razítkaNTZ odvozuje chybějící schéma prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][SQL] Přidání podpory kolace pro výrazy CSV
  • [SPARK-48158] [SC-165652][SQL] Přidání podpory kolace pro výrazy XML
  • [SPARK-48160] [SC-166064][SQL] Přidání podpory kolace pro výrazy XPATH
  • [SPARK-48229] [SC-165901][SQL] Přidání podpory kolace pro výrazy inputFile
  • [SPARK-48367] [SC-166487][CONNECT] Oprava jazyka lint-scala pro scalafmt pro správnou detekci souborů za účelem správného formátování
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] Refaktoring struktury pro kontext chyby datového rámce
  • [SPARK-48370] [SC-166787][CONNECT] Kontrolní bod a localCheckpoint v klientovi Scala Spark Connect
  • [SPARK-48247] [SC-166028][PYTHON] Použití všech hodnot ve diktování při odvození schématu MapType
  • [SPARK-48395] [SC-166794][PYTHON] Oprava StructType.treeString parametrizovaných typů
  • [SPARK-48393] [SC-166784][PYTHON] Přesunutí skupiny konstant do pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] Implementovat StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Kontrolní bod a localCheckpoint v nástroji Spark Connect

Viz aktualizace údržby Databricks Runtime 15.4 LTS.

Prostředí systému

  • Operační systém: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.78.0.19-CA-linux64
  • Scala: 2.12.18
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
asttokens 2.0.5 astunparse 1.6.3 Azure-Core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
černý 23.3.0 blinkr 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknutí 8.0.4 cloudpickle 2.2.1 Komunikace 0.1.2
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
Cython 0.29.32 Databricks-sdk 0.20.0 dbus-python 1.2.18
ladění 1.6.7 dekoratér 5.1.1 distlib 0.3.8
vstupní body 0,4 vykonávající 0.8.3 přehled omezujících vlastností 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 verizonsolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-hubená 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 balení 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
bábovka 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 jádro 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 čistý-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
žádosti 2.31.0 rsa 4,9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Šest 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5,11
stack-data 0.2.0 statsmodels 0.14.0 houževnatost 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornádo 6.3.2
vlastnosti 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 bezobslužné upgrady 0,1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
kolo 0.38.4 zipp 3.11.0

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku CRAN Správce balíčků Posit.

Knihovna Verze Knihovna Verze Knihovna Verze
šipka 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backporty 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitové 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 startování 1.3-28
vařit 1.0-10 verva 1.1.4 koště 1.0.5
bslib 0.6.1 cachem 1.0.8 volající 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 Rozhraní příkazového řádku 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
barevný prostor 2.1-0 commonmark 1.9.1 – kompilátor 4.3.2
config 0.3.2 střetl 1.2.0 cpp11 0.4.7
pastelka 1.5.2 přihlašovací údaje 2.0.1 kudrna 5.2.0
data.table 1.15.0 Power BI 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 trávit 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 tři tečky 0.3.2 evaluate 0.23
fanynky 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
zahraniční 0.8-85 kovat 0.2.0 Fs 1.6.3
budoucnost 1.33.1 future.apply 1.11.1 kloktadlo 1.5.2
Generik 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globálních objektů 0.16.2 lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
Grafika 4.3.2 grDevices 4.3.2 mřížka 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 bezpečnostní přilba 1.3.1 útočiště 2.5.4
highr 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Id 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatájuice 0.1.0
KernSmooth 2.23-21 pletení 1.45 značení 0.4.3
později 1.3.2 mříž 0.21-8 láva 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 sleva 1.12 MŠE 7.3-60
Matice 1.5-4.1 memoise 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
paralelně 1.36.0 pilíř 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 chválit 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Průběh 1.2.3
progressr 0.14.0 sliby 1.2.1 proto 1.0.0
plná moc 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 Analýza rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reagovatelná 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recepty 1.0.9 odvetný zápas 2.0.0 rematch2 2.1.2
vzdálená zařízení 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 drzá napodobenina 0.4.8
váhy 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
tvar 1.4.6 lesklý 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 prostorový 7.3-15 spline křivky 4.3.2
sqldf 0.4-11 ČTVEREC 2021.1 statistické údaje 4.3.2
Statistiky 4 4.3.2 stringi 1.8.3 stringr 1.5.1
přežití 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 časový interval 0.3.0
timeDate 4032.109 tinytex 0.49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 Uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 vous 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws podpora aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metriky anotace 4.2.19
io.dropwizard.metrics metriky – jádro 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty- common 4.1.96.Final
io.netty obslužná rutina netty 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-client 2.13.0
org.apache.kurátor kurátor-framework 2.13.0
org.apache.kurátor kurátor-recepty 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus cílové skupiny a poznámky 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty pokračování jetty 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket – společné 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core žerzejové společné 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Podložky 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel kočky-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1