Sdílet prostřednictvím

Databricks Runtime 15.2 (EoS)

  • Článek

Poznámka

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory naleznete v části historie ukončení podpory. Informace o všech podporovaných verzích Databricks Runtime najdete v poznámkách k verzím a kompatibilitě Databricks Runtime.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 15.2, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v květnu 2024.

Spropitné

Pro zobrazení poznámek k verzím Databricks Runtime, které dosáhly konce podpory (EoS), se podívejte do poznámek k verzím Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Změny chování

Vakuování vyčistí soubory metadat COPY INTO

Spuštění VACUUM v tabulce napsané pomocí COPY INTO teď vyčistí neodkazovaná metadata spojená se sledováním přijatých souborů. Na provozní sémantiku COPY INTOnemá žádný vliv .

Federace Lakehouse je obecně dostupná (GA)

V Databricks Runtime 15.2 a novějších jsou obecně dostupné konektory Lakehouse Federation následujících typů databází:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Sněhová vločka
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Tato verze také přináší následující vylepšení:

  • Podpora ověřování jednotného přihlašování (SSO) v konektorech Snowflake a microsoft SQL Server.

  • Podpora Azure Private Link pro konektor SQL Serveru z bezserverových výpočetních prostředí. Viz krok 3: Vytvoření pravidel privátního koncového bodu.

  • Podpora dalších optimalizací (řetězcové funkce, matematické a různé funkce).

  • Vylepšili jsme míru úspěšnosti posunu mezi různými obrazci dotazů.

  • Další možnosti ladění nabízených změn:

    • Výstup EXPLAIN FORMATTED zobrazí text potlačeného dotazu.
    • V uživatelském rozhraní profilu dotazu se zobrazí text dotazu provedeného na nižší úrovni, identifikátory federovaných uzlů a doby provádění dotazů JDBC (v podrobném režimu). Viz Zobrazení systémem generovaných federovaných dotazů.

BY POSITION pro mapování sloupců pomocí COPY INTO se soubory CSV bez záhlaví

V Databricks Runtime 15.2 a novějších můžete použít klíčová slova BY POSITION (nebo alternativní syntaxi ( col_name [ , <col_name> ... ] )) s COPY INTO pro soubory CSV bez záhlaví, aby se zjednodušilo mapování zdrojových sloupců na sloupce cílové tabulky. Viz Parametry.

Snížení spotřeby paměti v případě selhání úloh Sparku s chybou Resubmitted

V Databricks Runtime 15.2 a novějších je návratová hodnota metody Spark TaskInfo.accumulables() prázdná, pokud úlohy selžou s chybou Resubmitted. Dříve metoda vrátila hodnoty dřívějšího úspěšného pokusu o úkol. Tato změna chování má vliv na následující uživatele:

  • Úlohy Sparku, které používají třídu EventLoggingListener
  • Vlastní listenery v Spark

Chcete-li obnovit předchozí chování, nastavte spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled na false.

Zobrazení verzí plánu adaptivního spouštění dotazů je zakázané.

Aby se snížila spotřeba paměti, verze plánu adaptivního spouštění dotazů (AQE) jsou ve výchozím nastavení v uživatelském rozhraní Sparku zakázané. Pokud chcete povolit zobrazení verzí plánu AQE v uživatelském rozhraní Sparku, nastavte spark.databricks.sql.aqe.showPlanChangesInUI.enabled na true.

Omezení uchovávaných dotazů je nižší, aby se snížilo využití paměti uživatelského rozhraní Sparku.

V Databricks Runtime 15.2 a novějším se sníží využití paměti spotřebované uživatelským rozhraním Sparku ve výpočetním prostředí Azure Databricks, omezení počtu dotazů viditelných v uživatelském rozhraní se sníží z 1000 na 1000. Pokud chcete limit změnit, nastavte novou hodnotu pomocí konfigurace spark.sql.ui.retainedExecutions Sparku.

DESCRIBE HISTORY nyní zobrazuje clusteringové sloupce pro tabulky, které používají liquid clustering

Když spustíte dotaz DESCRIBE HISTORY, ve sloupci operationParameters se ve výchozím nastavení zobrazí pole clusterBy pro operace CREATE OR REPLACE a OPTIMIZE. U tabulky Delta, která používá tekuté shlukování, je pole clusterBy naplněno shlukovacími sloupci tabulky. Pokud tabulka nepoužívá shlukování kapalin, pole je prázdné.

Nové funkce a vylepšení

Podpora primárních a cizích klíčů je nyní obecně dostupná.

Podpora primárních a cizích klíčů v Databricks Runtime je obecně dostupná. Verze GA obsahuje následující změny oprávnění vyžadovaných k používání primárních a cizích klíčů:

  • Pokud chcete definovat cizí klíč, musíte mít oprávnění SELECT k tabulce s primárním klíčem, na který cizí klíč odkazuje. Nemusíte vlastnit tabulku, abyste měli primární klíč, což bylo dříve požadováno.
  • Vyřazení primárního klíče pomocí klauzule CASCADE nevyžaduje oprávnění k tabulkám definujícím cizí klíče, které odkazují na primární klíč. Dříve jste museli vlastnit odkazující tabulky.
  • Vyřazení tabulky, která obsahuje omezení, teď vyžaduje stejná oprávnění jako vyřazení tabulek, které neobsahují omezení.

Informace o použití primárních a cizích klíčů s tabulkami nebo zobrazeními najdete v tématu CONSTRAINT klauzule, ADD CONSTRAINT klauzulea DROP CONSTRAINT klauzule.

Liquid clustering je obecně dostupné

Podpora pro liquid clustering je nyní obecně dostupná s Databricks Runtime 15.2 nebo vyšší. Viz Použijte metodu liquid clustering pro tabulky Delta.

Rozšíření typu je ve verzi Public Preview.

U tabulek založených na Delta Lake teď můžete povolit rozšíření datového typu. Tabulky s rozšířeným typem umožňují změnit typ sloupců na širší datový typ bez přepsání podkladových datových souborů. Viz Rozšíření typu.

Klauzule vývoje schématu přidaná do syntaxe sloučení SQL

Teď můžete do příkazu sloučení SQL přidat klauzuli WITH SCHEMA EVOLUTION, která umožňuje vývoj schématu pro operaci. Viz syntaxe vývoje schématu pro sloučení.

Vlastní zdroje dat PySpark jsou k dispozici ve verzi Public Preview.

Zdroj dat PySpark je možné vytvořit pomocí rozhraní API zdroje dat Pythonu (PySpark), které umožňuje čtení z vlastních zdrojů dat a zápis do vlastních jímek dat v Apache Sparku pomocí Pythonu. Viz vlastní zdroje dat PySpark

ApplyInPandas a mapInPandas jsou teď k dispozici na výpočetních prostředcích katalogu Unity s režimem sdíleného přístupu.

V rámci verze údržby Databricks Runtime 14.3 LTS se teď podporují typy applyInPandas a mapInPandas UDF v režimu sdíleného přístupu, na kterém běží Databricks Runtime 14.3 a novější.

Použijte dbutils.widgets.getAll() k získání všech widgetů v rámci poznámkového bloku.

Pomocí dbutils.widgets.getAll()získat všechny hodnoty widgetů v poznámkovém bloku. To je užitečné zejména při předávání více hodnot widgetů do dotazu Spark SQL.

Podpora vakuového inventáře

Teď můžete určit inventář souborů, které je potřeba vzít v úvahu při spuštění příkazu VACUUM v tabulce Delta. Podívejte se na dokumentaci OSS Delta.

Podpora funkcí komprese Zstandard

Teď můžete pomocí funkcí zst_compress, zstd_decompressa try_zstd_decompress komprimovat a dekomprimovat BINARY data.

Opravy chyb

Plány dotazů v uživatelském rozhraní SQL teď správně zobrazují PhotonWriteStage

Při zobrazení příkazů write ve uživatelském rozhraní SQL v plánech dotazů se nesprávně zobrazovaly jako operátor PhotonWriteStage. V této verzi se uživatelské rozhraní aktualizuje tak, aby zobrazoval PhotonWriteStage jako fázi. Toto je pouze změna uživatelského rozhraní a nemá vliv na způsob spouštění dotazů.

Ray se aktualizuje, aby opravil problémy se spouštěním clusterů Ray.

Tato verze obsahuje opravenou verzi Ray, která opravuje zásadní změnu, která brání clusterům Ray ve spuštění s Modulem Databricks Runtime pro Machine Learning. Tato změna zajišťuje, aby funkce Ray byla stejná jako verze Databricks Runtime starší než 15.2.

Oprava třídy chyb pro funkce DataFrame.sort() a DataFrame.sortWithinPartitions()

Tato verze obsahuje aktualizaci funkcí PySpark DataFrame.sort() a DataFrame.sortWithinPartitions(), aby se zajistilo, že při předání ZERO_INDEX jako argument indexu dojde k vyvolání třídy chyb 0. Dříve došlo k vyvolání třídy chyby INDEX_NOT_POSITIVE.

ipywidgets je downgradován z 8.0.4 na 7.7.2

Pokud chcete opravit chyby zavedené upgradem ipywidgets na 8.0.4 v Databricks Runtime 15.0, ipywidgets je downgradován na 7.7.2 v Databricks Runtime 15.2. Jedná se o stejnou verzi, která je součástí předchozích verzí Databricks Runtime.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • GitPython od 3.1.42 do 3.1.43
    • google-api-core od 2.17.1 do 2.18.0
    • google-auth od 2.28.1 do 2.29.0
    • google-cloud-storage od 2.15.0 do 2.16.0
    • googleapis-common-protos od 1.62.0 do 1.63.0
    • ipywidgets od 8.0.4 do 7.7.2
    • mlflow-skinny od 2.11.1 do 2.11.3
    • s3transfer od verze 0.10.0 do verze 0.10.1
    • sqlparse od 0.4.4 do 0.5.0
    • typing_extensions od 4.7.1 do 4.10.0
  • Upgradované knihovny jazyka R:
  • Upgradované knihovny Java:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-config od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-core od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directory od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ecs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-efs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-emr od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glacier od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glue z 1.12.390 na 1.12.610
    • com.amazonaws.aws-java-sdk-iam od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-importexport od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kms od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-lambda od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-logs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-rds od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-redshift od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-route53 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-s3 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ses od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sns od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sqs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ssm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sts od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-support od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.390 to 1.12.610
    • com.amazonaws.jmespath-java od 1.12.390 do 1.12.610

Apache Spark

Databricks Runtime 15.2 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 15.1 (EoS)a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Přenášení chyb inicializace pracovních procesů foreachBatch uživatelům pro PySpark
  • [SPARK-47412] [SC-163455][SQL] Přidání podpory kolace pro LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Umístěte vykřičník pod konfiguraci
  • [SPARK-46820] [SC-157093][PYTHON] Oprava regrese chybové zprávy obnovením new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Managers: migrace strukturovaného protokolování
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Přidejte do Scala a Pythonu variantní funkce.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Přidání stránky Environment do hlavního uživatelského rozhraní
  • [SPARK-47805] [SC-163459][SS] Implementace TTL pro MapState
  • [SPARK-47900] [SC-163326] Oprava kontroly implicitní kolace (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Výrazy pro výpočet aktuálního času zjednodušitelné
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Podporovat typ sloupce ve funkci split pro Scala a Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Podpora čtení multidimenzionálních polí
  • [SPARK-47416] [SC-163001][SQL] Přidání nových funkcí do collationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Oprava agregační chyby v rewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementujte výraz is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Udělat CollectTailExec.doExecute líné s RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect rozlišuje TIMESTAMP od TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Přidání protokolu DEBUG do DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Oprava regrese výkonu ExpressionSet v scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Odolnost fondu pracovníků PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Udělat pyspark.resource kompatibilním s pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Odebrání nepoužívaných spark/connect/common.proto importu z spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Udělat pyspark.worker_utils kompatibilní s pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: Podpora vícerozměrného pole na straně zápisu
  • [SPARK-47617] [SC-162513][SQL] Přidání TPC-DS testovací infrastruktury pro kolace
  • [SPARK-47356] [SC-162858][SQL] Přidání podpory pro ConcatWs & Elt (všechna kolace)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Odvozování dict jako MapType z datového rámce Pandas, aby bylo možné vytvořit datový rámec
  • [SPARK-47863] [SC-162974][SQL] Oprava startWith & endsWith implementací podporující kolaci pro ICU
  • [SPARK-47867] [SC-162966][SQL] Podpora varianty při prohledávání JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Add VariantVal for PySpark
  • [SPARK-47803] [SC-162726][SQL] Podpora převedení na variantu.
  • [SPARK-47769] [SC-162841][SQL] Přidejte výraz schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Oprava výstupu testu
  • [SPARK-47430] [SC-161178][SQL] Podpora GROUP BY pro MapType
  • [SPARK-47357] [SC-162751][SQL] Přidání podpory pro Horní, Dolní, InitCap (všechna kolace)
  • [SPARK-47788] [SC-162729][SS] Zajistěte stejné dělení hodnot hash pro stavové operace streamování.
  • [SPARK-47776] [SC-162291][SS] Zakázat použití třídění binární nerovnosti ve schématu klíče stavového operátoru
  • [SPARK-47673] [SC-162824][SS] Implementace TTL pro ListState
  • [SPARK-47818] [SC-162845][CONNECT] Zavedení ukládání plánu do mezipaměti ve SparkConnectPlanneru pro zlepšení výkonu analytických žádostí
  • [SPARK-47694] [SC-162783][CONNECT] Nastavení maximální velikosti zpráv na straně klienta
  • [SPARK-47274] Vrátit změnu “[SC-162479][PYTHON][SQL] Zadejte další možnosti použití…”
  • [SPARK-47616] [SC-161193][SQL] Přidání uživatelského dokumentu pro mapování datových typů Spark SQL z MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Oprava generování souborů proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Úprava skriptu pro vydání pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Přepracování UTF8String a CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Pyspark.ml kompatibilní s pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Speciální zpracování typu JSON pro Konektor MySQL/J 5.x
  • [SPARK-47765] Vrátit zpět [SC-162636][SQL] Přidání SET kolace do pars...
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Zlepšení použitelnosti správce průběhu
  • [SPARK-47289] [SC-161877][SQL] Umožňuje rozšíření protokolovat rozšířené informace v plánu vysvětlení.
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Poskytují užitečnější kontext pro chyby rozhraní API datového rámce PySpark
  • [SPARK-47765] [SC-162636][SQL] Přidání kolace SET do pravidel analyzátoru
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite selže s neplatným plánem
  • [SPARK-47812] [SC-162696][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Umožnit zastavení služby LiveEventBus bez úplného vyčerpání fronty událostí
  • [SPARK-47827] [SC-162625][PYTHON] Chybějící upozornění pro zastaralé funkce
  • [SPARK-47733] [SC-162628][SS] Přidání vlastních metrik pro část průběhu dotazu operátoru transformWithState
  • [SPARK-47784] [SC-162623][SS] Sloučit TTLMode a TimeoutMode do jednoho časového režimu.
  • [SPARK-47775] [SC-162319][SQL] Podporují zbývající skalární typy ve specifikaci varianty.
  • [SPARK-47736] [SC-162503][SQL] Přidání podpory pro AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Průběh provádění dotazů
  • [SPARK-47682] [SC-162138][SQL] Podpora přetypování z varianty.
  • [SPARK-47802] [SC-162478][SQL] Revert () z významu struktury() zpět k významu *
  • [SPARK-47680] [SC-162318][SQL] Přidejte výraz variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression by měl zkontrolovat chybu pro každý režim codegen.
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementovat SQLStringFormatter s WithRelations
  • [SPARK-47693] [SC-162326][SQL] Přidání optimalizace pro porovnání malých písmen UTF8String použitých v kolaci UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Řazené řetězce v komplexních typech podporujících operace obrácení, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Umožnit mapInPandas / mapInArrow podporu ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Nastavení SparkConf na kořenovou úroveň pro SparkSession i SparkContext
  • [SPARK-47406] [SC-159376][SQL] Zpracování TIMESTAMP a DATETIME v MYSQLDialect
  • [SPARK-47081] Vrátit zpět "[SC-161758][CONNECT] Podpora provádění dotazů...
  • [SPARK-47681] [SC-162043][SQL] Přidejte výraz schema_of_variant.
  • [SPARK-47783] [SC-162222] Přidejte některé chybějící SQLSTATEs a vyčistěte YY000 pro použití...
  • [SPARK-47634] [SC-161558][SQL] Přidání starší verze podpory pro zakázání normalizace klíčů mapy
  • [SPARK-47746] [SC-162022] Implementace kódování řadového rozsahu v RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec by měl vždy používat context.session.
  • [SPARK-47643] [SC-161534][SS][PYTHON] Přidání testu pyspark pro zdroj streamování Pythonu
  • [SPARK-47582] [SC-161943][SQL] Migrate Catalyst logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-47558] [SC-162007][SS] Podpora hodnoty TTL stavu pro ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Vylepšení podpory opakujících se výrazů pro vrácení správného datového typu
  • [SPARK-47504] [SC-162044][SQL] Vyřešit AbstractDataType simpleStrings pro StringTypeCollated
  • [SPARK-47719] Vrátit zpět “[SC-161909][SQL] Změnit spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Implementace podpory prosazení filtru řazení pro každý zdroj souborů
  • [SPARK-47081] [SC-161758][CONNECT] Průběh provádění dotazů
  • [SPARK-47744] [SC-161999] Přidání podpory pro bajty s negativní hodnotou v kodéru rozsahu
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Oprava selhání samoobslužného připojení
  • [SPARK-47310] [SC-161930][SS] Přidání mikro benchmarku pro operace sloučení pro více hodnot v části úložiště stavů
  • [SPARK-47700] [SC-161774][SQL] Oprava formátování chybových zpráv pomocí treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Zajištění kompatibility pyspark.pandas s pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementujte rozhraní LOGWarning/logInfo API v rámci strukturovaného protokolování
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementace čtečky oddílů pro streamovaný zdroj dat Pythonu
  • [SPARK-47553] [SC-161772][SS] Přidání podpory Javy pro rozhraní API operátorů transformWithState
  • [SPARK-47719] [SC-161909][SQL] Změna výchozího nastavení spark.sql.legacy.timeParserPolicy na OPRAVENO
  • [SPARK-47655] [SC-161761][SS] Integrace časovače s počátečním zpracováním stavu pro state-v2
  • [SPARK-47665] [SC-161550][SQL] Použití SMALLINT k zápisu shorttype do MYSQL
  • [SPARK-47210] [SC-161777][SQL] Přidání implicitního přetypování bez nespecifikované podpory
  • [SPARK-47653] [SC-161767][SS] Přidání podpory pro záporné číselné typy a pro kodér klíče pro kontrolu rozsahu
  • [SPARK-46743] [SC-160777][SQL] Početní chyba po skládání konstant
  • [SPARK-47525] [SC-154568][SQL] Podpora sjednocení korelace poddotazů u mapových atributů
  • [SPARK-46366] [SC-151277][SQL] Použití výrazu WITH ve výrazu BETWEEN k zabránění duplicitním výrazům
  • [SPARK-47563] [SC-161183][SQL] Přidání normalizace map při vytváření
  • [SPARK-42040] [SC-161171][SQL] SPJ: Zavedení nového rozhraní API pro V2 vstupní oddíl k generování statistik oddílu
  • [SPARK-47679] [SC-161549][SQL] Použijte přímo názvy HiveConf.getConfVars nebo conf Hive.
  • [SPARK-47685] [SC-161566][SQL] Obnovení podpory pro typ Stream v Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Upravte try_to_number, aby vracelo hodnotu NULL pro neplatný vstup
  • [SPARK-47366] [SC-161324][PYTHON] Přidání aliasů pyspark a datového rámce parse_json
  • [SPARK-47491] [SC-161176][CORE] Přidání slf4j-api jar do classpathu jako první před ostatními v adresáři jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projektuje CommandResults místně
  • [SPARK-47364] [SC-158927][CORE] Upozorňovat PluginEndpoint při odpovídání modulů plug-in na jednosměrnou zprávu
  • [SPARK-47280] [SC-158350][SQL] Odebrat omezení časového pásma pro ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Přidejte výraz variant_get.
  • [SPARK-47559] [SC-161255][SQL] Codegen Support for variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Vynucení oddílu WindowSpec je uspořádané.
  • [SPARK-47546] [SC-161241][SQL] Zlepšení ověřování při čtení varianty z Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Odvozování dict jako MapType z datového rámce Pandas, aby bylo možné vytvořit datový rámec
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Vytvoření sloupce s kolacemi v rozhraní API datového rámce
  • [SPARK-47641] [SC-161376][SQL] Zlepšení výkonu pro UnaryMinus a Abs
  • [SPARK-47631] [SC-161325][SQL] Odebrání nepoužívané metody SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Povolení spark.metrics.appStatusSource.enabled ve výchozím nastavení
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementuje rozhraní zápisu datových proudů Pythonu.
  • [SPARK-47637] [SC-161408][SQL] Použijte errorCapturingIdentifier na více místech.
  • [SPARK-47497] Vrátit zpět vrácení změn "[SC-160724][SQL] Udělat, aby to_csv podporovalo výstup pole/struktury/map/binary jako snadno čitelné řetězce".
  • [SPARK-47492] [SC-161316][SQL] Rozšíření pravidel prázdných znaků v lexeru
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Ověřte název sloupce pomocí schématu uloženého v mezipaměti.
  • [SPARK-47638] [SC-161339][PS][CONNECT] Přeskočení ověření názvu sloupce v PS
  • [SPARK-47363] [SC-161247][SS] Počáteční stav bez implementace čtečky stavu pro rozhraní State API v2.
  • [SPARK-47447] [SC-160448][SQL] Povolit čtení Parquet TimestampLTZ jako TimestampNTZ
  • [SPARK-47497] Vrátit zpět "[SC-160724][SQL] Podpora to_csv výstupu array/struct/map/binary jako pěkných řetězců
  • [SPARK-47434] [SC-160122][WEBUI] Opravit statistics odkaz v StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Citované řetězce v cestě JSON by měly podporovat "?". znaky
  • [SPARK-46915] [SC-155729][SQL] Zjednodušení UnaryMinusAbs a zarovnání třídy chyb
  • [SPARK-47431] [SC-160919][SQL] Přidání výchozí kolace na úrovni relace
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Přidání pomocné funkce pro řazení sloupců
  • [SPARK-47570] [SC-161165][SS] Integrace změn kodéru skenování rozsahu s implementací časovače
  • [SPARK-47497] [SC-160724][SQL] Umožnit to_csv podporovat výstup array/struct/map/binary ve formě pěkných řetězců.
  • [SPARK-47562] [SC-161166][CONNECT] Vytáhnout zpracování literálů z plan.py
  • [SPARK-47509] [SC-160902][SQL] Blokovat výrazy poddotazů ve funkcích lambda a funkcích vyššího řádu
  • [SPARK-47539] [SC-160750][SQL] Nastavte návratovou hodnotu metody castToString být Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Přidání podpory kodéru stavu klíče založeného na kontrole rozsahu pro použití s poskytovatelem úložiště stavů
  • [SPARK-47517] [SC-160642][CORE][SQL] Prefer Utils.bytesToString pro zobrazení velikosti
  • [SPARK-47243] [SC-158059][SS] Oprava názvu balíčku StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Podpora zdrojů dat Pythonu pomocí Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Použití Utils.tryWithResource při čtení shuffle dat z externího úložiště
  • [SPARK-47474] [SC-160522][CORE] Vrácení SPARK-47461 a přidání komentářů
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Nepoužívejte RPC k ověření názvu sloupce pomocí schématu uloženého v mezipaměti.
  • [SPARK-47451] [SC-160749][SQL] Podpora to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Přidání podpory UserDefinedType do dataTypeUtils.canWrite
  • [SPARK-44708] Vrátit zpět „[SC-160734][PYTHON] Migrovat test_reset_index assert_eq pro použití assertDataFrameEqual“
  • [SPARK-47506] [SC-160740][SQL] Přidat podporu pro všechny formáty zdroje souborů pro seřazené datové typy
  • [SPARK-47256] [SC-160784][SQL] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Oprava souboru JAR primárního prostředku přidaného do spark.jars dvakrát v režimu clusteru k8s
  • [SPARK-47398] [SC-160572][SQL] Extrahujte vlastnost inMemoryTableScanExec, aby bylo možné rozšířit funkce.
  • [SPARK-47479] [SC-160623][SQL] Optimalizace nemůže zapisovat data do relací s protokolem chyb více cest
  • [SPARK-47483] [SC-160629][SQL] Přidání podpory operací agregace a spojení v polích kompletovaných řetězců
  • [SPARK-47458] [SC-160237][CORE] Oprava problému s výpočtem maximálních souběžných úloh pro fázi bariéry
  • [SPARK-47534] [SC-160737][SQL] Přesunutí o.a.s.variant do o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Přidání obecného mapování pro TIME WITHOUT TIME ZONE na TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrovat test_reset_index assert_eq k použití assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Přidání testů odvozování schématu pro značky hodnot
  • [SPARK-47007] [SC-160630][SQL] Přidání výrazu MapSort
  • [SPARK-47523] [SC-160645][SQL] Nahraďte zastaralé JsonParser#getCurrentNameJsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Oprava posílání nepodporované syntaxe na MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Typ operace značky používaný se získáním nebo vydáním zámku instance úložiště stavů RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Umožnit konfigurovatelný režim démona při vytváření pracovních procesů plánovače pro Python
  • [SPARK-47446] [SC-160163][CORE] Upozornit BlockManager před removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Podpora LIMIT přes korelované poddotazy, kde predikáty odkazují pouze na vnější tabulku
  • [SPARK-47461] [SC-160297][CORE] Odebrání privátních funkcí totalRunningTasksPerResourceProfile z ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Podpora kompletovaných řetězců v operacích polí
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Oddělit zpracování názvů sloupců z plan.py
  • [SPARK-47383] [SC-160144][CORE] Podpora konfigurace spark.shutdown.timeout
  • [SPARK-47342] [SC-159049] Vrátit zpět “[SQL] Podpora TimestampNTZ pro DB2 TIMESTAMP S ČASOVOU ZÓNOU”
  • [SPARK-47486] [SC-160491][CONNECT] Odebrání nepoužívané privátní metody ArrowDeserializers.getString
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logika klientského & serveru pro naslouchací proces dotazů na straně klienta
  • [SPARK-47487] [SC-160534][SQL] Zjednodušení kódu v AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Podpora agregace oken pro kolace
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Selhání nepodporovaných funkcí pro nebinární kolace
  • [SPARK-47380] [SC-160164][CONNECT] Ujistěte se, že na straně serveru je SparkSession stejná.
  • [SPARK-47327] [SC-160069][SQL] Přesunutí testu souběžnosti klíčů řazení do CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Přidat migrační dokumentaci pro změnu v chování interpretace časových razítek Parquet ve Sparku od verze 3.3
  • [SPARK-47449] [SC-160372][SS] Přepracování a rozdělení testů jednotek seznamu a časovače
  • [SPARK-46473] [SC-155663][SQL] Znovu použít metodu getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Kolace – Nastavení podpory operací pro řetězce s kolací
  • [SPARK-47439] [SC-160115][PYTHON] Dokumentace Python Data Source API na referenční stránce API
  • [SPARK-47457] [SC-160234][SQL] Oprava IsolatedClientLoader.supportsHadoopShadedClient pro zpracování Hadoopu 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementujte parse_json.
  • [SPARK-46331] [SC-152982][SQL] Odebrání CodegenFallbacku z podmnožiny výrazů DateTime a výrazu version()
  • [SPARK-47395] [SC-159404] Přidání porovnání a kolace do jiných rozhraní API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Opravte třídu chyb pro DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Na straně serveru naslouchací proces dotazu SparkConnectListenerBusListenerListener Pro naslouchací proces streamování na straně klienta
  • [SPARK-47324] [SC-158720][SQL] Přidání chybějícího převodu časového razítka pro vnořené typy JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Přidání rozhraní pro rozhraní API zdroje dat streamování Pythonu a implementace pracovního procesu Pythonu pro spuštění streamovaného zdroje dat Pythonu
  • [SPARK-45827] [SC-158498][SQL] Přesunutí kontrol datových typů do CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Podpora TimestampNTZ pro DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Zakázání generovaných sloupců ve výrazech s kolací
  • [SPARK-47146] [SC-158247][CORE] Možný únik vlákna při provádění spojení typu sort merge
  • [SPARK-46913] [SC-159149][SS] Přidání podpory pro časovače založené na čase zpracování a událostí pomocí operátoru transformWithState
  • [SPARK-47375] [SC-159063][SQL] Přidat pokyny pro mapování časových razítek v JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Podpora TIMESTAMP WITH TIME ZONE pro H2Dialect
  • [SPARK-45827] Vrátit změnu “[SC-158498][SQL] Přesunout kontroly datových typů do ...
  • [SPARK-47208] [SC-159279][CORE] Povolit přepsání základní režijní paměti
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Podpora oracle TIMESTAMP s místním časovým pásmem
  • [SPARK-47055] [SC-156916][PYTHON] Aktualizace MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Přidat kontrolu změny stavového operátoru v streamování
  • [SPARK-47391] [SC-159283][SQL] Odebrání alternativního řešení testovacího případu pro sadu JDK 8
  • [SPARK-47272] [SC-158960][SS] Přidání implementace MapState pro state API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Opravit chybu v dokumentaci možnosti konfigurace JDBC preferTimestampNTZ
  • [SPARK-42328] [SC-157363][SQL] Odstranit _LEGACY_ERROR_TEMP_1175 z chybových tříd
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Oprava popisu možnosti preferTimestampNTZ v dokumentu JDBC
  • [SPARK-47344] [SC-159146] Rozšíření chyby INVALID_IDENTIFIER nad rámec zachycení "-" v necitovaném identifikátoru a oprava chyby "IS". „NULL“ et al.
  • [SPARK-47340] [SC-159039][SQL] Změna "kolace" v názvu typu StringType na malá písmena
  • [SPARK-47087] [SC-157077][SQL] Vyvolání výjimky Sparku s chybovou třídou při kontrole hodnoty konfigurace
  • [SPARK-47327] [SC-158824][SQL] Oprava problému se zabezpečením vláken v collatoru ICU
  • [SPARK-47082] [SC-157058][SQL] Oprava chyby překročení hranic
  • [SPARK-47331] [SC-158719][SS] Serializace pomocí tříd případů/ primitiv/POJO na základě kodéru SQL pro rozhraní API libovolného stavu v2.
  • [SPARK-47250] [SC-158840][SS] Přidání dalších ověření a změn NERF pro poskytovatele stavu RocksDB a použití rodin sloupců
  • [SPARK-47328] [SC-158745][SQL] Přejmenování UCS_BASIC kolace na UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Podpora spark.driver.timeout a DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Dokumentace] Přidat dokumentaci k migraci: Odhad typu TimestampNTZ u souborů Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Přidání jednotkových testů pro odvozování schématu
  • [SPARK-47295] [SC-158850][SQL] Přidání icu StringSearch pro funkce startsWith a endsWith
  • [SPARK-47343] [SC-158851][SQL] Oprava NPE při sqlString hodnotě proměnné null při okamžitém spuštění
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Použití protobuf tranzitivní závislosti
  • [SPARK-46795] [SC-154143][SQL] Nahraďte UnsupportedOperationExceptionSparkUnsupportedOperationException v sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Synchronizace závislostí PySpark v dokumentaci a požadavcích na vývoj
  • [SPARK-47169] [SC-158848][SQL] Deaktivace bucketování na seřazených sloupcích
  • [SPARK-42332] [SC-153996][SQL] Změna vyžadování na SparkException v ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Přesunutí kontrol datových typů do CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Nahrazení příkazů relacemi v několika testech v SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Nahraďte třídu chyb _LEGACY_ERROR_TEMP_2020 vnitřní chybou.
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Vylepšená podpora řetězcových funkcí: obsahuje:
  • [SPARK-47334] [SC-158716][SQL] withColumnRenamed znovu použít implementaci withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 podporuje nabízení PERCENTILE_CONT a PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Bylo přidáno zpracování scala.MatchError uvnitř QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Přidání typu singleton variant pro Javu
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Upgrade verze image Dockeru DB2 na 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Kompletovat klíčové slovo jako identifikátor
  • [SPARK-46817] [SC-154196][CORE] Oprava využití spark-daemon.sh prostřednictvím přidání příkazu decommission
  • [SPARK-46739] [SC-153553][SQL] Přidání třídy chyb UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Přidejte příznak konfigurace COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Použijte mapreduce.output.fileoutputformat.compress místo zastaralé mapred.output.compress v úlohách zápisu Avro.
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Časový limit, pokud se pracovní proces nepřipojí zpět.
  • [SPARK-46835] [SC-158355][SQL][Kolace] Podpora spojení pro nebinární kolace
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Podpora řetězcových funkcí: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Zvažte typ generovaný TimestampNTZConverterem v JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Potlačení výjimek Pythonu, když PySpark není zahrnut v cestě Pythonu
  • [SPARK-47319] [SC-158599][SQL] Zlepšení výpočtu chybějícího vstupu
  • [SPARK-47316] [SC-158606][SQL] Oprava TimestampNTZ v poli Postgres
  • [SPARK-47268] [SC-158158][SQL][Kolace] Podpora pro předělování s kolacemi
  • [SPARK-47191] [SC-157831][SQL] Vyhněte se zbytečnému relačnímu hledání při odstranění z mezipaměti tabulky nebo zobrazení
  • [SPARK-47168] [SC-158257][SQL] Zakázání odsdílení filtru Parquet při práci s nekompletovanými řetězci
  • [SPARK-47236] [SC-158015][CORE] Oprava deleteRecursivelyUsingJavaIO pro přeskočení neexistujících souborů vstupů
  • [SPARK-47238] [SC-158466][SQL] Snížení využití paměti executoru převedením vygenerovaného kódu ve WSCG na proměnnou pro všesměrové vysílání.
  • [SPARK-47249] [SC-158133][CONNECT] Oprava chyby, kdy jsou všechna spuštění připojení považována za opuštěná bez ohledu na jejich skutečný stav
  • [SPARK-47202] [SC-157828][PYTHON] Oprava překlepů způsobujících chyby u určení data a času s tzinfo
  • [SPARK-46834] [SC-158139][SQL][Kolace] Podpora agregací
  • [SPARK-47277] [SC-158351][3.5] Funkce PySpark util assertDataFrameEqual by neměla podporovat streamování DF
  • [SPARK-47155] [SC-158473][PYTHON] Oprava potíží s třídou chyb
  • [SPARK-47245] [SC-158163][SQL] Vylepšení kódu chyby pro INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Přidejte varovnou zprávu v Dependency, když má být vytvořen příliš velký počet bloků pro náhodnou permutaci.
  • [SPARK-47277] [SC-158329] Funkce PySpark util assertDataFrameEqual by neměla podporovat streamování DF
  • [SPARK-47293] [SC-158356][CORE] Sestavení batchSchema pomocí sparkSchema místo postupného připojování jeden po druhém
  • [SPARK-46732] [SC-153517][CONNECT] Fungování vlákna pro poddotaz/vysílání se správou artefaktů Connectu
  • [SPARK-44746] [SC-158332][PYTHON] Přidání další dokumentace k UDTF pythonu pro funkce, které přijímají vstupní tabulky
  • [SPARK-47120] [SC-157517][SQL] Prosazení porovnání null u filtru dat z poddotazu způsobuje NPE ve filtru Parquet.
  • [SPARK-47251] [SC-158291][PYTHON] Blokovat neplatné typy z argumentu args pro příkaz sql
  • [SPARK-47251] Vrátit zpět [SC-158121][PYTHON] Blokovat neplatné typy z argumentu args pro příkaz sql
  • [SPARK-47015] [SC-157900][SQL] Zákaz dělení u kompletovaných sloupců
  • [SPARK-46846] [SC-154308][CORE] Udělat WorkerResourceInfo rozšíření Serializable explicitně
  • [SPARK-46641] [SC-156314][SS] Přidání prahové hodnoty maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner zpřístupnit interní funkce jako soukromé
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate zajistit, aby byl vrácen stejný typ jako vstup
  • [SPARK-46961] [SC-158183][SS] Použití ProcessorContextu k ukládání a načítání popisovače
  • [SPARK-46862] [SC-154548][SQL] Zakázání vyřazování sloupců CSV v režimu s více řádky
  • [SPARK-46950] [SC-155803][CORE][SQL] Align not available codec error-class
  • [SPARK-46368] [SC-153236][CORE] Podpora readyz v rozhraní REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] V případě nesprávného typu argumentu vylepšete chybovou zprávu pro spark.table.
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Oprava ignorování kolace řetězců PySpark Connect
  • [SPARK-46552] [SC-151366][SQL] Nahraďte UnsupportedOperationExceptionSparkUnsupportedOperationException v catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Oprava chyby převodu řazených řetězců PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Oprava chyby kolace ve Spark Connect přidáním pole collateId protobuf.
  • [SPARK-46575] [SC-153200][SQL][HIVE] Umožnit opakovanou proveditelnost HiveThriftServer2.startWithContext DevelopApi a opravit nestabilitu ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] V ResourceProfileManager by volání funkcí měla proběhnout po deklaracích proměnných.
  • [SPARK-47214] [SC-157862][Python] Vytvoření rozhraní API UDTF pro metodu analyze k rozlišení konstantních argumentů NULL a dalších typů argumentů
  • [SPARK-46766] [SC-153909][SQL][AVRO] Podpora fondu vyrovnávacích pamětí ZSTD pro zdroj dat AVRO
  • [SPARK-47192] [SC-157819] Převod některých chyb _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Přidání podpory pro ListState v rozhraní API libovolného stavu v2.
  • [SPARK-46881] [SC-154612][CORE] Podpora spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Podpora spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Oprava chyby, která spočívá v použití nesprávného komprimačního kodeku Parquet lz4raw
  • [SPARK-46791] [SC-154018][SQL] Podpora sady Java v inferenci typů jazyka Java
  • [SPARK-46332] [SC-150224][SQL] Migrace CatalogNotFoundException do třídy chyb CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Zajistit, aby výchozí hodnota vytvořená z širšího typu úzkého literálu v2 fungovala stejně jako v1.
  • [SPARK-46664] [SC-153181][CORE] Vylepšení Master pro rychlé zotavení v případě nula pracovníků a aplikací
  • [SPARK-46759] [SC-153839][SQL][AVRO] Kodek xz a zstandard podporují úroveň komprese souborů avro

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgrade (stáhnout ODBC, stáhnout JDBC).

Viz aktualizace údržby pro Databricks Runtime verze 15.2 .

Systémové prostředí

  • operační systém: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
asttokens 2.0.5 astunparse 1.6.3 Azure-Core 1.30.1
azure-storage-blob (úložiště Azure blob) 12.19.1 azure-storage-file-datalake 12.14.0 zpětné volání 0.2.0
černý 23.3.0 blikač 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifikát 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknout 8.0.4 cloudpickle 2.2.1 Komunikace 0.1.2
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
Cython 0.29.32 Databricks SDK 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekoratér 5.1.1 distlib 0.3.8
vstupní body 0.4 vykonávání 0.8.3 přehled aspektů 1.1.1
zamknutí souboru 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage (úložiště Google Cloud) 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 klíčenka 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 balení 23.2
Pandy 1.5.3 parso 0.8.3 pathspec 0.10.3
bábovka 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
požadavky 2.31.0 Rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Šest 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
datová hromádka 0.2.0 statsmodels 0.14.0 houževnatost 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornádo 6.3.2
vlastnosti 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 bezobslužné aktualizace 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
kolo 0.38.4 zipp 3.11.0

nainstalované knihovny jazyka R

Knihovny jazyka R se instalují ze snímku CRAN Posit Package Manageru.

Knihovna Verze Knihovna Verze Knihovna Verze
šíp 14.0.0.2 askpass 1.2.0 ověř, že (assertthat) 0.2.1
zpětné portování 1.4.1 základna 4.3.2 base64enc 0.1-3
bigD 0.2.0 trochu 4.0.5 bit64 4.0.5
bitops 1.0-7 kapka 1.2.4 bota 1.3-28
vařit 1.0-10 nadšení 1.1.4 koště 1.0.5
bslib 0.6.1 kašmír 1.0.8 volající 3.7.3
karetka 6.0-94 cellranger 1.1.0 chron 2.3-61
třída 7.3-22 CLI 3.6.2 clipr 0.8.0
hodiny 0.7.0 klastr 2.1.4 codetools 0.2-19
barevný prostor 2.1-0 commonmark 1.9.1 kompilátor 4.3.2
konfigurace 0.3.2 v rozporu 1.2.0 cpp11 0.4.7
pastelka 1.5.2 pověření 2.0.1 curl 5.2.0
data.table 1.15.0 Datové sady 4.3.2 DBI 1.2.1
dbplyr 2.4.0 popis 1.4.3 devtools 2.4.5
schéma 1.6.5 diffobj 0.3.5 trávit 0.6.34
dolní osvětlení 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 výpustka 0.3.2 hodnotit 0.23
fanoušci 1.0.6 barvy 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 pro kočky 1.0.0 foreach 1.5.2
zahraniční 0.8-85 kovat 0.2.0 fs 1.6.3
budoucnost 1.33.1 future.apply 1.11.1 kloktadlo 1.5.2
generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globály 0.16.2 lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 mřížka 4.3.2
gridExtra 2.3 gsubfn 0.7 Gt 0.10.1
gtable 0.3.4 bezpečnostní přilba 1.3.1 útočiště 2.5.4
vyšší 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 identifikátory 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatý džus 0.1.0
KernSmooth 2.23-21 knitr 1,45 značení 0.4.3
později 1.3.2 mříž 0.21-8 láva 1.7.3
životní cyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 hmotnost 7.3-60
Matice 1.5-4.1 memoise 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 rovnoběžný 4.3.2
paralelně 1.36.0 pilíř 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 chvála 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 pokrok 1.2.3
progressr 0.14.0 sliby 1.2.1 proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reaktivní 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recepty 1.0.9 odvetný zápas 2.0.0 rematch2 2.1.2
dálkové ovladače 2.4.2.1 reprodukovatelný příklad 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 drzost 0.4.8
váhy 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
tvar 1.4.6 lesklý 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 prostorový 7.3-15 spliny 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistické údaje 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
přežití 3.5-5 naparování 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
tvarování textu 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 změna času 0.3.0
časDatum 4032.109 tinytex 0.49 nářadí 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 použij toto 2.2.2
utf8 1.2.4 nástroje 4.3.2 Identifikátor UUID (univerzálně jedinečný identifikátor) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 vousky 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk automatické škálování 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws podpora aws-java-sdk 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-stíněný 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib nativní_systém-java 1.1
com.github.fommil.netlib nativní_systém-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink cink 1.9.0
com.google.errorprone poznámky_náchylné_k_chybám 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilovač 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurace 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metriky pro anotace 4.2.19
io.dropwizard.metrics jádro metrik 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty obslužná rutina Netty 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant mravenec 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formát šipky 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow šipka-vektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátorský rámec 2.13.0
org.apache.kurátor recepty od kurátora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby městské derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client (klient pro Apache Hive s možností LLAP) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus poznámky pro publikum 0.13.0
org.apache.zookeeper ošetřovatel v zoo 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty pokračování 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket – společné 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core běžný žerzej 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Podložky 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1