Sdílet prostřednictvím

Databricks Runtime 15.2 (EoS)

  • Článek

Poznámka

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory naleznete v části historie ukončení podpory. Informace o všech podporovaných verzích Databricks Runtime najdete v poznámkách k verzím a kompatibilitě Databricks Runtime.

Následující poznámky k verzi obsahují informace o modulu Databricks Runtime 15.2, který využívá Apache Spark 3.5.0.

Databricks vydala tuto verzi v květnu 2024.

Spropitné

Pro zobrazení poznámek k verzím Databricks Runtime, které dosáhly konce podpory (EoS), se podívejte do poznámek k verzím Databricks Runtime s ukončenou podporou. Verze EoS Databricks Runtime byly vyřazeny a nemusí se aktualizovat.

Změny chování

Vacuum vyčistí soubory metadat COPY INTO

Spuštění VACUUM na table napsaném pomocí COPY INTO nyní odstraní neodkazovaná metadata spojená se sledováním importovaných souborů. Na provozní sémantiku COPY INTOnemá žádný vliv .

Federace Lakehouse je obecně dostupná (GA)

V Databricks Runtime 15.2 a novějších jsou obecně dostupné konektory Lakehouse Federation následujících typů databází:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Sněhová vločka
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Tato verze také přináší následující vylepšení:

  • Podpora ověřování jednotného přihlašování (SSO) v konektorech Snowflake a microsoft SQL Server.

  • Podpora Azure Private Link pro konektor SQL Serveru z bezserverových výpočetních prostředí. Viz krok 3: Vytvoření pravidel privátního koncového bodu.

  • Podpora dalších optimalizací (řetězcové funkce, matematické a různé funkce).

  • Vylepšili jsme míru úspěšnosti posunu mezi různými obrazci dotazů.

  • Další možnosti ladění nabízených změn:

    • Výstup EXPLAIN FORMATTED zobrazí text potlačeného dotazu.
    • V uživatelském rozhraní profilu dotazu se zobrazí text dotazu provedeného na nižší úrovni, identifikátory federovaných uzlů a doby provádění dotazů JDBC (v podrobném režimu). Viz Zobrazení systémem generovaných federovaných dotazů.

BY POSITION pro mapování column pomocí COPY INTO se soubory CSV bez záhlaví

V Databricks Runtime 15.2 a novějších můžete použít klíčová slova BY POSITION (nebo alternativní syntaxi ( col_name [ , <col_name> ... ] )) s COPY INTO pro soubory CSV bez hlaviček, abyste zjednodušili mapování ze zdroje column na cílové tablecolumn. Viz Parameters.

Snížení spotřeby paměti v případě selhání úloh Sparku s chybou Resubmitted

V Databricks Runtime 15.2 a novějších je návratová hodnota metody Spark TaskInfo.accumulables() prázdná, pokud úlohy selžou s chybou Resubmitted. Metoda dříve vrátila values z dřívějšího úspěšného pokusu o provedení úkolu. Tato změna chování má vliv na následující uživatele:

  • Úlohy Sparku, které používají třídu EventLoggingListener
  • Vlastní listenery v Spark

Pokud chcete restore předchozí chování, setspark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabledfalse.

Zobrazení verzí plánu adaptivního spouštění dotazů je zakázané.

Aby se snížila spotřeba paměti, verze plánu adaptivního spouštění dotazů (AQE) jsou ve výchozím nastavení v uživatelském rozhraní Sparku zakázané. Pokud chcete povolit zobrazení verzí plánu AQE v uživatelském rozhraní Sparku, setspark.databricks.sql.aqe.showPlanChangesInUI.enabledtrue.

Limit u uchovávaných dotazů se sníží, aby se snížilo využití paměti uživatelského rozhraní Sparku.

V Databricks Runtime 15.2 a novějších, aby se snížila paměť spotřebovaná uživatelským rozhraním Sparku ve výpočetních prostředcích Azure Databricks, limit počtu dotazů viditelných v uživatelském rozhraní se sníží z 1000 na 1000. Pro změnu limitna novou hodnotu set použijte konfiguraci spark.sql.ui.retainedExecutions Sparku.

DESCRIBE HISTORY teď zobrazuje shlukování columns pro tables, které používají kapalné shlukování.

Když spustíte dotaz DESCRIBE HISTORY, operationParameterscolumn ve výchozím nastavení zobrazí pole clusterBy pro operace CREATE OR REPLACE a OPTIMIZE. U Delta table, který používá shlukování kapalin, se pole clusterBy naplní shlukováním tableze columns. Pokud table nepoužívá shlukování kapalin, pole je prázdné.

Nové funkce a vylepšení

Podpora primárních a cizích klíčů je nyní obecně dostupná.

Podpora primárních a cizích klíčů v Databricks Runtime je obecně dostupná. Verze GA obsahuje následující změny oprávnění vyžadovaných k používání primárních a cizích klíčů:

  • Chcete-li definovat cizí klíč, musíte mít oprávnění SELECT pro table s primárním klíčem, na který cizí klíč odkazuje. Nemusíte vlastnit table s primárním klíčem, což bylo dříve požadováno.
  • Vyřazení primárního klíče pomocí klauzule CASCADE nevyžaduje oprávnění k tables definující cizí klíče, které odkazují na primární klíč. Dříve jste museli vlastnit referenční tables.
  • Vyřazení table zahrnující omezení teď vyžaduje stejná oprávnění jako vyřazení tables, která neobsahují omezení.

Informace o použití primárních a cizích klíčů s tables nebo viewsnajdete v klauzuli CONSTRAINT, ve klauzuli ADD CONSTRAINTa v klauzuli DROP CONSTRAINT.

Liquid clustering je obecně dostupné

Podpora pro liquid clustering je nyní obecně dostupná s Databricks Runtime 15.2 nebo vyšší. Podívejte se na Použití kapalného clusteringu pro Delta tables.

Rozšíření typu je ve verzi Public Preview.

U tables podporovaných Delta Lake teď můžete povolit rozšíření typu. Tables s povoleným rozšířením typu umožňují změnit typ columns na širší datový typ bez přepsání podkladových datových souborů. Viz Rozšíření typu.

Schema klauzule evoluce přidána do syntaxe SQL pro sloučení

Teď můžete do příkazu sloučení SQL přidat klauzuli WITH SCHEMA EVOLUTION, která umožňuje vývoj schema operace. Viz Schema syntaxe vývoje pro slučovací.

Vlastní zdroje dat PySpark jsou k dispozici ve verzi Public Preview.

Zdroj dat PySpark je možné vytvořit pomocí rozhraní API zdroje dat Pythonu (PySpark), které umožňuje čtení z vlastních zdrojů dat a zápis do vlastních jímek dat v Apache Sparku pomocí Pythonu. Viz vlastní zdroje dat PySpark

ApplyInPandas a MapInPandas jsou nyní dostupné na Unity Catalog pro výpočty v režimu sdíleného přístupu.

V rámci verze údržby Databricks Runtime 14.3 LTS se teď podporují typy applyInPandas a mapInPandas UDF v režimu sdíleného přístupu, na kterém běží Databricks Runtime 14.3 a novější.

Použití dbutils.widgets.getAll() k get všech widgetů v poznámkovém bloku

Pomocí dbutils.widgets.getAll()getvalues všech widgetů v poznámkovém bloku. To je užitečné zejména při předávání více widgetů values do dotazu Spark SQL.

podpora inventáře Vacuum

Při spuštění příkazu VACUUM v tableDelta teď můžete určit inventář souborů, které je potřeba vzít v úvahu. Podívejte se na dokumentaci OSS Delta.

Podpora funkcí komprese Zstandard

Teď můžete pomocí funkcí zst_compress, zstd_decompressa try_zstd_decompress komprimovat a dekomprimovat BINARY data.

Opravy chyb

Plány dotazů v uživatelském rozhraní SQL teď správně zobrazují PhotonWriteStage

Při zobrazení příkazů write ve uživatelském rozhraní SQL v plánech dotazů se nesprávně zobrazovaly jako operátor PhotonWriteStage. V této verzi se uživatelské rozhraní aktualizuje tak, aby zobrazoval PhotonWriteStage jako fázi. Toto je pouze změna uživatelského rozhraní a nemá vliv na způsob spouštění dotazů.

Ray se aktualizuje, aby opravil problémy se spouštěním clusterů Ray.

Tato verze obsahuje opravenou verzi Ray, která opravuje zásadní změnu, která brání clusterům Ray ve spuštění s Modulem Databricks Runtime pro Machine Learning. Tato změna zajišťuje, aby funkce Ray byla stejná jako verze Databricks Runtime starší než 15.2.

Oprava třídy chyb pro funkce DataFrame.sort() a DataFrame.sortWithinPartitions()

Tato verze obsahuje update do funkcí PySpark DataFrame.sort() a DataFrame.sortWithinPartitions(), aby se zajistilo, že při předání 0 jako argument indexu dojde k vyvolání třídy chyb ZERO_INDEX. Dříve došlo k vyvolání třídy chyby INDEX_NOT_POSITIVE.

ipywidgets je downgradován z 8.0.4 na 7.7.2

Pokud chcete opravit chyby zavedené upgradem ipywidgets na 8.0.4 v Databricks Runtime 15.0, ipywidgets je downgradován na 7.7.2 v Databricks Runtime 15.2. Jedná se o stejnou verzi, která je součástí předchozích verzí Databricks Runtime.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • GitPython od 3.1.42 do 3.1.43
    • google-api-core od 2.17.1 do 2.18.0
    • google-auth od 2.28.1 do 2.29.0
    • google-cloud-storage od 2.15.0 do 2.16.0
    • googleapis-common-protos od 1.62.0 do 1.63.0
    • ipywidgets od 8.0.4 do 7.7.2
    • mlflow-skinny od 2.11.1 do 2.11.3
    • s3transfer od verze 0.10.0 do verze 0.10.1
    • sqlparse od 0.4.4 do 0.5.0
    • typing_extensions od 4.7.1 do 4.10.0
  • Upgradované knihovny jazyka R:
  • Upgradované knihovny Java:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-config od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-core od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-directory od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ecs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-efs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-emr od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glacier od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-glue z 1.12.390 na 1.12.610
    • com.amazonaws.aws-java-sdk-iam od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-importexport od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-kms od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-lambda od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-logs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning from 1.12.390 to 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-rds od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-redshift od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-route53 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-s3 od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ses od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sns od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sqs od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-ssm od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-sts od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-support od 1.12.390 do 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.390 to 1.12.610
    • com.amazonaws.jmespath-java od 1.12.390 do 1.12.610

Apache Spark

Databricks Runtime 15.2 zahrnuje Apache Spark 3.5.0. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 15.1 (EoS)a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-47941] [SC-163568] [SS] [Connect] Přenášení chyb inicializace pracovních procesů foreachBatch uživatelům pro PySpark
  • [SPARK-47412] [SC-163455][SQL] Přidání podpory kolace pro LPad/RPad.
  • [SPARK-47907] [SC-163408][SQL] Umístěte vykřičník pod konfiguraci
  • [SPARK-46820] [SC-157093][PYTHON] Oprava regrese chybové zprávy obnovením new_msg
  • [SPARK-47602] [SPARK-47577][SPARK-47598][SPARK-47577]Core/MLLib/Resource Managers: migrace strukturovaného protokolování
  • [SPARK-47890] [SC-163324][CONNECT][PYTHON] Přidejte do Scala a Pythonu variantní funkce.
  • [SPARK-47894] [SC-163086][CORE][WEBUI] Přidání stránky Environment do hlavního uživatelského rozhraní
  • [SPARK-47805] [SC-163459][SS] Implementace TTL pro MapState
  • [SPARK-47900] [SC-163326] Oprava kontroly implicitní kolace (UTF8_BINARY)
  • [SPARK-47902] [SC-163316][SQL]Výrazy pro výpočet aktuálního času zjednodušitelné
  • [SPARK-47845] [SC-163315][SQL][PYTHON][CONNECT] Podpora Column typu rozdělení pro scala a Python
  • [SPARK-47754] [SC-162144][SQL] Postgres: Podpora čtení multidimenzionálních polí
  • [SPARK-47416] [SC-163001][SQL] Přidání nových funkcí do collationBenchmark #90339
  • [SPARK-47839] [SC-163075][SQL] Oprava agregační chyby v rewriteWithExpression
  • [SPARK-47821] [SC-162967][SQL] Implementujte výraz is_variant_null
  • [SPARK-47883] [SC-163184][SQL] Udělat CollectTailExec.doExecute líné s RowQueue
  • [SPARK-47390] [SC-163306][SQL] PostgresDialect rozlišuje TIMESTAMP od TIMESTAMP_TZ
  • [SPARK-47924] [SC-163282][CORE] Přidání protokolu DEBUG do DiskStore.moveFileToBlock
  • [SPARK-47897] [SC-163183][SQL][3.5] Oprava regrese výkonu ExpressionSet v scala 2.12
  • [SPARK-47565] [SC-161786][PYTHON] Odolnost fondu pracovníků PySpark
  • [SPARK-47885] [SC-162989][PYTHON][CONNECT] Udělat pyspark.resource kompatibilním s pyspark-connect
  • [SPARK-47887] [SC-163122][CONNECT] Remove nepoužívané spark/connect/common.proto importu z spark/connect/relations.proto
  • [SPARK-47751] [SC-161991][PYTHON][CONNECT] Udělat pyspark.worker_utils kompatibilní s pyspark-connect
  • [SPARK-47691] [SC-161760][SQL] Postgres: Podpora vícerozměrného pole na straně zápisu
  • [SPARK-47617] [SC-162513][SQL] Přidání TPC-DS testovací infrastruktury pro kolace
  • [SPARK-47356] [SC-162858][SQL] Přidání podpory pro ConcatWs & Elt (všechna kolace)
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Odvozování dict jako MapType z datového rámce Pandas, aby bylo možné vytvořit datový rámec
  • [SPARK-47863] [SC-162974][SQL] Oprava startWith & endsWith implementací podporující kolaci pro ICU
  • [SPARK-47867] [SC-162966][SQL] Podpora varianty při prohledávání JSON.
  • [SPARK-47366] [SC-162475][SQL][PYTHON] Add VariantVal for PySpark
  • [SPARK-47803] [SC-162726][SQL] Podpora převedení na variantu.
  • [SPARK-47769] [SC-162841][SQL] Přidejte výraz schema_of_variant_agg.
  • [SPARK-47420] [SC-162842][SQL] Oprava výstupu testu
  • [SPARK-47430] [SC-161178][SQL] Podpora GROUP BY pro MapType
  • [SPARK-47357] [SC-162751][SQL] Přidání podpory pro Horní, Dolní, InitCap (všechna kolace)
  • [SPARK-47788] [SC-162729][SS] Zajistěte stejné dělení hodnot hash pro stavové operace streamování.
  • [SPARK-47776] [SC-162291][SS] Zakázat použití binárního uspořádání nerovnosti v klíči schema stavového operátoru
  • [SPARK-47673] [SC-162824][SS] Implementace TTL pro ListState
  • [SPARK-47818] [SC-162845][CONNECT] Zavedení ukládání plánu do mezipaměti ve SparkConnectPlanneru pro zlepšení výkonu analytických žádostí
  • [SPARK-47694] [SC-162783][CONNECT] Nastavení maximální velikosti zpráv na straně klienta
  • [SPARK-47274] Vrátit změnu “[SC-162479][PYTHON][SQL] Zadejte další možnosti použití…”
  • [SPARK-47616] [SC-161193][SQL] Přidání uživatelského dokumentu pro mapování datových typů Spark SQL z MySQL
  • [SPARK-47862] [SC-162837][PYTHON][CONNECT]Oprava generování souborů proto
  • [SPARK-47849] [SC-162724][PYTHON][CONNECT] Úprava skriptu pro vydání pyspark-connect
  • [SPARK-47410] [SC-162518][SQL] Přepracování UTF8String a CollationFactory
  • [SPARK-47807] [SC-162505][PYTHON][ML] Pyspark.ml kompatibilní s pyspark-connect
  • [SPARK-47707] [SC-161768][SQL] Speciální zpracování typu JSON pro Konektor MySQL/J 5.x
  • [SPARK-47765] Vrátit zpět [SC-162636][SQL] Přidání SET kolace do pars...
  • [SPARK-47081] [SC-162151][CONNECT][FOLLOW] Zlepšení použitelnosti správce průběhu
  • [SPARK-47289] [SC-161877][SQL] Umožnit rozšířením protokolovat rozšířené informace v plánu explain
  • [SPARK-47274] [SC-162479][PYTHON][SQL] Poskytují užitečnější kontext pro chyby rozhraní API datového rámce PySpark
  • [SPARK-47765] [SC-162636][SQL] Přidání kolace SET do pravidel analyzátoru
  • [SPARK-47828] [SC-162722][CONNECT][PYTHON] DataFrameWriterV2.overwrite selže s neplatným plánem
  • [SPARK-47812] [SC-162696][CONNECT] Podpora serializace SparkSession pro pracovní proces ForEachBatch
  • [SPARK-47253] [SC-162698][CORE] Umožnit zastavení služby LiveEventBus bez úplného vyčerpání fronty událostí
  • [SPARK-47827] [SC-162625][PYTHON] Chybějící upozornění pro zastaralé funkce
  • [SPARK-47733] [SC-162628][SS] Přidání vlastních metrik pro část průběhu dotazu operátoru transformWithState
  • [SPARK-47784] [SC-162623][SS] Sloučit TTLMode a TimeoutMode do jednoho časového režimu.
  • [SPARK-47775] [SC-162319][SQL] Podporují zbývající skalární typy ve specifikaci varianty.
  • [SPARK-47736] [SC-162503][SQL] Přidání podpory pro AbstractArrayType
  • [SPARK-47081] [SC-161758][CONNECT] Průběh provádění dotazů
  • [SPARK-47682] [SC-162138][SQL] Podpora přetypování z varianty.
  • [SPARK-47802] [SC-162478][SQL] Revert () z významu struktury() zpět k významu *
  • [SPARK-47680] [SC-162318][SQL] Přidejte výraz variant_explode.
  • [SPARK-47809] [SC-162511][SQL] checkExceptionInExpression by měl zkontrolovat chybu pro každý režim codegen.
  • [SPARK-41811] [SC-162470][PYTHON][CONNECT] Implementovat SQLStringFormatter s WithRelations
  • [SPARK-47693] [SC-162326][SQL] Přidání optimalizace pro porovnání malých písmen UTF8String použitých v kolaci UTF8_BINARY_LCASE
  • [SPARK-47541] [SC-162006][SQL] Řazené řetězce v komplexních typech podporujících operace obrácení, array_join, concat, map
  • [SPARK-46812] [SC-161535][CONNECT][PYTHON] Umožnit mapInPandas / mapInArrow podporu ResourceProfile
  • [SPARK-47727] [SC-161982][PYTHON] Nastavení SparkConf na kořenovou úroveň pro SparkSession i SparkContext
  • [SPARK-47406] [SC-159376][SQL] Zpracování TIMESTAMP a DATETIME v MYSQLDialect
  • [SPARK-47081] Vrátit zpět "[SC-161758][CONNECT] Podpora provádění dotazů...
  • [SPARK-47681] [SC-162043][SQL] Přidejte výraz schema_of_variant.
  • [SPARK-47783] [SC-162222] Přidejte některé chybějící SQLSTATEs a vyčistěte YY000 pro použití...
  • [SPARK-47634] [SC-161558][SQL] Přidání starší verze podpory pro zakázání normalizace klíčů mapy
  • [SPARK-47746] [SC-162022] Implementace kódování řadového rozsahu v RocksDBStateEncoder
  • [SPARK-47285] [SC-158340][SQL] AdaptiveSparkPlanExec by měl vždy používat context.session.
  • [SPARK-47643] [SC-161534][SS][PYTHON] Přidání testu pyspark pro zdroj streamování Pythonu
  • [SPARK-47582] [SC-161943][SQL] Migrate Catalyst logInfo s proměnnými do architektury strukturovaného protokolování
  • [SPARK-47558] [SC-162007][SS] Podpora hodnoty TTL stavu pro ValueState
  • [SPARK-47358] [SC-160912][SQL][COLLATION] Vylepšení podpory opakujících se výrazů pro vrácení správného datového typu
  • [SPARK-47504] [SC-162044][SQL] Vyřešit AbstractDataType simpleStrings pro StringTypeCollated
  • [SPARK-47719] Vrátit zpět “[SC-161909][SQL] Změnit spark.sql.legacy.t...
  • [SPARK-47657] [SC-162010][SQL] Implementace podpory prosazení filtru řazení pro každý zdroj souborů
  • [SPARK-47081] [SC-161758][CONNECT] Průběh provádění dotazů
  • [SPARK-47744] [SC-161999] Přidání podpory pro bajty s negativní hodnotou v kodéru rozsahu
  • [SPARK-47713] [SC-162009][SQL][CONNECT] Oprava selhání samoobslužnéhojoin
  • [SPARK-47310] [SC-161930][SS] Přidání mikro benchmarku pro operace sloučení pro více values v části úložiště stavů s hodnotou
  • [SPARK-47700] [SC-161774][SQL] Oprava formátování chybových zpráv pomocí treeNode
  • [SPARK-47752] [SC-161993][PS][CONNECT] Zajištění kompatibility pyspark.pandas s pyspark-connect
  • [SPARK-47575] [SC-161402][SPARK-47576][SPARK-47654] Implementujte rozhraní LOGWarning/logInfo API v rámci strukturovaného protokolování
  • [SPARK-47107] [SC-161201][SS][PYTHON] Implementace čtečky partition pro streamovaný zdroj dat Pythonu
  • [SPARK-47553] [SC-161772][SS] Přidání podpory Javy pro rozhraní API operátorů transformWithState
  • [SPARK-47719] [SC-161909][SQL] Změna výchozího nastavení spark.sql.legacy.timeParserPolicy na OPRAVENO
  • [SPARK-47655] [SC-161761][SS] Integrace časovače s počátečním zpracováním stavu pro state-v2
  • [SPARK-47665] [SC-161550][SQL] Použití SMALLINT k zápisu shorttype do MYSQL
  • [SPARK-47210] [SC-161777][SQL] Přidání implicitního přetypování bez nespecifikované podpory
  • [SPARK-47653] [SC-161767][SS] Přidání podpory pro záporné číselné typy a pro kodér klíče pro kontrolu rozsahu
  • [SPARK-46743] [SC-160777][SQL] Početní chyba po skládání konstant
  • [SPARK-47525] [SC-154568][SQL] Podpora sjednocení korelace poddotazů u mapových atributů
  • [SPARK-46366] [SC-151277][SQL] Použití výrazu WITH ve výrazu BETWEEN k zabránění duplicitním výrazům
  • [SPARK-47563] [SC-161183][SQL] Přidání normalizace map při vytváření
  • [SPARK-42040] [SC-161171][SQL] SPJ: Zavedení nového rozhraní API pro vstup V2 partition pro hlášení statistik partition
  • [SPARK-47679] [SC-161549][SQL] Použijte přímo názvy HiveConf.getConfVars nebo conf Hive.
  • [SPARK-47685] [SC-161566][SQL] Restore podpora pro typ Stream v Dataset#groupBy
  • [SPARK-47646] [SC-161352][SQL] Upravte try_to_number, aby vracelo hodnotu NULL pro neplatný vstup
  • [SPARK-47366] [SC-161324][PYTHON] Přidání aliasů pyspark a datového rámce parse_json
  • [SPARK-47491] [SC-161176][CORE] Přidání slf4j-api jar do classpathu jako první před ostatními v adresáři jars
  • [SPARK-47270] [SC-158741][SQL] Dataset.isEmpty projektuje CommandResults místně
  • [SPARK-47364] [SC-158927][CORE] Upozorňovat PluginEndpoint při odpovídání modulů plug-in na jednosměrnou zprávu
  • [SPARK-47280] [SC-158350][SQL] Removetimezone omezení pro ORACLE TIMESTAMP WITH TIMEZONE
  • [SPARK-47551] [SC-161542][SQL] Přidejte výraz variant_get.
  • [SPARK-47559] [SC-161255][SQL] Codegen Support for variant parse_json
  • [SPARK-47572] [SC-161351][SQL] Vynucování Window partitionSpec je uspořádané.
  • [SPARK-47546] [SC-161241][SQL] Zlepšení ověřování při čtení varianty z Parquet
  • [SPARK-47543] [SC-161234][CONNECT][PYTHON] Odvozování dict jako MapType z datového rámce Pandas pro umožnění vytvoření datového rámce
  • [SPARK-47485] [SC-161194][SQL][PYTHON][CONNECT] Vytvoření column s kolacemi v API rozhraní datového rámce
  • [SPARK-47641] [SC-161376][SQL] Zlepšení výkonu pro UnaryMinus a Abs
  • [SPARK-47631] [SC-161325][SQL] Remove nepoužívaná metoda SQLConf.parquetOutputCommitterClass
  • [SPARK-47674] [SC-161504][CORE] Povolení spark.metrics.appStatusSource.enabled ve výchozím nastavení
  • [SPARK-47273] [SC-161162][SS][PYTHON] implementuje rozhraní zápisu datových proudů Pythonu.
  • [SPARK-47637] [SC-161408][SQL] Použijte errorCapturingIdentifier na více místech.
  • [SPARK-47497] Vrátit zpět vrácení změn "[SC-160724][SQL] Udělat, aby to_csv podporovalo výstup pole/struktury/map/binary jako snadno čitelné řetězce".
  • [SPARK-47492] [SC-161316][SQL] Rozšíření pravidel prázdných znaků v lexeru
  • [SPARK-47664] [SC-161475][PYTHON][CONNECT] Ověřte název column v mezipaměti schema
  • [SPARK-47638] [SC-161339][PS][CONNECT] Přeskočit ověření názvu column v PS
  • [SPARK-47363] [SC-161247][SS] Počáteční stav bez implementace čtečky stavu pro rozhraní State API v2.
  • [SPARK-47447] [SC-160448][SQL] Povolit čtení Parquet TimestampLTZ jako TimestampNTZ
  • [SPARK-47497] Vrátit zpět "[SC-160724][SQL] Podpora to_csv výstupu array/struct/map/binary jako pěkných řetězců
  • [SPARK-47434] [SC-160122][WEBUI] Opravit statistics odkaz v StreamingQueryPage
  • [SPARK-46761] [SC-159045][SQL] Citované řetězce v cestě JSON by měly podporovat "?". znaky
  • [SPARK-46915] [SC-155729][SQL] Zjednodušení UnaryMinusAbs a zarovnání třídy chyb
  • [SPARK-47431] [SC-160919][SQL] Přidání výchozí kolace na úrovni relace
  • [SPARK-47620] [SC-161242][PYTHON][CONNECT] Přidat pomocnou funkci pro řazení columns
  • [SPARK-47570] [SC-161165][SS] Integrace změn kodéru skenování rozsahu s implementací časovače
  • [SPARK-47497] [SC-160724][SQL] Umožnit to_csv podporovat výstup array/struct/map/binary ve formě pěkných řetězců.
  • [SPARK-47562] [SC-161166][CONNECT] Vytáhnout zpracování literálů z plan.py
  • [SPARK-47509] [SC-160902][SQL] Blokovat výrazy poddotazů ve funkcích lambda a funkcích vyššího řádu
  • [SPARK-47539] [SC-160750][SQL] Nastavte návratovou hodnotu metody castToString být Any => UTF8String
  • [SPARK-47372] [SC-160905][SS] Přidání podpory kodéru stavu klíče založeného na kontrole rozsahu pro použití s poskytovatelem úložiště stavů
  • [SPARK-47517] [SC-160642][CORE][SQL] Prefer Utils.bytesToString pro zobrazení velikosti
  • [SPARK-47243] [SC-158059][SS] Oprava názvu balíčku StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][PYTHON][CONNECT] Podpora zdrojů dat Pythonu pomocí Spark Connect
  • [SPARK-47521] [SC-160666][CORE] Použití Utils.tryWithResource při čtení shuffle dat z externího úložiště
  • [SPARK-47474] [SC-160522][CORE] Vrácení SPARK-47461 a přidání komentářů
  • [SPARK-47560] [SC-160914][PYTHON][CONNECT] Nepoužívejte RPC k ověření column názvu v mezipaměti schema
  • [SPARK-47451] [SC-160749][SQL] Podpora to_json(variant).
  • [SPARK-47528] [SC-160727][SQL] Přidání podpory UserDefinedType do dataTypeUtils.canWrite
  • [SPARK-44708] Vrátit zpět „[SC-160734][PYTHON] Migrovat test_reset_index assert_eq pro použití assertDataFrameEqual“
  • [SPARK-47506] [SC-160740][SQL] Přidat podporu pro všechny formáty zdroje souborů pro seřazené datové typy
  • [SPARK-47256] [SC-160784][SQL] Přiřazení názvů ke třídám chyb _LEGACY_ERROR_TEMP_102[4-7]
  • [SPARK-47495] [SC-160720][CORE] Oprava souboru JAR primárního prostředku přidaného do spark.jars dvakrát v režimu clusteru k8s
  • [SPARK-47398] [SC-160572][SQL] Extrahujte vlastnost inMemoryTableScanExec, aby bylo možné rozšířit funkce.
  • [SPARK-47479] [SC-160623][SQL] Optimize nelze zapisovat data do relací s více cestami, chyba v chybovém protokolu
  • [SPARK-47483] [SC-160629][SQL] Přidání podpory pro operace agregace a join u polí kompletovaných řetězců
  • [SPARK-47458] [SC-160237][CORE] Oprava problému s výpočtem maximálních souběžných úloh pro fázi bariéry
  • [SPARK-47534] [SC-160737][SQL] Přesunutí o.a.s.variant do o.a.s.types.variant
  • [SPARK-47396] [SC-159312][SQL] Přidání obecného mapování pro TIME WITHOUT TIME ZONE na TimestampNTZType
  • [SPARK-44708] [SC-160734][PYTHON] Migrovat test_reset_index assert_eq k použití assertDataFrameEqual
  • [SPARK-47309] [SC-157733][SC-160398][SQL] XML: Přidání testů odvozování schema pro značky hodnot
  • [SPARK-47007] [SC-160630][SQL] Přidání výrazu MapSort
  • [SPARK-47523] [SC-160645][SQL] Nahraďte zastaralé JsonParser#getCurrentNameJsonParser#currentName
  • [SPARK-47440] [SC-160635][SQL] Oprava posílání nepodporované syntaxe na MsSqlServer
  • [SPARK-47512] [SC-160617][SS] Typ operace značky používaný se získáním nebo vydáním zámku instance úložiště stavů RocksDB
  • [SPARK-47346] [SC-159425][PYTHON] Umožnit konfigurovatelný režim démona při vytváření pracovních procesů plánovače pro Python
  • [SPARK-47446] [SC-160163][CORE] Upozornit BlockManager před removeBlockInternal
  • [SPARK-46526] [SC-156099][SQL] Podpora LIMIT nad korelovanými poddotazy where predikáty odkazují pouze na vnější table
  • [SPARK-47461] [SC-160297][CORE] Remove privátní funkce totalRunningTasksPerResourceProfile z ExecutorAllocationManager
  • [SPARK-47422] [SC-160219][SQL] Podpora kompletovaných řetězců v operacích polí
  • [SPARK-47500] [SC-160627][PYTHON][CONNECT] Factor column zpracování názvů mimo plan.py
  • [SPARK-47383] [SC-160144][CORE] Podpora konfigurace spark.shutdown.timeout
  • [SPARK-47342] [SC-159049] Vrátit zpět “[SQL] Podpora TimestampNTZ pro DB2 TIMESTAMP S ČASOVOU ZÓNOU”
  • [SPARK-47486] [SC-160491][CONNECT] Remove nepoužívaná privátní ArrowDeserializers.getString metoda
  • [SPARK-47233] [SC-154486][CONNECT][SS][2/2] Logika klientského & serveru pro naslouchací proces dotazů na straně klienta
  • [SPARK-47487] [SC-160534][SQL] Zjednodušení kódu v AnsiTypeCoercion
  • [SPARK-47443] [SC-160459][SQL] Window podpora agregace pro kolace
  • [SPARK-47296] [SC-160457][SQL][COLLATION] Selhání nepodporovaných funkcí pro nebinární kolace
  • [SPARK-47380] [SC-160164][CONNECT] Ujistěte se, že na straně serveru je SparkSession stejná.
  • [SPARK-47327] [SC-160069][SQL] Přesunutí testu souběžnosti klíčů řazení do CollationFactorySuite
  • [SPARK-47494] [SC-160495][Doc] Přidat migrační dokumentaci pro změnu v chování interpretace časových razítek Parquet ve Sparku od verze 3.3
  • [SPARK-47449] [SC-160372][SS] Refaktoring a rozdělení listtestů jednotek časovače
  • [SPARK-46473] [SC-155663][SQL] Znovu použít metodu getPartitionedFile
  • [SPARK-47423] [SC-160068][SQL] Kolace – podpora operací Set pro řetězce s kolacemi
  • [SPARK-47439] [SC-160115][PYTHON] Dokumentace Python Data Source API na referenční stránce API
  • [SPARK-47457] [SC-160234][SQL] Oprava IsolatedClientLoader.supportsHadoopShadedClient pro zpracování Hadoopu 3.4+
  • [SPARK-47366] [SC-159348][SQL] Implementujte parse_json.
  • [SPARK-46331] [SC-152982][SQL] Odebrání CodegenFallbacku z podmnožiny výrazů DateTime a výrazu version()
  • [SPARK-47395] [SC-159404] Přidání porovnání a kolace do jiných rozhraní API
  • [SPARK-47437] [SC-160117][PYTHON][CONNECT] Opravte třídu chyb pro DataFrame.sort*
  • [SPARK-47174] [SC-154483][CONNECT][SS][1/2] Na straně serveru naslouchací proces dotazu SparkConnectListenerBusListenerListener Pro naslouchací proces streamování na straně klienta
  • [SPARK-47324] [SC-158720][SQL] Přidání chybějícího převodu časového razítka pro vnořené typy JDBC
  • [SPARK-46962] [SC-158834][SS][PYTHON] Přidání rozhraní pro rozhraní API zdroje dat streamování Pythonu a implementace pracovního procesu Pythonu pro spuštění streamovaného zdroje dat Pythonu
  • [SPARK-45827] [SC-158498][SQL] Přesunutí kontrol datových typů do CreatableRelationProvider
  • [SPARK-47342] [SC-158874][SQL] Podpora TimestampNTZ pro DB2 TIMESTAMP WITH TIME ZONE
  • [SPARK-47399] [SC-159378][SQL] Zákaz vygenerovaných columns u výrazů s kolací
  • [SPARK-47146] [SC-158247][CORE] Možný únik vlákna při slučování řazení join
  • [SPARK-46913] [SC-159149][SS] Přidání podpory pro časovače založené na čase zpracování a událostí pomocí operátoru transformWithState
  • [SPARK-47375] [SC-159063][SQL] Přidat pokyny pro mapování časových razítek v JdbcDialect#getCatalystType
  • [SPARK-47394] [SC-159282][SQL] Podpora TIMESTAMP WITH TIME ZONE pro H2Dialect
  • [SPARK-45827] Vrátit změnu “[SC-158498][SQL] Přesunout kontroly datových typů do ...
  • [SPARK-47208] [SC-159279][CORE] Povolit přepsání základní režijní paměti
  • [SPARK-42627] [SC-158021][SPARK-26494][SQL] Podpora oracle TIMESTAMP s místním časovým pásmem
  • [SPARK-47055] [SC-156916][PYTHON] Aktualizace MyPy 1.8.0
  • [SPARK-46906] [SC-157205][SS] Přidat kontrolu změny stavového operátoru v streamování
  • [SPARK-47391] [SC-159283][SQL] Remove alternativní řešení testovacího případu pro sadu JDK 8
  • [SPARK-47272] [SC-158960][SS] Přidání implementace MapState pro state API v2.
  • [SPARK-47375] [SC-159278][Doc][FollowUp] Opravit chybu v dokumentaci možnosti konfigurace JDBC preferTimestampNTZ
  • [SPARK-42328] [SC-157363][SQL] Remove _LEGACY_ERROR_TEMP_1175 z tříd chyb
  • [SPARK-47375] [SC-159261][Doc][FollowUp] Oprava popisu možnosti preferTimestampNTZ v dokumentu JDBC
  • [SPARK-47344] [SC-159146] Rozšíření chyby INVALID_IDENTIFIER tím, že se neomezí na zachycení '-' v neuzavřené v uvozovkách identifier a oprava "IS !" „NULL“ et al.
  • [SPARK-47340] [SC-159039][SQL] Změna "kolace" v názvu typu StringType na malá písmena
  • [SPARK-47087] [SC-157077][SQL] Vyvolání výjimky Sparku s chybovou třídou při kontrole hodnoty konfigurace
  • [SPARK-47327] [SC-158824][SQL] Oprava problému se zabezpečením vláken v collatoru ICU
  • [SPARK-47082] [SC-157058][SQL] Oprava chyby překročení hranic
  • [SPARK-47331] [SC-158719][SS] Serializace pomocí tříd případů/ primitiv/POJO na základě kodéru SQL pro rozhraní API libovolného stavu v2.
  • [SPARK-47250] [SC-158840][SS] Přidání dalších ověření a změn NERF pro poskytovatele stavu RocksDB a použití column rodin
  • [SPARK-47328] [SC-158745][SQL] Přejmenování UCS_BASIC kolace na UTF8_BINARY
  • [SPARK-47207] [SC-157845][CORE] Podpora spark.driver.timeout a DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][Dokumentace] Přidat dokumentaci k migraci: Odhad typu TimestampNTZ u souborů Parquet
  • [SPARK-47309] [SC-158827][SQL][XML] Přidání testů jednotek odvození schema
  • [SPARK-47295] [SC-158850][SQL] Přidání icu StringSearch pro funkce startsWith a endsWith
  • [SPARK-47343] [SC-158851][SQL] Oprava NPE při sqlString hodnotě proměnné null při okamžitém spuštění
  • [SPARK-46293] [SC-150117][CONNECT][PYTHON] Použití protobuf tranzitivní závislosti
  • [SPARK-46795] [SC-154143][SQL] Nahraďte UnsupportedOperationExceptionSparkUnsupportedOperationException v sql/core
  • [SPARK-46087] [SC-149023][PYTHON] Sync závislosti PySpark v dokumentaci a požadavcích na vývoj
  • [SPARK-47169] [SC-158848][SQL] Zákaz bucketizace na kolaci columns
  • [SPARK-42332] [SC-153996][SQL] Změna vyžadování na SparkException v ComplexTypeMergingExpression
  • [SPARK-45827] [SC-158498][SQL] Přesunutí kontrol datových typů do CreatableRelationProvider
  • [SPARK-47341] [SC-158825][Connect] Nahrazení příkazů relacemi v několika testech v SparkConnectClientSuite
  • [SPARK-43255] [SC-158026][SQL] Nahraďte třídu chyb _LEGACY_ERROR_TEMP_2020 vnitřní chybou.
  • [SPARK-47248] [SC-158494][SQL][COLLATION] Vylepšená podpora řetězcových funkcí: obsahuje:
  • [SPARK-47334] [SC-158716][SQL] withColumnRenamed znovu použít implementaci withColumnsRenamed
  • [SPARK-46442] [SC-153168][SQL] DS V2 podporuje nabízení PERCENTILE_CONT a PERCENTILE_DISC
  • [SPARK-47313] [SC-158747][SQL] Bylo přidáno zpracování scala.MatchError uvnitř QueryExecution.toInternalError
  • [SPARK-45827] [SC-158732][SQL] Přidání typu singleton variant pro Javu
  • [SPARK-47337] [SC-158743][SQL][DOCKER] Upgrade verze image Dockeru DB2 na 11.5.8.0
  • [SPARK-47302] [SC-158609][SQL] Kompletovat klíčové slovo jako identifier
  • [SPARK-46817] [SC-154196][CORE] Oprava využití spark-daemon.sh prostřednictvím přidání příkazu decommission
  • [SPARK-46739] [SC-153553][SQL] Přidání třídy chyb UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][SQL] Přidejte příznak konfigurace COLLATION_ENABLED
  • [SPARK-46774] [SC-153925][SQL][AVRO] Použijte mapreduce.output.fileoutputformat.compress místo zastaralé mapred.output.compress v úlohách zápisu Avro.
  • [SPARK-45245] [SC-146961][PYTHON][CONNECT] PythonWorkerFactory: Časový limit, pokud se pracovní proces nepřipojí zpět.
  • [SPARK-46835] [SC-158355][SQL][Kolace] Join podpora nebinárních kolací
  • [SPARK-47131] [SC-158154][SQL][COLLATION] Podpora řetězcových funkcí: contains, startswith, endswith
  • [SPARK-46077] [SC-157839][SQL] Zvažte typ generovaný TimestampNTZConverterem v JdbcDialect.compileValue.
  • [SPARK-47311] [SC-158465][SQL][PYTHON] Potlačení výjimek Pythonu where PySpark není v cestě Pythonu
  • [SPARK-47319] [SC-158599][SQL] Zlepšení výpočtu chybějícího vstupu
  • [SPARK-47316] [SC-158606][SQL] Oprava TimestampNTZ v poli Postgres
  • [SPARK-47268] [SC-158158][SQL][Kolace] Podpora pro předělování s kolacemi
  • [SPARK-47191] [SC-157831][SQL] Vyhněte se zbytečnému vyhledávání relace při uvolnění z vyrovnávací paměti table/view
  • [SPARK-47168] [SC-158257][SQL] Zakázání odsdílení filtru Parquet při práci s nekompletovanými řetězci
  • [SPARK-47236] [SC-158015][CORE] Oprava deleteRecursivelyUsingJavaIO pro přeskočení neexistujících souborů vstupů
  • [SPARK-47238] [SC-158466][SQL] Snížení využití paměti executoru převedením vygenerovaného kódu ve WSCG na proměnnou pro všesměrové vysílání.
  • [SPARK-47249] [SC-158133][CONNECT] Oprava chyby where všechny spuštění připojení se považují za opuštěné bez ohledu na jejich skutečný stav.
  • [SPARK-47202] [SC-157828][PYTHON] Oprava překlepů způsobujících chyby u určení data a času s tzinfo
  • [SPARK-46834] [SC-158139][SQL][Kolace] Podpora agregací
  • [SPARK-47277] [SC-158351][3.5] Funkce PySpark util assertDataFrameEqual by neměla podporovat streamování DF
  • [SPARK-47155] [SC-158473][PYTHON] Oprava potíží s třídou chyb
  • [SPARK-47245] [SC-158163][SQL] Vylepšení kódu chyby pro INVALID_PARTITION_COLUMN_DATA_TYPE
  • [SPARK-39771] [SC-158425][CORE] Přidejte varovnou zprávu v Dependency, když má být vytvořen příliš velký počet bloků pro náhodnou permutaci.
  • [SPARK-47277] [SC-158329] Funkce PySpark util assertDataFrameEqual by neměla podporovat streamování DF
  • [SPARK-47293] [SC-158356][CORE] Sestavení batchSchema pomocí sparkSchema místo postupného připojování jeden po druhém
  • [SPARK-46732] [SC-153517][CONNECT] Fungování vlákna pro poddotaz/vysílání se správou artefaktů Connectu
  • [SPARK-44746] [SC-158332][PYTHON] Přidání další dokumentace Python UDTF pro funkce, které přijímají vstup tables
  • [SPARK-47120] [SC-157517][SQL] Prosazení porovnání null u filtru dat z poddotazu způsobuje NPE ve filtru Parquet.
  • [SPARK-47251] [SC-158291][PYTHON] Blokovat neplatné typy z argumentu args pro příkaz sql
  • [SPARK-47251] Vrátit zpět [SC-158121][PYTHON] Blokovat neplatné typy z argumentu args pro příkaz sql
  • [SPARK-47015] [SC-157900][SQL] Zakázání dělení v kompletovaném columns
  • [SPARK-46846] [SC-154308][CORE] Udělat WorkerResourceInfo rozšíření Serializable explicitně
  • [SPARK-46641] [SC-156314][SS] Přidání prahové hodnoty maxBytesPerTrigger
  • [SPARK-47244] [SC-158122][CONNECT] SparkConnectPlanner zpřístupnit interní funkce jako soukromé
  • [SPARK-47266] [SC-158146][CONNECT] ProtoUtils.abbreviate zajistit, aby byl vrácen stejný typ jako vstup
  • [SPARK-46961] [SC-158183][SS] Použití ProcessorContextu k ukládání a načítání popisovače
  • [SPARK-46862] [SC-154548][SQL] Zákaz vyřazování CSV column v režimu s více řádky
  • [SPARK-46950] [SC-155803][CORE][SQL] Align not available codec error-class
  • [SPARK-46368] [SC-153236][CORE] Podpora readyz v rozhraní REST Submission API
  • [SPARK-46806] [SC-154108][PYTHON] Vylepšete chybovou zprávu pro Spark.table, když je typ argumentu nesprávný
  • [SPARK-47211] [SC-158008][CONNECT][PYTHON] Oprava ignorování kolace řetězců PySpark Connect
  • [SPARK-46552] [SC-151366][SQL] Nahraďte UnsupportedOperationExceptionSparkUnsupportedOperationException v catalyst
  • [SPARK-47147] [SC-157842][PYTHON][SQL] Oprava chyby převodu řazených řetězců PySpark
  • [SPARK-47144] [SC-157826][CONNECT][SQL][PYTHON] Oprava chyby kolace ve Spark Connect přidáním pole collateId protobuf.
  • [SPARK-46575] [SC-153200][SQL][HIVE] Umožnit opakovanou proveditelnost HiveThriftServer2.startWithContext DevelopApi a opravit nestabilitu ThriftServerWithSparkContextInHttpSuite
  • [SPARK-46696] [SC-153832][CORE] V ResourceProfileManager by volání funkcí měla proběhnout po deklaracích proměnných.
  • [SPARK-47214] [SC-157862][Python] Vytvoření rozhraní API UDTF pro metodu analyze k rozlišení konstantních argumentů NULL a dalších typů argumentů
  • [SPARK-46766] [SC-153909][SQL][AVRO] Podpora fondu vyrovnávacích pamětí ZSTD pro zdroj dat AVRO
  • [SPARK-47192] [SC-157819] Převod některých chyb _LEGACY_ERROR_TEMP_0035
  • [SPARK-46928] [SC-157341][SS] Přidání podpory pro ListState v rozhraní API libovolného stavu v2.
  • [SPARK-46881] [SC-154612][CORE] Podpora spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][CORE] Podpora spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][SQL] Oprava chyby, která spočívá v použití nesprávného komprimačního kodeku Parquet lz4raw
  • [SPARK-46791] [SC-154018][SQL] Podpora Java Set v JavaTypeInference
  • [SPARK-46332] [SC-150224][SQL] Migrace CatalogNotFoundException do třídy chyb CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][SQL] Zajistit, aby výchozí hodnota vytvořená z širšího typu úzkého literálu v2 fungovala stejně jako v1.
  • [SPARK-46664] [SC-153181][CORE] Vylepšení Master pro rychlé zotavení v případě nula pracovníků a aplikací
  • [SPARK-46759] [SC-153839][SQL][AVRO] Kodek xz a zstandard podporují úroveň komprese souborů avro

Podpora ovladačů Databricks ODBC/JDBC

Databricks podporuje ovladače ODBC/JDBC vydané v posledních 2 letech. Stáhněte si nedávno vydané ovladače a upgrade (stáhnout ODBC, stáhnout JDBC).

Viz aktualizace údržby pro Databricks Runtime verze 15.2 .

Systémové prostředí

  • operační systém: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.2.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
asttokens 2.0.5 astunparse 1.6.3 Azure-Core 1.30.1
azure-storage-blob (úložiště Azure blob) 12.19.1 azure-storage-file-datalake 12.14.0 zpětné volání 0.2.0
černý 23.3.0 blikač 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifikát 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknout 8.0.4 cloudpickle 2.2.1 Komunikace 0.1.2
obrysová křivka 1.0.5 kryptografie 41.0.3 cyklista 0.11.0
Cython 0.29.32 Databricks SDK 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekoratér 5.1.1 distlib 0.3.8
vstupní body 0.4 vykonávání 0.8.3 přehled aspektů 1.1.1
zamknutí souboru 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.29.0
google-cloud-core 2.4.1 google-cloud-storage (úložiště Google Cloud) 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 Jedi 0.18.1 Jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 klíčenka 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 balení 23.2
Pandy 1.5.3 parso 0.8.3 pathspec 0.10.3
bábovka 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Polštář 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
požadavky 2.31.0 Rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 Šest 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
datová hromádka 0.2.0 statsmodels 0.14.0 houževnatost 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornádo 6.3.2
vlastnosti 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 bezobslužné aktualizace 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
kolo 0.38.4 zipp 3.11.0

nainstalované knihovny jazyka R

Knihovny jazyka R se instalují ze snímku CRAN Posit Package Manageru.

Knihovna Verze Knihovna Verze Knihovna Verze
šíp 14.0.0.2 askpass 1.2.0 ověř, že (assertthat) 0.2.1
zpětné portování 1.4.1 základna 4.3.2 base64enc 0.1-3
bigD 0.2.0 trochu 4.0.5 bit64 4.0.5
bitops 1.0-7 kapka 1.2.4 bota 1.3-28
vařit 1.0-10 nadšení 1.1.4 koště 1.0.5
bslib 0.6.1 kašmír 1.0.8 volající 3.7.3
karetka 6.0-94 cellranger 1.1.0 chron 2.3-61
třída 7.3-22 CLI 3.6.2 clipr 0.8.0
hodiny 0.7.0 klastr 2.1.4 codetools 0.2-19
barevný prostor 2.1-0 commonmark 1.9.1 kompilátor 4.3.2
konfigurace 0.3.2 v rozporu 1.2.0 cpp11 0.4.7
pastelka 1.5.2 credentials 2.0.1 curl 5.2.0
data.table 1.15.0 Datové sady 4.3.2 DBI 1.2.1
dbplyr 2.4.0 popis 1.4.3 devtools 2.4.5
schéma 1.6.5 diffobj 0.3.5 trávit 0.6.34
dolní osvětlení 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 výpustka 0.3.2 hodnotit 0.23
fanoušci 1.0.6 barvy 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 pro kočky 1.0.0 foreach 1.5.2
zahraniční 0.8-85 kovat 0.2.0 fs 1.6.3
budoucnost 1.33.1 future.apply 1.11.1 kloktadlo 1.5.2
generika 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globály 0.16.2 lepidlo 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 mřížka 4.3.2
gridExtra 2.3 gsubfn 0.7 Gt 0.10.1
gtable 0.3.4 bezpečnostní přilba 1.3.1 útočiště 2.5.4
vyšší 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 identifikátory 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iterátory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 šťavnatý džus 0.1.0
KernSmooth 2.23-21 knitr 1,45 značení 0.4.3
později 1.3.2 mříž 0.21-8 láva 1.7.3
životní cyklus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 hmotnost 7.3-60
Matice 1.5-4.1 memoise 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 rovnoběžný 4.3.2
paralelně 1.36.0 pilíř 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 chvála 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 pokrok 1.2.3
progressr 0.14.0 sliby 1.2.1 proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reaktivní 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recepty 1.0.9 odvetný zápas 2.0.0 rematch2 2.1.2
dálkové ovladače 2.4.2.1 reprodukovatelný příklad 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 drzost 0.4.8
váhy 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
tvar 1.4.6 lesklý 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 prostorový 7.3-15 spliny 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 statistické údaje 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
přežití 3.5-5 naparování 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
tvarování textu 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 změna času 0.3.0
časDatum 4032.109 tinytex 0.49 nářadí 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 použij toto 2.2.2
utf8 1.2.4 nástroje 4.3.2 Identifikátor UUID (univerzálně jedinečný identifikátor) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 Waldo 0.5.2 vousky 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk automatické škálování 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws podpora aws-java-sdk 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-stíněný 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofein kofein 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java Nativní verze 1.1
com.github.fommil.netlib nativní_systém-java 1.1
com.github.fommil.netlib native_system-java Nativní verze 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64 Nativní verze 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64 Nativní verze 1.1
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink cink 1.9.0
com.google.errorprone poznámky_náchylné_k_chybám 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profilovač 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfigurace 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift vzduchový kompresor 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics metriky pro anotace 4.2.19
io.dropwizard.metrics jádro metrik 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metriky – kontroly stavu 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metriky – servlety 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty obslužná rutina Netty 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine marináda 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant mravenec 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow formát šipky 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow šipka-vektor 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.kurátor kurátor-klient 2.13.0
org.apache.kurátor kurátorský rámec 2.13.0
org.apache.kurátor recepty od kurátora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby městské derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client (klient pro Apache Hive s možností LLAP) 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy břečťan 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus poznámky pro publikum 0.13.0
org.apache.zookeeper ošetřovatel v zoo 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty Jetty pokračování 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket – společné 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core běžný žerzej 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator Hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist Javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains anotace 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap Podložky 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testovací rozhraní 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest kompatibilní s scalatestem 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1