Sdílet prostřednictvím

Databricks Runtime 9.0 (EoS)

  • Článek

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Následující poznámky k verzi obsahují informace o Databricks Runtime 9.0 a Databricks Runtime 9.0 Photon s využitím Apache Sparku 3.1.2. Databricks vydala tuto verzi v srpnu 2021. Photon je ve verzi Public Preview.

Oprava

Předchozí verze těchto poznámek k verzi nesprávně uvedla, že závislosti Apache Parquet byly upgradovány z verze 1.10 na 1.12. Závislosti Parquet ve skutečnosti zůstávají ve verzi 1.10. Byla odebrána nesprávná zpráva k vydání verze.

Nové funkce a vylepšení

Nové rozhraní API pro souhrnné statistiky datových sad (Public Preview)

Nový dbutils.data.summarize příkaz v nástrojích Databricks umožňuje spustit úlohu Sparku, která automaticky vypočítá souhrnné statistiky sloupců datového rámce Sparku a pak výsledky zobrazí interaktivně. Tato funkce je dostupná v jazyce Scala a Python. Viz Data utility (dbutils.data).

Jednodušší konfigurace externího zdroje dat pro konektor Azure Synapse

Nová externalDataSource možnost v konektoru Dotazování dat ve službě Azure Synapse Analytics umožňuje použít předem zřízený externí zdroj dat ke čtení z databáze Azure Synapse. Tato externalDataSource možnost odebere potřebu dříve požadovaného CONTROL oprávnění.

Při nastavování externalDataSourcemusí externí zdroj dat a možnost použitá ke konfiguraci dočasného tempDir úložiště odkazovat na stejný kontejner v účtu úložiště.

Volitelně můžete relaci omezit na zadanou dobu trvání konektoru Amazon Redshift.

Nová fs.s3a.assumed.role.session.duration možnost v dotazování Amazon Redshift pomocí konektoru Azure Databricks umožňuje volitelně nastavit dobu trvání relace, když Redshift přistupuje k dočasnému kontejneru S3 s předpokládanou rolí.

Automatický zavaděč

Optimalizovaný výpis souborů

Optimalizace automatického zavaděče poskytují vylepšení výkonu a úsporu nákladů při výpisu vnořených adresářů v cloudovém úložišti, včetně AWS S3, Azure Data Lake Storage Gen2 (ADLS Gen2) a Google Cloud Storage (GCS).

Pokud jste například měli soubory nahrané jako /some/path/YYYY/MM/DD/HH/fileName, abyste našli všechny soubory v těchto adresářích, automaticky zavaděč použitý k paralelnímu výpisu všech podadresářů, což způsobuje 365 (za den) * 24 (za hodinu) = 8760 volání adresáře ROZHRANÍ LIST API pro každý rok do příslušného úložiště. Když z těchto systémů úložiště obdržíte zploštěnou odpověď, auto Loader sníží počet volání rozhraní API na počet souborů v systému úložiště vydělený počtem výsledků vrácených jednotlivými voláními rozhraní API (1000 pro S3, 5000 pro ADLS Gen2 a 1024 pro GCS), což výrazně snižuje náklady na cloud.

Optimalizované úložiště dat obrázků

Auto Loader teď dokáže automaticky zjišťovat ingestovaná data obrázků a optimalizovat jejich úložiště v tabulkách Delta, aby se zlepšil výkon čtení a zápisu. Viz obrázek Ingestu nebo binární data do Delta Lake pro ML.

Miniatury obrázků pro binární soubory (Public Preview)

Obrázky ve binaryFile formátu načtené nebo uložené jako tabulky Delta pomocí automatického zavaděče mají připojené poznámky, aby se miniatury obrázků zobrazovaly při zobrazení tabulky v poznámkovém bloku Azure Databricks. Další informace najdete v tématu Obrázky.

DirectoryRename události umožňují atomické zpracování více souborů.

Automatické streamy zavaděče vytvořené v Databricks Runtime 9.0 a novějších v Azure Data Lake Storage Gen2 nastavují oznámení událostí souborů tak, aby zahrnovaly přejmenování adresáře a naslouchání RenameDirectory událostem. Přejmenování adresáře můžete použít k tomu, aby se více souborů zobrazoval v automatickém zavaděče atomicky.

SQL

Vyloučení sloupců ve SELECT * verzi Public Preview

SELECT * teď podporuje EXCEPT klíčové slovo, které umožňuje vyloučit zadané sloupce nejvyšší úrovně z rozšíření. Například SELECT * EXCEPT (b) FROM tbl z tabulky s rozbalením schématu (a, b, c) na (a, c).

Skalární funkce SQL (Public Preview)

CREATE FUNCTION teď podporuje skalární funkce SQL. Skalární funkce, které přebírají sadu argumentů, můžete vytvořit a vrátit jednu skalární hodnotu typu. Tělo funkce SQL může být libovolný výraz. Příklad:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Podrobnosti najdete v tématu CREATE FUNCTION (SQL a Python).

Odkazování na předchozí aliasy a sloupce v FROM poddotazech (Public Preview)

Před poddotazy v FROM klauzuli dotazu teď může předcházet LATERAL klíčové slovo, které jim umožňuje odkazovat na aliasy a sloupce v předchozích FROM položkách. Příklad:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Klíčové LATERAL slovo podporuje INNER, CROSSa LEFT (OUTER) JOIN.

Viz Parametry a parametry.

Podpora jazyka R

Knihovny jazyka R s vymezeným poznámkovým blokem (Public Preview)

Knihovny s vymezeným poznámkovým blokem umožňují instalovat knihovny a vytvářet prostředí s vymezeným oborem relace poznámkového bloku. Tyto knihovny nemají vliv na jiné poznámkové bloky spuštěné ve stejném clusteru. Knihovny jsou k dispozici v ovladači i pracovních uzlech, takže na ně můžete odkazovat v uživatelem definovaných funkcích. Viz knihovny jazyka R s oborem poznámkového bloku.

Zprávy upozornění v poznámkových blocích R

Výchozí hodnota warn možnosti je teď v poznámkových blocích R nastavená na 1. V důsledku toho jsou teď všechna upozornění zpřístupněna jako součást výsledku příkazu. Další informace o warn této možnosti najdete v tématu Nastavení možností.

Vyhněte se opakování zadáním počátečního stavu pro stavové zpracování strukturovaného streamování.

Pomocí operátoru teď můžete zadat počáteční stav definovaný uživatelem pro zpracování [flat]MapGroupsWithState stavu strukturovaného streamování.

Viz Určení počátečního stavu pro mapGroupsWithState.

K dispozici je teď implementace příkazu Delta MERGE INTO s nízkým náhodném prohazování (Public Preview).

Příkaz Delta MERGE INTO má k dispozici novou implementaci, která snižuje prohazování nemodifikovaných řádků. To zlepšuje výkon příkazu a pomáhá zachovat existující clustering v tabulce, například řazení Z. Chcete-li povolit sloučení s nízkým náhodném prohazování, nastavte na truehodnotu spark.databricks.delta.merge.enableLowShuffle . Viz Malé sloučení shuffle v Azure Databricks.

Opravy chyb

  • Zobrazení už nemůžete přepsat vytvořením zobrazení se stejným názvem.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • certifi from 2021.5.30 to 2020.12.5
    • chardet od 3.0.4 do 4.0.0
    • Cython od 0.29.21 do 0.29.23
    • dekorátor od 4.4.2 do 5.0.6
    • ipython od 7.19.0 do 7.22.0
    • joblib od 0.17.0 do 1.0.1
    • jupyter-client od 6.1.7 do 6.1.12
    • jupyter-core od 4.6.3 do 4.7.1
    • verizonsolver od 1.3.0 do 1.3.1
    • matplotlib od 3.2.2 do 3.4.2
    • pandas od 1.1.5 do 1.2.4
    • pip od 20.2.4 do 21.0.1
    • prompt-toolkit od 3.0.8 do 3.0.17
    • protobuf od 3.17.3 do 3.17.2
    • ptyprocess od 0.6.0 do 0.7.0
    • pyarrow od 1.0.1 do 4.0.0
    • Pygments od 2.7.2 do 2.8.1
    • pyzmq od 19.0.2 do 20.0.0
    • žádosti od 2.24.0 do 2.25.1
    • s3transfer from 0.3.6 to 0.3.7
    • scikit-learn od 0.23.2 do 0.24.1
    • scipy od 1.5.2 do 1.6.2
    • seaborn od 0.10.0 do 0.11.1
    • instalační nástroje od 50.3.1 do 52.0.0
    • statsmodels from 0.12.0 to 0.12.2
    • tornado od 6.0.4 do 6.1
    • virtualenv od 20.2.1 do 20.4.1
    • kolo od 0.35.1 do 0.36.2
  • Upgradované knihovny jazyka R:
    • Matice od 1.3-3 do 1.3-4

Apache Spark

Databricks Runtime 9.0 zahrnuje Apache Spark 3.1.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 8.4 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-35886] [SQL][3.1] Upřednostnění by nemělo přepsat genCodePromotePrecision by nemělo přepisovat genCode.
  • [SPARK-35879] [JÁDRO][SHUFFLE] Oprava regrese výkonu způsobená collectFetchRequests
  • [SPARK-35817] [SQL][3.1] Obnovení výkonu dotazů pro široké tabulky Avro
  • [SPARK-35841] [SQL] Přetypování řetězce na typ desetinných míst nefunguje, pokud...
  • [SPARK-35783] [SQL] Nastavení seznamu přečtených sloupců v konfiguraci úlohy pro snížení čtení dat ORC
  • [SPARK-35576] [SQL][3.1] Zpřístupnění citlivých informací ve výsledku příkazu Set
  • [SPARK-35449] [SQL][3.1] Pouze extrahujte běžné výrazy z hodnot CaseWhen, pokud je nastavena hodnota elseValue.
  • [SPARK-35288] [SQL] StaticInvoke by měla najít metodu bez přesné shody tříd argumentů.
  • [SPARK-34794] [SQL] Oprava problémů s názvy proměnných lambda ve funkcích vnořených datových rámců
  • [SPARK-35278] [SQL] Invoke by měl najít metodu se správným počtem parametrů.
  • [SPARK-35226] [SQL] Podpora možnosti refreshKrb5Config v zdrojích dat JDBC
  • [SPARK-35244] [SQL] Vyvolání by mělo vyvolat původní výjimku.
  • [SPARK-35213] [SQL] Udržujte správné pořadí vnořených struktur v řetězených operacích withField.
  • [SPARK-35087] [UŽIVATELSKÉ ROZHRANÍ] Některé sloupce v tabulce Aggregated Metrics by Executor of stage-detail page shows nesprávně.
  • [SPARK-35168] [SQL] mapred.reduce.tasks by měly být shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
  • [SPARK-35127] [UŽIVATELSKÉ ROZHRANÍ] Když přepneme mezi různými stránkami podrobností fáze, položka na nově otevřené stránce může být prázdná.
  • [SPARK-35142] [PYTHON][ML] Oprava nesprávného návratu typu in rawPredictionUDFOneVsRestModel
  • [SPARK-35096] [SQL] Spuštění schématu by mělo dodržovat spark.sql.caseSensitive config
  • [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias by neměl vytvářet unresolvedAlias
  • [SPARK-35080] [SQL] Povolit pouze podmnožinu korelovaných predikátů rovnosti při agregaci poddotazů
  • [SPARK-35117] [UŽIVATELSKÉ ROZHRANÍ] Změna indikátoru průběhu zpět a zvýrazňování poměru probíhajících úkolů
  • [SPARK-35136] Odebrání počáteční hodnoty null LiveStage.info
  • [SPARK-34834] [SÍŤ] Oprava potenciálního nevracení paměti Netty v TransportResponseHandler
  • [SPARK-35045] [SQL] Přidání interní možnosti pro řízení vstupní vyrovnávací paměti v neivotnosti
  • [SPARK-35014] Oprava vzoru Fyzické agregace, aby se nepřepsaly skládací výrazy
  • [SPARK-35019] [PYTHON][SQL] Oprava neshod nápovědy typu v pyspark.sql.*
  • [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() by měl respektovat hodnotu oddílu s hodnotou null.
  • [SPARK-34630] [PYTHON] Přidejte typehint pro pyspark.verze
  • [SPARK-34963] [SQL] Oprava vnořeného vnořeného vyřazování sloupců pro extrakci pole struktury bez rozlišování malých a velkých písmen z pole struktury
  • [SPARK-34988] [JÁDRO][3.1] Upgrade Jetty pro CVE-2021-28165
  • [SPARK-34922] [SQL][3.1] Použití funkce porovnání relativních nákladů v CBO
  • [SPARK-34970] [SQL][ZABEZPEČENÍ][3.1] Redact map-type options in the output of explain()
  • [SPARK-34923] [SQL] Pro další plány by měl být výstup metadat prázdný.
  • [SPARK-34949] [JÁDRO] Zabránit opětovnému registraci blockmanageru při vypnutí exekutoru
  • [SPARK-34939] [JÁDRO] Vyvolá výjimku selhání načtení, pokud nejde deserializovat stav vysílané mapy
  • [SPARK-34909] [SQL] Oprava převodu záporných na nepodepsaný v conv()
  • [SPARK-34845] [JÁDRO] ProcfsMetricsGetter by neměl vracet částečné metriky procfs
  • [SPARK-34814] [SQL] LikeSimplification by měl zpracovávat hodnotu NULL
  • [SPARK-34876] [SQL] Fill defaultResult of non-nullable aggregates
  • [SPARK-34829] [SQL] Oprava výsledků funkce vyššího pořadí
  • [SPARK-34840] [SHUFFLE] Řeší případy poškození ve sloučených náhodném prohazování ...
  • [SPARK-34833] [SQL] Použití správného odsazení zprava pro korelované poddotazy
  • [SPARK-34630] [PYTHON][SQL] Přidání typehint pro pyspark.sql.Column.contains
  • [SPARK-34763] [SQL] col(), $"name" a df("name") by měly správně zpracovávat názvy uvozovaných sloupců.
  • [SPARK-33482] [SPARK-34756] [SQL] Oprava kontroly rovnosti FileScan
  • [SPARK-34790] [JÁDRO] Zákaz načítání bloků náhodného prohazování v dávce, když je povolené šifrování io
  • [SPARK-34803] [PYSPARK] Předání vyvolané chyby importu, pokud se nepodaří importovat knihovnu pandas nebo pyarrow
  • [SPARK-34225] [JÁDRO] Další kódování při předání řetězce formuláře URI do addFile nebo addJar
  • [SPARK-34811] [JÁDRO] Redact fs.s3a.access.key like secret and token
  • [SPARK-34796] [SQL][3.1] Inicializace proměnné čítače pro LIMIT code-gen v doProduce()
  • [SPARK-34128] [SQL] Potlačení nežádoucích upozornění TTransportException zahrnutých v THRIFT-4805
  • [SPARK-34776] [SQL] Vnořené vyřazování sloupců by nemělo vyřazovat atributy vytvořené v okně
  • [SPARK-34087] [3.1][SQL] Oprava nevracení paměti executionListenerBus
  • [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords by měla místo kontextu používat zavaděč tříd Sparku.
  • [SPARK-34719] [SQL][3.1] Správně přeložit dotaz zobrazení s duplicitními názvy sloupců
  • [SPARK-34766] [SQL][3.1] Nezachycujte konfiguraci mavenu pro zobrazení.
  • [SPARK-34731] [JÁDRO] Vyhněte se ConcurrentModificationException při redacting properties in EventLoggingListener
  • [SPARK-34737] [SQL][3.1] Přetypování vstupu float na dvojitou hodnotu TIMESTAMP_SECONDS
  • [SPARK-34749] [SQL][3.1] Zjednodušení funkce ResolveCreateNamed – struktura
  • [SPARK-34768] [SQL] Respektujte výchozí velikost vstupní vyrovnávací paměti v univocity
  • [SPARK-34770] [SQL] InMemoryCatalog.tableExists by nemělo selhat, pokud databáze neexistuje
  • [SPARK-34504] [SQL] Vyhněte se zbytečnému překladu dočasných zobrazení SQL pro příkazy DDL
  • [SPARK-34727] [SQL] Oprava nesrovnalostí v plovoucím přetypování na časové razítko
  • [SPARK-34723] [SQL] Správný typ parametru pro odstranění dílčího výrazu v celé fázi
  • [SPARK-34724] [SQL] Oprava interpretovaného vyhodnocení pomocí metody getMethod místo getDeclaredMethod
  • [SPARK-34713] [SQL] Oprava skupiny podle CreateStruct s extractValue
  • [SPARK-34697] [SQL] Povolit funkci DESCRIBE a ZOBRAZIT FUNKCE vysvětlují || (operátor zřetězení řetězců)
  • [SPARK-34682] [SQL] Použití PrivateMethodTester místo reflexe
  • [SPARK-34682] [SQL] Oprava regrese při kontrole chyby kanonizace v CustomShuffleReaderExec
  • [SPARK-34681] [SQL] Oprava chyby pro úplné vnější zamíchané spojení hash při vytváření levé strany s nerovnanou podmínkou
  • [SPARK-34545] [SQL] Řešení problémů s funkcí valueCompare pyrolite
  • [SPARK-34607] [SQL][3.1] Přidání Utils.isMemberClass pro opravu chyby poškozených názvů tříd na jdk8u
  • [SPARK-34596] [SQL] Použití Utils.getSimpleName k tomu, aby se zabránilo dosažení chybný název třídy v NewInstance.doGenCode
  • [SPARK-34613] [SQL] Zobrazení opravy nezachytává konfiguraci nápovědy pro zakázání
  • [SPARK-32924] [WEBI] Nastavení sloupce doby trvání v hlavním uživatelském rozhraní seřazené ve správném pořadí
  • [SPARK-34482] [SS] Oprava aktivní SparkSession pro StreamExecution.logicalPlan
  • [SPARK-34567] [SQL] CreateTableAsSelect by také měl aktualizovat metriky.
  • [SPARK-34599] [SQL] Oprava problému, který INSERT INTO OVERWRITE nepodporuje sloupce oddílů obsahující tečku pro DSv2
  • [SPARK-34577] [SQL] Oprava vkládání a přidávání sloupců do datové sady DESCRIBE NAMESPACE
  • [SPARK-34584] [SQL] Při vkládání do tabulek v2 by měl také následovat statický oddíl StoreAssignmentPolicy.
  • [SPARK-34555] [SQL] Řešení výstupu metadat z datového rámce
  • [SPARK-34534] Oprava objednávky blockIds při použití FetchShuffleBlocks k načtení bloků
  • [SPARK-34547] [SQL] Jako poslední možnost používejte pouze sloupce metadat.
  • [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap selže pro název sloupce s tečkou
  • [SPARK-34561] [SQL] Oprava přetažení nebo přidání sloupců z/do datové sady v2 DESCRIBE TABLE
  • [SPARK-34556] [SQL] Kontroladuplicitních
  • [SPARK-34392] [SQL] Podpora ZoneOffset +h:mm v DateTimeUtils. getZoneId
  • [SPARK-34550] [SQL] Přeskočit hodnotu InSet null během nabízeného filtru do metastoru Hive
  • [SPARK-34543] [SQL] Respektujte konfiguraci při řešení specifikace oddílu spark.sql.caseSensitive v 1. SET LOCATION
  • [SPARK-34436] [SQL] Podpora DPP TYPU ANY/ALL
  • [SPARK-34531] [JÁDRO] Odebrání značky experimentálního rozhraní API v prometheusServletu
  • [SPARK-34497] [SQL] Oprava integrovaných zprostředkovatelů připojení JDBC za účelem obnovení změn kontextu zabezpečení JVM
  • [SPARK-34515] [SQL] Oprava NPE, pokud InSet obsahuje hodnotu null během getPartitionsByFilter
  • [SPARK-34490] [SQL] Analýza by měla selhat, pokud zobrazení odkazuje na vyřazenou tabulku.
  • [SPARK-34473] [SQL] Vyhněte se NPE v Objektu DataFrameReader.schema(StructType)
  • [SPARK-34384] [JÁDRO] Přidání chybějících dokumentů pro rozhraní API ResourceProfile
  • [SPARK-34373] [SQL] HiveThriftServer2 startWithContext může přestat reagovat na problém se závodem
  • [SPARK-20977] [JÁDRO] Pro stav CollectionAccumulator použijte nekonečné pole.
  • [SPARK-34421] [SQL] Řešení dočasných funkcí a zobrazení v zobrazeních pomocí CTE
  • [SPARK-34431] [JÁDRO] Načíst hive-site.xml pouze jednou
  • [SPARK-34405] [JÁDRO] Oprava střední hodnoty časovačůLabels ve třídě PrometheusServlet
  • [SPARK-33438] [SQL] Dychtivě inicializační objekty s definovanými příkazy SQL Confs set -v
  • [SPARK-34158] Nesprávná adresa URL jediného vývojáře Matei v pom.xml
  • [SPARK-34346] [JÁDRO][SQL][3.1] io.file.buffer.size nastavený spark.buffer.size přepíše načtením hive-site.xml omylem může způsobit regresi výkonu.
  • [SPARK-34359] [SQL][3.1] Přidání starší konfigurace pro obnovení výstupního schématu SHOW DATABASES
  • [SPARK-34331] [SQL] Zrychlení překladu sloupce metadat DS v2
  • [SPARK-34318] [SQL][3.1] Dataset.colRegex by měl pracovat s názvy sloupců a kvalifikátory, které obsahují nové čáry.
  • [SPARK-34326] [JÁDRO][SQL] Oprava uživatelských adres přidaných v SPARK-31793 v závislosti na délce dočasné cesty
  • [SPARK-34319] [SQL] Řešení duplicitních atributů pro FlatMapCoGroupsInPandas/MapInPandas
  • [SPARK-34310] [JÁDRO][SQL] Nahradí mapu a zploštěná plochou mapou.
  • [SPARK-34083] [SQL][3.1] Použití původních definic TPCDS pro char/varchar colums
  • [SPARK-34233] [SQL][3.1] Oprava NPE pro odsazení znaků v binárním porovnání
  • [SPARK-34270] [SS] Kombinace StateStoreMetrics by neměla přepsat StateStoreCustomMetric.
  • [SPARK-34144] [SQL] Při pokusu o zápis hodnot LocalDate a Instant do relace JDBC došlo k výjimce
  • [SPARK-34273] [JÁDRO] Při zastavení SparkContext znovu neregistrujte BlockManager.
  • [SPARK-34262] [SQL][3.1] Aktualizace dat uložených v mezipaměti tabulky v1 v ALTER TABLE .. SET LOCATION
  • [SPARK-34275] [JÁDRO][SQL][MLLIB] Nahradí filtr a velikost počtem.
  • [SPARK-34260] [SQL] Oprava nevyřešenéexception při vytváření dočasného zobrazení dvakrát
  • [SPARK-33867] [SQL] Při generování dotazů SQL se nezpracovává okamžité hodnoty a hodnoty LocalDate
  • [SPARK-34193] [JÁDRO] TorrentBroadcast blok manažer vyřazování závodní opravy
  • [SPARK-34221] [WEBI] Ujistěte se, že se na stránce uživatelského rozhraní nezdaří fáze, je možné správně zobrazit odpovídající chybovou zprávu.
  • [SPARK-34236] [SQL] Oprava přepsání v2 se statickým oddílem s hodnotou null nelze přeložit výraz do zdrojového filtru: null
  • [SPARK-34212] [SQL] Oprava nesprávného čtení desetinných míst ze souborů Parquet
  • [SPARK-34244] [SQL] Odebrání verze funkce Scala regexp_extract_all
  • [SPARK-34235] [SS] Nastavení spark.sql.hive jako privátního balíčku
  • [SPARK-34232] [JÁDRO] Redact SparkListenerEnvironmentUpdate – událost v protokolu
  • [SPARK-34229] [SQL] Funkce Avro by měla číst desetinné hodnoty se schématem souboru.
  • [SPARK-34223] [SQL] OPRAVA NPE pro statický oddíl s hodnotou null v insertIntoHadoopFsRelationCommand
  • [SPARK-34192] [SQL] Přesunutí odsazení znaku na stranu zápisu a odebrání kontroly délky na straně čtení
  • [SPARK-34203] [SQL] Převod null hodnot oddílů do __HIVE_DEFAULT_PARTITION__ katalogu v1 In-Memory
  • [SPARK-33726] [SQL] Oprava duplicitních názvů polí během agregace
  • [SPARK-34133] [AVRO] Respektovat citlivost písmen při porovnávání polí Catalyst-to-Avro
  • [SPARK-34187] [SS] Použití dostupného rozsahu posunu získaného během dotazování při kontrole ověření posunu
  • [SPARK-34052] [SQL][3.1] Uložte text SQL pro dočasné zobrazení vytvořené pomocí tabulky MEZIPAMĚTI . AS SELECT ..."
  • [SPARK-34213] [SQL] Aktualizace dat uložených v mezipaměti tabulky v1 v LOAD DATA
  • [SPARK-34191] [PYTHON][SQL] Přidání psaní pro přetížení udf
  • [SPARK-34200] [SQL] Nejednoznačný odkaz na sloupec by měl zvážit dostupnost atributů.
  • [SPARK-33813] [SQL][3.1] Oprava problému, který zdroj JDBC nemůže považovat za prostorové typy MS SQL Serveru
  • [SPARK-34178] [SQL] Kopírování značek pro nový uzel vytvořený multiInstanceRelation.newInstance
  • [SPARK-34005] [JÁDRO][3.1] Aktualizace metrik paměti ve špičce pro každý exekutor na konci úlohy
  • [SPARK-34115] [JÁDRO] Zkontrolujte, SPARK_TESTING jako opožděnou val, abyste se vyhnuli zpomalení.
  • [SPARK-34153] [SQL][3.1][3.0] Odeberte nepoužívané getRawTable() z HiveExternalCatalog.alterPartitions()
  • [SPARK-34130] [SQL] Impove preformace for char varchar padding and length check with StaticInvoke
  • [SPARK-34027] [SQL][3.1] Aktualizace mezipaměti v ALTER TABLE .. RECOVER PARTITIONS
  • [SPARK-34151] [SQL] java.io.File.toURL Nahradí za java.io.File.toURI.toURL
  • [SPARK-34140] [SQL][3.1] Přesunutí třídy QueryCompilationErrors.scala do organizace/apache/spark/sql/errors
  • [SPARK-34080] [ML][PYTHON] Přidat UnivariateFeatureSelector
  • [SPARK-33790] [JÁDRO][3.1] Snížení volání rpc getFileStatus v SingleFileEventLogFileReader
  • [SPARK-34118] [JÁDRO][SQL][3.1] Nahradí filtr a zkontroluje, jestli je prázdné, existuje nebo je pro všechny
  • [SPARK-34114] [SQL] neměl by se oříznout správně pro kontrolu délky znaků na straně čtení a odsazení.
  • [SPARK-34086] [SQL][3.1] RaiseError vygeneruje příliš mnoho kódu a při kontrole délky znaku varchar může dojít k chybě codegen.
  • [SPARK-34075] [SQL][JÁDRO] Skryté adresáře jsou uvedené pro odvozování oddílů.
  • [SPARK-34076] [SQL] SqlContext.dropTempTable selže, pokud mezipaměť není prázdná
  • [SPARK-34084] [SQL][3.1] Oprava automatické aktualizace statistik tabulek v ALTER TABLE .. ADD PARTITION
  • [SPARK-34090] [SS] Výsledek mezipaměti HadoopDelegationTokenManager.isServiceEnabled použitý v kafkaTokenUtil.needTokenUpdate
  • [SPARK-34069] [JÁDRO] Úkoly kill barrier by měly respektovat SPARK_JOB_INTERRUPT_ON_CANCEL
  • [SPARK-34091] [SQL] Načtení dávky náhodného prohazu by mělo být možné po povolení zakázat.
  • [SPARK-34059] [SQL][JÁDRO][3.1] Používejte místo mapování for/foreach, abyste měli jistotu, že je spustíte dychtivě.
  • [SPARK-34002] [SQL] Oprava použití kodéru v ScalaUDF
  • [SPARK-34060] [SQL][3.1] Oprava ukládání tabulek Hive do mezipaměti při aktualizaci statistik ALTER TABLE .. DROP PARTITION
  • [SPARK-31952] [SQL] Oprava metriky nesprávného přelití paměti při agregaci
  • [SPARK-33591] [SQL][3.1] Rozpoznávání null hodnot specifikace oddílu
  • [SPARK-34055] [SQL][3.1] Aktualizace mezipaměti v ALTER TABLE .. ADD PARTITION
  • [SPARK-34039] [SQL][3.1] Nahrazení tabulky by mělo zneplatnit mezipaměť.
  • [SPARK-34003] [SQL] Oprava konfliktů pravidel mezi PaddingAndLengthCheckForCharVarchar a ResolveAggregateFunctions
  • [SPARK-33938] [SQL][3.1] Optimalizace like any/all by LikeSimplification
  • [SPARK-34021] [R] Oprava hyper odkazů v dokumentaci SparkR pro odeslání CRAN
  • [SPARK-34011] [SQL][3.1][3.0] Aktualizace mezipaměti v ALTER TABLE .. RENAME TO PARTITION
  • [SPARK-33948] [SQL] Oprava chyby CodeGen metody MapObjects.doGenCode v jazyce Scala 2.13
  • [SPARK-33635] [SS] Úprava pořadí vrácení se změnami v KafkaTokenUtil.needTokenUpdate k nápravě regrese výkonu
  • [SPARK-33029] [JÁDRO][WEBI] Oprava nesprávně označené stránky exekutoru uživatelského rozhraní jako vyloučeného ovladače
  • [SPARK-34015] [R] Oprava časování vstupu v gapply
  • [SPARK-34012] [SQL] Zachování konzistentního chování, pokud je konfigurace spark.sql.legacy.parser.havingWithoutGroupByAsWhere pravdivá s průvodcem migrací
  • [SPARK-33844] [SQL][3.1] Příkaz InsertIntoHiveDir by měl také zkontrolovat název sloupce.
  • [SPARK-33935] [SQL] Oprava nákladové funkce CBO
  • [SPARK-33100] [SQL] Ignorování středníku uvnitř závorky komentáře v spark-sql
  • [SPARK-34000] [JÁDRO] Oprava stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
  • [SPARK-33992] [SQL] přepsání transformaceUpWithNewOutput pro přidání allowInvokingTransformsInAnalyzer
  • [SPARK-33894] [SQL] Změna viditelnosti tříd privátních případů v mllib, aby nedocházelo k chybám kompilace za běhu v jazyce Scala 2.13
  • [SPARK-33950] [SQL][3.1][3.0] Aktualizace mezipaměti ve verzi 1 ALTER TABLE .. DROP PARTITION
  • [SPARK-33980] [SS] Invalidate char/varchar in spark.readStream.schema
  • [SPARK-33945] [SQL][3.1] Zpracovává náhodnou počáteční hodnotu skládající se ze stromu výrazů.
  • [SPARK-33398] Oprava načítání modelů stromu před Sparkem 3.0
  • [SPARK-33963] [SQL] Canonicalize HiveTableRelation w/o table stats
  • [SPARK-33906] [WEBI] Oprava chyby zablokované stránky exekutoru uživatelského rozhraní kvůli nedefinovaným metrikám peakMemoryMetrics
  • [SPARK-33944] [SQL] Nesprávné protokolování klíčů skladu v možnostech SharedState
  • [SPARK-33936] [SQL][3.1] Přidání verze při přidání rozhraní konektoru
  • [SPARK-33916] [JÁDRO] Oprava posunu záložního úložiště a zlepšení pokrytí testu komprese kodeků
  • [SPARK-33899] [SQL][3.1] Oprava selhání kontrolního výrazu ve verzi 1 SHOW TABLES/VIEWS on spark_catalog
  • [SPARK-33901] [SQL] Oprava chyby zobrazení typu Char a Varchar za seznamy DDLS
  • [SPARK-33897] [SQL] V metodě spojení nejde nastavit možnost cross
  • [SPARK-33907] [SQL][3.1] Pouze vyřazování sloupců JsonToStructs, pokud jsou možnosti analýzy prázdné
  • [SPARK-33621] [SPARK-33784] [SQL][3.1] Přidání způsobu vložení pravidel přepsání zdroje dat
  • [SPARK-33900] [WEBI] Zobrazit velikost náhodného čtení / záznamy správně, pokud je k dispozici pouze remotebytesread
  • [SPARK-33892] [SQL] Zobrazení znaku/varcharu v DESC a SHOW CREATE TABLE
  • [SPARK-33895] [SQL] Selhání znaku a varcharu v MetaOperation of ThriftServer
  • [SPARK-33659] [SS] Zdokumentujte aktuální chování rozhraní DATAStreamWriter.toTable API.
  • [SPARK-33893] [JÁDRO] Vyloučení správce záložních bloků z executorList
  • [SPARK-33277] [PYSPARK][SQL] Použití ContextAwareIteratoru k zastavení využívání po skončení úkolu
  • [SPARK-33889] [SQL][3.1] Oprava NPE z SHOW PARTITIONS tabulek V2
  • [SPARK-33879] [SQL] Hodnoty Char Varchar selžou s chybou shody ve sloupcích oddílů
  • [SPARK-33877] [SQL] Referenční dokumenty JAZYKa SQL pro seznam sloupců INSERT
  • [SPARK-33876] [SQL] Přidání kontroly délky čtení znaků char/varchar z tabulek s externím umístěním
  • [SPARK-33846] [SQL] Zahrnutí komentářů pro vnořené schéma v souboru StructType.toDDL
  • [SPARK-33860] [SQL] Make CatalystTypeConverters.convertToCatalyst match special Array value
  • [SPARK-33834] [SQL] Ověření SLOUPCE ALTER TABLE CHANGE pomocí znaku a varcharu
  • [SPARK-33853] [SQL] EXPLAIN CODEGEN a BenchmarkQueryTest nezobrazují poddotazový kód
  • [SPARK-33836] [SS][PYTHON] Zveřejnění Třídy DataStreamReader.table a DataStreamWriter.toTable
  • [SPARK-33829] [SQL][3.1] Přejmenování tabulek v2 by mělo znovu vytvořit mezipaměť.
  • [SPARK-33756] [SQL] Make BytesToBytesMap MapIterator idempotentní
  • [SPARK-33850] [SQL] FUNKCE EXPLAIN FORMATTED nezobrazuje plán poddotazů, pokud je povolená funkce AQE.
  • [SPARK-33841] [JÁDRO][3.1] Oprava potíží s občasným mizením úloh ze shS při vysokém zatížení
  • [SPARK-33593] [SQL] Čtečka vektorů získala nesprávná data s hodnotou binárního oddílu.
  • [SPARK-26341] [WEBI] Zveřejnění metrik paměti exekutoru na úrovni fáze na kartě Fáze
  • [SPARK-33831] [UŽIVATELSKÉ ROZHRANÍ] Aktualizace na jetty 9.4.34
  • [SPARK-33822] [SQL] CastSupport.cast Použití metody v HashJoin
  • [SPARK-33774] [UŽIVATELSKÉ ROZHRANÍ][JÁDRO] Zpět na hlavní server vrátí chybu 500 v samostatném clusteru.
  • [SPARK-26199] [SPARK-31517] [R] Oprava strategie pro zpracování ... názvy v mutate
  • [SPARK-33819] [JÁDRO][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader by měl být package private
  • [SPARK-33697] [SQL] Funkce RemoveRedundantProjects by měla ve výchozím nastavení vyžadovat řazení sloupců.
  • [SPARK-33752] [SQL][3.1] Vyhněte se getSimpleMessage pro AnalysisException, který opakovaně přidává středník.
  • [SPARK-33788] [SQL][3.1][3.0][2.4] Vyvolání výjimky NoSuchPartitionsException z HiveExternalCatalog.dropPartitions()
  • [SPARK-33803] [SQL] Řazení vlastností tabulky podle klíče v příkazu DESCRIBE TABLE
  • [SPARK-33786] [SQL] Při změně názvu tabulky by se měla respektovat úroveň úložiště pro mezipaměť.
  • [SPARK-33273] [SQL] Oprava podmínky časování v poddotazovém spuštění
  • [SPARK-33653] [SQL][3.1] DSv2: FUNKCE REFRESH TABLE by měla znovu uložit samotnou tabulku do mezipaměti.
  • [SPARK-33777] [SQL] Seřazení výstupu V2 SHOW PARTITIONS
  • [SPARK-33733] [SQL] PullOutNondeterministic by měl kontrolovat a shromažďovat deterministické pole
  • [SPARK-33764] [SS] Nastavení intervalu údržby úložiště stavu jako konfigurace SQL
  • [SPARK-33729] [SQL] Při aktualizaci mezipaměti by Spark neměl při rekachování dat používat plán uložený v mezipaměti.
  • [SPARK-33742] [SQL][3.1] Vyvolání výjimky PartitionsAlreadyExistException z HiveExternalCatalog.createPartitions()
  • [SPARK-33706] [SQL] Vyžadování plně zadaného identifikátoru oddílu v partitionExists()
  • [SPARK-33740] [SQL] Konfigurace hadoopu v hive-site.xml můžou přepsat již existující konfigurace hadoopu.
  • [SPARK-33692] [SQL] Zobrazení by mělo pro funkci vyhledávání použít zachycený katalog a obor názvů.
  • [SPARK-33669] Chybná chybová zpráva z monitorování stavu aplikace YARN při sc.stop v režimu klienta yarn
  • [SPARK-32110] [SQL] Normalizovat speciální plovoucí čísla v HyperLogLogu++
  • [SPARK-33677] [SQL] Přeskočit pravidlo LikeSimplification, pokud vzor obsahuje jakýkoli řídicí znak
  • [SPARK-33693] [SQL] vyřaďte spark.sql.hive.convertCTAS
  • [SPARK-33641] [SQL] Zneplatnění nových typů char/varchar ve veřejných rozhraních API, která vytvářejí nesprávné výsledky
  • [SPARK-32680] [SQL] Nezpracovávejte předběžné zpracování V2 CTAS s nevyřešeným dotazem
  • [SPARK-33676] [SQL] Vyžadování přesné shody specifikace oddílu se schématem ve verzi 2 ALTER TABLE .. ADD/DROP PARTITION
  • [SPARK-33670] [SQL] Ověřte, že je zprostředkovatel oddílu Hive v1 SHOW TABLE EXTENDED.
  • [SPARK-33663] [SQL] Nezařazování by se nemělo volat u existujících dočasných zobrazení.
  • [SPARK-33667] [SQL] Respektujte konfiguraci při řešení specifikace oddílu spark.sql.caseSensitive v 1. SHOW PARTITIONS
  • [SPARK-33652] [SQL] DSv2: DeleteFrom by měl aktualizovat mezipaměť

Aktualizace údržby

Viz aktualizace údržby Databricks Runtime 9.0.

Prostředí systému

  • Operační systém: Ubuntu 20.04.2 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.10
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 certifi 2020.12.5
chardet 4.0.0 cyklista 0.10.0 Cython 0.29.23
dbus-python 1.2.16 dekoratér 5.0.6 distlib 0.3.2
informace o distribuci 0.23ubuntu1 přehled omezujících vlastností 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.22.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 1.0.1 jupyter-client 6.1.12 jupyter-core 4.7.1
verizonsolver 1.3.1 Koaly 1.8.1 matplotlib 3.4.2
numpy 1.19.2 pandas 1.2.4 parso 0.7.0
bábovka 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
Polštář 8.2.0 jádro 21.0.1 plotly 4.14.3
prompt-toolkit 3.0.17 protobuf 3.17.2 psycopg2 2.8.5
ptyprocess 0.7.0 pyarrow 4.0.0 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 python-apt 2.0.0+ubuntu0.20.4.5
python-dateutil 2.8.1 pytz 2020.5 pyzmq 20.0.0
žádosti 2.25.1 requests-unixsocket 0.2.0 Opakování... 1.3.3
s3transfer 0.3.7 scikit-learn 0.24.1 scipy 1.6.2
seaborn 0.11.1 setuptools 52.0.0 Šest 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 threadpoolctl 2.1.0
tornádo 6.1 vlastnosti 5.0.5 bezobslužné upgrady 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
kolo 0.36.2

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2021-07-28.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 backporty 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bitové 4.0.4 bit64 4.0.5 blob 1.2.1
startování 1.3-28 vařit 1.0-6 verva 1.1.0
koště 0.7.2 volající 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
Rozhraní příkazového řádku 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 barevný prostor 2.0-0 commonmark 1,7
– kompilátor 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 pastelka 1.3.4 přihlašovací údaje 1.3.0
nežádoucí signál 1.1.0.1 kudrna 4.3 data.table 1.13.4
Power BI 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
trávit 0.6.27 dplyr 1.0.2 DT 0,16
tři tečky 0.3.1 evaluate 0,14 fanynky 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 zahraniční 0.8-81 kovat 0.2.0
Fs 1.5.0 budoucnost 1.21.0 Generik 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globálních objektů 0.14.0
lepidlo 1.4.2 Gower 0.2.2 Grafika 4.1.0
grDevices 4.1.0 mřížka 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 útočiště 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iterátory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 pletení 1,30
značení 0.4.2 později 1.1.0.1 mříž 0.20-44
láva 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
sleva 1,1 MŠE 7.3-54 Matice 1.3-4
memoise 1.1.0 metody 4.1.0 mgcv 1.8-36
mim 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
paralelně 1.22.0 pilíř 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 chválit 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Průběh 1.2.2 sliby 1.1.1 proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
Analýza rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recepty 0.1.15
odvetný zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 váhy 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 tvar 1.4.5
lesklý 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 prostorový 7.3-11 spline křivky 4.1.0
sqldf 0.4-11 ČTVEREC 2020.5 statistické údaje 4.1.0
Statistiky 4 4.1.0 stringi 1.5.3 stringr 1.4.0
přežití 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
Uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vous 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacecommerceanalytics 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.7.1
org.apache.kurátor kurátor-framework 2.7.1
org.apache.kurátor kurátor-recepty 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy břečťan 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kódování parquet 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty pokračování jetty 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core žerzejové společné 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podložky 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark nepoužitý 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel kočky-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52