次の方法で共有

Databricks Runtime 14.0 (サポート期間終了)

  • [アーティクル]

Note

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.0 に関する情報が記載されています。

Databricks は、2023 年 9 月にこのバージョンをリリースしました。

新機能と機能強化

行の追跡は GA です

Delta Lake の行追跡が一般提供されました。 「Delta テーブルの行追跡の使用」を参照してください。

更新の予測 I/O は一般提供されています

更新の予測 I/O は一般提供になりました。 「予測 I/O とは」を参照してください。

削除ベクトルは一般提供されています

削除ベクトルは一般提供になりました。 「削除ベクトルとは」を参照してください。

Spark 3.5.0 が一般提供されるようになりました

Apache Spark 3.5.0 が一般提供されるようになりました。 「Spark リリース 3.5.0」をご覧ください。

Python のユーザー定義テーブル関数のパブリック プレビュー

ユーザー定義テーブル関数 (UDTF) を使用すると、スカラー値の代わりにテーブルを返す関数を登録できます。 「Python ユーザー定義テーブル関数 (UDTF)」を参照してください。

行レベルのコンカレンシーのパブリック プレビュー

行レベルのコンカレンシーは、行レベルで変更を検出し、同じデータ ファイル内の異なる行を更新または削除する同時実行書き込みの競合する変更を自動的に解決することで、同時書き込み操作間の競合を軽減します。 「行レベルのコンカレンシーでの書き込みの競合」を参照してください。

既定の現在の作業ディレクトリが変更されました

ローカルで実行されるコードの既定の現在の作業ディレクトリ (CWD) は、実行されているノートブックまたはスクリプトを含むディレクトリになりました。 これには、%sh や Python、または Spark を使わない R コードなどのコードが含まれます。 「既定の現在の作業ディレクトリとは?」を参照してください。

sparklyr に関する既知の問題

インストールされているバージョンの sparklyr パッケージ (バージョン 1.8.1) は、Databricks Runtime 14.0 と互換性がありません。 sparklyr を使用するには、バージョン 1.8.3 以降をインストールします。

共有クラスター アーキテクチャでの Spark Connect の概要

Databricks Runtime 14.0 以降では、共有クラスターでは、Python REPL の Spark ドライバーで Spark Connect が既定で使用されるようになりました。 内部 Spark API には、ユーザー コードからアクセスできなくなりました。

Spark Connect は、従来の REPL 統合ではなく、REPL から Spark ドライバーと対話するようになりました。

使用可能な Spark バージョン API の一覧の更新

runtime_engine = PHOTON を設定して Photon を有効にし、グラビトン インスタンス タイプを選択して aarch64 を有効にします。 Azure Databricks は、適切な Databricks ランタイム バージョンを設定します。 以前は、Spark バージョン API は各バージョンの実装固有のランタイムを返していました。 REST API リファレンスの GET /api/2.0/clusters/spark-versions を参照してください。

破壊的変更

Databricks Runtime 14.0 以降では、共有アクセス モードのクラスターでは、クライアントとサーバー間の通信に Spark Connect が使用されます。 この機能では、次のような点が変更されています。

共有アクセス モードの制限の詳細については、「Unity Catalog のコンピューティング アクセス モードの制限事項」を参照してください。

共有アクセス モードのクラスター上の Python

  • sqlContext が使用できません。 Azure Databricks では、SparkSession インスタンスの spark 変数を使用することをお勧めします。
  • Spark Context (sc) は Notebooks で使用できなくなり、共有アクセス モードのクラスターで Databricks Connect を使用している場合にも使用できなくなりました。 以下の sc 関数は使用できなくなりました。
  • データセット情報機能は現在サポートされていません。
  • Apache Spark に対してクエリを実行するときに JVM に依存しなくなったため、JVM に関連する内部 API (_jsc、_jconf、_jvm、_jsparkSession、_jreader、_jc、_jseq、_jdf、_jmap、_jcols など) はサポートされなくなりました。
  • spark.conf を使用して構成値にアクセスする場合は、動的ランタイム構成値にのみアクセスできます。
  • Delta Live Tables 分析コマンドは、共有クラスターではまだサポートされていません。

共有アクセス モードのクラスターの Delta

  • Python では、Apache Spark にクエリを実行する場合に JVM に依存しなくなります。 JVM に関連する内部 API (DeltaTable._jdt、DeltaTableBuilder._jbuilder、DeltaMergeBuilder._jbuilder、DeltaOptimizeBuilder._jbuilder など) はサポートされなくなりました。

共有アクセス モードのクラスターの SQL

  • DBCACHE コマンドと DBUNCACHE コマンドはサポートされなくなりました。
  • cache table db as show databases など、まれなユース ケースはサポートされなくなりました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • asttokens (2.2.1 から 2.0.5 へ)
    • attrs (21.4.0 から 22.1.0 へ)
    • botocore (1.27.28 から 1.27.96 へ)
    • certifi (2022.9.14 から 2022.12.7 へ)
    • 暗号 (37.0.1 から 39.0.1 へ)
    • debugpy (1.6.0 から 1.6.7 へ)
    • docstring-to-markdown (0.12 から 0.11 へ)
    • 1.2.0 から 0.8.3 への実行
    • facets-overview (1.0.3 から 1.1.1 へ)
    • googleapis-common-protos (1.56.4 から 1.60.0 へ)
    • grpcio (1.48.1 から 1.48.2 へ)
    • idna (3.3 から 3.4 へ)
    • ipykernel (6.17.1 から 6.25.0 へ)
    • ipython (8.10.0 から 8.14.0 へ)
    • Jinja2 (2.11.3 から 3.1.2 へ)
    • jsonschema (4.16.0 から 4.17.3 へ)
    • jupyter-core (4.11.2 から 5.2.0 へ)
    • kiwisolver (1.4.2 から 1.4.4 へ)
    • MarkupSafe (2.0.1 から 2.1.1 へ)
    • matplotlib (3.5.2 から 3.7.0 へ)
    • nbconvert (6.4.4 から 6.5.4 へ)
    • nbformat (5.5.0 から 5.7.0 へ)
    • nest-asyncio (1.5.5 から 1.5.6 へ)
    • notebook (6.4.12 から 6.5.2 へ)
    • numpy (1.21.5 から 1.23.5 へ)
    • packaging (21.3 から 22.0 へ)
    • pandas (1.4.4 から 1.5.3 へ)
    • pathspec (0.9.0 から 0.10.3 へ)
    • patsy (0.5.2 から 0.5.3 へ)
    • Pillow (9.2.0 から 9.4.0 へ)
    • pip (22.2.2 から 22.3.1 へ)
    • protobuf (3.19.4 から 4.24.0 へ)
    • pytoolconfig (1.2.2 から 1.2.5 へ)
    • pytz (2022.1 から 2022.7 へ)
    • s3transfer (0.6.0 から 0.6.1 へ)
    • seaborn (0.11.0 から 0.12.2 へ)
    • setuptools (63.4.1 から 65.6.3 へ)
    • soupsieve (2.3.1 から 2.3.2.post1 へ)
    • stack-data (0.6.2 から 0.2.0 へ)
    • statsmodels (0.13.2 から 0.13.5 へ)
    • terminado (0.13.1 から 0.17.1 へ)
    • traitlets (5.1.1 から 5.7.1 へ)
    • typing_extensions (4.3.0 から 4.4.0 へ)
    • urllib3 (1.26.11 から 1.26.14 へ)
    • virtualenv (20.16.3 から 20.16.7 へ)
    • wheel (0.37.1 から 0.38.4 へ)
  • アップグレードされた R ライブラリ:
    • arrow (10.0.1 から 12.0.1 へ)
    • base (4.2.2 から 4.3.1 へ)
    • BLOB (1.2.3 から 1.2.4 へ)
    • broom (1.0.3 から 1.0.5 へ)
    • bslib (0.4.2 から 0.5.0 へ)
    • cachem (1.0.6 から 1.0.8)
    • caret (6.0-93 から 6.0-94 へ)
    • chron (2.3-59 から 2.3-61 へ)
    • class (7.3-21 から 7.3-22 へ)
    • cli (3.6.0 から 3.6.1 へ)
    • clock (0.6.1 から 0.7.0 へ)
    • commonmark (1.8.1 から 1.9.0 へ)
    • compiler (4.2.2 から 4.3.1 へ)
    • cpp11 (0.4.3 から 0.4.4 へ)
    • curl (5.0.0 から 5.0.1 へ)
    • data.table (1.14.6 から 1.14.8 へ)
    • datasets (4.2.2 から 4.3.1 へ)
    • dbplyr (2.3.0 から 2.3.3)
    • digest (0.6.31 から 0.6.33 へ)
    • downlit (0.4.2 から 0.4.3 へ)
    • dplyr (1.1.0 から 1.1.2 へ)
    • dtplyr (1.2.2 から 1.3.1 へ)
    • evaluate (0.20 から 0.21 へ)
    • fastmap (1.1.0 から 1.1.1 へ)
    • fontawesome (0.5.0 から 0.5.1 へ)
    • fs (1.6.1 から 1.6.2 へ)
    • future (1.31.0 から 1.33.0 へ)
    • future.apply (1.10.0 から 1.11.0 へ)
    • gargle (1.3.0 から 1.5.1 へ)
    • ggplot2 (3.4.0 から 3.4.2 へ)
    • gh (1.3.1 から 1.4.0 へ)
    • glmnet (4.1-6 から 4.1-7 へ)
    • googledrive (2.0.0 から 2.1.1 へ)
    • googlesheets4 (1.0.1 から 1.1.1 へ)
    • graphics (4.2.2 から 4.3.1 へ)
    • grDevices (4.2.2 から 4.3.1 へ)
    • grid (4.2.2 から 4.3.1 へ)
    • globals (0.3.1 から 0.3.3 へ)
    • hardhat (1.2.0 から 1.3.0 へ)
    • haven (2.5.1 から 2.5.3 へ)
    • hms (1.1.2 から 1.1.3 へ)
    • htmltools (0.5.4 から 0.5.5 へ)
    • htmlwidgets (1.6.1 から 1.6.2 へ)
    • httpuv (1.6.8 から 1.6.11 へ)
    • httr (1.4.4 から 1.4.6 へ)
    • ipred (0.9-13 から 0.9-14 へ)
    • jsonlite (1.8.4 から 1.8.7 へ)
    • KernSmooth が 2.23-20 から 2.23-21 に
    • knitr (1.42 から 1.43 へ)
    • later (1.3.0 から 1.3.1 へ)
    • lattice (0.20-45 から 0.21-8 へ)
    • lava (1.7.1 から 1.7.2.1 へ)
    • lubridate (1.9.1 から 1.9.2 へ)
    • markdown (1.5 から 1.7 へ)
    • MASS (7.3-58 から 7.3-60 へ)
    • Matrix (1.5-1 から 1.5-4.1 へ)
    • methods (4.2,2 から 4.3.1 へ)
    • mgcv (1.8-41 から 1.8-42 へ)
    • modelr (0.1.10 から 0.1.11 へ)
    • nnet (7.3-18 から 7.3-19 へ)
    • openssl (2.0.5 から 2.0.6 へ)
    • parallel (4.2.2 から 4.3.1 へ)
    • parallelly (1.34.0 から 1.36.1 へ)
    • pillar (1.8.1 から 1.9.0 へ)
    • pkgbuild (1.4.0 から 1.4.2 へ)
    • pkgload (1.3.2 から 1.3.2.1 へ)
    • pROC (1.18.0 から 1.18.4 へ)
    • processx (3.8.0 から 3.8.2 へ)
    • prodlim (2019.11.13 から 2023.03.31 へ)
    • profvis (0.3.7 から 0.3.8 へ)
    • ps (1.7.2 から 1.7.5 へ)
    • Rcpp (1.0.10 から 1.0.11 へ)
    • readr (2.1.3 から 2.1.4 へ)
    • readxl (1.4.2 から 1.4.3 へ)
    • recipes (1.0.4 から 1.0.6 へ)
    • rlang (1.0.6 から 1.1.1 へ)
    • rmarkdown (2.20 から 2.23 へ)
    • Rserve (1.8-12 から 1.8-11 へ)
    • RSQLite (2.2.20 から 2.3.1 へ)
    • rstudioapi (0.14 から 0.15.0 へ)
    • sass (0.4.5 から 0.4.6 へ)
    • shiny (1.7.2 から 1.7.3 へ)
    • sparklyr (1.7.9 から 1.8.1 へ)
    • SparkR (3.4.1 から 3.5.0 へ)
    • splines (4.2.2 から 4.3.1 へ)
    • stats (4.2.2 から 4.3.1 へ)
    • stats4 (4.2.2 から 4.3.1 へ)
    • survival (3.5-3 から 3.5-5 へ)
    • sys (3.4.1 から 3.4.2 へ)
    • tcltk (4.2.2 から 4.3.1 へ)
    • testthat (3.1.6 から 3.1.10 へ)
    • tibble (3.1.8 から 3.2.1 へ)
    • tidyverse (1.3.2 から 2.0.0 へ)
    • tinytex (0.44 から 0.45 へ)
    • tools (4.2.2 から 4.3.1 へ)
    • tzdb (0.3.0 から 0.4.0 へ)
    • usethis (2.1.6 から 2.2.2 へ)
    • utils (4.2.2 から 4.3.1 へ)
    • vctrs (0.5.2 から 0.6.3 へ)
    • viridisLite (0.4.1 から 0.4.2 へ)
    • vroom (1.6.1 から 1.6.3 へ)
    • waldo (0.4.0 から 0.5.1 へ)
    • xfun (0.37 から 0.39 へ)
    • xml2 (1.3.3 から 1.3.5 へ)
    • zip (2.2.2 から 2.3.0 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-annotations (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.core.jackson-core (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.core.jackson-databind (2.14.2から 2.15.2 へ)
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-joda (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 (2.13.4 から 2.15.1 へ)
    • com.fasterxml.jackson.module.jackson-module-paranamer (2.14.2 から 2.15.2 へ)
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 (2.14.2 から 2.15.2 へ)
    • com.github.luben.zstd-jni (1.5.2-5 から 1.5.5-4 へ)
    • com.google.code.gson.gson (2.8.9 から 2.10.1 へ)
    • com.google.crypto.tink.tink (1.7.0 から 1.9.0 へ)
    • commons-codec.commons-codec (1.15 から 1.16.0 へ)
    • commons-io.commons-io (2.11.0 から 2.13.0 へ)
    • io.airlift.aircompressor from が 0.21 から 0.24 へ
    • io.dropwizard.metrics.metrics-core (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-graphite (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-healthchecks (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-jetty9 (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-jmx (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-json (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-jvm (4.2.10 から 4.2.19 へ)
    • io.dropwizard.metrics.metrics-servlets (4.2.10 から 4.2.19 へ)
    • io.netty.netty-all (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-buffer (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec-http (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec-http2 (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-codec-socks (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-common (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-handler (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-handler-proxy (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-resolver (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport-classes-epoll (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport-classes-kqueue (4.1.87.Final から 4.1.93.Final へ)
    • io.netty.netty-transport-native-epoll (4.1.87.Final-linux-x86_64 から 4.1.93.Final-linux-x86_64 へ)
    • io.netty.netty-transport-native-kqueue (4.1.87.Final-osx-x86_64 から 4.1.93.Final-osx-x86_64 へ)
    • io.netty.netty-transport-native-unix-common (4.1.87.Final から 4.1.93.Final へ)
    • org.apache.arrow.arrow-format (11.0.0 から 12.0.1 へ)
    • org.apache.arrow.arrow-memory-core (11.0.0 から 12.0.1 へ)
    • org.apache.arrow.arrow-memory-netty (11.0.0 から 12.0.1 へ)
    • org.apache.arrow.arrow-vector (11.0.0 から 12.0.1 へ)
    • org.apache.avro.avro (1.11.1 から 1.11.2 へ)
    • org.apache.avro.avro-ipc (1.11.1 から 1.11.2 へ)
    • org.apache.avro.avro-mapred (1.11.1 から 1.11.2 へ)
    • org.apache.commons.commons-compress が 1.21 から 1.23.0 へ
    • org.apache.hadoop.hadoop-client-runtime (3.3.4 から 3.3.6 へ)
    • org.apache.logging.log4j.log4j-1.2-api (2.19.0 から 2.20.0 へ)
    • org.apache.logging.log4j.log4j-api (2.19.0 から 2.20.0 へ)
    • org.apache.logging.log4j.log4j-core (2.19.0 から 2.20.0 へ)
    • org.apache.logging.log4j.log4j-slf4j2-impl (2.19.0 から 2.20.0 へ)
    • org.apache.orc.orc-core (1.8.4-shaded-protobuf から 1.9.0-shaded-protobuf へ)
    • org.apache.orc.orc-mapreduce (1.8.4-shaded-protobuf から 1.9.0-shaded-protobuf へ)
    • org.apache.orc.orc-shims (1.8.4 から 1.9.0 へ)
    • org.apache.xbean.xbean-asm9-shaded (4.22 から 4.23)
    • org.checkerframework.checker-qual (3.19.0 から 3.31.0 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.36 から 2.40 へ)
    • org.glassfish.jersey.containers.jersey-container-servlet (2.36 から 2.40 へ)
    • org.glassfish.jersey.core.jersey-client (2.36 から 2.40 へ)
    • org.glassfish.jersey.core.jersey-common (2.36 から 2.40 へ)
    • org.glassfish.jersey.core.jersey-server from (2.36 から 2.40 へ)
    • org.glassfish.jersey.inject.jersey-hk2 (2.36 から 2.40 へ)
    • org.javassist.javassist (3.25.0-GA から 3.29.2-GA へ)
    • org.mariadb.jdbc.mariadb-java-client (2.7.4 から 2.7.9 へ)
    • org.postgresql.postgresql (42.3.8 から 42.6.0 へ)
    • org.roaringbitmap.RoaringBitmap (0.9.39 から 0.9.45 へ)
    • org.roaringbitmap.shims (0.9.39 から 0.9.45 へ)
    • org.rocksdb.rocksdbjni (7.8.3 から 8.3.2 へ)
    • org.scala-lang.modules.scala-collection-compat_2.12 (2.4.3 から 2.9.0 へ)
    • org.slf4j.jcl-over-slf4j (2.0.6 から 2.0.7 へ)
    • org.slf4j.jul-to-slf4j (2.0.6 から 2.0.7 へ)
    • org.slf4j.slf4j-api (2.0.6 から 2.0.7 へ)
    • org.xerial.snappy.snappy-java (1.1.10.1 から 1.1.10.3 へ)
    • org.yaml.snakeyaml (1.33 から 2.0)

Apache Spark

Databricks Runtime 14.0 このリリースには、Databricks Runtime 13.3 LTS に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-45109] [DBRRM-462][SC-142247][SQL][CONNECT] Connect で aes_decrypt と ln 関数を修正
  • [SPARK-44980] [DBRRM-462][SC-141024][PYTHON][CONNECT] 継承した namedtuple が createDataFrame で機能するように修正
  • [SPARK-44795] [DBRRM-462][SC-139720][CONNECT] CodeGenerator Cache が classloader に固有である必要がある
  • [SPARK-44861] [DBRRM-498][SC-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][SC-139767][CONNECT] ストリーミング クエリが Connect の成果物管理と動作するようにする
  • [SPARK-44791] [DBRRM-462][SC-139623][CONNECT] ArrowDeserializer が REPL によって生成されたクラスと動作するようにする
  • [SPARK-44876] [DBRRM-480][SC-140431][PYTHON] Spark Connect での矢印最適化 Python UDF の修正
  • [SPARK-44877] [DBRRM-482][SC-140437][CONNECT][PYTHON] Spark Connect の python protobuf 関数をサポート
  • [SPARK-44882] [DBRRM-463][SC-140430][PYTHON][CONNECT] PySpark から関数 uuid/random/chr を削除する
  • [SPARK-44740] [DBRRM-462][SC-140320][CONNECT][FOLLOW] Artifacts のメタデータ値を修正する
  • [SPARK-44822] [DBRRM-464][PYTHON][SQL] Python UDF を既定で非決定論的にする
  • [SPARK-44836] [DBRRM-468][SC-140228][PYTHON] Refactor Arrow Python UDTF
  • [SPARK-44738] [DBRRM-462][SC-139347][PYTHON][CONNECT] 呼び出しに不足しているクライアント メタデータを追加する
  • [SPARK-44722] [DBRRM-462][SC-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' オブジェクトに属性 'message' がありません
  • [SPARK-44625] [DBRRM-396][SC-139535][CONNECT] SparkConnectExecutionManager を使用してすべての実行を追跡する
  • [SPARK-44663] [SC-139020][DBRRM-420][PYTHON] Python UDF の矢印の最適化を既定で無効にする
  • [SPARK-44709] [DBRRM-396][SC-139250][CONNECT] 新しいスレッドで再アタッチ可能な実行で ExecuteGrpcResponseSender を実行してフロー制御を修正する
  • [SPARK-44656] [DBRRM-396][SC-138924][CONNECT] すべての反復子を CloseableIterators にする
  • [SPARK-44671] [DBRRM-396][SC-138929][PYTHON][CONNECT] 初期要求が Python クライアントのサーバーに到達しなかった場合の ExecutePlan の再試行
  • [SPARK-44624] [DBRRM-396][SC-138919][CONNECT] 初期要求が Python クライアントのサーバーに到達しなかった場合の ExecutePlan の再試行
  • [SPARK-44574] [DBRRM-396][SC-138288][SQL][CONNECT] sq/api に移動したエラーも AnalysisException を使用する必要がある
  • [SPARK-44613] [DBRRM-396][SC-138473][CONNECT] Encoders オブジェクトを追加する
  • [SPARK-44626] [DBRRM-396][SC-138828][SS][CONNECT] Spark Connect のクライアント セッションがタイムアウトしたときのストリーミング クエリ終了のフォローアップ
  • [SPARK-44642] [DBRRM-396][SC-138882][CONNECT] サーバーからエラーが発生した後の ExecutePlanResponseReattachableIterator の ReleaseExecute
  • [SPARK-41400] [DBRRM-396][SC-138287][CONNECT] Connect クライアント Catalyst 依存関係の削除
  • [SPARK-44664] [DBRRM-396][PYTHON][CONNECT] Python クライアントで反復子を閉じるときに実行を解放する
  • [SPARK-44631] [DBRRM-396][SC-138823][CONNECT][CORE][14.0.0] 分離セッション キャッシュが削除されたときにセッション ベースのディレクトリを削除する
  • [SPARK-42941] [DBRRM-396][SC-138389][SS][CONNECT] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][SC-138570][CONNECT] ぶら下がっている反復子は残さない
  • [SPARK-44424] [DBRRM-396][CONNECT][PYTHON][14.0.0] Spark Connect で既存の実行に再アタッチするための Python クライアント
  • [SPARK-44637] [SC-138571] ExecuteResponseObserver へのアクセスを同期する
  • [SPARK-44538] [SC-138178][CONNECT][SQL] Row.jsonValue とフレンドを復帰させる
  • [SPARK-44421] [SC-138434][SPARK-44423][CONNECT] Spark Connect での再アタッチ可能な実行
  • [SPARK-44418] [SC-136807][PYTHON][CONNECT] protobuf を 3.19.5 から 3.20.3 にアップグレードする
  • [SPARK-44587] [SC-138315][SQL][CONNECT] protobuf マーシャラー再帰制限の引き上げ
  • [SPARK-44591] [SC-138292][CONNECT][SQL] SparkListenerSQLExecutionStart に jobTags を追加する
  • [SPARK-44610] [SC-138368][SQL] DeduplicateRelations は新しいインスタンスを作成するときにエイリアス メタデータを保持する必要がある
  • [SPARK-44542] [SC-138323][CORE] 例外ハンドラーで SparkExitCode クラスを一括読み込みする
  • [SPARK-44264] [SC-138143][PYTHON]Deepspeed の E2E テスト
  • [SPARK-43997] [SC-138347][CONNECT] Java UDF のサポートを追加する
  • [SPARK-44507] [SQL][CONNECT][14.x][14.0] AnalysisException を sql/api に移動する
  • [SPARK-44453] [SC-137013][PYTHON] difflib を使用して assertDataFrameEqual でエラーを表示する
  • [SPARK-44394] [SC-138291][CONNECT][WEBUI][14.0] Spark Connect 用の Spark UI ページを追加する
  • [SPARK-44611] [SC-138415][CONNECT] scala-xml を除外しない
  • [SPARK-44531] [SC-138044][CONNECT][SQL][14.x][14.0] エンコーダー推論を sql/api に移動する
  • [SPARK-43744] [SC-138289][CONNECT][14.x][14.0] クラスの読み込み問題 cau... の修復
  • [SPARK-44590] [SC-138296][SQL][CONNECT] SqlCommandResult の矢印バッチ レコード制限を削除する
  • [SPARK-43968] [SC-138115][PYTHON] 出力数が間違っている Python UDF のエラー メッセージを改善する
  • [SPARK-44432] [SC-138293][SS][CONNECT] Spark Connect でセッションがタイムアウトしたときにストリーミング クエリを終了する
  • [SPARK-44584] [SC-138295][CONNECT] Scala クライアントで AddArtifactsRequest と ArtifactStatusesRequest のclient_type 情報を設定する
  • [SPARK-44552] [14.0][SC-138176][SQL] IntervalUtils から private object ParseState 定義を削除する
  • [SPARK-43660] [SC-136183][CONNECT][PS] Spark Connect で resample を有効にする
  • [SPARK-44287] [SC-136223][SQL] RowToColumnarExec および ColumnarToRowExec SQL 演算子で PartitionEvaluator API を使用します。
  • [SPARK-39634] [SC-137566][SQL] 行インデックス生成と組み合わせてファイル分割を許可する
  • [SPARK-44533] [SC-138058][PYTHON] Python UDTF の分析でアキュムレータ、ブロードキャスト、Spark ファイルのサポートを追加
  • [SPARK-44479] [SC-138146][PYTHON] ArrowStreamPandasUDFSerializer が列なし pandas DataFrame を受け入れるように修正
  • [SPARK-44425] [SC-138177][CONNECT] ユーザーが指定した sessionId が UUID であることを検証する
  • [SPARK-44535] [SC-138038][CONNECT][SQL] 必要なストリーミング API を sql/api に移動する
  • [SPARK-44264] [SC-136523][ML][PYTHON] Deepspeed Distributed Learning Class DeepspeedTorchDistributor を記述する
  • [SPARK-42098] [SC-138164][SQL] ResolveInlineTables を RuntimeReplaceable 式で処理できない問題を修正
  • [SPARK-44060] [SC-135693][SQL] ビルド側外部シャッフル ハッシュ結合用の Code-gen
  • [SPARK-44496] [SC-137682][SQL][CONNECT] SCSC で必要なインターフェイスを sql/api に移動する
  • [SPARK-44532] [SC-137893][CONNECT][SQL] ArrowUtils を sql/api に移動する
  • [SPARK-44413] [SC-137019][PYTHON] assertDataFrameEqual でサポートされていない arg データ型のエラーを明確にする
  • [SPARK-44530] [SC-138036][CORE][CONNECT] SparkBuildInfo を common/util に移動する
  • [SPARK-36612] [SC-133071][SQL] シャッフルハッシュ結合で左外部結合ビルドの左または右外部結合ビルドをサポート
  • [SPARK-44519] [SC-137728][CONNECT] SparkConnectServerUtils で jar のパラメーターが正しく生成されない
  • [SPARK-44449] [SC-137818][CONNECT] 直接矢印逆シリアル化のアップキャスト
  • [SPARK-44131] [SC-136346][SQL] Scala API の call_function を追加し、call_udf を非推奨にする
  • [SPARK-44541] [SQL] から役に立たない関数 hasRangeExprAgainstEventTimeCol を UnsupportedOperationChecker から削除する
  • [SPARK-44523] [SC-137859][SQL] 条件が FalseLiteral の場合、フィルターの maxRows/maxRowsPerPartition が 0 である
  • [SPARK-44540] [SC-137873][UI] jsonFormatter の未使用のスタイルシートと javascript ファイルを削除する
  • [SPARK-44466] [SC-137856][SQL] modifiedConfigs 以降 SPARK_DRIVER_PREFIX の構成を SPARK_EXECUTOR_PREFIX から除外する
  • [SPARK-44477] [SC-137508][SQL] TYPE_CHECK_FAILURE_WITH_HINTをエラー サブクラスとして扱う
  • [SPARK-44509] [SC-137855][PYTHON][CONNECT] Spark Connect Python クライアントでジョブ キャンセル API セットを追加する
  • [SPARK-44059] [SC-137023] 組み込み関数の名前付き引数のアナライザー サポートを追加
  • [SPARK-38476] [SC-136448][CORE] org.apache.spark.storage でエラー クラスを使用する
  • [SPARK-44486] [SC-137817][PYTHON][CONNECT] toPandas の PyArrow self_destruct 機能を実装する
  • [SPARK-44361] [SC-137200][SQL] MapInBatchExec で PartitionEvaluator API を使用する
  • [SPARK-44510] [SC-137652][UI] dataTables を 1.13.5 に更新し、一部の変更されていない png ファイルを削除する
  • [SPARK-44503] [SC-137808][SQL] TVF 呼び出しの TABLE 引数の後に PARTITION BY 句と ORDER BY 句の SQL 文法を追加する
  • [SPARK-38477] [SC-136319][CORE] org.apache.spark.shuffle でエラー クラスを使用する
  • [SPARK-44299] [SC-136088][SQL] エラー クラス LEGACY_ERROR_TEMP_227[4-6,8] に名前を割り当てる
  • [SPARK-44422] [SC-137567][CONNECT] Spark Connect の詳細な割り込み
  • [SPARK-44380] [SC-137415][SQL][PYTHON] Python で分析する Python UDTF のサポート
  • [SPARK-43923] [SC-137020][CONNECT] post listenerBus events durin...
  • [SPARK-44303] [SC-136108][SQL] エラー クラス LEGACY_ERROR_TEMP[2320-2324] に名前を割り当てる
  • [SPARK-44294] [SC-135885][UI] HeapHistogram 列が select-all-box で予期せず表示される問題を修正する
  • [SPARK-44409] [SC-136975][SQL] 他のユーザーと一貫性を保つために、Dataset.to で char/varchar を処理する
  • [SPARK-44334] [SC-136576][SQL][UI] ジョブのない失敗した DDL/DML の REST API 応答の状態は、COMPLETED ではなく FAILED にする必要がある
  • [SPARK-42309] [SC-136703][SQL] INCOMPATIBLE_DATA_TO_TABLE とサブクラスを紹介する。
  • [SPARK-44367] [SC-137418][SQL][UI] 失敗したクエリごとに UI にエラー メッセージを表示する
  • [SPARK-44474] [SC-137195][CONNECT] SparkConnectServiceSuite で "テスト観察応答" を再び有効にします
  • [SPARK-44320] [SC-136446][SQL] エラー クラス LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277] に名前を割り当てる
  • [SPARK-44310] [SC-136055][CONNECT] Connect サーバーのスタートアップ ログにホスト名とポートが表示されます
  • [SPARK-44309] [SC-136193][UI] [Executors] タブに Executor の時間の追加と削除を表示する
  • [SPARK-42898] [SC-137556][SQL] 文字列/日付キャストにタイム ゾーン ID が必要ないことをマークする
  • [SPARK-44475] [SC-137422][SQL][CONNECT] DataType とパーサーを sql/api に再配置する
  • [SPARK-44484] [SC-137562][SS]StreamingQueryProgress json メソッドに batchDuration を追加する
  • [SPARK-43966] [SC-137559][SQL][PYTHON] 非決定論的なテーブル値関数のサポート
  • [SPARK-44439] [SC-136973][CONNECT][SS]ID のみをクライアントに送り返す listListeners を修正しました
  • [SPARK-44341] [SC-137054][SQL] PartitionEvaluator API を使用してコンピューティング ロジックを定義し、WindowExec と WindowInPandasExec で使用する
  • [SPARK-43839] [SC-132680][SQL] _LEGACY_ERROR_TEMP_1337 から UNSUPPORTED_FEATURE.TIME_TRAVEL に変換
  • [SPARK-44244] [SC-135703][SQL] エラー クラス LEGACY_ERROR_TEMP[2305-2309] に名前を割り当てる
  • [SPARK-44201] [SC-136778][CONNECT][SS]Spark Connect 用 Scala でストリーミング リスナーのサポートを追加
  • [SPARK-44260] [SC-135618][SQL] エラー クラス LEGACY_ERROR_TEMP[1215-1245-2329] に名前を割り当て、_CharVarchar_Suite 内の例外を確認するために checkError() を使用する
  • [SPARK-42454] [SC-136913][SQL] SPJ: BatchScanExec ですべての SPJ 関連パラメーターをカプセル化する
  • [SPARK-44292] [SC-135844][SQL] エラー クラス LEGACY_ERROR_TEMP[2315-2319] に名前を割り当てる
  • [SPARK-44396] [SC-137221][CONNECT] 直接矢印シリアル化を追加する
  • [SPARK-44324] [SC-137172][SQL][CONNECT] CaseInsensitiveMap を sql/api に移動する
  • [SPARK-44395] [SC-136744][SQL] StreamingTableSuite にテストを追加し直す
  • [SPARK-44481] [SC-137401][CONNECT][PYTHON] pyspark.sql.is_remote を API にする
  • [SPARK-44278] [SC-137400][CONNECT] スレッド ローカル プロパティをクリーンアップする GRPC サーバー インターセプターを実装する
  • [SPARK-44264] [SC-137211][ML][PYTHON] Deepspeed を使用した関数の分散トレーニングをサポート
  • [SPARK-44430] [SC-136970][SQL] オプションが無効な場合に 原因を AnalysisException に追加する
  • [SPARK-44264] [SC-137167][ML][PYTHON] FunctionPicker を TorchDistributor に組み込む
  • [SPARK-44216] [SC-137046] [PYTHON] assertSchemaEqual API をパブリックにする
  • [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][SQL] すべてのドロップ テーブル ケースを DataSource V2 に移動する
  • [SPARK-43755] [SC-137171][CONNECT][MINOR] MetricGenerator でコピーを使用する代わりに AdaptiveSparkPlanHelper.allChildren を開く
  • [SPARK-44264] [SC-137187][ML][PYTHON] TorchDistributor をリファクターしてカスタム "run_training_on_file" 関数ポインターを許可する
  • [SPARK-43755] [SC-136838][CONNECT] SparkExecutePlanStreamHandler から別のスレッドに実行を移動する
  • [SPARK-44411] [SC-137198][SQL] ArrowEvalPythonExec と BatchEvalPythonExec で PartitionEvaluator API を使用する
  • [SPARK-44375] [SC-137197][SQL] DebugExec で PartitionEvaluator API を使用する
  • [SPARK-43967] [SC-137057][PYTHON] 空の戻り値を持つ通常の Python UDF をサポート
  • [SPARK-43915] [SC-134766][SQL] エラー クラス LEGACY_ERROR_TEMP[2438-2445] に名前を割り当てる
  • [SPARK-43965] [SC-136929][PYTHON][CONNECT] Spark Connect の Python UDTF をサポート
  • [SPARK-44154] [SC-137050][SQL] BitmapExpressionUtilsSuite に単体テストを追加し、ビットマップ集計式を軽微に改善しました
  • [SPARK-44169] [SC-135497][SQL] エラー クラス LEGACY_ERROR_TEMP[2300-2304] に名前を割り当てる
  • [SPARK-44353] [SC-136578][CONNECT][SQL] StructType.toAttributes を削除する
  • [SPARK-43964] [SC-136676][SQL][PYTHON] 矢印最適化 Python UDF のサポート
  • [SPARK-44321] [SC-136308][CONNECT] AnalysisException から ParseException を分離する
  • [SPARK-44348] [SAS-1910][SC-136644][CORE][CONNECT][PYTHON] 関連する変更を含む test_artifact を再有効化
  • [SPARK-44145] [SC-136698][SQL] 実行の準備ができたときにコールバックする
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] クロス検証ツール推定器テストを有効にする
  • [SPARK-44399] [SC-136669][PYHTON][CONNECT] useArrow が None の場合にのみ Python UDF で SparkSession をインポートする
  • [SPARK-43631] [SC-135300][CONNECT][PS] Spark Connect で Series.interpolate を有効にする
  • [SPARK-44374] [SC-136544][PYTHON][ML] Spark Connect 用の分散 ML のコード例を追加する
  • [SPARK-44282] [SC-135948][CONNECT] Spark Connect Scala Client で使用する DataType 解析を準備する
  • [SPARK-44052] [SC-134469][CONNECT][PS] Spark Connect の適切な Column クラスまたは DataFrame クラスを取得するための util を追加します。
  • [SPARK-43983] [SC-136404][PYTHON][ML][CONNECT] クロス検証ツール推定器を実装する
  • [SPARK-44290] [SC-136300][CONNECT] Spark Connect のセッション ベースのファイルとアーカイブ
  • [SPARK-43710] [SC-134860][CONNECT] Spark Connect 用に functions.date_part をサポートする
  • [SPARK-44036] [SC-134036][CONNECT][PS] タスクを簡略化するためにチケットのクリーンアップと統合を行います。
  • [SPARK-44150] [SC-135790][PYTHON][CONNECT] Arrow Python UDF の一致しない戻り値の型に対する明示的な矢印キャスト
  • [SPARK-43903] [SC-134754][PYTHON][CONNECT] Arrow Python UDF での ArrayType 入力のサポートを改善
  • [SPARK-44250] [SC-135819][ML][PYTHON][CONNECT] 分類エバリュエーターを実装する
  • [SPARK-44255] [SC-135704][SQL] StorageLevel を common/utils に再配置する
  • [SPARK-42169] [SC-135735] [SQL] to_csv関数のコード生成を実装する (StructsToCsv)
  • [SPARK-44249] [SC-135719][SQL][PYTHON] 戻り値の型を個別に送信するように PythonUDTFRunner をリファクターする
  • [SPARK-43353] [SC-132734][PYTHON] 残りのセッション エラーをエラー クラスに移行する
  • [SPARK-44133] [SC-134795][PYTHON] MyPy を 0.920 から 0.982 にアップグレードする
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 形式のイベント Serde
  • [SPARK-43353] "[SC-132734][PYTHON] 残りのセッション エラーをエラー クラスに移行する" を元に戻す
  • [SPARK-44100] [SC-134576][ML][CONNECT][PYTHON] 名前空間を pyspark.mlv2 から pyspark.ml.connect に移動する
  • [SPARK-44220] [SC-135484][SQL] StringConcat を sql/api に移動する
  • [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Catalog.listFunctions の省略可能なパターンを追加する
  • [SPARK-43982] [SC-134529][ML][PYTHON][CONNECT] Spark Connect に ML のパイプライン推定機能を実装する
  • [SPARK-43888] [SC-132893][CORE] 共通/ユーティリティへのログ記録の再配置
  • [SPARK-42941] [SC-134707][SS][CONNECT][1/2] "StreamingQueryListener - JSON 形式のイベント Serde" を元に戻す
  • [SPARK-43624] [SC-134557][PS][CONNECT] SparkConnectPlanner に EWM を追加する。
  • [SPARK-43981] [SC-134137][PYTHON][ML] Spark Connect での ML の基本的な保存/読み込み実装
  • [SPARK-43205] [SC-133371][SQL] SQLQueryTestSuite を修正
  • [SPARK-43376] "[SC-130433][SQL] テーブル キャッシュでのサブクエリの再利用を改善" を元に戻す
  • [SPARK-44040] [SC-134366][SQL] QueryStageExec の上の AggregateExec ノードの場合のコンピューティング統計を修正する
  • [SPARK-43919] [SC-133374][SQL] JSON 機能を行外に抽出する
  • [SPARK-42618] [SC-134433][PYTHON][PS] 次のメジャー リリースでの pandas 関連の動作の変更に関する警告
  • [SPARK-43893] [SC-133381][PYTHON][CONNECT] 矢印最適化 Python UDF での非アトミック データ型のサポート
  • [SPARK-43627] [SC-134290][SPARK-43626][PS][CONNECT] Spark Connect で pyspark.pandas.spark.functions.{kurt, skew} 有効にします。
  • [SPARK-43798] [SC-133990][SQL][PYTHON] Python ユーザー定義テーブル関数をサポートする
  • [SPARK-43616] [SC-133849][CONNECT][PS][CONNECT] Spark Connect で pyspark.pandas.spark.functions.mode 有を効にする
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach のサポート
  • [SPARK-43684] [SC-134107][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Spark Connect の (NullOps|NumOps).(eq|ne) を修正する。
  • [SPARK-43627] [SC-134151][SPARK-43622][PS][CONNECT] Spark Connect で pyspark.pandas.spark.functions.{var, stddev} を有効にします。
  • [SPARK-43616] [SC-133849][PS][CONNECT] Spark Connect で pyspark.pandas.spark.functions.product を有効にする
  • [SPARK-43610] [SC-133832][CONNECT][PS] Spark Connect で InternalFrame.attach_distributed_column を有効にする
  • [SPARK-43621] [SC-133852][PS][CONNECT] Spark Connect で pyspark.pandas.spark.functions.repeat を有効にする
  • [SPARK-43921] [SC-133461][PROTOBUF] ビルド時に Protobuf 記述子ファイルを生成する
  • [SPARK-43613] [SC-133727][PS][CONNECT] Spark Connect で pyspark.pandas.spark.functions.covar を有効にする
  • [SPARK-43376] [SC-130433][SQL] テーブル キャッシュでのサブクエリの再利用を改善する
  • [SPARK-43612] [SC-132011][CONNECT][PYTHON] Python クライアントで SparkSession.addArtifact を実装する
  • [SPARK-43920] [SC-133611][SQL][CONNECT] sql/api モジュールを作成する
  • [SPARK-43097] [SC-133372][ML] ディストリビューターの上に実装された新しい pyspark ML ロジスティック回帰推定器
  • [SPARK-43783] [SC-133240][SPARK-43784][SPARK-43788][ML] MLv2 (SPARK connect 上の ML) で pandas >= 2.0 がサポートされるようにする
  • [SPARK-43024] [SC-132716][PYTHON] pandas を 2.0.0 にアップグレードする
  • [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Catalog.listDatabases の省略可能なパターンを追加する
  • [SPARK-39281] [SC-131422][SQL] JSON/CSV データ ソースのレガシ形式でタイムスタンプ型の推論を高速化する
  • [SPARK-43792] [SC-132887][SQL][PYTHON][CONNECT] Catalog.listFunctions の省略可能なパターンを追加する
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][SQL][PYTHON] 入れ子になったタイムスタンプ型をサポート
  • [SPARK-43353] [SC-132734][PYTHON] 残りのセッション エラーをエラー クラスに移行する
  • [SPARK-43304] [SC-129969][CONNECT][PYTHON] NotImplementedError を PySparkNotImplementedError に移行する
  • [SPARK-43516] [SC-132202][ML][PYTHON][CONNECT] sparkML for spark3.5 の基本インターフェイス: estimator/transformer/model/evaluator
  • [SPARK-43128] "[SC-131628][CONNECT][SS] recentProgress と lastProgress をネイティブ Scala Api と一貫性を持つ StreamingQueryProgress を返すようにする" を元に戻す
  • [SPARK-43543] [SC-131839][PYTHON] Pandas UDF での入れ子になった MapType の動作を修正
  • [SPARK-38477] [SC-131425][CORE] org.apache.spark.network でエラー クラスを使用する
  • [SPARK-43309] [SC-129746][SPARK-38461][CORE] カテゴリで INTERNAL_ERROR を拡張し、エラー クラス INTERNAL_ERROR_BROADCAST を追加する
  • [SPARK-43265] [SC-129653] エラー フレームワークを共通の utils モジュールに移動する
  • [SPARK-43440] [SC-131229][PYTHON][CONNECT] 矢印最適化 Python UDF の登録をサポート
  • [SPARK-43528] [SC-131531][SQL][PYTHON] pandas DataFrame を使用した createDataFrame で重複したフィールド名をサポート
  • [SPARK-43412] [SC-130990][PYTHON][CONNECT] 矢印最適化された Python UDF の SQL_ARROW_BATCHED_UDF EvalType を導入する
  • [SPARK-40912] [SC-130986][CORE]KryoDeserializationStream での例外のオーバーヘッド
  • [SPARK-39280] [SC-131206][SQL] JSON/CSV データ ソースのユーザー指定形式でタイムスタンプ型の推論を高速化する
  • [SPARK-43473] [SC-131372][PYTHON] pandas DataFrame からの createDataFrame で構造体型をサポート
  • [SPARK-43443] [SC-131024][SQL] 無効な値を使用した場合のタイムスタンプ型推論のベンチマークを追加する
  • [SPARK-41532] [SC-130523][CONNECT][CLIENT] 複数のデータ フレームを含む操作のチェックを追加する
  • [SPARK-43296] [SC-130627][CONNECT][PYTHON] Spark Connect 列エラーをエラー クラスに移行する
  • [SPARK-43324] [SC-130455][SQL] 差分ベースのソースの UPDATE コマンドを処理する
  • [SPARK-43347] [SC-130148][PYTHON] Python 3.7 サポートを削除する
  • [SPARK-43292] [SC-130525][CORE][CONNECT] ExecutorClassLoader を core モジュールに移動して Executor#addReplClassLoaderIfNeeded を簡略化する
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark パーティション データからデータを読み込むトーチ ディストリビューター データ ローダーを追加する
  • [SPARK-43331] [SC-130061][CONNECT] Spark Connect SparkSession.interruptAll を追加
  • [SPARK-43306] [SC-130320][PYTHON] ValueError をSpark SQL 型からエラー クラスに移行する
  • [SPARK-43261] [SC-129674][PYTHON] TypeError をSpark SQL 型からエラー クラスに移行する
  • [SPARK-42992] [SC-129465][PYTHON] PySparkRuntimeError を導入する
  • [SPARK-16484] [SC-129975][SQL] DataSketches HllSketch のサポートを追加
  • [SPARK-43165] [SC-128823][SQL] canWrite を DataTypeUtils に移動する
  • [SPARK-43082] [SC-129112][CONNECT][PYTHON] Spark Connect で矢印が最適化された Python UDF
  • [SPARK-43084] [SC-128654] [SS] spark connect の applyInPandasWithState サポートを追加する
  • [SPARK-42657] [SC-128621][CONNECT] クライアント側 REPL クラスファイルを見つけて、成果物としてサーバーに転送するサポート
  • [SPARK-43098] [SC-77059][SQL] スカラー サブクエリに group by 句がある場合の COUNT の正確性のバグを修正する
  • [SPARK-42884] [SC-126662][CONNECT] アンモナイト REPL 統合の追加
  • [SPARK-42994] [SC-128333][ML][CONNECT] PyTorch ディストリビューターがローカル モードをサポート
  • [SPARK-41498] [SC-125343] "Union を介してメタデータを伝達" を元に戻す
  • [SPARK-42993] [SC-127829][ML][CONNECT] PyTorch ディストリビューターを Spark Connect と互換性のあるものにする
  • [SPARK-42683] [LC-75] 競合するメタデータ列の名前を自動的に変更する
  • [SPARK-42874] [SC-126442][SQL] すべての入力ファイルの分析に新しいゴールデン ファイル テスト フレームワークを有効にする
  • [SPARK-42779] [SC-126042][SQL] アドバイザリ シャッフル パーティション サイズを示す V2 書き込みを許可する
  • [SPARK-42891] [SC-126458][CONNECT][PYTHON] CoGrouped Map API を実装する
  • [SPARK-42791] [SC-126134][SQL] 分析用の新しいゴールデン ファイル テスト フレームワークを作成する
  • [SPARK-42615] [SC-124237][CONNECT][PYTHON] AnalyzePlan RPC をリファクターし、session.version を追加する
  • [SPARK-41302] "[ALL TESTS][SC-122423][SQL] 名前を_LEGACY_ERROR_TEMP_1185に割り当てる" を元に戻す
  • [SPARK-40770] [SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善
  • [SPARK-40770] "[SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善" を元に戻す
  • [SPARK-42398] [SC-123500][SQL] 既定の列値 DS v2 インターフェイスを絞り込む
  • [SPARK-40770] [SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善
  • [SPARK-40770] "[SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善" を元に戻す
  • [SPARK-40770] [SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善
  • [SPARK-42038] [ALL TEST] ""[SC-122533][SQL] SPJ: 部分的にクラスター化されたディストリビューションをサポートする" を元に戻す"
  • [SPARK-42038] [ALL TEST] "[SC-122533][SQL] SPJ: 部分的にクラスター化されたディストリビューションをサポートする" を元に戻す
  • [SPARK-42038] [SC-122533][SQL] SPJ: 部分的にクラスター化されたディストリビューションをサポートする
  • [SPARK-40550] [SC-120989][SQL] DataSource V2: グループベースのソースの DELETE コマンドを処理する
  • [SPARK-40770] "[SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善" を元に戻す
  • [SPARK-40770] [SC-122652][PYTHON] スキーマの不一致に対する applyInPandas のエラー メッセージを改善
  • [SPARK-41302] "[SC-122423][SQL] _LEGACY_ERROR_TEMP_1185 に名前を割り当てる" を元に戻す
  • [SPARK-40550] "[SC-120989][SQL] DataSource V2: グループベースのソースの DELETE コマンドを処理する" を元に戻す
  • [SPARK-42123] "[SC-122234][SC-121453][SQL] DESCRIBE と SHOW CREATE TABLE 出力に列既定値を含める" を元に戻す
  • [SPARK-42146] [SC-121172][CORE] SQL モジュールでこのメソッドを使用するときに Maven ビルド パスを作成するように Utils#setStringField をリファクターする
  • [SPARK-42119] "[SC-121342][SQL] 組み込みのテーブル値関数の inline と inline_outer を追加" を元に戻す

概要

  • Connect SPARK-45109 の aes_decrypt と ln 関数を修正しました
  • createDataFrame SPARK-44980 で継承された名前付きタプルが動作するように修正しました
  • CodeGenerator Cache がクラスローダー固有の [SPARK-44795] になりました
  • SparkListenerConnectOperationStarted.planRequest を追加 [SPARK-44861]
  • ストリーミング クエリが Connect の成果物管理 [SPARK-44794] と動作するようにしました
  • ArrowDeserializer が REPL で生成されたクラス [SPARK-44791] で動作するようにしました
  • Spark Connect [SPARK-44876] での Arrow 最適化 Python UDF を修正 しました
  • Spark Connect での Scala と Go クライアントのサポート SPARK-42554 SPARK-43351
  • Spark Connect の PyTorch ベースの分散 ML をサポート SPARK-42471
  • Python と Scala での Spark Connect の Structured Streaming をサポート SPARK-42938
  • Python Spark Connect クライアントの Pandas API をサポート SPARK-42497
  • Arrow Python UDF を導入 SPARK-40307
  • Python のユーザー定義テーブル関数をサポート SPARK-43798
  • PySpark エラーをエラー クラスに移行 SPARK-42986
  • PySpark テスト フレームワーク SPARK-44042
  • DataSketches HllSketch のサポートを追加 SPARK-16484
  • 組み込み SQL 関数を改善 SPARK-41231
  • IDENTIFIER 句 SPARK-43205
  • Scala、Python、R API に SQL 関数を追加 SPARK-43907
  • SQL 関数の名前付き引数のサポートを追加 SPARK-43922
  • シャッフル データが移行された場合に、使用停止された失われた Executor で不要なタスクが再実行されることを回避 SPARK-41469
  • 分散 ML <> Spark Connect SPARK-42471
  • DeepSpeed ディストリビューター SPARK-44264
  • RocksDB 状態ストアの変更ログのチェックポイント処理を実装 SPARK-43421
  • 演算子間で透かしの伝達を導入 SPARK-42376
  • dropDuplicatesWithinWatermark を導入 SPARK-42931
  • RocksDB ステート ストア プロバイダーのメモリ管理の機能強化 SPARK-43311

Spark Connect

  • sql モジュールを sql と sql-api にリファクタリングして、Scala Spark Connect クライアントと Spark の間で共有できる依存関係の最小セットを生成し、すべての Spark 推移的な依存関係のプルを回避します。 SPARK-44273
  • Spark Connect の Scala client を導入 SPARK-42554
  • Python Spark Connect クライアントの Pandas API をサポート SPARK-42497
  • Spark Connect の PyTorch ベースの分散 ML をサポート SPARK-42471
  • Python と Scala での Spark Connect の Structured Streaming をサポート SPARK-42938
  • Go の初期バージョン SPARK-43351
  • Python と Scala 全体の Spark ネイティブクライアントと Spark Connect クライアント間の互換性の向上
  • クライアント アプリケーションのデバッグと要求処理の向上 (非同期処理、再試行、有効期間の長いクエリ)

Spark SQL

機能

  • メタデータ列ファイルのブロックの開始と長さを追加 SPARK-42423
  • Scala/Java sql() で位置指定パラメーターをサポート SPARK-44066
  • 関数呼び出しのパーサーで名前付きパラメーターのサポートを追加 SPARK-43922
  • INSERT ソース関係の ORDER BY、LIMIT、OFFSET で SELECT DEFAULT をサポート SPARK-43071
  • TVF 呼び出しの TABLE 引数の後に PARTITION BY 句と ORDER BY 句の SQL 文法を追加 SPARK-44503
  • DESCRIBE と SHOW CREATE TABLE 出力に列既定値を含める SPARK-42123
  • Catalog.listCatalogs の省略可能なパターンを追加 SPARK-43792
  • Catalog.listDatabases の省略可能なパターンを追加 SPARK-43881
  • 実行の準備ができたときにコールバックする SPARK-44145
  • Insert By Name ステートメントをサポート SPARK-42750
  • Scala API の call_function を追加 SPARK-44131
  • 安定した派生列の別名 SPARK-40822
  • 一般的な定数式を CREATE/REPLACE TABLE OPTIONS 値としてサポート SPARK-43529
  • INTERSECT/EXCEPT による相関関係のあるサブクエリをサポート SPARK-36124
  • IDENTIFIER 句 SPARK-43205
  • ANSI モード: 内部変換がオーバーフローすると、Conv はエラーを返す必要がある SPARK-42427

関数

  • DataSketches HllSketch のサポートを追加 SPARK-16484
  • aes_encrypt()/aes_decrypt() による CBC モードをサポート SPARK-43038
  • TableValuedFunction の TABLE 引数パーサー ルールをサポート SPARK-44200
  • ビットマップ関数を実装 SPARK-44154
  • try_aes_decrypt() 関数を追加 SPARK-42701
  • array_insert は 0 インデックスで失敗する必要がある SPARK-43011
  • to_char の to_varchar 別名を追加 SPARK-43815
  • 高次関数: array_compact を実装 SPARK-41235
  • 組み込み関数の名前付き引数のアナライザー サポートを追加 SPARK-44059
  • ターゲット テーブルよりも少ない列のユーザー指定リストを使用して、INSERT に NULL 値を追加 SPARK-42521
  • aes_encrypt IV と AAD のサポートを追加 SPARK-43290
  • DECODE 関数が NULL を渡したときに間違った結果を返す SPARK-41668
  • udf ‘luhn_check’ をサポート SPARK-42191
  • 集計での暗黙的な横列別名解決をサポート SPARK-41631
  • Window によるクエリで暗黙的な横列別名をサポート SPARK-42217
  • 引数 3 個の関数の別名 DATE_ADD と DATE_DIFF を追加 SPARK-43492

データ ソース

  • Char/Varchar による JDBC カタログをサポート SPARK-42904
  • JDBC API と TVF を使用した SQL キーワードの動的な取得をサポート SPARK-43119
  • DataSource V2: デルタベースのソースの MERGE コマンドを処理 SPARK-43885
  • DataSource V2: グループベースのソースの MERGE コマンドを処理 SPARK-43963
  • DataSource V2: グループベースのソースの UPDATE コマンドを処理 SPARK-43975
  • DataSource V2: 更新を削除および挿入として表すことができるようにする SPARK-43775
  • jdbc 言語でテーブルの作成に使用されるクエリをオーバーライドできるようにする SPARK-41516
  • SPJ: 部分的にクラスター化されたディストリビューションをサポート SPARK-42038
  • DSv2 で CTAS/RTAS でスキーマの NULL 値の許容が予約可能 SPARK-43390
  • spark.sql.files.maxPartitionNum を追加 SPARK-44021
  • 差分ベースのソースに対する UPDATE コマンドを処理 SPARK-43324
  • アドバイザリ シャッフル パーティション サイズを示す V2 書き込みを許可 SPARK-42779
  • Parquet の lz4raw 圧縮コーデックをサポート SPARK-43273
  • Avro: 複雑な共用体を作成 SPARK-25050
  • JSON/CSV データ ソースのユーザー指定形式でタイムスタンプ型の推論を高速化 SPARK-39280
  • Avro が Long によってサポートされるカスタム小数型をサポート SPARK-43901
  • パーティション キーが一致しないが、結合式に互換性がある場合は、Storage-Partitioned 結合 でシャッフルを避ける SPARK-41413
  • バイナリを CSV 形式でサポートされていない dataType に変更 SPARK-42237
  • Avro が共用体型を型安定のフィールド名を持つ SQL に変換できるようにする SPARK-43333
  • JSON/CSV データ ソースのレガシ形式でタイムスタンプ型の推論を高速化 SPARK-39281

クエリ最適化

  • 部分式の削除サポートのショートカット式 SPARK-42815
  • 一方の側で一意性を維持できる場合に結合統計の推定を改善 SPARK-39851
  • ランクベース フィルターの Window のグループ制限を導入して top-k 計算を最適化 SPARK-37099
  • 最適化ルールの null IN (空のリスト) の動作を修正 SPARK-44431
  • partitionSpec が空の場合にウィンドウの制限を推論してプッシュダウンする SPARK-41171
  • [SPARK-42583] [SC-124190][SQL] 外部結合がすべて個別の集計関数である場合は、外部結合を削除
  • サブクエリに同じパーティション/順序がある隣接する 2 つのウィンドウを展開 SPARK-42525
  • Python UDF を使用して制限をプッシュダウン SPARK-42115
  • フィルター述語の順序を最適化 SPARK-40045

コード生成とクエリ実行

  • ランタイム フィルターが多層シャッフル結合側をフィルター作成側としてサポートする必要がある SPARK-41674
  • HiveSimpleUDF 用の Codegen サポート SPARK-42052
  • HiveGenericUDF の Codegen サポート SPARK-42051
  • ビルド側外部シャッフル ハッシュ結合用の Codegen サポート SPARK-44060
  • to_csv 関数のコード生成を実装 (StructsToCsv) SPARK-42169
  • AQE で InMemoryTableScanExec をサポート SPARK-42101
  • シャッフルハッシュ結合で左外部結合ビルドの左または右外部結合ビルドをサポート SPARK-36612
  • CTAS/RTAS での RequiresDistributionAndOrdering の尊重 SPARK-43088
  • ブロードキャスト結合ストリーム側で適用される結合内の結合バケットを結合 SPARK-43107
  • 完全外部 USING 結合の結合キーに null 許容を正しく設定する SPARK-44251
  • IN サブクエリの ListQuery の NULL 値の許容の問題を修正 SPARK-43413

その他の注目すべき変更点

  • USING 結合のキーに対して Null 許容を正しく設定する SPARK-43718
  • 相関スカラー サブクエリの "COUNT(*) は null です" のバグを修正 SPARK-43156
  • Dataframe.joinWith outer-join は、一致しない行の null 値を返す必要がある SPARK-37829
  • 競合するメタデータ列の名前を自動的に変更する SPARK-42683
  • ユーザーに対するドキュメントで Spark SQL エラー クラスを文書化 SPARK-42706

PySpark

機能

  • Python sql() で位置指定パラメーターをサポート SPARK-44140
  • sql() によるパラメーター化された SQL をサポート SPARK-41666
  • Python のユーザー定義テーブル関数をサポート SPARK-43797
  • 実行時にワーカーで UDF と pandas 関数 API の Python 実行可能ファイルを設定するサポート SPARK-43574
  • PySpark に DataFrame.offset を追加 SPARK-43213
  • pyspark.sql.dataframe.DataFrame が列を含むように dir() を実装 SPARK-43270
  • arrow UDF 操作に大きな可変幅ベクトルを使用するオプションを追加 SPARK-39979
  • mapInPandas / mapInArrow でバリア モード実行がサポートされるようにする SPARK-42896
  • PySpark SparkContext に JobTag API を追加 SPARK-44194
  • Python で分析する Python UDTF をサポート SPARK-44380
  • pyspark.sql.types で TimestampNTZType を公開 SPARK-43759
  • 入れ子になったタイムスタンプ型をサポート SPARK-43545
  • pandas DataFrame と toPandas から createDataFrame で UserDefinedType をサポート [SPARK-43817][SPARK-43702]https://issues.apache.org/jira/browse/SPARK-43702)
  • Pyspark Protobuf API に記述子バイナリ オプションを追加 SPARK-43799
  • ジェネリック タプルを Pandas UDF の入力ヒントとして受け入れる SPARK-43886
  • array_prepend 関数を追加 SPARK-41233
  • assertDataFrameEqual util 関数を追加 SPARK-44061
  • 矢印最適化 Python UDF をサポート SPARK-43964
  • fp の近似等価性のカスタム精度を許可 SPARK-44217
  • assertSchemaEqual API をパブリックにする SPARK-44216
  • ps.Series の fill_value をサポート SPARK-42094
  • pandas DataFrame からの createDataFrame で構造体型をサポート SPARK-43473

その他の注目すべき変更点

  • pyspark.sql.dataframe.DataFrame に df[|] のオートコンプリートのサポートを追加 [SPARK-43892]
  • pandas 2.0 で削除される API を非推奨にし、削除する [SPARK-42593]
  • Python をコード例の最初のタブにする - Spark SQL、DataFrames、Datasets ガイド SPARK-42493
  • Python を既定で表示するために残りの Spark ドキュメント コードを更新 SPARK-42642
  • Arrow RecordBatch を作成するときに、重複除去されたフィールド名を使用 [SPARK-41971]
  • pandas DataFrame を使用した createDataFrame で重複したフィールド名をサポート [SPARK-43528]
  • Series を使用して DataFrame を作成するときに列パラメーターを許可 [SPARK-42194]

コア

  • プッシュ マージの shuffleMapStage 再試行時に mergeFinalize をスケジュールするが、実行中のタスクがない SPARK-40082
  • SQL 演算子の実行に PartitionEvaluator を導入 SPARK-43061
  • シャッフル データが確実に格納されている場合に ShuffleDriverComponent に宣言を許可 SPARK-42689
  • 無限再試行の可能性を回避するために、ステージの最大試行数の制限を追加 SPARK-42577
  • 静的 Spark conf でログ レベルの構成をサポート SPARK-43782
  • PercentileHeap を最適化 SPARK-42528
  • TaskScheduler.cancelTasks に理由引数を追加 SPARK-42602
  • シャッフル データが移行された場合に、使用停止された失われた Executor で不要なタスクが再実行されることを回避 SPARK-41469
  • rdd キャッシュを使用した再試行タスクの場合のアキュムレータのアンダーカウントを修正 SPARK-41497
  • spark.history.store.hybridStore.diskBackend に RocksDB を規定で使用する SPARK-42277
  • Guava Cache の NonFateSharingCache ラッパー SPARK-43300
  • MapOutputTracker.updateMapOutput のパフォーマンスの向上 SPARK-43043
  • 外部シャッフル サービスによってメタデータが db に保存されるかどうかをアプリが制御できるようにする SPARK-43179
  • SPARK_DRIVER_POD_IP env 変数をExecutor ポッドを追加 SPARK-42769
  • Hadoop 構成マップを Executor ポッドにマウント SPARK-43504

構造化ストリーミング

  • RocksDB 状態ストアのピン留めされたブロック メモリ使用量の追跡のサポートを追加 SPARK-43120
  • RocksDB ステート ストア プロバイダーのメモリ管理の機能強化を追加 SPARK-43311
  • dropDuplicatesWithinWatermark を導入 SPARK-42931
  • StreamingQueryListener に新しいコールバック onQueryIdle を導入 SPARK-43183
  • DSv2 ソース/シンク用 StreamingWrite API の一部としてコミット コーディネーターをスキップするオプションを追加 SPARK-42968
  • StreamingQueryListener に新しいコールバック “onQueryIdle” を導入 SPARK-43183
  • RocksDB ステート ストア プロバイダーの変更ログ ベースのチェックポイント処理を実装 SPARK-43421
  • ストリーミング ステートフル演算子で使用される RocksDB の WRITE_FLUSH_BYTES のサポートを追加 SPARK-42792
  • ストリーミングで使用される RocksDB の max_write_buffer_number と write_buffer_size の設定のサポートを追加 SPARK-42819
  • RocksDB StateStore ロックの取得は、inputRDD から入力反復子を取得した後に発生する必要がある SPARK-42566
  • 演算子間で透かしの伝達を導入 SPARK-42376
  • RocksDB チェックポイント ディレクトリで孤立した sst ファイルとログ ファイルをクリーンアップ SPARK-42353
  • 例外に存在する場合はエラー クラスを含むように QueryTerminatedEvent を拡張 SPARK-43482

ML

  • Deepspeed を使用した関数の分散トレーニングをサポート SPARK-44264
  • sparkML for spark3.5 の基本インターフェイス: estimator/transformer/model/evaluator SPARK-43516
  • MLv2 (SPARK connect 上の ML) で pandas >= 2.0 がサポートされるようにする SPARK-43783
  • MLv2 Transformer のインターフェイスを更新 SPARK-43516
  • ディストリビューターの上に実装された新しい pyspark ML ロジスティック回帰推定器 SPARK-43097
  • Classifier.getNumClasses を再び追加 SPARK-42526
  • Deepspeed Distributed Learning Class DeepspeedTorchDistributor を記述 SPARK-44264
  • Spark Connect での ML の基本的な保存/読み込み実装 SPARK-43981
  • ロジスティック回帰モデル保存の向上 SPARK-43097
  • Spark Connect に ML のパイプライン推定機能を実装 SPARK-43982
  • クロス検証ツール推定器を実装 SPARK-43983
  • 分類エバリュエーターを実装 SPARK-44250
  • PyTorch ディストリビューターを Spark Connect と互換性のあるものにする SPARK-42993

UI

  • Spark Connect 用の Spark UI ページを追加 SPARK-44394
  • [Executors] タブの [Heap Histogram] 列をサポート SPARK-44153
  • 失敗したクエリごとに UI にエラー メッセージを表示 SPARK-44367
  • [Executors] タブに Executor の時間の追加と削除を表示 SPARK-44309

ビルドとその他

削除、動作の変更、非推奨

今後の削除

次の機能は、次の Spark メジャー リリースで削除されます

  • Java 8 と Java 11 のサポート、Java のサポートされる最低限のバージョンは Java 17 です
  • Scala 2.12 のサポートおよび Java のサポートされる最低限のバージョンは 2.13 です

移行ガイド

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

  • オペレーティング システム: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ Version
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 black 22.6.0 bleach 4.1.0
blinker 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 クリックし 8.0.4 comm 0.1.2
contourpy 1.0.5 cryptography 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown 0.11 entrypoints 0.4
executing 0.8.3 facets-overview 1.1.1 fastjsonschema 2.18.0
filelock 3.12.2 fonttools 4.25.0 GCC ランタイム ライブラリ 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 jeepney 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
jsonschema 4.17.3 jupyter-client 7.3.4 jupyter-server 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
keyring 23.5.0 kiwisolver 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
mccabe 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
nodeenv 1.8.0 ノートブック 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 パッケージング 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 patsy 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 Pillow 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 pluggy 1.0.0
prometheus-client 0.14.1 prompt-toolkit 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
requests 2.28.1 rope 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 6 1.16.0
sniffio 1.2.0 soupsieve 2.3.2.post1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.13.5 tenacity 8.1.0
terminado 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
unattended-upgrades 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 wheel 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

インストールされている R ライブラリ

R ライブラリは、2023-07-13 の Posit パッケージ マネージャー CRAN スナップショットからインストールされています。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 base 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob (blob) 1.2.4
boot 1.3-28 brew 1.0 から 8 brio 1.1.3
broom 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 キャレット 6.0-94 cellranger 1.1.0
chron 2.3-61 クラス 7.3-22 cli 3.6.1
clipr 0.8.0 clock 0.7.0 cluster 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
compiler 4.3.1 config 0.3.1 conflicted 1.2.0
cpp11 0.4.4 crayon 1.5.2 資格情報 1.3.2
curl 5.0.1 data.table 1.14.8 datasets 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 ダイアグラム 1.6.5 diffobj 0.3.5
digest 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 ellipsis 0.3.2
evaluate 0.21 fansi 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 forge 0.2.0
fs 1.6.2 future 1.33.0 future.apply 1.11.0
gargle 1.5.1 generics 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 glue 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.1 grDevices 4.3.1 grid 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 haven 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
labeling 0.4.2 later 1.3.1 lattice 0.21-8
lava 1.7.2.1 ライフサイクル 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 memoise 2.0.1
方法 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 parallel 4.3.1
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 progress 1.2.2
progressr 0.13.0 promises 1.2.0.1 proto 1.0.0
proxy 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 recipes 1.0.6
rematch 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 shape 1.4.6
shiny 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 spatial 7.3-15 splines 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.1
stats4 4.3.1 stringi 1.7.12 stringr 1.5.0
survival 3.5-5 sys 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 textshaping 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 timechange 0.2.0 timeDate 4022.108
tinytex 0.45 ツール 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 usethis 2.2.2 utf8 1.2.3
utils 4.3.1 uuid 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
whisker 0.4.1 withr 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 xtable 1.8-4
yaml 2.3.7 郵便番号 2.3.0

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty netty-codec-http 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow arrow-vector 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.0-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.0-shaded-protobuf
org.apache.orc orc-shims 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty jetty-plus 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty jetty-security 9.4.51.v20230217
org.eclipse.jetty jetty-server 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty jetty-webapp 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-api 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-client 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-server 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1