次の方法で共有

Databricks Runtime 16.0

  • [アーティクル]

次のリリース ノートでは、Apache Spark 3.5.0 を搭載した Databricks Runtime 16.0 に関する情報を提供します。

Databricks は、2024 年 11 月にこのバージョンをリリースしました。

ヒント

サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。

動作の変更

破壊的変更: JDK 17 が既定になりました

Databricks Runtime 16.0 以降では、既定の JDK バージョンが JDK 8 から JDK 17 に切り替えられます。 この変更は、JDK 8 の非推奨とサポート終了が計画されているために行われます。 これは、次の影響を受ける。

  • Azure Databricks コンピューティングで実行されている Java コードは、Java 17 と互換性がある必要があります。
  • ノートブックまたは Azure Databricks コンピューティングで実行されている Scala コードは、Java 17 と互換性がある必要があります。
  • コンピューティングにインストールされる Java および Scala ライブラリは、Java 17 と互換性がある必要があります。
  • 2.x 未満の Apache Hive メタストア クライアントのバージョン。 Spark 構成 spark.sql.hive.metastore.version を 2.x 未満のバージョンに設定すると、Java 17 との互換性の問題と Hive メタストアへの接続エラーが発生します。 Databricks では、Hive を 2.0.0 より上のバージョンにアップグレードすることをお勧めします。

Java 8 に戻す必要がある場合は、Azure Databricks コンピューティングを構成するときに Spark 環境変数に次を追加します。

JNAME=zulu8-ca-amd64

ARM インスタンスを使用している場合は、次のコマンドを使用します。

JNAME=zulu8-ca-arm64

Azure Databricks コンピューティングで JDK バージョンを指定する方法の詳細については、「 JDK 17 を使用するクラスターの作成を参照してください。

Java 8 からのコードの移行に関するヘルプについては、次のガイドを参照してください。

破壊的変更: ホストされた RStudio の有効期間が終了しました

このリリースでは、Databricks でホストされる RStudio Server は有効期間が終了し、Databricks Runtime 16.0 以降を実行している Azure Databricks ワークスペースでは使用できません。 RStudio の代替手段の詳細と一覧については、「 Hosted RStudio Server の廃止を参照してください。

破壊的変更: byte、 short、 int 、 long 型をより広い型に変更するためのサポートの削除

Databricks Runtime 15.4.3 以降では、次のデータ型の変更を、型拡大機能が有効になっているテーブルに適用できなくなります。

  • byte、short、int、decimalへのlong。
  • byte、short、およびdoubleするint。

この変更は、Delta テーブルと Iceberg テーブル間で一貫した動作を保証するために行われます。 型拡大の詳細については、「 タイプ拡大」を参照してください。

入れ子になった文字グループ化での否定を使用した正規表現パターンの正しい解析

このリリースには、入れ子になった文字グループ化での否定を含む正規表現パターンの正しい解析をサポートするための変更が含まれています。 たとえば、[^[abc]] は「'abc' のいずれかではないすべての文字」として解析されます。

さらに、Photon の動作は入れ子になった文字クラスに Spark の一貫性がありませんでした。 入れ子になった文字クラスを含む正規表現パターンには Photon が使用されなくなり、代わりに Spark が使用されます。 入れ子になった文字クラスは、角かっこ内に角かっこ ( [[a-c][1-3]] など) を含むすべてのパターンです。

Delta Lake での重複一致検出の向上 MERGE

Databricks Runtime 15.4 LTS 以下では、ソース テーブル内の複数の行が、ON句で指定されたMERGE条件に基づいてターゲット テーブル内の同じ行と一致する場合、MERGE操作は失敗します。 Databricks Runtime 16.0 以降では、 MERGE は WHEN MATCHED 句で指定された条件も考慮します。 「マージを使用した Delta Lake テーブルへの upsert」を参照してください。

クラスター ライブラリのインストール方法をオーバーライドできなくなりました

Spark 構成 spark.databricks.libraries.enableSparkPyPI、 spark.databricks.libraries.enableMavenResolution、 spark.databricks.libraries.enableCRANResolutionnow 既定で true され、オーバーライドできません。

クラスター スコープ ライブラリのインストールの既定のタイムアウト (2 時間)

Databricks Runtime 16.0 以降では、クラスター スコープライブラリのインストールの既定のタイムアウトは 2 時間です。 このタイムアウトより長い時間がかかるライブラリのインストールは失敗し、インストールは終了します。 クラスターを構成するときは、Spark 構成 spark.databricks.driver.clusterLibraryInstallationTimeoutSecを使用してタイムアウト期間を変更できます。

DBFS からのライブラリのインストールと spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed の設定が無効になっている

Databricks Runtime 16.0 以降では、DBFS からのライブラリのインストールは完全に無効になっています。 この変更は、Databricks ワークスペース内のライブラリのセキュリティを向上させるために行われます。 さらに、Databricks Runtime 16.0 以降では、Spark 構成 spark.databricks.driver.dbfsLibraryInstallationAllowedを使用できなくなります。

addArtifact()機能がコンピューティングの種類間で一貫性を持つようになりました

このリリースでは、 addArtifact(archive = True) を使用して共有またはサーバーレスの Azure Databricks コンピューティングに依存関係を追加すると、アーカイブが自動的にアンパックされます。 この変更により、これらのコンピューティングの種類に対する 'addArtifact(archive = True) 動作は、アーカイブの自動アンパックが既にサポートされているシングル ユーザー コンピューティングと一致します。

新機能と機能強化

の改善により、変更された Python モジュールのより信頼性の高い再読み込み autoreload

Databricks Runtime 16.0 以降では、 autoreload 拡張機能の更新により、ワークスペース ファイルからインポートされた変更された Python モジュールを再読み込みする安全性と信頼性が向上します。 これらの変更により、 autoreload可能な場合は、モジュール全体ではなく、変更されたモジュールの部分のみを再読み込みします。 さらに、Azure Databricks では、モジュールが前回のインポート以降に変更された場合に、 autoreload 拡張機能の使用が自動的に提案されるようになりました。 Python モジュール Autoreload を参照してください。

再帰スキーマの Avro サポート

from_avro関数とavro データ ソースで recursiveFieldMaxDepth オプションを使用できるようになりました。 このオプションは、Avro データ ソースのスキーマ再帰の最大深度を設定します。 「ストリーミング Avro データの読み取りと書き込み」をご覧ください。

Avro の Confluent スキーマ レジストリのサポートが拡張されました

Azure Databricks では、Confluent スキーマ レジストリを使用した Avro スキーマ参照がサポートされるようになりました。 外部の Confluent スキーマ レジストリへの認証を参照してください。

液体クラスタリングを使用してテーブルに対して再クラスター化を強制する

Databricks Runtime 16.0 以降では、 OPTIMIZE FULL 構文を使用して、液体クラスタリングが有効になっているテーブル内のすべてのレコードを強制的に再クラスター化できます。 すべてのレコードについては、「 Force の再クラスター化」を参照してください。

Python と Scala 用の Delta API で ID 列がサポートされるようになりました

Python と Scala 用の Delta API を使用して、ID 列を含むテーブルを作成できるようになりました。 「Delta Lake で ID 列を使用する」を参照してください。

シングル ユーザー コンピューティングでのきめ細かなアクセス制御が一般公開

Databricks Runtime 16.0 以降では、シングル ユーザー コンピューティングでのきめ細かなアクセス制御が一般提供されています。 サーバーレス コンピューティングが有効になっているワークスペースで、シングル ユーザー コンピューティングなどのサポートされているコンピューティングでクエリが実行され、クエリが次のいずれかのオブジェクトにアクセスした場合、コンピューティング リソースはクエリをサーバーレス コンピューティングに渡してデータ フィルター処理を実行します。

  • ユーザーが SELECT 特権を持たないテーブルに対して定義されたビュー。
  • 動的ビュー。
  • 行フィルターまたは列マスクが適用されているテーブル。
  • 具体化されたビューとストリーミング テーブル。

ストリーミング書き込み中に液体クラスター化テーブルを作成する

構造化ストリーミング書き込みで新しいテーブルを作成するときに、 clusterBy を使用して液体クラスタリングを有効にできるようになりました。 「リキッド クラスタリングを有効にする」をご覧ください。

OPTIMIZE FULL 句のサポート

Databricks Runtime 16.0 では、 OPTIMIZE FULL 句がサポートされています。 この句は、以前にクラスター化された可能性のあるデータを含め、液体クラスタリングを使用するテーブル内のすべてのレコードを最適化します。

INSERT および table-reference での WITH オプション指定のサポート

Databricks Runtime 16.0 ではデータ ソースの動作を制御するために使用できるINSERT ステートメントのテーブル参照とテーブル名に対するオプション仕様がサポートされています。

新しい SQL 関数

Databricks Runtime 16.0 には、次の SQL 関数が追加されています。

  • try_url_decode

    この関数は、 url_decodeのエラー トレラント バージョンです。 この関数は、入力が有効な URL エンコード文字列でない場合に NULL を返します。

  • zeroifnull

    zeroifnull()関数への入力式がNULL場合、関数は 0 を返します。 それ以外の場合は、入力式の値が返されます。

  • nullifzero

    入力が 0 の場合は NULL を返し、0 でない場合は入力を返します。 nullifzero()関数への入力式が 0 の場合、関数はNULLを返します。 入力式が 0 でない場合は、入力式の値が返されます

Delta テーブルにデータをマージするときにスキーマの自動進化を有効にする

このリリースでは、DeltaMergeBuilder クラスのwithSchemaEvolution() メンバーのサポートが追加されました。 withSchemaEvolution()を使用して、MERGE操作中にスキーマの自動進化を有効にします。 たとえば、mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}} のようにします。

その他の変更

SparkR は非推奨になりました

Databricks Runtime 16.0 以降では、Databricks の SparkR は、今後の Spark 4 リリースでの廃止に備えて定義されています。 Apache Spark Deprecate SparkR スレッドを参照してください。

Databricks では、代わりに sparklyr を使用することをお勧めします。

Databricks Runtime 16.0 は PVC ではサポートされていません

Databricks Runtime 16.0 は、Databricks プライベート仮想クラウド (PVC) ではサポートされていません。 すべての PVC リリースで Databricks Runtime 15.4 以下を使用する必要があります。

バグ修正

自動ローダーで空のスキーマを持つ Avro レコードの種類が復旧されるようになりました

自動ローダーを使用して Avro ファイルを Delta テーブルに読み込むときに、空のスキーマを持つファイル内の record 型が、復旧されたデータ列に追加されるようになりました。 空の複合データ型を Delta テーブルに取り込むことはできません。これにより、一部の Avro ファイルの読み込みに関する問題が解決されます。 救助されたデータの詳細については、「 救助されたデータ列は何ですか?」を参照してください。

2 番目のオフセットを含むタイムゾーンでタイムスタンプを書き込む際のエラーを修正しました。

このリリースでは、タイム ゾーンに 2 番目のオフセットが含まれるタイムスタンプに影響するバグが修正されました。 このバグにより、JSON、XML、または CSV に書き込むときに秒が省略され、タイムスタンプ値が正しくなくなります。

前の動作に戻すには、影響を受ける形式のいずれかに書き込むときに次のオプションを使用します: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • 1.30.2 から 1.31.0 までの azure-core
    • 12.19.1 から 12.23.0 までの azure-storage-blob
    • 12.14.0 から 12.17.0 までの azure-storage-file-datalake
    • 23.3.0 から 24.4.2 への黒
    • 1.4 から 1.7.0 への点滅
    • boto3 から 1.34.39 から 1.34.69
    • botocore から 1.34.39 から 1.34.69
    • 2023.7.22 から 2024.6.2 までの認定
    • 1.15.1 から 1.16.0 までの cffi
    • クリック 8.0.4 から 8.1.7
    • comm from 0.1.2 to 0.2.1
    • contourpy (1.0.5 から 1.2.0)
    • 41.0.3 から 42.0.5 への暗号化
    • 0.29.32 から 3.0.11 までの Cython
    • databricks-sdk 0.20.0 から 0.30.0
    • dbus-python (1.2.18 から 1.3.2)
    • 3.13.4 から 3.15.4 への filelock
    • fonttools from 4.25.0 to 4.51.0
    • GitPython (3.1.43 から 3.1.37)
    • google-api-core を 2.18.0 から 2.20.0 に
    • google-auth from 2.31.0 to 2.35.0
    • 2.17.0 から 2.18.2 までの google-cloud-storage
    • google-crc32c から 1.5.0 から 1.6.0
    • 2.7.1 から 2.7.2 までの google-resumable-media
    • googleapis-common-protos (1.63.2 から 1.65.0)
    • httplib2 から 0.20.2 から 0.20.4
    • 3.4 から 3.7 までの idna
    • 6.25.1 から 6.28.0 までの ipykernel
    • ipython from 8.15.0 to 8.25.0
    • 0.18.1 から 0.19.
    • jmespath from 0.10.0 to 1.0.1
    • joblib 1.2.0 から 1.4.2
    • jupyter_client 7.4.9 から 8.6.0 まで
    • jupyter_core 5.3.0 から 5.7.2
    • launchpadlib from 1.10.16 to 1.11.0
    • lazr.restfulclient を 0.14.4 から 0.14.6 に
    • matplotlib (3.7.2 から 3.8.4)
    • 2.11.4 から 2.15.1 までの mlflow-skinny
    • 8.10.0 から 10.3.0 までの more-itertools
    • 0.4.3 から 1.0.0 への mypy-extensions
    • nest-asyncio を 1.5.6 から 1.6.0 に
    • numpy from 1.23.5 to 1.26.4
    • oauthlib from 3.2.0 to 3.2.2
    • 23.2 から 24.1 へのパッケージ化
    • patsy (0.5.3 から 0.5.6)
    • pip from 23.2.1 to 24.2
    • 5.9.0 から 5.22.0 にプロット
    • prompt-toolkit (3.0.36 から 3.0.43)
    • pyarrow from 14.0.1 to 15.0.2
    • pydantic from 1.10.6 to 2.8.2
    • 3.42.1 から 3.48.2 までの PyGObject
    • 2.3.0 から 2.7.0 までの PyJWT
    • pyodbc from 4.0.38 to 5.0.1
    • python-dateutil from 2.8.2 to 2.9.0.post0
    • python-lsp-jsonrpc 1.1.1 から 1.1.2
    • pytz from 2022.7 to 2024.1
    • 6.0 から 6.0.1 までの PyYAML
    • pyzmq (23.2.0 から 25.1.2)
    • 2.31.0 から 2.32.2 への要求
    • scikit-learn を 1.3.0 から 1.4.2 に
    • 1.11.1 から 1.13.1 までの scipy
    • seaborn from 0.12.2 to 0.13.2
    • setuptools from 68.0.0 to 74.0.0
    • 5.0.1 から 5.0.0 までの smmap
    • 0.5.0 から 0.5.1 までの sqlparse
    • statsmodels from 0.14.0 to 0.14.2
    • 6.3.2 から 6.4.1 までの竜巻
    • 5.7.1 から 5.14.3 までの特性
    • typing_extensions 4.10.0 から 4.11.0
    • ujson from 5.4.0 to 5.10.0
    • virtualenv (20.24.2 から 20.26.2)
    • wheel from 0.38.4 to 0.43.0
    • zipp from 3.11.0 to 3.17.0
  • アップグレードされた R ライブラリ:
    • 14.0.0.2 から 16.1.0 への矢印
    • 1.4.1 から 1.5.0 までのバックポート
    • base from 4.3.2 to 4.4.0
    • bitops from 1.0-7 to 1.0-8
    • 1.3-28 から 1.3-30 まで起動する
    • brio 1.1.4 から 1.1.5
    • 1.0.5 から 1.0.6 までのほうき
    • bslib from 0.6.1 to 0.8.0
    • cachem from 1.0.8 to 1.1.0
    • callr from 3.7.3 to 3.7.6
    • cli 3.6.2 から 3.6.3
    • 0.7.0 から 0.7.1 までのクロック
    • 2.1.4 から 2.1.6 までのクラスター
    • codetools from 0.2-19 to 0.2-20
    • colorspace from 2.1-0 to 2.1-1
    • コンパイラ (4.3.2 から 4.4.0)
    • 1.5.2 から 1.5.3 までのクレヨン
    • curl from 5.2.0 to 5.2.1
    • data.table from 1.15.0 to 1.15.4
    • 4.3.2 から 4.4.0 までのデータセット
    • 1.2.1 から 1.2.3 までの DBI
    • dbplyr 2.4.0 から 2.5.0
    • digest from 0.6.34 to 0.6.36
    • 0.4.3 から 0.4.4 にダウンライト
    • 0.23 から 0.24.0 に評価される
    • 2.1.1 から 2.1.2 まで
    • 1.1.1 から 1.2.0 への fastmap
    • 0.8-85 から 0.8-86 までの外国
    • fs 1.6.3 から 1.6.4
    • 1.33.1 から 1.34.0 までの将来
    • future.apply from 1.11.1 to 1.11.2
    • gert 2.0.1 から 2.1.0
    • ggplot2 から 3.4.4 から 3.5.1
    • gh 1.4.0 から 1.4.1
    • globals from 0.16.2 to 0.16.3
    • 4.3.2 から 4.4.0 までのグラフィックス
    • grDevices (4.3.2 から 4.4.0)
    • grid from 4.3.2 to 4.4.0
    • gt: 0.10.1 から 0.11.0
    • 0.3.4 から 0.3.5 まで
    • 1.3.1 から 1.4.0 までの hardhat
    • highr from 0.10 to 0.11
    • 0.5.7 から 0.5.8.1 までの htmltools
    • httpuv (1.6.14 から 1.6.15)
    • httr2 から 1.0.0 から 1.0.2
    • ipred from 0.9-14 to 0.9-15
    • KernSmooth 2.23-21 から 2.23-22
    • 1.45 から 1.48 までのニット
    • 0.21-8 から 0.22-5 までの格子
    • 1.7.3 から 1.8.0 までの溶岩
    • 1.12 から 1.13 へのマークダウン
    • MASS から 7.3-60 から 7.3-60.0.1
    • 1.5 から 4.1 から 1.6-5 までのマトリックス
    • 4.3.2 から 4.4.0 までのメソッド
    • mgcv from 1.8-42 to 1.9-1
    • 2.10.0 から 2.14.1 までの mlflow
    • 0.5.0 から 0.5.1 への販売
    • nlme from 3.1-163 to 3.1-165
    • openssl 2.1.1 から 2.2.0
    • 4.3.2 から 4.4.0 への並列
    • 1.36.0 から 1.38.0 に並列に
    • pkgbuild を 1.4.3 から 1.4.4 に
    • pkgdown を 2.0.7 から 2.1.0 に
    • pkgload を 1.3.4 から 1.4.0 に
    • processx 3.8.3 から 3.8.4
    • prodlim from 2023.08.28 to 2024.06.25
    • promises from 1.2.1 to 1.3.0
    • ps 1.7.6 から 1.7.7
    • 1.2.7 から 1.3.2 へのラグ
    • Rcpp 1.0.12 から 1.0.13
    • RcppEigen (0.3.3.9.4 から 0.3.4.0.0)
    • reactR を 0.5.0 から 0.6.0 に
    • 1.0.9 から 1.1.0 までのレシピ
    • remotes from 2.4.2.1 to 2.5.0
    • reprex from 2.1.0 to 2.1.1
    • 1.1.3 から 1.1.4 までの rlang
    • rmarkdown を 2.25 から 2.27 に
    • roxygen2 から 7.3.1 から 7.3.2
    • rpart from 4.1.21 to 4.1.23
    • 2.3.5 から 2.3.7 までの RSQLite
    • rstudioapi from 0.15.0 to 0.16.0
    • rvest を 1.0.3 から 1.0.4 に
    • 0.4.8 から 0.4.9 までの sass
    • 1.4.6 から 1.4.6.1 までの図形
    • 光沢のある 1.8.0 から 1.9.1
    • sparklyr 1.8.4 から 1.8.6
    • spatial from 7.3-15 to 7.3-17
    • 4.3.2 から 4.4.0 までのスプライン
    • 4.3.2 から 4.4.0 までの統計
    • stats4 から 4.3.2 から 4.4.0
    • stringi (1.8.3 から 1.8.4)
    • 3.5-5から3.6-4までの生存
    • swagger from 3.33.1 to 5.17.14.1
    • systemfonts from 1.0.5 to 1.1.0
    • 4.3.2 から 4.4.0 への tcltk
    • testthat from 3.2.1 to 3.2.1.1
    • textshaping from 0.3.7 to 0.4.0
    • 1.2.0 から 1.2.1 への tidyselect
    • tinytex 0.49 から 0.52
    • 4.3.2 から 4.4.0 までのツール
    • usethis from 2.2.2 to 3.0.0
    • 4.3.2 から 4.4.0 までのユーティリティ
    • uuid (1.2-0 から 1.2-1)
    • V8 (4.4.1 から 4.4.2)
    • withr from 3.0.0 to 3.0.1
    • xfun 0.41 から 0.46
    • xopen 1.0.0 から 1.0.1
    • yaml (2.3.8 から 2.3.10)
  • アップグレードされた Java ライブラリ:
    • com.amazonaws.aws-java-sdk-autoscaling from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-config から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-core から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-directory から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ecs 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-efs から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-emr から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-glacier から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-glue から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-iam から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-importexport 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-kms から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-lambda から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-logs から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-rds から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-redshift 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-route53 から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-s3 から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ses から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow from 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-sns から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-sqs から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-ssm 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-sts から 1.12.610 から 1.12.638
    • com.amazonaws.aws-java-sdk-support from 1.12.610 to 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces from 1.12.610 から 1.12.638
    • com.amazonaws.jmespath-java から 1.12.610 から 1.12.638
    • com.google.protobuf.protobuf-java 2.6.1 から 3.25.1
    • io.airlift.aircompressor 0.25 から 0.27
    • io.delta.delta-sharing-client_2.12 から 1.1.3 から 1.2.0
    • io.netty.netty-all から 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-buffer from 4.1.96.Final から 4.1.108.Final
    • 4.1.96.Final から 4.1.108.Final までの io.netty.netty-codec
    • io.netty.netty-codec-http from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-codec-http2 from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-codec-socks from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-common から 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-handler from 4.1.96.Final to 4.1.108.Final
    • 4.1.96.Final から 4.1.108.Final までの io.netty.netty-handler-proxy
    • io.netty.netty-resolver from 4.1.96.Final から 4.1.108.Final
    • 4.1.96.Final から 4.1.108.Final への io.netty.netty-transport
    • io.netty.netty-transport-classes-epoll from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue from 4.1.96.Final から 4.1.108.Final
    • io.netty.netty-transport-native-epoll から 4.1.96.Final-linux-x86_64 から 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue から 4.1.96.Final-osx-x86_64 から 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common から 4.1.96.Final から 4.1.108.Final
    • org.apache.ivy.ivy から 2.5.1 から 2.5.2
    • org.apache.zookeeper.zookeeper 3.6.3 から 3.9.2
    • org.apache.zookeeper.zookeeper-jute 3.6.3 から 3.9.2
    • org.rocksdb.rocksdbjni 8.11.4 から 9.2.1
    • org.scalactic.scalactic_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-3.2.15 から 3.2.16 への互換性
    • org.scalatest.scalatest-core_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-freespec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-funspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-propspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-refspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 から 3.2.15 から 3.2.16
    • org.scalatest.scalatest_2.12 から 3.2.15 から 3.2.16

Apache Spark

Databricks Runtime 16.0 には、Apache Spark 3.5.0 が含まれています。 このリリースには、 Databricks Runtime 15.4 LTS に含まれるすべての Spark の修正と機能強化、および Spark に対して行われた次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-49093] [DBRRM-1371]"[SC-172958][SQL] GROUP BY with MapType nes...
  • [SPARK-49898] [DBRRM-1282][SC-178410]SPARK-42204 からのイベント ログ タスク メトリックアキュムレータ ログ フラグのドキュメントと既定値を修正しました
  • [SPARK-49743] [ES-1260022][BEHAVE-157][SC-177475][SQL]GetArrayStructFields を排除するときに OptimizeCsvJsonExpr でスキーマ フィールドを変更しないでください
  • [SPARK-49816] [SC-177896][SQL]参照される外部 CTE 関係の out-going-ref-count のみを更新する必要がある
  • [SPARK-48939] [SC-177022][SC-172766][AVRO]再帰スキーマ参照を使用した Avro の読み取りをサポートする
  • [SPARK-49688] [SC-177468][ES-1242349][CONNECT]割り込みと実行プランの間のデータ 競合を修正する
  • [SPARK-49771] [SC-177466][PYTHON]出力行が入力行を超えた場合の Pandas スカラー Iter UDF エラーの改善
  • [SPARK-48866] [SC-170772][SQL]INVALID_PARAMETER_VALUEのエラー メッセージの有効な文字セットのヒントを修正します。CHARSET
  • [SPARK-48195] [FIXFORWARD][SC-177267][CORE]SparkPlan によって作成された RDD/ブロードキャストを保存して再利用する
  • [SPARK-49585] [CONNECT]SessionHolder の実行マップを operationID セットに置き換える
  • [SPARK-49211] [SC-174257][SQL]V2 カタログでは、組み込みのデータ ソースをサポートすることもできます
  • [SPARK-49684] セッション復元ロックの有効期間を最小限に抑える
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPARK-48291]Java 側の構造化ログ フレームワーク
  • [SPARK-48857] [SC-170661][SQL]CSVOptions で文字セットを制限する
  • [SPARK-49152] [SC-173690][SQL]V2SessionCatalog で V2Command を使用する必要がある
  • [SPARK-42846] [SC-176588][SQL]エラー条件_LEGACY_ERROR_TEMP_2011を削除する
  • [SPARK-48195] [SC-177267][CORE]SparkPlan によって作成された RDD/ブロードキャストを保存して再利用する
  • [SPARK-49630] [SC-177379][SS]状態データ ソース リーダーを使用してコレクション型を処理するフラット化オプションを追加する
  • [SPARK-49699] [SC-177154][SS]ストリーミング ワークロードの PruneFilters を無効にする
  • [SPARK-48781] [SC-175282][SQL]ストアド プロシージャを読み込むためのカタログ API の追加
  • [SPARK-49667] [SC-177068][SQL]StringSearch を使用する式CS_AIコレーターを禁止する
  • [SPARK-49737] [SC-177207][SQL]複合型の照合列のバケット化を無効にする
  • [SPARK-48712] [SC-169794][SQL]空の値または UTF-8 文字セットを使用したエンコードのパフォーマンス向上
  • [SPARK-49038] [SC-173933][SQL]SQLMetric はアキュムレータ更新イベントの生の値を報告する必要があります
  • [SPARK-48541] [SC-169066][CORE]TaskReaper によって強制終了された Executor の新しい終了コードを追加する
  • [SPARK-48774] [SC-170138][SQL]SQLImplicits で SparkSession を使用する
  • [SPARK-49719] [SC-177139][SQL] UUID と SHUFFLE が整数を受け入れるようにする seed
  • [SPARK-49713] [SC-177135][PYTHON][CONNECT]関数 count_min_sketch 数値引数を受け入れるようにする
  • [SPARK-47601] [SC-162499][GRAPHX]Graphx: 変数を含むログを構造化ログ フレームワークに移行する
  • [SPARK-49738] [SC-177219][SQL]Endswith バグ修正
  • [SPARK-48623] [SC-170822][CORE]構造化ログの移行 [パート 3]
  • [SPARK-49677] [SC-177148][SS]変更ログ ファイルがコミット時に書き込まれ、forceSnapshot フラグもリセットされていることを確認する
  • [SPARK-49684] [SC-177040][CONNECT]セッション マネージャーと実行マネージャーからグローバル ロックを削除する
  • [SPARK-48302] [SC-168814][PYTHON]PyArrow テーブルのマップ列に null を保持する
  • [SPARK-48601] [SC-169025][SQL]JDBC オプションに null 値を設定するときに、よりわかりやすいエラー メッセージを表示する
  • [SPARK-48635] [SC-169263][SQL]結合型エラーと結合エラーの時点にクラスを割り当てる
  • [SPARK-49673] [SC-177032][CONNECT]CONNECT_GRPC_ARROW_MAX_BATCH_SIZEを 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZEに増やす
  • [SPARK-49693] [SC-177071][PYTHON][CONNECT]の文字列形式を調整する timedelta
  • [SPARK-49687] [SC-176901][SQL]並べ替えの遅延 validateAndMaybeEvolveStateSchema
  • [SPARK-49718] [SC-177112][PS]プロット Scatter サンプリング データに切り替える
  • [SPARK-48472] [SC-169044][SQL] リフレクト式での照合順序付き文字列を可能にする
  • [SPARK-48484] [SC-167484][SQL]修正: V2Write では、異なるタスク試行で同じ TaskAttemptId を使用する
  • [SPARK-48341] [SC-166560][CONNECT]プラグインがテストで QueryTest を使用できるようにする
  • [SPARK-42252] [SC-168723][CORE] spark.shuffle.localDisk.file.output.buffer の追加と非推奨 spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [SC-166565][SS]Trigger.AvailableNow を使用して FileStreamSource のキャッシュ ファイルを二重にしない
  • [SPARK-49567][SC-176241][PYTHON]PySpark コード ベースからvanillaする代わりにclassicを使用する
  • [SPARK-48374] [SC-167596][PYTHON]追加の PyArrow テーブル列の種類をサポートする
  • [SPARK-48300] [SC-166481][SQL]Codegen のサポート from_xml
  • [SPARK-49412] [SC-177059][PS]1 つのジョブですべてのボックス プロット メトリックを計算する
  • [SPARK-49692] [SC-177031][PYTHON][CONNECT]リテラル日付と datetime の文字列形式を調整する
  • [SPARK-49392] [ES-1130351][SC-176705][SQL]外部データ ソースへの書き込みに失敗したときにエラーをキャッチする
  • [SPARK-48306] [SC-166241][SQL]エラー メッセージでの UDT の改善
  • [SPARK-44924] [SC-166379][SS]FileStreamSource キャッシュ ファイルの構成を追加する
  • [SPARK-48176] [SC-165644][SQL]エラー条件の名前FIELD_ALREADY_EXISTS調整する
  • [SPARK-49691] [SC-176988][PYTHON][CONNECT]関数 substring は列名を受け入れる必要がある
  • [SPARK-49502] [SC-176077][CORE]SparkEnv.get.shuffleManager.unregisterShuffle で NPE を避ける
  • [SPARK-49244] [SC-176703][SQL]パーサー/インタープリターの例外がさらに改善されました
  • [SPARK-48355] [SC-176684][SQL]CASE ステートメントのサポート
  • [SPARK-49355] [SC-175121][SQL] levenshtein は、すべてのパラメーター型の collation 値が同じかどうかを確認する必要があります
  • [SPARK-49640] [SC-176953][PS]にリザーバ サンプリングを適用する SampledPlotBase
  • [SPARK-49678] [SC-176857][CORE]で spark.test.master をサポートする SparkSubmitArguments
  • [SPARK-49680] [SC-176856][PYTHON]ビルドの並列処理 Sphinx 既定で 4 に制限する
  • [SPARK-49396] "[SC-176030][SQL] CaseWhen 式の null 許容チェックを変更する" を元に戻す
  • [SPARK-48419] [SC-167443][SQL]折りたたみ可能な伝達は、折り畳み可能な列のショールを置き換えます...
  • [SPARK-49556] [SC-176757][SQL]SELECT 演算子の SQL パイプ構文を追加する
  • [SPARK-49438] [SC-175237][SQL] FromAvro & ToAvro 式の美しい名前を修正する
  • [SPARK-49659] [SC-1229924][SQL]VALUES 句内のスカラー サブクエリに対するユーザー向けのエラーを追加する
  • [SPARK-49646] [SC-176778][SQL] parentOuterReferences に collectedChildOuterReferences で参照が含まれていない場合の共用体/設定操作のサブクエリの装飾を修正する
  • [SPARK-49354] [SC-175034][SQL] split_part は、すべてのパラメーター型の collation 値が同じかどうかを確認する必要があります
  • [SPARK-49478] [SC-175914][CONNECT]ConnectProgressExecutionListener で null メトリックを処理する
  • [SPARK-48358] [SC-176374][SQL]REPEAT ステートメントのサポート
  • [SPARK-49183] [SC-173680][SQL]V2SessionCatalog.createTable はPROP_IS_MANAGED_LOCATIONを考慮する必要があります
  • [SPARK-49611] [SC-176791][SQL]TVF collations() を導入し、 SHOW COLLATIONS コマンドを削除する
  • [SPARK-49261] [SC-176589][SQL]集計式のリテラルを group-by 式に置き換えないでください
  • [SPARK-49099] [SC-173229][SQL]CatalogManager.setCurrentNamespace はカスタム セッション カタログを考慮する必要があります
  • [SPARK-49594] [SC-176569][SS]StateSchemaV3 ファイルの書き込みに columnFamilies が追加または削除されたかどうかのチェックの追加
  • [SPARK-49578] [SC-176385][SQL]CAST_INVALID_INPUTとCAST_OVERFLOWで ANSI 構成の提案を削除する
  • [SPARK-48882] [SC-174256][SS]ストリーミング出力モード関連のエラー クラスに名前を割り当てる
  • [SPARK-49155] [SC-176506][SQL][SS]より適切なパラメーター型を使用して構築する GenericArrayData
  • [SPARK-49519] [SC-176388][SQL]FileScanBuilder を構築するときのテーブルとリレーションシップのマージ オプション
  • [SPARK-49591] [SC-176587][SQL]バリアント readme に論理型列を追加する
  • [SPARK-49596] [SC-176423][SQL]のパフォーマンスを向上させる FormatString
  • [SPARK-49525] [SC-176044][SS][CONNECT]サーバー側ストリーミング クエリ ListenerBus リスナーに対する軽微なログの改善
  • [SPARK-49583] [SC-176272][SQL]無効な秒分数パターンのエラーサブ条件 SECONDS_FRACTION を定義する
  • [SPARK-49536] [SC-176242]Python ストリーミング データ ソース レコードプリフェッチでエラーを処理する
  • [SPARK-49443] [SC-176273][SQL][PYTHON]to_variant_object式を実装し、バリアント オブジェクトschema_of_variantオブジェクトのオブジェクトを出力する
  • [SPARK-49544] [SASP-3990][SC-176557][CONNECT]SparkConnectExecutionManager の粗ロックを ConcurrentMap に置き換える
  • [SPARK-49548] [SASP-3990][SC-176556][CONNECT]SparkConnectSessionManager の粗ロックを ConcurrentMap に置き換える
  • [SPARK-49551] [SC-176218][SS]replayChangelog の RocksDB ログを改善する
  • [SPARK-49595] [SC-176396][CONNECT][SQL]Spark Connect Scala クライアントの DataFrame.unpivot/melt を修正する
  • [SPARK-49006] [SC-176162]OperatorStateMetadataV2 ファイルと StateSchemaV3 ファイルの消去を実装する
  • [SPARK-49600] [SC-176426][PYTHON] Python 3.6 and older関連ロジックを削除する try_simplify_traceback
  • [SPARK-49303] [SC-176013][SS]transformWithStateInPandas API で ValueState の TTL を実装する
  • [SPARK-49191] [SC-176243][SS]状態データ ソース リーダーを使用した transformWithState マップ状態変数の読み取りのサポートを追加しました
  • [SPARK-49593] [SC-176371][SS]エラーが発生した場合に DB クローズで呼び出し元に RocksDB 例外をスローする
  • [SPARK-49334] [SC-174803][SQL] str_to_map は、すべてのパラメーター型の collation 値が同じかどうかを確認する必要があります
  • [SPARK-42204] [SC-176126][CORE]イベント ログで TaskMetrics 内部アキュムレータの冗長ログ記録を無効にするオプションを追加しました
  • [SPARK-49575] [SC-176256][SS]acquiredThreadInfo が null でない場合にのみ、ロック 解放のログ記録を追加する
  • [SPARK-49539] [SC-176250][SS]内部 col ファミリの開始識別子を別のものに更新する
  • [SPARK-49205] [SC-173853][SQL]KeyGroupedPartitioning は HashPartitioningLike を継承する必要があります
  • [SPARK-49396] [SC-176030][SQL]CaseWhen 式の null 許容チェックを変更する
  • [SPARK-49476] [SC-175700][SQL]base64 関数の null 値の許容を修正する
  • [SPARK-47262] [SC-174829][SQL]Parquet 変換のエラー条件に名前を割り当てる
  • [SPARK-47247] [SC-158349][SQL]分割結合を使用してパーティションを結合するときに、より小さいターゲット サイズを使用する
  • [SPARK-49501] [SC-176166][SQL]テーブルの場所の二重エスケープを修正する
  • [SPARK-49083] [SC-173214][CONNECT]from_xmlとfrom_jsonが json スキーマをネイティブに操作できるようにする
  • [SPARK-49043] [SC-174673][SQL]マップ上で照合された文字列を含む解釈されたコードパス グループを修正する
  • [SPARK-48986] [SC-172265][CONNECT][SQL]ColumnNode 中間表現の追加
  • [SPARK-49326] [SC-176016][SS]Foreach シンク のユーザー関数エラーの分類エラー クラス
  • [SPARK-48348] [SC-175950][SPARK-48376][SQL] LEAVE ステートメントと ITERATE ステートメントについて説明します
  • [SPARK-49523] [SC-175949][CONNECT]テストのために接続サーバーが起動するまでの最大待機時間を増やす
  • [SPARK-49000] [BEHAVE-105][ES-1194747][SQL]RewriteDistinctAggregates - DBR バージョン 16.x を展開して、t が空のテーブルである "select count(distinct 1) from t" を修正しました
  • [SPARK-49311] [SC-175038][SQL]大きな 'interval second' 値を 10 進数にキャストできるようにする
  • [SPARK-49200] [SC-173699][SQL]null 型の非 codegen 順序付け例外を修正する
  • [SPARK-49467] [SC-176051][SS]状態データ ソースリーダーとリスト状態のサポートを追加する
  • [SPARK-47307] [SC-170891][SQL]必要に応じて base64 文字列をチャンクする構成を追加する
  • [SPARK-49391] [SC-176032][PS]フェンスからの距離で外れ値を選択するボックス プロット
  • [SPARK-49445] [SC-175845][UI]UI の進行状況バーでのツールヒントの表示をサポートする
  • [SPARK-49451] [SC-175702]parse_jsonで重複するキーを許可します。
  • [SPARK-49275] [SC-175701][SQL]xpath 式の戻り値の型 null 値を修正しました
  • [SPARK-49021] [SC-175578][SS]状態データ ソース リーダーを使用した transformWithState 値の状態変数の読み取りのサポートを追加しました
  • [SPARK-49474] [BEHAVE-143][SC-169253][SC-175933][SS]FlatMapGroupsWithState ユーザー関数エラーの分類 Error クラス
  • [SPARK-49408] [SC-175932][SQL]ProjectingInternalRow で IndexedSeq を使用する
  • [SPARK-49509] [SC-175853][CORE]代わりに Platform.allocateDirectBuffer を使用する ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][PS]フレーム ボックス プロットで、異常値/外れ値を適切にレンダリングする
  • [SPARK-49002] [SC-172846][SQL]WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY で無効な場所を一貫して処理する
  • [SPARK-49480] [SC-175699][CORE]から NullPointerException を修正する SparkThrowableHelper.isInternalError
  • [SPARK-49477] [SC-175828][PYTHON]pandas udf の戻り値の型が無効なエラー メッセージを改善する
  • [SPARK-48693] [SC-169492][SQL]Invoke と StaticInvoke の toString を簡略化して統合する
  • [SPARK-49441] [SC-175716][ML] executor で配列 StringIndexer 並べ替え
  • [SPARK-49347] [SC-175004][R] SparkR の非推奨
  • [SPARK-49357] [SC-175227][CONNECT][PYTHON]入れ子になった protobuf メッセージを垂直方向に切り捨てる
  • [SPARK-41982] [SC-120604][SQL] 文字列型のパーティションは数値型として処理しない
  • [SPARK-48776] [SC-170452][BEHAVE-72]json、xml、csv のタイムスタンプの書式設定を修正しました
  • [SPARK-49223] [SC-174800][ML] 組み込み関数を使用して StringIndexer.countByValue を簡略化する
  • [SPARK-49016] "[SC-174663][SQL] 破損したレコード列のみを含め、名前を _LEGACY_ERROR_TEMP_1285に割り当てる場合、生の CSV ファイルからの動作を復元できません" を元に戻す
  • [SPARK-49041][SC-172392][PYTHON][CONNECT]間違ったsubsetが与えられた場合にdropDuplicatesに対して適切なエラーを発生させる
  • [SPARK-49050] [SC-175235]仮想列ファミリを使用して TWS で deleteIfExists 演算子を有効にする
  • [SPARK-49216] [SC-173919][CORE]Structured Logging conf がオフのときに明示的に LogEntry が構築されたメッセージ コンテキストをログに記録しないように修正しました
  • [SPARK-49252] [SC-175596][CORE]MakeTaskSetExcludeList and HeathTracker independent
  • [SPARK-49352] [SC-174971][SQL]同じ式に対して冗長な配列変換を回避する
  • [SPARK-42307] [SC-173863][SQL]エラー _LEGACY_ERROR_TEMP_2232の名前を割り当てる
  • [SPARK-49197][SC-173732][CORE]launcher モジュールSpark Command出力を編集する
  • [SPARK-48913] [SC-173934][SQL]IndentingXMLStreamWriter を実装する
  • [SPARK-49306] [SC-175363][PYTHON][SQL]'zeroifnull' と 'nullifzero' の SQL 関数エイリアスを作成する
  • [SPARK-48344] [SQL]SQL スクリプトの実行 (Spark Connect を含む)
  • [SPARK-49402] [SC-175122][PYTHON]PySpark ドキュメントでの Binder の統合を修正する
  • [SPARK-49017] [SC-174664][SQL]複数のパラメーターが使用されている場合、Insert ステートメントが失敗する
  • [SPARK-49318] [SC-174733][SQL]エラー エクスペリエンスを向上させるために、チェック分析の最後まで LCA で優先順位の低いエラーを割り込む
  • [SPARK-49016] [SC-174663][SQL]破損したレコード列のみを含み、名前を割り当てる場合にのみ、生の CSV ファイルからのクエリが許可されていない動作を復元する _LEGACY_ERROR_TEMP_1285
  • [SPARK-49387][SC-175124][PYTHON]percentile_approxとaccuracyの型ヒントを修正しましたapprox_percentile
  • [SPARK-49131] [SC-174666][SS]TransformWithState は、遅延反復子を使用しても暗黙的なグループ化キーを適切に設定する必要があります
  • [SPARK-49301] [SC-174795][SS]Python worker に渡されるチャンク矢印データ
  • [SPARK-49039] [SC-174651][UI][ステージ] タブで Executor メトリックが読み込まれるときにチェック ボックスをリセットする
  • [SPARK-48428] [SC-169806][SQL]: NestedColumnAliasing での IllegalStateException の修正
  • [SPARK-49353] [SC-174830][SQL] UTF-32 エンコード/デコードに関連するドキュメントを更新する
  • [SPARK-48613] [SC-170966][SQL]SPJ: 1 つの側の自動シャッフルをサポートする + パーティション キーよりも少ない結合キー
  • [SPARK-47473] [SC-160450][BEHAVE-127][SQL]postgres INFINITY タイムスタンプの変換の正確性の問題を修正する
  • [SPARK-49142] [SC-173658][CONNECT][PYTHON]フォローアップして proto を文字列のパフォーマンス コストに戻す
  • [SPARK-49300] [SC-175008][CORE]tokenRenewalInterval が設定されていない場合の Hadoop 委任トークン リークを修正します。
  • [SPARK-49367] [SC-175012][PS]複数の列の KDE 計算を並列化する (プロットされたバックエンド)
  • [SPARK-49365] [SC-175011][PS]hist プロットのバケット集計を簡略化する
  • [SPARK-49372] [SC-175003][SS]以降の使用を回避するために、latestSnapshot が近くに none に設定されていることを確認します
  • [SPARK-49341] [SC-174785]を優先して connector/docker を削除する Apache Spark Operator
  • [SPARK-49344][SC-174894][PS]Spark での Pandas API のサポート json_normalize
  • [SPARK-49306] [SC-174794][SQL]新しい SQL 関数 'zeroifnull' と 'nullifzero' を作成する
  • [SPARK-48796] [SC-174668][SS]再起動時に VCF の RocksDBCheckpointMetadata から列ファミリ ID を読み込む
  • [SPARK-49342] [SC-174899][SQL]SQL 関数 'jsonFormatSchema' 引数TO_AVRO省略可能にする
  • [SPARK-48628] [SC-174695][CORE]タスクピークのオン/オフ ヒープ メモリ メトリックを追加する
  • [SPARK-47407] [SC-159379][BEHAVE-126][SQL]NullType への java.sql.Types.NULL マップのサポート
  • [SPARK-48628] [SC-173407][CORE]タスクピークのオン/オフ ヒープ メモリ メトリックを追加する
  • [SPARK-49166] [SC-173987][SQL]相関サブクエリでの OFFSET のサポート
  • [SPARK-49269] [SC-174676][SQL]AstBuilder の VALUES() リストを一括評価する
  • [SPARK-49281] [SC-174782][SQL]コピー コストを回避するために、GetBytesUnsafe で Parquet バイナリ getBytes を使用する
  • [SPARK-49113] [SC-174734]翻訳バグをアサートしない - サイレントモードで例外を飲み込む
  • [SPARK-49098] [SC-173253][SQL]INSERT の書き込みオプションを追加する
  • [SPARK-48638] [SC-174694][FOLLOW][CONNECT]ExecutionInfo のドキュメントを修正する
  • [SPARK-49250] [ES-1222826][SQL]CheckAnalysis で入れ子になった UnresolvedWindowExpression のエラー メッセージを改善する
  • [SPARK-48755] [SC-174258][SS][PYTHON] transformWithState pyspark 基本実装と ValueState のサポート
  • [SPARK-48966] [SC-174329][SQL]UDTF 呼び出しで無効な未解決の列参照を使用してエラー メッセージを改善する
  • [SPARK-46590] [SC-154115][SQL]予期しないパーティション indeces で合体が失敗する問題を修正しました
  • [SPARK-49235] [SC-174159][SQL]ツリー全体を走査しないように ResolveInlineTables ルールをリファクターする
  • [SPARK-49060] [SC-173107][CONNECT]SQL-Connect バイナリ互換性チェックの Mima 規則をクリーンアップする
  • [SPARK-48762] [SC-172525][SQL]ClusterBy DataFrameWriter API for Python の導入
  • [SPARK-49207] [SC-173852][SQL]SplitPart と StringSplitSQL での一対多のケース マッピングを修正する
  • [SPARK-49204] [SC-173850][SQL]StringInstr と StringLocate でのサロゲート ペアの処理を修正しました
  • [SPARK-36680] [SC-170640][SQL]Spark SQL の動的テーブル オプションをサポート
  • [SPARK-49204] [SC-173849][SQL]SubstringIndex でのサロゲート ペアの処理を修正する
  • [SPARK-49204] [SC-173848][SQL]StringTrim でのサロゲート ペアの処理を修正する
  • [SPARK-48967] [SC-173993]OPTIMIZE_INSERT_INTO_VALUES_PARSERの SparkConfigOwnershipSuite の前方テストを修正する
  • [SPARK-49204] [SC-173851][SQL]StringReplace でのサロゲート ペアの処理を修正する
  • [SPARK-48967] [SC-173993][SQL][16.x]"INSERT INTO ... VALUES" ステートメント
  • [SPARK-49099] Revert “[SC-173229][SQL] CatalogManager.setCurrent…
  • [SPARK-48347] [SC-173812][SQL]WHILE ステートメントのサポート
  • [SPARK-49128] [SC-173344][CORE]カスタム History Server UI タイトルのサポート
  • [SPARK-49146] [SC-173825][SS]追加モードのストリーミング クエリで透かしが見つからない問題に関連するアサーション エラーをエラー フレームワークに移動する
  • [SPARK-45787] [SC-172197][SQL]クラスタリング列の Catalog.listColumns をサポートする
  • [SPARK-49099] [SC-173229][SQL]CatalogManager.setCurrentNamespace はカスタム セッション カタログを考慮する必要があります
  • [SPARK-49138] [SC-173483][SQL]複数の式の CollationTypeCasts を修正する
  • [SPARK-49163] [SC-173666][SQL]壊れた Parquet パーティション データの結果に基づいてテーブルを作成しようとすると、ユーザーに表示されるエラーが返されます
  • [SPARK-49201] [SC-173793][PS][PYTHON][CONNECT]Spark SQL を使用 hist プロットを再実装する
  • [SPARK-49188] [SC-173682][SQL]文字列の配列の配列で呼び出concat_wsの内部エラー
  • [SPARK-49137] [SC-173677][SQL] if statement のブール条件が無効な場合は、例外をスローする必要があります
  • [SPARK-49193] [SC-173672][SQL]RowSetUtils.toColumnBasedSet のパフォーマンスを向上させる
  • [SPARK-49078] [SC-173078][SQL]v2 テーブルでの列の表示構文のサポート
  • [SPARK-49141] [SC-173388][SQL]バリアントを Hive の互換性のないデータ型としてマークする
  • [SPARK-49059] [チェリーピック][15.x][SC-172528][CONNECT] SessionHolder.forTesting(...) をテスト パッケージに移動する
  • [SPARK-49111] [SC-173661][SQL]WithProjectAndFilter を DataSourceV2Strategy のコンパニオン オブジェクトに移動する
  • [SPARK-49185] [SC-173688][PS][PYTHON][CONNECT]Spark SQL を使用 kde プロットを再実装する
  • [SPARK-49178] [SC-173673][SQL]Scala 2.12 で Spark 3.5 を使用する場合のパフォーマンスに合わせて Row#getSeq のパフォーマンスを最適化する
  • [SPARK-49093] [SC-172958][SQL]複合型内に入れ子になった MapType を含む GROUP BY
  • [SPARK-49142] [SC-173469][CONNECT][PYTHON]デバッグする Spark Connect クライアント ログ レベルを下げる
  • [SPARK-48761] [SC-172048][SQL]Scala 用 clusterBy DataFrameWriter API を導入する
  • [SPARK-48346] [SC-173083][SQL]SQL スクリプトでの IF ELSE ステートメントのサポート
  • [SPARK-48338] [SC-173112][SQL]パーサー/インタープリターからスローされる例外を改善する
  • [SPARK-48658] [SC-169474][SQL]エンコード/デコード関数は、マップできない文字に対して mojibake の代わりにコーディング エラーを報告します
  • [SPARK-49071] [SC-172954][SQL]ArraySortLike の特徴を削除する
  • [SPARK-49107] "Revert "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS supports RoutineType"" を元に戻す
  • [SPARK-49070] [SC-172907][SS][SQL]TransformWithStateExec.initialState が正しく書き換えられ、無効なクエリ プランが生成される
  • [SPARK-49114] [SC-173217]サブカテゴリで状態ストア エラーを読み込めません
  • [SPARK-49107] 元に戻す "[SC-173103][SQL] ROUTINE_ALREADY_EXISTS は RoutineType をサポートしています"
  • [SPARK-49048] [SC-173223][SS]指定されたバッチ ID で関連する演算子メタデータを読み取るためのサポートを追加しました
  • [SPARK-49094] [SC-173049][SQL]mergeSchema をオフにして hive orc impl に対して ignoreCorruptFiles が機能しない問題を修正しました
  • [SPARK-49108] [SC-173102][例]REST API の例 submit_pi.sh 追加する
  • [SPARK-49107] [SC-173103][SQL] ROUTINE_ALREADY_EXISTS Supports RoutineType
  • [SPARK-48997] [SC-172484][SS]メンテナンス スレッド プールのスレッドエラーに対して個々のアンロードを実装する
  • [SPARK-49063] [SC-173094][SQL]ScalarSubqueries との間の修正
  • [SPARK-45891] [SC-172305][SQL][PYTHON][VARIANT]バリアント スペックで間隔の種類のサポートを追加する
  • [SPARK-49074] [BEHAVE-110][SC-172815][SQL]でバリアントを修正する df.cache()
  • [SPARK-49003] [SC-172613][SQL]照合順序に対応するように解釈されたコード パス ハッシュを修正する
  • [SPARK-48740] [SC-172430][SQL]不足しているウィンドウ指定エラーを早期にキャッチする
  • [SPARK-48999] [SC-172245][SS]Divide PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602]OperatorStateMetadataV2 を使用して TransformWithStateExec 演算子の検証を実装する
  • [SPARK-49053] [SC-172494][PYTHON][ML] モデルの保存/読み込みヘルパー関数が Spark セッションを受け入れるようにする
  • [SPARK-49032] [Backport][15.x][SS]メタデータ テーブル エントリにスキーマ パスを追加し、予想されるバージョンを確認し、演算子メタデータ形式 v2 の演算子メタデータ関連テストを追加します
  • [SPARK-49034] [SC-172306][CORE]REST Submission API でサーバー側の sparkProperties 置換をサポートする
  • [SPARK-48931] [SC-171895][SS]状態ストアのメンテナンス タスクの Cloud Store List API コストを削減する
  • [SPARK-48849] [SC-172068][SS]TransformWithStateExec 演算子の OperatorStateMetadataV2 を作成する
  • [SPARK-49013] [SC-172322]scala の Map 型と配列型の collationsMap のキーを変更する
  • [SPARK-48414] [SC-171884][PYTHON]Python の破壊的変更を修正する fromJson
  • [SPARK-48910] [SC-171001][SQL]HashSet/HashMap を使用して、PreprocessTableCreation での線形検索を回避する
  • [SPARK-49007] [SC-172204][CORE]カスタム タイトルをサポートするように MasterPage を改善する
  • [SPARK-49009] [SC-172263][SQL][PYTHON]列 API と関数が列挙型を受け入れるようにする
  • [SPARK-49033] [SC-172303][CORE]REST Submission API でサーバー側の environmentVariables 置換をサポートする
  • [SPARK-48363] [SC-166470][SQL]で一部の冗長コードをクリーンアップする from_xml
  • [SPARK-46743] [SC-170867][SQL][BEHAVE-84]空のリレーションがある場合に ScalarSubqery が折りたたまれた後のカウント バグ
  • [SPARK-49040] [SC-172351][SQL]ドキュメントを修正する sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ML] メタ アルゴリズムによる SparkSession を使用したモデルの保存/読み込み
  • [SPARK-48959] [SC-171708][SQL]例外処理 NoSuchNamespaceException 復元するために NoSuchDatabaseException を拡張する
  • [SPARK-48996] [SC-172130][SQL][PYTHON]列の と または or に対してベア リテラルを許可する
  • [SPARK-48990] [SC-171936]#101759 のフォローアップ - テスト修正
  • [SPARK-48338] [SC-171912][SQL]変数宣言を確認する
  • [SPARK-48990] [SC-171936][SQL]統合変数関連の SQL 構文キーワード
  • [SPARK-48988] [SC-171915][ML] spark セッション DefaultParamsReader/Writer メタデータを処理する
  • [SPARK-48974] [SC-171978][SQL][SS][ML][MLLIB]代わりに SparkSession.implicits を使用する SQLContext.implicits
  • [SPARK-48760] [SC-170870][SQL]CatalogV2Util.applyClusterByChanges の修正
  • [SPARK-48928] [SC-171956]ローカルチェックポイント RDD で .unpersist() を呼び出すためのログ警告
  • [SPARK-48760] [SC-170139][SQL]ALTER TABLE ... クラスター化列を変更するための CLUSTER BY SQL 構文
  • [SPARK-48844] "[SC-170669][SQL] パスが空の場合にUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYの代わりに USE INVALID_EMPTY_LOCATION" を元に戻す
  • [SPARK-48833] [SC-171914][SQL][VARIANT]のサポート バリアント InMemoryTableScan
  • [SPARK-48975] [SC-171894][PROTOBUF]不要な ScalaReflectionLock 定義を削除する protobuf
  • [SPARK-48970] [SC-171800][PYTHON][ML] Spark ML リーダー/ライターで SparkSession.getActiveSession を使用しないようにする
  • [SPARK-48844] [SC-170669][SQL]パスが空の場合にUNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERYの代わりに USE INVALID_EMPTY_LOCATION
  • [SPARK-48714] [SC-170136]PySpark および UC での df.mergeInto テストの失敗を修正する
  • [SPARK-48957] [SC-171797][SS]hdfs および rocksdb プロバイダーの状態ストアの負荷に関するサブ分類エラー クラスを返す
  • [SPARK-48891] [Backport][15x][SC-171677][SS]StateSchemaCompatibilityChecker をリファクタリングして、すべての状態スキーマ形式を統合する
  • [SPARK-48972] [SC-171795][PYTHON]関数内のリテラル文字列処理を統合する
  • [SPARK-48388] [SC-171337][SQL]SQL スクリプトの SET ステートメントの動作を修正する
  • [SPARK-48743] [SC-170552][SQL][SS]MergingSessionIterator は、getStruct が null を返すときに処理する方が適切です
  • [SPARK-48623] [15.x][SC-171322][CORE]FileAppender ログを構造化ログに移行する
  • [SPARK-36680] [DBRRM-1123]元に戻す "[SC-170640][SQL] Spark SQL の動的テーブル オプションをサポートしています"
  • [SPARK-48841][SC-170868][BEHAVE-83][SQL]のsql()にcollationNameを含めるCollate
  • [SPARK-48941] [SC-171703][PYTHON][ML] RDD 読み取り/書き込み API 呼び出しをデータフレーム読み取り/書き込み API に置き換える
  • [SPARK-48938] [SC-171577][PYTHON]Python UDF を登録するときのエラー メッセージを改善する
  • [SPARK-48350] [SC-171040][SQL]Sql スクリプトのカスタム例外の概要
  • [SPARK-48907] [SC-171158][SQL]で explicitTypes 値を修正する COLLATION_MISMATCH.EXPLICIT
  • [SPARK-48945] [SC-171658][PYTHON]を使用して正規表現関数を簡略化する lit
  • [SPARK-48944] [SC-171576][CONNECT]Connect Server で JSON 形式のスキーマ処理を統合する
  • [SPARK-48836] [SC-171569]SQL スキーマを状態スキーマ/メタデータと統合する
  • [SPARK-48946] [SC-171504][SQL]セッションが null の場合の編集メソッドの NPE
  • [SPARK-48921] [SC-171412][SQL]MergeInto では、サブクエリ内の ScalaUDF エンコーダーを解決する必要があります
  • [SPARK-45155] [SC-171048][CONNECT]Spark Connect JVM/Scala クライアントの API ドキュメントを追加する
  • [SPARK-48900][SC-171319]cancelJobGroupとreasonフィールドの追加cancelJobsWithTag
  • [SPARK-48865] [SC-171154][SQL]try_url_decode関数を追加する
  • [SPARK-48851] [SC-170767][SQL] SCHEMA_NOT_FOUND の値を namespace から catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] Spark Connect での UDAF toColumn API のサポート
  • [SPARK-45190] [SC-171055][SPARK-48897][PYTHON][CONNECT]StructType スキーマ from_xml サポートする
  • [SPARK-48930][SC-171304][CORE]accesskey パターンを含めてawsAccessKeyIdを編集する
  • [SPARK-48909] [SC-171080][ML][MLLIB]メタデータの書き込み時に SparkContext に対して SparkSession を使用する
  • [SPARK-48883] [SC-171133][ML][R] RDD 読み取り/書き込み API 呼び出しをデータフレーム読み取り/書き込み API に置き換える
  • [SPARK-48924] [SC-171313][PS]pandas のような make_interval ヘルパー関数を追加する
  • [SPARK-48884] [SC-171051][PYTHON]未使用のヘルパー関数を削除する PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][SQL]共用体の複数コマンドを一緒に熱心に実行する
  • [SPARK-48896] [SC-171079][ML][MLLIB]メタデータを書き出すときに再パーティション分割を回避する
  • [SPARK-48892] [SC-171127][ML] 行ごとのパラメーターの読み取りを回避する Tokenizer
  • [SPARK-48927] [SC-171227][CORE]キャッシュされた RDD の数を表示する StoragePage
  • [SPARK-48886] [15.x][Backport][SC-171039][SS]バージョン情報を changelog v2 に追加して、進化を容易にする
  • [SPARK-48903] [SC-171136][SS]リモート読み込み時に RocksDB の最後のスナップショット バージョンを正しく設定する
  • [SPARK-48742] [SC-170538][SS]RocksDB の仮想列ファミリ
  • [SPARK-48726] [15.x][SC-170753][SS]StateSchemaV3 ファイル形式を作成し、TransformWithStateExec 演算子に対してこれを書き出します
  • [SPARK-48794] [SC-170882][CONNECT][15.x] Spark Connect の df.mergeInto のサポート (Scala と Python)
  • [SPARK-48714] [SC-170136][PYTHON]PySpark で DataFrame.mergeInto を実装する
  • [SPARK-48772] [SC-170642][SS][SQL]状態データ ソース変更フィード リーダー モード
  • [SPARK-48666] [SC-170887][SQL]Python UDF が含まれている場合は、フィルターをプッシュダウンしない
  • [SPARK-48845] [SC-170889][SQL]GenericUDF が子からの例外をキャッチする
  • [SPARK-48880] [SC-170974][CORE]ドライバー プラグインの初期化に失敗した場合に NullPointerException をスローしないようにする
  • [SPARK-48888] [Backport][15x][SC-170973][SS]変更ログ操作のサイズに基づいてスナップショットの作成を削除する
  • [SPARK-48871] [SC-170876]検証INVALID_NON_DETERMINISTIC_EXPRESSIONS修正...
  • [SPARK-48883] [SC-170894][ML][R] RDD 読み取り/書き込み API 呼び出しをデータフレーム読み取り/書き込み API に置き換える
  • [SPARK-36680] [SC-170640][SQL]Spark SQL の動的テーブル オプションをサポート
  • [SPARK-48804] [SC-170558][SQL]Add classIsLoadable > OutputCommitter.isAssignableFrom check for output committer class configrations
  • [SPARK-46738] [SC-170791][PYTHON]doctests のグループを再び有効にします
  • [SPARK-48858][SC-170756][PYTHON]Threadの非推奨のsetDaemonメソッド呼び出しを削除するlog_communication.py
  • [SPARK-48639] [SC-169801][CONNECT][PYTHON]RelationCommon に原点を追加する
  • [SPARK-48863] [SC-170770][ES-1133940][SQL]"spark.sql.json.enablePartialResults" が有効になっている JSON を解析するときに ClassCastException を修正する
  • [SPARK-48343] [SC-170450][SQL]SQL スクリプト インタープリターの概要
  • [SPARK-48529] [SC-170755][SQL]SQL スクリプトでのラベルの概要
  • [SPARK-45292] “[SC-151609][SQL][HIVE] IsolatedClientLoader の共有クラスから Guava を削除する” を元に戻す
  • [SPARK-48037] [SC-165330][CORE][3.5] SortShuffleWriter にシャッフル書き込みに関連するメトリックがないため、データが不正確な可能性がある問題を修正する
  • [SPARK-48720] [SC-170551][SQL]v1 と v2 でコマンド ALTER TABLE ... UNSET TBLPROPERTIES ... を配置する
  • [SPARK-48485] [SC-167825][CONNECT][SS]ストリーミング クエリでの interruptTag と interruptAll のサポート
  • [SPARK-45292] [SC-151609][SQL][HIVE] IsolatedClientLoader の共有クラスから Guava を削除する
  • [SPARK-48668] [SC-169815][SQL]ALTER NAMESPACE ... をサポートします。 v2 の UNSET プロパティ
  • [SPARK-47914] [SC-165313][SQL]範囲に分割パラメーターを表示しない
  • [SPARK-48807] [SC-170643][SQL]CSV データソースのバイナリサポート
  • [SPARK-48220] [SC-167592][PYTHON][15.X]PyArrow テーブルを createDataFrame() に渡すことを許可する
  • [SPARK-48545] [SC-169543][SQL]DataFrame と同等のデータフレームに一致するto_avroとfrom_avro SQL 関数を作成する
  • [SPARK-47577] [SC-168875][SPARK-47579]ログ キー TASK_IDの正しい誤解を招く使用

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

システム環境

  • オペレーティング システム: Ubuntu 24.04.1 LTS
  • Java: Zulu17.50+19-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

インストールされている Python ライブラリ

ライブラリ Version ライブラリ Version ライブラリ バージョン
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
cryptography 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 非推奨 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
活用 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
パッケージング 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
requests 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

インストールされている R ライブラリ

R ライブラリは、Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

ライブラリ Version ライブラリ Version ライブラリ Version
矢印 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0 から 8 blob 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
キャレット 6.0-94 cellranger 1.1.0 chron 2.3-61
クラス 7.3-22 cli 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 資格情報 2.0.1 curl 5.2.1
data.table 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
ダイアグラム 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
ライフサイクル 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
マトリックス 1.6-5 memoise 2.0.1 方法 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 progress 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 stats 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 Swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.52 tools 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 郵便番号 2.3.1

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics ストリーム (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクタ 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
stax stax-api 1.0.1