Databricks Runtime 15.4 LTS
以下のリリース ノートの内容は、Apache Spark 3.5.0 上で稼働する Databricks Runtime 15.4 LTS に関する情報です。
Databricks は、2024 年 8 月にこのバージョンをリリースしました。
Note
LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されない可能性があります。
動作の変更
- Python UDF、UDAF、UDTF を使用して入力または出力のタイプとして
VARIANTを使用すると、例外がスローされます - ビューの既定のスキーマ バインド モードに対する変更
- ブール式の外側で
NOTの代わりにドキュメントに記載されていない!構文を使用するのを禁止する - ビュー内でのドキュメントに記載されていない列定義構文を禁止する
- Base64 デコードのエラー処理を Spark と Photon で統一する
- 無効な列に
CHECK制約を追加したら UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスを返す
Python UDF、UDAF、UDTF を使用して入力または出力のタイプとして VARIANT を使用すると、例外がスローされます
[破壊的変更] Databricks Runtime 15.3 以降では、引数または戻り値として VARIANT タイプを使用する Python のユーザー定義関数 (UDF)、ユーザー定義集計関数 (UDAF)、ユーザー定義テーブル関数 (UDTF) を呼び出すと、例外がスローされます。 この変更は、これらの関数のいずれかが返す無効な値による原因により、発生する可能性がある問題を防ぐために行われました。 VARIANT タイプの詳細については、「VARIANT を使用して半構造化データの保存」を参照してください。
ビューの既定のスキーマ バインド モードに対する変更
ビューは、基になるクエリでのスキーマの変更に、通常のキャスト ルールでのスキーマ補正を使って適応するようになりました。 これは、ビューの参照時に安全なキャストを実行できないとエラーが発生していた、BINDING モードの以前の既定値からの変更です。
「CREATE VIEW」と「cast 関数」をご覧ください。
ブール式の外側で NOT の代わりにドキュメントに記載されていない ! 構文を使用するのを禁止する
このリリースでは、ブール式の外側で NOT のシノニムとして ! を使うことはできなくなります。 次はそのようなステートメントの例です: CREATE ... IF ! EXISTS、IS ! NULL、! NULL 列またはフィールド プロパティ、! IN、! BETWEEN は、CREATE ... IF NOT EXISTS、IS NOT NULL、NOT NULL 列またはフィールド プロパティ、NOT IN、NOT BETWEEN に置き換える必要があります。
この変更により、一貫性が保証され、SQL 標準に準拠するようになり、SQL の移植性が高くなります。
ブール前置演算子 ! (例: !is_mgr や !(true AND false)) は、この変更の影響を受けません。
ビュー内でのドキュメントに記載されていない列定義構文を禁止する
Databricks は CREATE VIEW と名前付き列と列コメントをサポートしています。 これまで、列の型、NOT NULL 制約、または DEFAULT の指定は許されていました。 このリリースでは、この構文を使用できなくなります。
この変更により、一貫性が保証され、SQL 標準に準拠するようになり、将来の機能拡張がサポートされます。
Base64 デコードのエラー処理を Spark と Photon で統一する
このリリースでは、Photon での Base64 デコード エラーの処理方法が Spark でのエラー処理方法に合わせて変更されています。 この変更の前は、Photon と Spark のコード生成パスでは解析例外が生成されないことがあり、Spark では実行が正しく解釈されて IllegalArgumentException または ConversionInvalidInputError が生成されていました。 この更新で、Photon でも Base64 デコード エラーの発生時に Spark と同じ例外が常に生成されるようになり、したがってエラー処理の予測可能性と信頼性が向上します。
無効な列に CHECK 制約が追加されたときに UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスを返すように変更
より有益なエラー メッセージを提供するために、Databricks Runtime 15.3 以上では ALTER TABLE ADD CONSTRAINT ステートメントに含まれている CHECK 制約で参照されている列名が無効の場合に UNRESOLVED_COLUMN.WITH_SUGGESTION エラー クラスが返されます。 以前は、INTERNAL_ERROR が返されていました。
新機能と機能強化
- UTF-8 検証機能
- to_avro関数とfrom_avro関数
- Scala UDF を使用した Typed Dataset API
- ALTER TABLE を使用して UniForm Iceberg を有効にする
- try_url_decode 関数
- 必要に応じて、オプティマイザーが強制されていない外部キー制約に依存するのを許可する
- 選択的な上書きで並列化されたジョブが実行する
- 選択的な上書きでの変更データ フィードのパフォーマンスが向上した
COPY INTOコマンドのクエリ待ち時間の改善- チェック制約テーブル機能の削除のサポート
- シングル ユーザー コンピューティングでは、きめ細かいアクセス制御、具体化されたビュー、ストリーミング テーブルがサポートされます (パブリック プレビュー)
- Java と Scala のライブラリのサポートを拡張
- Scala Dataset 操作のサポートを拡張
- Unity Catalog 共有コンピューティングでの Scala の一般提供開始
- サービス資格情報を使用した外部クラウド サービスへの Unity カタログ管理アクセス (パブリック プレビュー)
UTF-8 検証機能
このリリースでは、UTF-8 文字列の検証に次の機能が導入されています。
- is_valid_utf8 は、文字列が有効な UTF-8 文字列であるかどうかを確認しました。
- make_valid_utf8 は、代替文字を使用して無効な可能性がある UTF-8 文字列を有効な UTF-8 文字列に変換します
- validate_utf8 は入力が有効な UTF-8 文字列でない場合、エラーを発生させます。
- try_validate_utf8 は、入力が有効な UTF-8 文字列でない場合、
NULLを返します。
to_avro関数とfrom_avro関数
to_avro関数とfrom_avro関数を使用すると、SQL 型を Avro バイナリ データに変換して戻したりすることができます。
Scala UDF を使用した Typed Dataset API
このリリースには、共有アクセス モードの Unity Catalog 有効化コンピューティングに Scala ユーザー定義関数 (ユーザー定義集計関数を除く) を持つ型指定されたデータセット API に追加サポートが含まれます。 「Typed Dataset API」を参照してください。
ALTER TABLE を使用して UniForm Iceberg を有効にする
データ ファイルを書き換えなくても、既存のテーブルで UniForm Iceberg を有効にできるようになりました。 「既存のテーブルを変更して有効にする」をご覧ください。
try_url_decode 関数
このリリースでは、URL エンコード文字列をデコードする try_url_decode 関数が導入されました。 文字列が正しい形式になっていない場合、関数はエラーを発生させるのではなく NULL を返します。
必要に応じて、オプティマイザーが強制されていない外部キー制約に依存するのを許可する
クエリのパフォーマンスを向上させるため、テーブルの CREATE または ALTER を行うときに、FOREIGN KEY 制約に対して RELY キーワードを指定できるようになりました。
選択的な上書きで並列化されたジョブが実行する
replaceWhere を使った選択的な上書きで、データの削除と新しいデータの挿入を行うジョブが、並列に実行されるようになり、クエリのパフォーマンスとクラスターの使用率が向上します。
選択的な上書きでの変更データ フィードのパフォーマンスが向上した
変更データ フィードを含むテーブルでの replaceWhere を使った選択的な上書きで、挿入されたデータに対して個別の変更データ ファイルが書き込まれることがなくなりました。 これらの操作では、基になる Parquet データ ファイルに存在する非表示の _change_type 列を使って、書き込みを増やすことなく変更が記録されます。
COPY INTO コマンドのクエリ待ち時間の改善
このリリースには、COPY INTO コマンドのクエリ待ち時間を改善する変更が含まれています。 この改善は、RocksDB 状態ストアによる状態の読み込みを非同期にすることによって実装されます。 この変更により、多くの状態を持つクエリ (たとえば、既に取り込まれたファイルの数が多いクエリ) で、開始時間が向上するはずです。
チェック制約テーブル機能の削除のサポート
ALTER TABLE table_name DROP FEATURE checkConstraints を使用して Delta テーブルから checkConstraints テーブル機能を削除できるようになりました。 「CHECK 制約を無効にする」をご覧ください。
シングル ユーザー コンピューティングでは、きめ細かいアクセス制御、具体化されたビュー、ストリーミング テーブルがサポートされます (パブリック プレビュー)
ワークスペースでサーバーレス コンピューティングが有効になっている場合、Databricks Runtime 15.4 LTS では、シングル ユーザー コンピューティングでのきめ細かなアクセス制御のサポートが追加されます。 クエリが次のいずれかのオブジェクトにアクセスすると、Databricks Runtime 15.4 LTS の単一ユーザー コンピューティング リソースは、データ フィルター処理を実行するためにクエリをサーバーレス コンピューティングに渡します。
- ユーザーが
SELECT特権を持たないテーブルに対して定義されたビュー。 - 動的ビュー。
- 行フィルターまたは列マスクが適用されているテーブル。
- 具体化されたビューとストリーミング テーブル。
これらのクエリは、Databricks Runtime 15.3 以下を実行しているシングル ユーザー コンピューティングではサポートされていません。
詳細については、「 シングル ユーザー コンピューティングでの詳細なアクセス制御を参照してください。
Java と Scala のライブラリのサポートを拡張
Databricks Runtime 15.4 LTS から、Databricks Runtime にバンドルされたすべての Java と Scala のライブラリは、すべてのコンピューティング アクセス モードで、Unity Catalog を使用するときに利用可能になります。 Unity Catalog 対応コンピューティングでの言語サポートの詳細については、「Unity Catalog のコンピューティング アクセス モードの制限事項」を参照してください。
Scala Dataset 操作のサポートを拡張
このリリースの、共有アクセス モードを使用する Unity Catalog 対応のコンピューティング リソースでは、次の Scala Dataset 操作がサポートされます: map、mapPartitions、foreachPartition、flatMap、reduce、filter。
Unity Catalog 共有コンピューティングでの Scala の一般提供開始
このリリースで、共有アクセス モード Unity Catalog 対応コンピューティング上での Scala の一般提供を開始しました。これにはスカラー ユーザー定義関数 (UDF) のサポートも含まれています。 構造化ストリーミング、Hive UDF、Hive ユーザー定義集計関数はサポートされていません。 制限事項の完全な一覧については、「Unity Catalog のコンピューティング アクセス モードの制限事項」を参照してください。
サービス資格情報を使用した外部クラウド サービスへの Unity カタログ管理アクセス (パブリック プレビュー)
サービス資格情報を使用すると、Azure マネージド ID (MI) と Unity カタログを使用して、クラウド テナントのサービスでシンプルで安全な認証を行うことができます。 サービス資格情報を使用した外部クラウド サービスへのアクセスの管理を参照してください。
バグ修正
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- azure-core 1.30.1 から 1.30.2 へ
- google-auth 2.29.0 から 2.31.0 へ
- google-cloud-storage 2.16.0 から 2.17.0 へ
- google-resumable-media 2.7.0 から 2.7.1 へ
- googleapis-common-protos 1.63.0 から 1.63.2 へ
- mlflow-skinny 2.11.3 から 2.11.4 へ
- proto-plus 1.23.0 から 1.24.0 へ
- s3transfer 0.10.1 から 0.10.2 へ
- アップグレードされた R ライブラリは次のとおりです。
- アップグレードされた Java ライブラリ:
- com.databricks.databricks-sdk-java 0.17.1 から 0.27.0 へ
- com.ibm.icu.icu4j 72.1 から 75.1 へ
- software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64 から 1.6.2-linux-x86_64 へ
Apache Spark
Databricks Runtime 15.4 LTS には Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 15.3 に含まれている Spark の修正プログラムと改善すべてに加えて、Spark に対して行われた次のバグ修正と改善が含まれています。
- [SPARK-48503] [DBRRM-1150][SC-172196][SQL] スカラー サブクエリ内の式が外部の行にバインドされている場合に、それらの上でのグループ化を許可する
- [SPARK-48834] [BEHAVE-79][SC-170972][SQL] クエリのコンパイル時に Python スカラー UDF、UDF、UDAF へのバリアント入力/出力を無効にする
- [SPARK-48441] [SC-170980][SQL][WARMFIX] 非 UTF8_BINARY 照合順序の StringTrim 動作を修正する
- [SPARK-48440] [SC-170895][SQL][WARMFIX] 非 UTF8_BINARY 照合順序の StringTranslate 動作を修正する
- [SPARK-48872] [SC-170866][PYTHON] _capture_call_site のオーバーヘッドを減らす
- [SPARK-48862] [SC-170845][PYTHON][CONNECT] INFO レベルが有効化されていないときに
_proto_to_stringの呼び出しを回避する - [SPARK-48852] [SC-170837][CONNECT] Connect での文字列トリミング関数を修正する
- [SPARK-48791] [SC-170658][CORE] CopyOnWriteArrayList を使用するアキュムレーター登録オーバーヘッドが原因のパフォーマンス リグレッションを修正する
- [SPARK-48118] [SQL]
SPARK_SQL_LEGACY_CREATE_HIVE_TABLE環境変数をサポートする - [SPARK-48241] [SC-165811][SQL] CSV に char/varchar 型の列がある場合の解析失敗
- [SPARK-48168] [SC-166900][SQL] ビット単位シフト演算子のサポートを追加する
- [SPARK-48148] [SC-165630][CORE] JSON オブジェクトが STRING として読み取られたときに変更を加えてはならない
- [SPARK-46625] [SC-170561] 参照としての Identifier 句を持つ CTE
- [SPARK-48771] [SC-170546][SQL] 大規模なクエリ プランの
LogicalPlanIntegrity.validateExprIdUniquenessを高速化する - [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] 既定の列名
castを Spark Classic 互換にする - [SPARK-48623] [SC-170544][CORE] 構造化ログ記録の移行 [パート 2]
- [SPARK-48296] [SC-166138][SQL]
to_xmlに対する Codegen サポート - [SPARK-48027] [SC-165154][SQL] 複数レベル結合に対する InjectRuntimeFilter で子結合の種類を確認する必要がある
- [SPARK-48686] [SC-170365][SQL] ParserUtils.unescapeSQLString のパフォーマンスを改善する
- [SPARK-48798] [SC-170588][PYTHON] SparkSession ベースのプロファイリングに対して
spark.profile.renderを導入する - [SPARK-48048] [SC-169099] "[SC-164846][CONNECT][SS] Scala のクライアント側リスナー サポートを追加した" を取り消す
- [SPARK-47910] [SC-168929][CORE] DiskBlockObjectWriter closeResources のときにメモリ リークを回避するためにストリームを閉じる
- [SPARK-48816] [SC-170547][SQL] UnivocityParser 内の間隔コンバーターに関する省力化
- [SPARK-48589] [SC-170132][SQL][SS] オプション snapshotStartBatchId と snapshotPartitionId を状態データ ソースに追加する
- [SPARK-48280] [SC-170293][SQL] 式ウォーキングを使用して照合順序テストの対象領域を改善する
- [SPARK-48837] [SC-170540][ML] CountVectorizer でバイナリ パラメーターを行ごとに 1 回ではなく変換ごとに 1 回だけ読み取る
- [SPARK-48803] [SC-170541][SQL] ParquetWriteSupport に合わせて Orc(De) シリアライザーで内部エラーをスローする
- [SPARK-48764] [SC-170129][PYTHON] IPython 関連のフレームをユーザー スタックから除外する
- [SPARK-48818] [SC-170414][PYTHON]
percentileの関数を単純にする - [SPARK-48479] [SC-169079][SQL] パーサーでのスカラーとテーブル SQL UDF の作成のサポート
- [SPARK-48697] [SC-170122][LC-4703][SQL] 照合順序を認識する文字列フィルターを追加する
- [SPARK-48800] [SC-170409][CONNECT][SS] ClientStreamingQuerySuite のフレーキー性を解消する
- [SPARK-48738] [SC-169814][SQL] ビルトイン関数エイリアス
random、position、mod、cardinality、current_schema、user、session_user、char_length、character_lengthの提供開始バージョンを修正する - [SPARK-48638] [SC-169575][CONNECT] DataFrame に対する ExecutionInfo サポートを追加する
- [SPARK-48064] [SC-164697][SQL] ルーチン関連のエラー クラスのエラー メッセージを更新する
- [SPARK-48810] [CONNECT] Session stop() API はべき等である必要があり、セッションが既にサーバーによって閉じられていても異常終了してはならない
- [SPARK-48650] [15.x][PYTHON] IPython Notebook から正しい呼び出しサイトを表示する
- [SPARK-48271] [SC-166076][SQL] RowEncoder での照合エラーを UNSUPPORTED_DATA_TYPE_FOR_ENCODER に変える
- [SPARK-48709] [SC-169603][SQL] DataSourceV2 CTAS の varchar 型解決のミスマッチを修正する
- [SPARK-48792] [SC-170335][SQL] char/varchar を持つテーブルへの部分的列リストを指定した INSERT のリグレッションを修正する
- [SPARK-48767] [SC-170330][SQL]
variant型データが無効な場合のエラー プロンプトを修正する - [SPARK-48719] [SC-170339][SQL]
RegrSlopeとRegrInterceptで最初のパラメーターが null のときの計算バグを修正する - [SPARK-48815] [SC-170334][CONNECT] 接続セッションを停止するときに環境を更新する
- [SPARK-48646] [SC-169020][PYTHON] Python データ ソース API の docstring と型ヒントを改良する
- [SPARK-48806] [SC-170310][SQL] url_decode が失敗したときに実際の例外を渡す
- [SPARK-47777] [SC-168818] Python ストリーミング データ ソース接続テストを修正する
- [SPARK-48732] [SC-169793][SQL]
JdbcDialect.compileAggregateに関連する非推奨の API 使用をクリーンアップする - [SPARK-48675] [SC-169538][SQL] 照合順序付き列を持つキャッシュ テーブルを修正する
- [SPARK-48623] [SC-169034][CORE] 構造化ログ記録の移行
- [SPARK-48655] [SC-169542][SQL] SPJ: 集計クエリのシャッフル スキップのテストを追加する
- [SPARK-48586] [SC-169808][SS] doMaintenance() でのロック獲得を削除するために load() 内の RocksDBFileManager でファイル マッピングのディープ コピーを作成する
- [SPARK-48799] [バックポート][15.x][SC-170283][SS] オペレーター メタデータ読み取り/書き込みと呼び出し元のバージョン管理をリファクターする
- [SPARK-48808] [SC-170309][SQL] thriftserver に Hive 1.2.1 を通して接続して結果スキーマが空であるときの NPE を修正する
- [SPARK-48715] [SC-170291][SQL] 照合順序を認識する文字列関数の実装に UTF8String 検証を統合する
- [SPARK-48747] [SC-170120][SQL] コード ポイント反復子を UTF8String に追加する
- [SPARK-48748] [SC-170115][SQL] UTF8String の numChars をキャッシュする
- [SPARK-48744] [SC-169817][Core] ログ エントリの構築は 1 回だけ行う必要がある
- [SPARK-46122] [SC-164313][SQL]
spark.sql.legacy.createHiveTableByDefaultを既定でfalseに設定する - [SPARK-48765] [SC-170119][DEPLOY] SPARK_IDENT_STRING の既定の値の評価を拡張する
- [SPARK-48759] [SC-170128][SQL] Spark 3.4 からの CREATE TABLE AS SELECT の動作変更についての移行ドキュメントを追加する
- [SPARK-48598] [SC-169484][PYTHON][CONNECT] キャッシュされたスキーマを DataFrame の操作の中で伝達する
- [SPARK-48766] [SC-170126][PYTHON]
element_atとtry_element_atでのextractionの動作の違いを文書化する - [SPARK-48768] [SC-170124][PYTHON][CONNECT]
explainをキャッシュしてはならない - [SPARK-48770] [バックポート][15.x][SC-170133][SS] セッション ウィンドウ集計クエリに使用される numColsPrefixKey の情報が見つかるかどうかを確認するためにドライバーでオペレーター メタデータを読み取るのは 1 回とするように変更する
- [SPARK-48656] [SC-169529][CORE]
CartesianRDD.getPartitionsで長さチェックを実行して COLLECTION_SIZE_LIMIT_EXCEEDED エラーをスローする - [SPARK-48597] [SC-168817][SQL] 論理プランのテキスト表現の中に isStreaming プロパティのマーカーを導入する
- [SPARK-48472] [SC-169044][SQL] リフレクト式での照合順序付き文字列を可能にする
- [SPARK-48699] [SC-169597][SQL] 照合順序 API を改良する
- [SPARK-48682] [SC-169812][SQL][BEHAVE-58] InitCap 式で UTF8_BINARY 文字列に対して ICU を使用する
- [SPARK-48282] [SC-169813][SQL] UTF8_BINARY_LCASE 照合順序の文字列検索ロジックを変更する (StringReplace、FindInSet)
- [SPARK-47353] [SC-169599][SQL] Mode 式に対する照合順序のサポートを有効にする
- [SPARK-48320] [SPARK-48490] OSS Spark からの最新のログ トレイトとテスト ケースを同期する
- [SPARK-48629] [SC-169479] 残っているコードを構造化ログ記録フレームワークに移行する
- [SPARK-48681] [SC-169469][SQL][BEHAVE-58] Lower/Upper 式で UTF8_BINARY 文字列に対して ICU を使用する
- [SPARK-48573] [15.x][SC-169582][SQL] ICU のバージョンをアップグレードする
- [SPARK-48687] [Backport][15.x][SS] ステートフル クエリに対してドライバーでの状態スキーマ検証と更新を実行するように変更を追加する
- [SPARK-47579] [15.x][SC-167310][CORE][PART4] 変数を含む logInfo を構造化ログ記録フレームワークに移行する
- [SPARK-48008] [SC-167363][1/2] Spark Connect で UDAF をサポートする
- [SPARK-48578] [SC-169505][SQL] UTF8 文字列検証関連の関数を追加する
- [SPARK-48670] [SC-169598][SQL] 無効な照合順序名が指定されたときにエラー メッセージの一部として候補を提示する
- [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA… …RK-48291] Java 側の構造化ログ記録フレームワーク
- [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: 変数を含む logWarn を構造化ログ記録フレームワークに移行する
- [SPARK-48706] [SC-169589][PYTHON] 上位の関数内の Python UDF が内部エラーをスローしてはならない
- [SPARK-48498] [BEHAVE-38][SC-168060][SQL] 述語では常に文字パディングを行う
- [SPARK-48662] [SC-169533][SQL] 照合順序に関して StructsToXml 式を修正する
- [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates と dropDuplicatesWIthinWatermark が可変長引数を受け入れる必要がある
- [SPARK-48678] [SC-169463][CORE] SparkConf.get(ConfigEntry) のパフォーマンス最適化
- [SPARK-48576] [SQL] UTF8_BINARY_LCASE から UTF8_LCASE に名前を変更する
- [SPARK-47927] [SC-164123][SQL]: UDF デコーダーの NULL 値の許容属性を修正する
- [SPARK-47579] [SC-165297][CORE][PART1] 変数を含む logInfo を構造化ログ記録フレームワークに移行する (新)
- [SPARK-48695] [SC-169473][PYTHON]
TimestampNTZType.fromInternal非推奨のメソッドを使用しない - [SPARK-48431] [SC-167290][LC-4066][SQL] 照合順序付きの列に対する述語をファイル リーダーに転送しない
- [SPARK-47579] "[SC-165297][CORE][PART1] 変数を含む logInfo を構造化ログ記録フレームワークに移行する" を取り消す
- [SPARK-47585] [SC-164306][SQL] SQL core: 変数を含む logInfo を構造化ログ記録フレームワークに移行する
- [SPARK-48466] [SC-169042][SQL] EmptyRelation 専用のノードを AQE で作成する
- [SPARK-47579] [SC-165297][CORE][PART1] 変数を含む logInfo を構造化ログ記録フレームワークに移行する
- [SPARK-48410] [SC-168320][SQL] UTF8_BINARY_LCASE と ICU の照合順序の場合の InitCap 式を修正する
- [SPARK-48318] [SC-167709][SQL] すべての照合順序 (複合型) に対してハッシュ結合サポートを有効にする
- [SPARK-48435] [SC-168128][SQL] UNICODE 照合順序はバイナリ等価性をサポートしてはならない
- [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] pyspark/scala のさまざまな関数のパラメーターとしての Column の使用をサポートする
- [SPARK-48591] [SC-169081][PYTHON]
Column.pyを単純にするヘルパー関数を追加する - [SPARK-48574] [SC-169043][SQL] 照合順序付きの StructType のサポートを修正する
- [SPARK-48305] [SC-166390][SQL] CurrentLike 式に対する照合順序サポートを追加する
- [SPARK-48342] [SC-168941][SQL] SQL Scripting Parser を導入する
- [SPARK-48649] [SC-169024][SQL] 無効なパーティション パスを無視できるようにするために "ignoreInvalidPartitionPaths" と "spark.sql.files.ignoreInvalidPartitionPaths" の構成を追加する
- [SPARK-48000] [SC-167194][SQL] すべての照合順序 (StringType) に対してハッシュ結合サポートを有効にする
- [SPARK-48459] [SC-168947][CONNECT][PYTHON] DataFrameQueryContext を Spark Connect で実装する
- [SPARK-48602] [SC-168692][SQL] CSV ジェネレーターで spark.sql.binaryOutputStyle を使用して異なる出力スタイルをサポートできるようにする
- [SPARK-48283] [SC-168129][SQL] UTF8_BINARY_LCASE の文字列比較を変更する
- [SPARK-48610] [SC-168830][SQL] リファクター: 補助 idMap を OP_ID_TAG の代わりに使用する
- [SPARK-48634] [SC-169021][PYTHON][CONNECT] ExecutePlanResponseReattachableIterator でのスレッドプールの静的初期化を回避する
- [SPARK-47911] [SC-164658][SQL] バイナリ出力の整合性を保つためにユニバーサル BinaryFormatter を導入する
- [SPARK-48642] [SC-168889][CORE] スピル時のタスク強制終了が原因で偽の SparkOutOfMemoryError が発生する
- [SPARK-48572] [SC-168844][SQL] DateSub、DateAdd、WindowTime、TimeWindow、SessionWindow の式を修正する
- [SPARK-48600] [SC-168841][SQL] FrameLessOffsetWindowFunction 式の暗黙的キャストを修正する
- [SPARK-48644] [SC-168933][SQL] Hex.hex で長さチェックを実行して COLLECTION_SIZE_LIMIT_EXCEEDED エラーをスローする
- [SPARK-48587] [SC-168824][VARIANT] サブバリアントにアクセスするときのストレージ増幅を回避する
- [SPARK-48647] [SC-168936][PYTHON][CONNECT]
df.collectでのYearMonthIntervalTypeのエラー メッセージを改良する - [SPARK-48307] [SC-167802][SQL] InlineCTE は元の WithCTE ノードでのインライン化されていない関係を保持する必要がある
- [SPARK-48596] [SC-168581][SQL] long の 16 進文字列計算のパフォーマンス改善
- [SPARK-48621] [SC-168726][SQL] 照合順序付き文字列に対するオプティマイザーの Like 単純化を修正する
- [SPARK-47148] [SC-164179][SQL] キャンセル時の AQE ExchangeQueryStageExec 具体化を回避する
- [SPARK-48584] [SC-168579][SQL] unescapePathName のパフォーマンス改善
- [SPARK-48281] [SC-167260][SQL] UTF8_BINARY_LCASE 照合順序の文字列検索ロジックを変更する (StringInStr、SubstringIndex)
- [SPARK-48577] [SC-168826][SQL] 無効な UTF-8 バイト シーケンスの置き換え
- [SPARK-48595] [SC-168580][CORE]
commons-compressに関連する非推奨の API 使用をクリーンアップする - [SPARK-48030] [SC-164303][SQL] SPJ: InternalRowComparableWrapper のために rowOrdering と structType をキャッシュする
- [SPARK-48004] [SC-164005][SQL] v1 書き込みのための WriteFilesExecBase トレイトを追加する
- [SPARK-48551] [SC-168438][SQL] escapePathName のパフォーマンス改善
- [SPARK-48565] [SC-168437][UI] UI でのスレッド ダンプ表示を修正する
- [SPARK-48364] [SC-166782][SQL] AbstractMapType 型キャストを追加し、照合順序付き文字列で動作するように RaiseError パラメーター マップを修正する
- [SPARK-48421] [SC-168689][SQL] SPJ: ドキュメントを追加する
- [SPARK-48604] [SC-168698][SQL] 非推奨の
new ArrowType.Decimal(precision, scale)メソッド呼び出しを置き換える - [SPARK-46947] [SC-157561][CORE] メモリ マネージャーの初期化を Driver プラグインが読み込まれるまで遅らせる
- [SPARK-48411] [SC-168576][SS][PYTHON] DropDuplicateWithinWatermark に対する E2E テストを追加する
- [SPARK-48543] [SC-168697][SS] 状態行検証エラーを明示的なエラー クラスを使用して追跡する
- [SPARK-48221] [SC-167143][SQL] UTF8_BINARY_LCASE 照合順序の文字列検索ロジックを変更する (Contains、StartsWith、EndsWith、StringLocate)
- [SPARK-47415] [SC-168441][SQL] Levenshtein 式に対する照合順序サポートを追加する
- [SPARK-48593] [SC-168719][PYTHON][CONNECT] ラムダ関数の文字列表現を修正する
- [SPARK-48622] [SC-168710][SQL] SQLConf の取得は列名を解決するときに 1 回行う
- [SPARK-48594] [SC-168685][PYTHON][CONNECT]
ColumnAlias内のparentフィールドの名前をchildに変更する - [SPARK-48403] [SC-168319][SQL] UTF8_BINARY_LCASE と ICU の照合順序の場合の Lower 式と Upper 式を修正する
- [SPARK-48162] [SC-166062][SQL] MISC 式に対する照合順序サポートを追加する
- [SPARK-48518] [SC-167718][CORE] LZF 圧縮を並列で実行できるようにする
- [SPARK-48474] [SC-167447][CORE]
SparkSubmitArgumentsとSparkSubmitでのログのクラス名を修正する - [SPARK-48012] [SC-168267][SQL] SPJ: 片側シャッフルに対する変換式のサポート
- [SPARK-48552] [SC-168212][SQL] 複数行 CSV スキーマ推論では FAILED_READ_FILE のスローも必要である
- [SPARK-48560] [SC-168268][SS][PYTHON] StreamingQueryListener.spark を設定可能にする
- [SPARK-48569] [SC-168321][SS][CONNECT] query.name でのエッジ ケースを処理する
- [SPARK-47260] [SC-167323][SQL] エラー クラス _LEGACY_ERROR_TEMP_3250 に名前を割り当てる
- [SPARK-48564] [SC-168327][PYTHON][CONNECT] キャッシュされたスキーマを設定操作の中で伝達する
- [SPARK-48155] [SC-165910][SQL] 結合に対する AQEPropagateEmptyRelation では残りの子が BroadcastQueryStageExec だけかどうかを確認する必要がある
- [SPARK-48506] [SC-167720][CORE] 圧縮コーデックの短い名前はイベント ログを除いて大文字と小文字が区別されない
- [SPARK-48447] [SC-167607][SS] コンストラクターを呼び出す前に状態ストア プロバイダー クラスを確認する
- [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff と DateTimeUtils.timestampAdd で例外 INTERNAL_ERROR をスローしてはならない
- [SPARK-48513] [Backport][15.x][SC-168085][SS] 状態スキーマの互換性とマイナー リファクタリングのためのエラー クラスを追加する
- [SPARK-48413] [SC-167669][SQL] ALTER COLUMN での照合順序
- [SPARK-48561] [SC-168250][PS][CONNECT] サポートされていないプロット関数に対して
PandasNotImplementedErrorをスローする - [SPARK-48465] [SC-167531][SQL] 操作なし空の関係の伝達を回避する
- [SPARK-48553] [SC-168166][PYTHON][CONNECT] 追加でプロパティをキャッシュする
- [SPARK-48540] [SC-168069][CORE] stdout への ivy ローディング設定出力を回避する
- [SPARK-48535] [SC-168057][SS] ストリーム/ストリーム結合構成に対してスキップ null を有効にするとデータ損失/破損の可能性があることを示すように構成ドキュメントを更新する
- [SPARK-48536] [SC-168059][PYTHON][CONNECT] applyInPandas と applyInArrow でユーザー指定のスキーマをキャッシュする
- [SPARK-47873] [SC-163473][SQL] 照合順序付き文字列を通常の文字列型を使用して Hive メタストアに書き込む
- [SPARK-48461] [SC-167442][SQL] AssertNotNull 式での NullPointerExceptions をエラー クラスに置き換える
- [SPARK-47833] [SC-163191][SQL][CORE] checkAndGlobPathIfNecessary AnalysisException の場合に呼び出し元スタックトレースを提供する
- [SPARK-47898] [SC-163146][SQL] ポート HIVE-12270: DBTokenStore のサポートを HS2 委任トークンに追加する
- [SPARK-47578] [SC-167497][R] 変数を含む RPackageUtils を構造化ログ記録フレームワークに移行する
- [SPARK-47875] [SC-162935][CORE]
spark.deploy.recoverySerializerを削除する - [SPARK-47552] [SC-160880][CORE]
spark.hadoop.fs.s3a.connection.establish.timeoutがない場合は 30 秒に設定する - [SPARK-47972] [SC-167692][SQL] 照合順序に関して CAST 式を制限する
- [SPARK-48430] [SC-167489][SQL] マップに照合順序付き文字列が含まれている場合のマップ値の抽出を修正する
- [SPARK-47318] [SC-162712][CORE][3.5] 標準のキー交換方法に従うために AuthEngine キー導出に HKDF ラウンドを追加する
- [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] group-by や非等値列が誤って許可されていた無効なスカラー サブクエリを修正する
- [SPARK-48508] [SC-167695][CONNECT][PYTHON]
DataFrame.{to, mapInPandas, mapInArrow}でユーザー指定のスキーマをキャッシュする - [SPARK-23015] [SC-167188][WINDOWS] Windows で複数の Spark インスタンスを同一秒内に起動するとエラーが発生するというバグを修正する
- [SPARK-45891] [SC-167608] "バリアントのシュレッディングのしくみを説明する" を取り消す
- [SPARK-48391] [SC-167554][CORE] TaskMetrics クラスの fromAccumulatorInfos メソッドで関数を追加する代わりに addAll を使用する
- [SPARK-48496] [SC-167600][CORE] JavaUtils.timeStringAs と JavaUtils.byteStringAs で静的正規表現 Pattern インスタンスを使用する
- [SPARK-48476] [SC-167488][SQL] CSV の区切り文字が null である場合の NPE エラー メッセージを修正する
- [SPARK-48489] [SC-167598][SQL] テキスト データ ソースから無効なスキーマを読み取るときに、より良いユーザー向けのエラーをスローする
- [SPARK-48471] [SC-167324][CORE] 履歴サーバーのドキュメントと使用ガイドを改善する
- [SPARK-45891] [SC-167597] バリアントのシュレッディングのしくみを説明する
- [SPARK-47333] [SC-159043][SQL] checkInputDataTypes を使用して関数
to_xmlのパラメーター型を確認する - [SPARK-47387] [SC-159310][SQL] いくつかの未使用エラー クラスを削除する
- [SPARK-48265] [ES-1131440][SQL] ウィンドウ グループ制限推論バッチで定数畳み込みを行う必要がある
- [SPARK-47716] [SC-167444][SQL] SQLQueryTestSuite セマンティック並べ替えテスト ケースでのビュー名の競合を回避する
- [SPARK-48159] [SC-167141][SQL] 日時式での照合順序付き文字列に対するサポートを拡張する
- [SPARK-48462] [SC-167271][SQL][Tests] テストで withSQLConf を使用する: HiveQuerySuite と HiveTableScanSuite をリファクターする
- [SPARK-48392] [SC-167195][CORE]
--properties-fileが指定されたときはspark-defaults.confも読み込む - [SPARK-48468] [SC-167417] LogicalQueryStage インターフェイスを catalyst に追加する
- [SPARK-47578] [SC-164988][CORE] Spark PR #46309 の手動バックポート: 変数を含む logWarning を構造化ログ記録フレームワークに移行する
- [SPARK-48415] [SC-167321] "[PYTHON] パラメーター化されたデータ型をサポートするように TypeName をリファクターする" を取り消す
- [SPARK-46544] [SC-151361][SQL] v2 DESCRIBE TABLE EXTENDED とテーブル統計をサポートする
- [SPARK-48325] [SC-166963][CORE] ExecutorRunner.killProcess で常にメッセージを指定する
- [SPARK-46841] [SC-167139][SQL] ICU ロケールに対する照合順序サポートと照合順序指定子を追加する
- [SPARK-47221] [SC-157870][SQL] 使用するシグネチャを CsvParser から AbstractParser に変更する
- [SPARK-47246] [SC-158138][SQL] コレクション変換を保存するための
InternalRow.fromSeqをnew GenericInternalRowに置き換える - [SPARK-47597] [SC-163932][STREAMING] Spark PR #46192 の手動バックポート: ストリーミング: 変数を含む logInfo を構造化ログ記録フレームワークに移行する
- [SPARK-48415] [SC-167130][PYTHON] パラメーター化されたデータ型をサポートするように
TypeNameをリファクターする - [SPARK-48434] [SC-167132][PYTHON][CONNECT] キャッシュされたスキーマを
printSchemaで使用する - [SPARK-48432] [ES-1097114][SQL] UnivocityParser での整数のボックス化解除を回避する
- [SPARK-47463] [SC-162840][SQL] V2Predicate を使用して戻り値がブール型の式をラップする
- [SPARK-47781] [SC-162293][SQL] JDBC データ ソースの負の位取りの 10 進数値を処理する
- [SPARK-48394] [SC-166966][CORE] mapoutput 登録解除時に mapIdToMapIndex をクリーンアップする
- [SPARK-47072] [SC-156933][SQL] エラー メッセージでサポートされている間隔形式を修正する
- [SPARK-47001] [SC-162487][SQL] オプティマイザーでのプッシュダウン確認
- [SPARK-48335] [SC-166387][PYTHON][CONNECT]
_parse_datatype_stringを Spark Connect 互換にする - [SPARK-48329] [SC-166518][SQL]
spark.sql.sources.v2.bucketing.pushPartValues.enabledを既定で有効にする - [SPARK-48412] [SC-166898][PYTHON] データ型 json 解析をリファクターする
- [SPARK-48215] [SC-166781][SQL] date_format 式での照合順序付き文字列に対するサポートを拡張する
- [SPARK-45009] [SC-166873][SQL][FOLLOW UP] 両方の結合子を参照する結合条件内の述語サブクエリの相関解除に関するエラー クラスとテストを追加する
- [SPARK-47960] [SC-165295][SS][15.x] transformWithState オペレーターの後に他のステートフル オペレーターをチェーンできるようにする。
- [SPARK-48340] [SC-166468][PYTHON] TimestampNTZ スキーマ推論での prefer_timestamp_ntz 欠落のサポート
- [SPARK-48157] [SC-165902][SQL] CSV 式に対する照合順序サポートを追加する
- [SPARK-48158] [SC-165652][SQL] XML 式に対する照合順序サポートを追加する
- [SPARK-48160] [SC-166064][SQL] XPATH 式に対する照合順序サポートを追加する
- [SPARK-48229] [SC-165901][SQL] inputFile 式に対する照合順序サポートを追加する
- [SPARK-48367] [SC-166487][CONNECT] scalafmt で書式設定対象のファイルが正しく検出されるように lint-scala を修正する
- [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] DataFrame エラー コンテキストの構造のリファクタリング
- [SPARK-48370] [SC-166787][CONNECT] Scala Spark Connect クライアントでのチェックポイントと localCheckpoint
- [SPARK-48247] [SC-166028][PYTHON] MapType スキーマを推論するときに辞書内のすべての値を使用する
- [SPARK-48395] [SC-166794][PYTHON] パラメーター化された型に対する
StructType.treeStringを修正する - [SPARK-48393] [SC-166784][PYTHON] 一連の定数を
pyspark.utilに移動する - [SPARK-48372] [SC-166776][SPARK-45716][PYTHON]
StructType.treeStringを実装する - [SPARK-48258] [SC-166467][PYTHON][CONNECT] Spark Connect でのチェックポイントと localCheckpoint
「Databricks Runtime 15.4 LTS メンテナンス更新プログラム」を参照してください。
システム環境
- オペレーティング システム: Ubuntu 22.04.4 LTS
- Java: Zulu 8.78.0.19-CA-linux64
- Scala: 2.12.18
- Python: 3.11.0
- R: 4.3.2
- Delta Lake: 3.2.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | バージョン |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.2 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| クリックし | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
| contourpy | 1.0.5 | cryptography | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | executing | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.4 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.43 | google-api-core | 2.18.0 | google-auth | 2.31.0 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.17.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.1 | googleapis-common-protos | 1.63.2 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | jedi | 0.18.1 | jeepney | 0.7.1 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.4 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | パッケージング | 23.2 |
| pandas | 1.5.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | proto-plus | 1.24.0 |
| protobuf | 4.24.1 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 14.0.1 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.38 |
| pyparsing | 3.0.9 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 |
| pytz | 2022.7 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| requests | 2.31.0 | rsa | 4.9 | s3transfer | 0.10.2 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | setuptools | 68.0.0 | 6 | 1.16.0 |
| smmap | 5.0.1 | sqlparse | 0.5.0 | ssh-import-id | 5.11 |
| stack-data | 0.2.0 | statsmodels | 0.14.0 | tenacity | 8.2.2 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tornado | 6.3.2 |
| traitlets | 5.7.1 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.24.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| wheel | 0.38.4 | zipp | 3.11.0 |
インストールされている R ライブラリ
R ライブラリは、Posit パッケージ マネージャー CRAN スナップショットからインストールされます。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob (blob) | 1.2.4 | boot | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| キャレット | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| クラス | 7.3-22 | cli | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | 資格情報 | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
| ダイアグラム | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipsis | 0.3.2 | evaluate | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
| generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
| ライフサイクル | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| Matrix | 1.5-4.1 | memoise | 2.0.1 | 方法 | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | progress | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | Swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | tools | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | 郵便番号 | 2.3.1 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.610 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.610 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.610 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.610 |
| com.amazonaws | aws-java-sdk-config | 1.12.610 |
| com.amazonaws | aws-java-sdk-core | 1.12.610 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.610 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.610 |
| com.amazonaws | aws-java-sdk-directory | 1.12.610 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.610 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.610 |
| com.amazonaws | aws-java-sdk-efs | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.610 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.610 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.610 |
| com.amazonaws | aws-java-sdk-emr | 1.12.610 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.610 |
| com.amazonaws | aws-java-sdk-glue | 1.12.610 |
| com.amazonaws | aws-java-sdk-iam | 1.12.610 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.610 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.610 |
| com.amazonaws | aws-java-sdk-kms | 1.12.610 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.610 |
| com.amazonaws | aws-java-sdk-logs | 1.12.610 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.610 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.610 |
| com.amazonaws | aws-java-sdk-rds | 1.12.610 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.610 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.610 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.610 |
| com.amazonaws | aws-java-sdk-ses | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.610 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.610 |
| com.amazonaws | aws-java-sdk-sns | 1.12.610 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.610 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.610 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.610 |
| com.amazonaws | aws-java-sdk-sts | 1.12.610 |
| com.amazonaws | aws-java-sdk-support | 1.12.610 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.610 |
| com.amazonaws | jmespath-java | 1.12.610 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.27.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.1.1 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
| org.roaringbitmap | shims | 0.9.45-databricks |
| org.rocksdb | rocksdbjni | 8.11.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.2-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |