Databricks Runtime 14.3 LTS
以下のリリース ノートには、Apache Spark 3.5.0 で稼働する Databricks Runtime 14.3 LTS に関する情報が記載されています。
Databricks は、2024 年 2 月にこのバージョンをリリースしました。
Note
LTS は、このバージョンが長期的にサポートされていることを意味します。 Databricks Runtime LTS バージョンのライフサイクルに関する記事を参照してください。
ヒント
サポート終了 (EoS) を迎えた Databricks Runtime のバージョンのリリース ノートについては、「サポート終了 Databricks Runtime のリリース ノート」を参照してください。 EoS Databricks Runtime のバージョンは廃止されており、更新されていない可能性があります。
新機能と機能強化
- 共有クラスターでの PySpark ユーザー定義関数 (UDF) のワークスペース ファイル システムのサポート
- Photon を使用しない削除ベクトル
MERGE最適化のサポート - 共有アクセス モードで完全にサポートされるようになった Spark カタログ API
- Delta UniForm が一般提供されるようになった
- 新しい SQL 関数 EXECUTE IMMEDIATE
- Delta テーブルの統計をスキップしてデータを再計算する
- ステートフル ストリーミング クエリについての状態情報のクエリを実行する
- 共有クラスターで Kafka 認証に Microsoft Entra ID を使用する
- ファイルとパーティションを排除してクエリのパフォーマンスを改善するために追加されたサポート
- SQL セッションで一時変数を宣言する
- 未使用の機能を削除するための Thriftserver の更新プログラム
- Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用する
- ネイティブ XML ファイル形式のサポート (パブリック プレビュー)
- Cloudflare R2 ストレージのサポート (パブリック プレビュー)
- 共有アクセス Unity カタログ クラスターでのワークスペース ファイルへの Spark と dbutils アクセスのサポート
- 共有アクセス Unity Catalog クラスターでの Init スクリプトとクラスター ライブラリのサポート
共有クラスターでの PySpark ユーザー定義関数 (UDF) のワークスペース ファイル システムのサポート
共有クラスター上の PySpark UDF で、Python モジュールを Git フォルダー、ワークスペース ファイル、または UC ボリュームからインポートできるようになりました。
Git フォルダーまたはワークスペース ファイルでモジュールを使用する方法の詳細については、「Python と R のモジュールを使用する」を参照してください。
Photon を使用しない削除ベクトル MERGE 最適化のサポート
削除ベクトルの最適化を利用するための MERGE 操作に Photon が不要になりました。 「削除ベクトルとは」を参照してください。
共有アクセス モードで完全にサポートされるようになった Spark カタログ API
共有アクセス モードで構成されたコンピューティング上の Python と Scala の両方で、spark.catalog API のすべての関数を使用できるようになりました。
Delta UniForm が一般提供されるようになった
UniForm が一般提供になり、IcebergCompatV2 テーブル機能を使うようになりました。 既存のテーブルで UniForm を有効化またはアップグレードできるようになりました。 「UniForm を使用して Iceberg クライアントを使って Delta テーブルを読み取る」を参照してください。
新しい SQL 関数 EXECUTE IMMEDIATE
EXECUTE IMMEDIATE 構文を使用して、SQL でパラメーター化されたクエリをサポートできるようになりました。 「EXECUTE IMMEDIATE」を参照してください。
Delta テーブルの統計をスキップしてデータを再計算する
データのスキップに使用される列を変更した後、Delta ログに格納されている統計を再計算できるようになりました。 「Delta 統計の列を指定する」を参照してください。
ステートフル ストリーミング クエリについての状態情報のクエリを実行する
構造化ストリーミング状態データとメタデータに対してクエリを実行できるようになりました。 「構造化ストリーミング状態情報の読み取り」をご覧ください。
共有クラスターで Kafka 認証に Microsoft Entra ID を使用する
共有アクセス モードで構成されたコンピューティングで、Microsoft Entra ID を使用して OAuth 経由で Event Hubs サービスを認証できるようになりました。 「Microsoft Entra ID と Azure Event Hubs を使用したサービス プリンシパル認証」を参照してください。
ファイルとパーティションを排除してクエリのパフォーマンスを改善するために追加されたサポート
JOIN 条件で null トレラントの等価性に依存するクエリを高速化するために、JOIN の EqualNullSafe 演算子に対する DynamicFilePruning と DynamicPartitionPruning がサポートされるようになりました。
SQL セッションで一時変数を宣言する
このリリースでは、セッションで一時変数を宣言し、クエリ内で設定して参照できるようになりました。 「変数」を参照してください。
未使用の機能を削除するための Thriftserver の更新プログラム
古い機能のコードを削除するために Thriftserver コードが更新されました。 これらの変更のため、次の構成はサポートされなくなりました。
hive.aux.jars.pathプロパティを使用して構成された Hive 補助 JAR は、hive-thriftserver接続ではサポートされなくなりました。hive.server2.global.init.file.locationプロパティまたはHIVE_CONF_DIR環境変数を使用して場所が構成されている Hive グローバル init ファイル (.hiverc) は、hive-thriftserver接続ではサポートされなくなりました。
Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用する
Unity Catalog ボリュームでトラストストアおよびキーストア ファイルを使用して、Avro またはプロトコル バッファー データの Confluent スキーマ レジストリに対する認証を行えるようになりました。 Avro またはプロトコル バッファーのドキュメントをご参照ください。
ネイティブ XML ファイル形式のサポート (パブリック プレビュー)
ネイティブ XML ファイル形式のサポートは現在、パブリック プレビュー段階にあります。 XML ファイル形式のサポートにより、バッチ処理またはストリーミングのための XML データのインジェスト、クエリ、解析が可能になります。 スキーマとデータ型を自動的に推論および進化させることができ、from_xml などの SQL 式がサポートされ、XML ドキュメントを生成できます。 外部 jar は必要ありません。自動ローダー、read_files、COPY INTO、Delta Live Tables とシームレスに連携します。 「XML ファイルの読み取りと書き込み」をご参照ください。
Cloudflare R2 ストレージのサポート (パブリック プレビュー)
Unity Catalog に登録されたデータのクラウド ストレージとして Cloudflare R2 を使用できるようになりました。 Cloudflare R2 は主に、データがリージョンをまたがるときに、クラウド プロバイダーから課金されるデータ エグレス料金を回避しようと考える Delta Sharing のユース ケースを想定しています。 R2 ストレージは、AWS S3、Azure Data Lake Storage Gen2、および Google Cloud Storage でサポートされているすべての Databricks データと AI 資産をサポートします。 「Cloudflare R2 レプリカを使うか、ストレージを R2 に移行する」および「Cloudflare R2 に接続するためのストレージ資格情報を作成する」を参照してください。
共有アクセス Unity カタログ クラスターでのワークスペース ファイルへの Spark と dbutils アクセスのサポート
ワークスペース ファイルへの Spark および dbutils の読み取りおよび書き込みアクセスが、共有アクセス モードの Unity Catalog クラスターでサポートされるようになりました。 「ワークスペース ファイルを操作する」を参照してください。
共有アクセス Unity Catalog クラスターでの Init スクリプトとクラスター ライブラリのサポート
共有アクセス モードの Unity Catalog クラスターでのクラスター スコープの init スクリプトと Python および JAR ライブラリのインストール (クラスター ポリシーを使用したインストールを含む) が、一般提供されるようになりました。 Databricks では、Unity Catalog ボリュームから init スクリプトとライブラリをインストールすることをお勧めします。
ライブラリのアップグレード
- アップグレードされた Python ライブラリ:
- fastjsonschema (2.19.0 から 2.19.1 へ)
- filelock (3.12.4 から 3.13.1 へ)
- googleapis-common-protos (1.61.0 から 1.62.0 へ)
- packaging (22.0 から 23.2 へ)
- アップグレードされた R ライブラリ:
- foreign (0.8-82 から 0.8-85 へ)
- nlme (3.1-162 から 3.1-163 へ)
- rpart (4.1.19 から 4.1.21 へ)
- アップグレードされた Java ライブラリ:
- com.databricks.databricks-sdk-java (0.7.0 から 0.13.0)
- org.apache.orc.orc-core (1.9.1-shaded-protobuf から 1.9.2-shaded-protobuf へ)
- org.apache.orc.orc-mapreduce (1.9.1-shaded-protobuf から 1.9.2-shaded-protobuf へ)
- org.apache.orc.orc-shims (1.9.1 から 1.9.2 へ)
- org.scala-lang.modules.scala-collection-compat_2.12 (2.9.0 から 2.11.0 へ)
Apache Spark
Databricks Runtime 14.3 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 14.2 に含まれるすべての Spark の修正プログラムおよび機能強化に加え、Spark に対して行われた以下のバグ修正と機能強化が含まれています。
- [SPARK-46541] [SC-153546][SQL][CONNECT] 自己結合のあいまいな列参照を修正する
- [SPARK-45433] "[SC-145163][SQL] CSV/JSON スキーマ推測の修正…" を元に戻す
- [SPARK-46723] [14.3][SASP-2792][SC-153425][CONNECT][SCALA] addArtifact を再試行可能にする
- [SPARK-46660] [SC-153391][CONNECT] ReattachExecute 要求によって SessionHolder の有効性が更新される
- [SPARK-46670] [SC-153273][PYTHON][SQL] 静的な Python データ ソースとランタイム Python データ ソースを分離して DataSourceManager が自己複製できるようにする
- [SPARK-46720] [SC-153410][SQL][PYTHON] 他の DSv2 組み込みデータ ソースに合わせて Python データ ソースをリファクターする
- [SPARK-46684] [SC-153275][PYTHON][CONNECT] 引数を正しく渡すように CoGroup.applyInPandas/Arrow を修正する
- [SPARK-46667] [SC-153271][SC-153263][SQL] XML: 複数の XML データ ソースでエラーをスローする
- [SPARK-46382] [SC-151881][SQL]XML: ignoreSurroundingSpaces の既定値を true にする
- [SPARK-46382] [SC-153178][SQL] XML:
ignoreSurroundingSpacesのドキュメントを更新する - [SPARK-45292] “[SC-151609][SQL][HIVE] IsolatedClientLoader の共有クラスから Guava を削除する” を元に戻す
- [SPARK-45292] [SC-151609][SQL][HIVE] IsolatedClientLoader の共有クラスから Guava を削除する
- [SPARK-46311] [SC-150137][CORE]
Master.removeDriver中にドライバーの最終的な状態をログに記録する - [SPARK-46413] [SC-151052][PYTHON] Arrow Python UDF の returnType を検証する
- [SPARK-46633] [WARMFIX][SC-153092][SQL] 長さ 0 のブロックを処理するように Avro リーダーを修正する
- [SPARK-46537] [SC-151286][SQL] コマンドからの NPE とアサートを内部エラーに変換する
- [SPARK-46179] [SC-151678][SQL] Postgres 以降、他の DBMS でゴールデン ファイルに対して他の DBMS を実行する CrossDbmsQueryTestSuites を追加する
- [SPARK-44001] [SC-151413][PROTOBUF] protobuf の既知のラッパー型のラップ解除を許可するオプションを追加する
- [SPARK-40876] [SC-151786][SQL] Parquet リーダー内の小数点以下桁数が大きい 10 進数の型の上位変換の拡大
- [SPARK-46605] [SC-151769][CONNECT] connect モジュールの
lit/typedLit関数 がs.c.immutable.ArraySeqをサポートするようにする - [SPARK-46634] [SC-153005][SQL] リテラル検証を null フィールドにドリルダウンしてはならない
- [SPARK-37039] [SC-153094][PS] 欠損値があるときに正常に動作するように
Series.astypeを修正する - [SPARK-46312] [SC-150163][CORE]
store_types.protoでlower_camel_caseを使用する - [SPARK-46630] [SC-153084][SQL] XML: 書き込み時に XML 要素名を検証する
- [SPARK-46627] [SC-152981][SS][UI] ストリーミング UI でタイムライン ヒント コンテンツを修正する
- [SPARK-46248] [SC-151774][SQL] XML: ignoreCorruptFiles および ignoreMissingFiles オプションのサポート
- [SPARK-46386] [SC-150766][PYTHON] 観測 (pyspark.sql.observation) のアサーションを改善する
- [SPARK-46581] [SC-151789][CORE] アキュムレータ V2 の isZero に関するコメントを更新する
- [SPARK-46601] [SC-151785] [CORE] handleStatusMessage のログ エラーを修正する
- [SPARK-46568] [SC-151685][PYTHON] Python データ ソース オプションを大文字と小文字を区別しないディクショナリにする
- [SPARK-46611] [SC-151783][CORE] SimpleDateFormat を DateTimeFormatter に置き換えて ThreadLocal を削除する
- [SPARK-46604] [SC-151768][SQL]
Literal.applyがs.c.immuable.ArraySeqをサポートするようにする - [SPARK-46324] [SC-150223][SQL][PYTHON] pyspark.sql.functions.user と session_user の出力名を修正する
- [SPARK-46621] [SC-151794][PYTHON] Py4J でキャプチャされた例外の Exception.getMessage からの null アドレス
- [SPARK-46598] [SC-151767][SQL] 不足している列の列ベクトルを作成するときに OrcColumnarBatchReader がメモリ モードを考慮する必要がある
- [SPARK-46613] [SC-151778][SQL][PYTHON] Python データ ソースの例外に失敗した場合に完全な例外をログに記録する
- [SPARK-46559] [SC-151364][MLLIB] パッケージ名の
exportをバッククォートでラップする - [SPARK-46522] [SC-151784][PYTHON] 名前の競合がある Python データ ソースの登録をブロックする
- [SPARK-45580] [SC-149956][SQL] 入れ子になったサブクエリが存在結合になるケースを処理する
- [SPARK-46609] [SC-151714][SQL] PartitioningPreservingUnaryExecNode での指数関数的なエクスプロージョンを回避する
- [SPARK-46535] [SC-151288][SQL] 列統計なしで列に describe extended を実行する場合の NPE を修正する
- [SPARK-46599] [SC-147661][SC-151770][SQL] XML: 互換性チェックに TypeCoercion.findTightestCommonType を使用する
- [SPARK-40876] [SC-151129][SQL] Parquet リーダー内の型の上位変換の拡大
- [SPARK-46179] [SC-151069][SQL] SQLQueryTestSuite の再利用可能な関数にコードをプルする
- [SPARK-46586] [SC-151679][SQL]
MapObjectsでs.c.immutable.ArraySeqをcustomCollectionClsとしてサポートする - [SPARK-46585] [SC-151622][CORE]
Executorでmutable.ArraySeq.toSeqを使用する代わりにmetricPeaksをimmutable.ArraySeqとして直接構築した - [SPARK-46488] [SC-151173][SQL] タイムスタンプ解析中の trimAll 呼び出しのスキップ
- [SPARK-46231] [SC-149724][PYTHON] 残りすべての
NotImplementedErrorとTypeErrorを PySpark エラー フレームワークに移行する - [SPARK-46348] [SC-150281][CORE]
spark.deploy.recoveryTimeoutをサポートする - [SPARK-46313] [SC-150164][CORE]
Spark HA回復期間をログする - [SPARK-46358] [SC-150307][CONNECT]
ResponseValidator#verifyResponseの条件チェックを簡略化する - [SPARK-46380] [SC-151078][SQL] インライン テーブル式を評価する前に現在の時刻/日付を置き換える
- [SPARK-46563] [SC-151441][SQL] conf spark.sql.debug.maxToStringFields に従わない simpleString を表示する
- [SPARK-46101] [SC-149211][CORE][SQL][MLLIB][SS][R][CONNCT][GRAPHX] (string|array).size を (string|array).length に置き換えてスタックの深さを減らす
- [SPARK-46539] [SC-151469][SQL] SELECT * EXCEPT (構造体のすべてのフィールド) が原因でアサーションが失敗する
- [SPARK-46565] [SC-151414][PYTHON] Python データ ソースのエラー クラスとエラー メッセージを絞り込む
- [SPARK-46576] [SC-151614][SQL] サポートされていないデータ ソース保存モードのエラー メッセージを改善する
- [SPARK-46540] [SC-151355][PYTHON] Python データ ソースが Row オブジェクトという名前の関数出力を読み取るときに列名を考慮する
- [SPARK-46577] [SC-151448][SQL] HiveMetastoreLazyInitializationSuite がハイブの SessionState をリークする
- [SPARK-44556] [SC-151562][SQL] vectorizedReader を有効にするときに
OrcTailを再利用する - [SPARK-46587] [SC-151618][SQL] XML: XSD の大きな整数変換を修正する
- [SPARK-46382] [SC-151297][SQL] XML: 要素間に点在する値をキャプチャする
- [SPARK-46567] [SC-151447][CORE] ReadAheadInputStream の ThreadLocal を削除する
- [SPARK-45917] [SC-151269][PYTHON][SQL] 起動時の Python データ ソースの自動登録
- [SPARK-28386] [SC-151014][SQL] GROUP BY および HAVING で ORDER BY 列を解決できない
- [SPARK-46524] [SC-151446][SQL] 無効な保存モードのエラー メッセージを改善する
- [SPARK-46294] [SC-150672][SQL] init とゼロ値のセマンティクスをクリーンアップする
- [SPARK-46301] [SC-150100][CORE]
spark.worker.(initial|max)RegistrationRetriesをサポートする - [SPARK-46542] [SC-151324][SQL]
ExternalCatalogUtils#needsEscapingからc>=0のチェックを削除する (常に true であるため) - [SPARK-46553] [SC-151360][PS] オブジェクト dtype を使用した
interpolateのFutureWarning - [SPARK-45914] [SC-151312][PYTHON] Python データ ソース書き込みのコミットおよび中止 API をサポートする
- [SPARK-46543] [SC-151350][PYTHON][CONNECT] 空のフィールドに対して
json_tupleが PySparkValueError をスローするようにする - [SPARK-46520] [SC-151227][PYTHON] Python データ ソース書き込みの上書きモードをサポートする
- [SPARK-46502] [SC-151235][SQL] UnwrapCastInBinaryComparison 内のタイムスタンプ型をサポートする
- [SPARK-46532] [SC-151279][CONNECT]
ErrorInfoのメタデータにメッセージ パラメーターを渡す - [SPARK-46397] “[SC-151311][PYTHON][CONNECT] 関数
sha2が無効なnumBitsに対してPySparkValueErrorを発生させる必要がある” を元に戻す - [SPARK-46170] [SC-149472][SQL] SparkSessionExtensions でアダプティブ クエリ投稿プランナー戦略ルールの挿入をサポートする
- [SPARK-46444] [SC-151195][SQL] V2SessionCatalog#createTable はテーブルを読み込んではならない
- [SPARK-46397] [SC-151311][PYTHON][CONNECT] 関数
sha2が無効なnumBitsに対してPySparkValueErrorを発生させる必要がある - [SPARK-46145] [SC-149471][SQL] spark.catalog.listTables はテーブルまたはビューが見つからないときに例外をスローしない
- [SPARK-46272] [SC-151012][SQL] DSv2 ソースを使用して CTAS をサポートする
- [SPARK-46480] [SC-151127][CORE][SQL] テーブル キャッシュ タスクの試行時に NPE を修正する
- [SPARK-46100] [SC-149051][CORE][PYTHON] (string|array).size を (string|array).length に置き換えてスタックの深さを減らす
- [SPARK-45795] [SC-150764][SQL] DS V2 がプッシュ ダウンをサポートする
- [SPARK-46485] [SC-151133][SQL] V1Write は必要ないときに並べ替えを追加してはならない
- [SPARK-46468] [SC-151121] [SQL] キーをグループ化せずに集計を使用して EXISTS サブクエリの COUNT バグを処理する
- [SPARK-46246] [SC-150927][SQL] EXECUTE IMMEDIATE SQL のサポート
- [SPARK-45618] [SC-146252][CORE]
o.a.spark.util.Utils#getConfiguredLocalDirsからshuffleServiceEnabledを削除する - [SPARK-46440] [SC-150807][SQL] 既定でリベース構成を
CORRECTEDモードに設定する - [SPARK-45525] [SC-151120][SQL][PYTHON] DSv2 を使用した Python データ ソース書き込みのサポート
- [SPARK-46505] [SC-151187][CONNECT] バイトしきい値を
ProtoUtils.abbreviateで構成可能にする - [SPARK-46447] [SC-151025][SQL] SQL 構成をリベースするレガシ datetime を削除する
- [SPARK-46443] [SC-151123][SQL] 10 進数の精度と小数点以下桁数を H2 言語で決定する必要がある
- [SPARK-46384] [SC-150694][SPARK-46404][SS][UI] 構造化ストリーミング ページの操作期間スタック グラフを修正する
- [SPARK-46207] [SC-151068][SQL] DataFrameWriterV2 で MergeInto をサポートする
- [SPARK-46452] [SC-151018][SQL] DataWriter に新しい API を追加してレコードの反復子を書き込む
- [SPARK-46273] [SC-150313][SQL] DSv2 ソースを使用して INSERT INTO/OVERWRITE をサポートする
- [SPARK-46344] [SC-150267][CORE] ドライバーが正常に存在するがマスターが切断されているときに適切に警告する
- [SPARK-46284] [SC-149944][PYTHON][CONNECT]
session_user関数を Python に追加する - [SPARK-46043] [SC-149786][SQL] DSv2 ソースを使用してテーブルの作成をサポートする
- [SPARK-46323] [SC-150191][PYTHON] pyspark.sql.functions.now の出力名を修正する
- [SPARK-46465] [SC-151059][PYTHON][CONNECT]
Column.isNaNを PySpark に追加する - [SPARK-46456] [SC-151050][CORE] SparkContext のシャットダウンのブロックを解除するために Jetty サーバーの停止タイムアウトを設定する
spark.ui.jettyStopTimeoutを追加する - [SPARK-43427] [SC-150356][PROTOBUF] spark protobuf: 符号なし整数型のアップキャストを許可する
- [SPARK-46399] [SC-151013][14.x][Core] Spark リスナーを使用するためにアプリケーション終了イベントに終了状態を追加する
- [SPARK-46423] [SC-150752][PYTHON][SQL] DataSource.lookupDataSourceV2 で Python データ ソース インスタンスを作成する
- [SPARK-46424] [SC-150765][PYTHON][SQL] Python データ ソースで Python メトリクスをサポートする
- [SPARK-46330] [SC-151015] HybridStore が有効になっている場合の Spark UI ブロックの長時間読み込み
- [SPARK-46378] [SC-150397][SQL] 集計をプロジェクトに変換した後も並べ替えを削除する
- [SPARK-45506] [SC-146959][CONNECT] SparkConnect addArtifact に ivy URI のサポートを追加する
- [SPARK-45814] [SC-147871][CONNECT][SQL] メモリ リークを回避するために ArrowConverters.createEmptyArrowBatch が close() を呼び出すようにする
- [SPARK-46427] [SC-150759][PYTHON][SQL] Python データ ソースの説明を簡単な説明に変更する
- [SPARK-45597] [SC-150730][PYTHON][SQL] SQL (DSv2 exec) での Python データ ソースを使用したテーブルの作成をサポートする
- [SPARK-46402] [SC-150700][PYTHON] getMessageParameters と getQueryContext のサポートを追加する
- [SPARK-46453] [SC-150897][CONNECT]
SessionHolderでinternalError()からの例外をスローする - [SPARK-45758] [SC-147454][SQL] hadoop 圧縮コーデック用マッパーを導入する
- [SPARK-46213] [PYTHON] エラー フレームワークの
PySparkImportErrorを導入する - [SPARK-46230] [SC-149960][PYTHON]
RetriesExceededを PySpark エラーに移行する - [SPARK-45035] [SC-145887][SQL] 複数行 CSV/JSON を使用して ignoreCorruptFiles/ignoreMissingFiles を修正するとエラーが報告される
- [SPARK-46289] [SC-150846][SQL] 解釈モードでの UDT の順序付けをサポートする
- [SPARK-46229] [SC-150798][PYTHON][CONNECT] Spark Connect で groupBy と cogroup に applyInArrow を追加する
- [SPARK-46420] [SC-150847][SQL] SparkSQLCLIDriver で未使用の転送を削除する
- [SPARK-46226] [PYTHON] 残りすべての
RuntimeErrorを PySpark エラー フレームワークに移行する - [SPARK-45796] [SC-150613][SQL] MODE() WITHIN GROUP (ORDER BY 列) をサポートする
- [SPARK-40559] [SC-149686][PYTHON][14.X] applyInArrow を groupBy と cogroup に追加する
- [SPARK-46069] [SC-149672][SQL] タイムスタンプ型から日付型へのラップ解除をサポートする
- [SPARK-46406] [SC-150770][SQL] エラー クラス _LEGACY_ERROR_TEMP_1023 に名前を割り当てる
- [SPARK-46431] [SC-150782][SS] セッション反復子で
IllegalStateExceptionをinternalErrorに変換する - [SPARK-45807] [SC-150751][SQL] ViewCatalog API を改善する
- [SPARK-46009] [SC-149771][SQL][CONNECT] PercentileCont と PercentileDisc の解析ルールを functionCall にマージする
- [SPARK-46403] [SC-150756][SQL] getBytesUnsafe メソッドを使用して Parquet バイナリをデコードする
- [SPARK-46389] [SC-150779][CORE]
checkVersionが例外をスローするときににRocksDB/LevelDBインスタンスを手動で閉じる - [SPARK-46360] [SC-150376][PYTHON] 新しい
getMessageAPI を使用してエラー メッセージのデバッグを強化する - [SPARK-46233] [SC-149766][PYTHON] 残りすべての
AttributeErrorを PySpark エラー フレームワークに移行する - [SPARK-46394] [SC-150599][SQL]
spark.sql.legacy.keepCommandOutputSchemaが true に設定されている場合に、特殊文字を持つスキーマでの spark.catalog.listDatabases() の問題を修正する - [SPARK-45964] [SC-148484][SQL] Catalyst パッケージの下の XML および JSON パッケージのプライベート SQL アクセサーを削除する
- [SPARK-45856] [SC-148691] ArtifactManager を Spark Connect から SparkSession (SQL/Core) に移動する
- [SPARK-46409] [SC-150714][CONNECT] Fix spark-connect-scala-client 起動スクリプトを修正する
- [SPARK-46416] [SC-150699][CORE]
@tailrecをHadoopFSUtils#shouldFilterOutPathに追加する - [SPARK-46115] [SC-149154][SQL]
encode()の文字セットを制限する - [SPARK-46253] [SC-150416][PYTHON] MapInArrow を使用して Python データ ソースの読み取りを計画する
- [SPARK-46339] [SC-150266][SS] バッチ番号の名前を持つディレクトリをメタデータ ログとして扱ってはならない
- [SPARK-46353] [SC-150396][CORE]
RegisterWorker単体テスト カバレッジを改善するためにリファクタリングする - [SPARK-45826] [SC-149061][SQL] DataFrame クエリ コンテキストにスタック トレース用の SQL 構成を追加する
- [SPARK-45649] [SC-150300][SQL] OffsetWindowFunctionFrame の準備フレームワークを統合する
- [SPARK-46346] [SC-150282][CORE]
RegisterWorkerメッセージでワーカーをUNKNOWNからALIVEに更新するようにマスターを修正する - [SPARK-46388] [SC-150496][SQL] HiveAnalysis が
query.resolvedのパターン ガードを取得できない - [SPARK-46401] [SC-150609][CORE]
RemoteBlockPushResolverのgetCardinality() > 0の代わりにRoaringBitmapで!isEmpty()を使用する - [SPARK-46393] [SC-150603][SQL] JDBC テーブル カタログの例外を分類する
- [SPARK-45798] [SC-150513][CONNECT] 補足情報: ServerSessionId を SessionHolderInfo に追加する
- [SPARK-46153] [SC-146564][SC-150508][SQL] XML: TimestampNTZType のサポートを追加する
- [SPARK-46075] [SC-150393][CONNECT] SparkConnectSessionManager の機能強化
- [SPARK-46357] [SC-150596] setConf の不適切なドキュメント使用を conf.set に置き換える
- [SPARK-46202] [SC-150420][CONNECT] カスタム ターゲット ディレクトリをサポートする新しい ArtifactManager API を公開する
- [SPARK-45824] [SC-147648][SQL]
ParseExceptionのエラー クラスを適用する - [SPARK-45845] [SC-148163][SS][UI] 削除された状態行の数をストリーミング UI に追加する
- [SPARK-46316] [SC-150181][CORE]
buf-lint-actionをcoreモジュールで有効にする - [SPARK-45816] [SC-147656][SQL] タイムスタンプから整数へのキャスト中にオーバーフローしたときに
NULLを返す - [SPARK-46333] [SC-150263][SQL] Catalyst で
IllegalStateExceptionをSparkException.internalErrorに置き換える - [SPARK-45762] [SC-148486][CORE] 起動順序を変更してユーザー jar で定義されているシャッフル マネージャーをサポートする
- [SPARK-46239] [SC-149752][CORE]
Jetty情報を非表示にする - [SPARK-45886] [SC-148089][SQL] DataFrame コンテキストの
callSite内の完全スタック トレースを出力する - [SPARK-46290] [SC-150059][PYTHON] SaveMode を DataSourceWriter のブール値フラグに変更する
- [SPARK-45899] [SC-148097][CONNECT] errorInfoToThrowable で errorClass を設定する
- [SPARK-45841] [SC-147657][SQL]
DataFrameQueryContextによるスタック トレースを公開する - [SPARK-45843] [SC-147721][CORE] REST Submission API で
killallをサポートする - [SPARK-46234] [SC-149711][PYTHON] PySpark エラー フレームワークの
PySparkKeyErrorを導入する - [SPARK-45606] [SC-147655][SQL] 多層ランタイム フィルターの制限をリリースする
- [SPARK-45725] [SC-147006][SQL] 既定以外の IN サブクエリ ランタイム フィルターを削除する
- [SPARK-45694] [SC-147314][SPARK-45695][SQL] 非推奨の API の使用
View.forceとScalaNumberProxy.signumをクリーンアップする - [SPARK-45805] [SC-147488][SQL]
withOriginをより汎用化する - [SPARK-46292] [SC-150086][CORE][UI] MasterPage のワーカーの概要を表示する
- [SPARK-45685] [SC-146881][CORE][SQL]
Streamの代わりにLazyListを使用する - [SPARK-45888] [SC-149945][SS] エラー クラス フレームワークを状態 (メタデータ) データ ソースに適用する
- [SPARK-46261] [SC-150111][CONNECT]
DataFrame.withColumnsRenamedではdict/map の順序を維持する必要がある - [SPARK-46263] [SC-149933][SQL][SS][ML][MLLIB][UI]
SeqOps.viewおよびArrayOps.view変換をクリーンアップする - [SPARK-46029] [SC-149255][SQL] DS V2 プッシュダウンの一重引用符、
_、%をエスケープする - [SPARK-46275] [SC-150189] Protobuf: 逆シリアル化が失敗したときに許容モードで null を返す。
- [SPARK-46320] [SC-150187][CORE]
spark.master.rest.hostをサポートする - [SPARK-46092] [SC-149658][SQL] オーバーフローする Parquet 行グループフィルターをプッシュダウンしない
- [SPARK-46300] [SC-150097][PYTHON][CONNECT] 完全なテスト カバレッジを持つ列で一致するマイナー動作を照合する
- [SPARK-46298] [SC-150092][PYTHON][CONNECT] Catalog.createExternalTable の非推奨に関する警告、テスト ケース、エラーを照合する
- [SPARK-45689] [SC-146898][SPARK-45690][SPARK-45691][CORE][SQL]
BufferedIterator/CanBuildFrom/TraversableのStringContext/StringOps/RightProjection/LeftProjection/Eitherと種類の使用に関連する非推奨の API の使用をクリーンアップする - [SPARK-33393] [SC-148407][SQL] v2 の SHOW TABLE EXTENDED をサポートする
- [SPARK-45737] [SC-147011][SQL]
SparkPlan#executeTakeの不要な.toArray[InternalRow]を削除する - [SPARK-46249] [SC-149797][SS] バックグラウンド操作との競合を防ぐために、RocksDB メトリックを取得するためのインスタンス ロックが必要である
- [SPARK-46260] [SC-149940][PYTHON][SQL]
DataFrame.withColumnsRenamedは dict の順序を考慮する必要がある - [SPARK-46274] [SC-150043] [SQL] 変換する前に長い有効性をチェックするように範囲演算子 computeStats() を修正する
- [SPARK-46040] [SC-149767][SQL][Python] 一般的な式をサポートするように ‘analyze’ の UDTF API のパーティション分割/順序付け列を更新する
- [SPARK-46287] [SC-149949][PYTHON][CONNECT]
DataFrame.isEmptyはすべてのデータ型で動作する必要がある - [SPARK-45678] [SC-146825][CORE] tryOrFetchFailedException の下の BufferReleasingInputStream.available/reset を対象に含める
- [SPARK-45667] [SC-146716][CORE][SQL][CONNECT]
IterableOnceExtensionMethodsに関連する非推奨の API の使用をクリーンアップする。 - [SPARK-43980] [SC-148992][SQL]
select * except構文の概要 - [SPARK-46269] [SC-149816][PS] より多くの NumPy 互換性関数テストを有効にする
- [SPARK-45807] [SC-149851][SQL] createOrReplaceView(..) / replaceView(..) を ViewCatalog に追加する
- [SPARK-45742] [SC-147212][CORE][CONNECT][MLLIB][PYTHON] Scala 配列を
immutable.ArraySeqにラップするための暗黙的な関数を導入する - [SPARK-46205] [SC-149655][CORE]
KryoSerializerを使用してPersistenceEngineのパフォーマンスを改善する - [SPARK-45746] [SC-149359][Python] UDTF の ‘analyze’ または ‘eval’ メソッドが正しくない値を受け入れるか返す場合は、特定のエラー メッセージを返す
- [SPARK-46186] [SC-149707][CONNECT] ExecuteThreadRunner が開始前に中断されたときの不正な状態遷移を修正する
- [SPARK-46262] [SC-149803][PS] Pandas-on-Spark オブジェクトの
np.left_shiftのテストを有効にする - [SPARK-45093] [SC-149679][CONNECT][PYTHON] AddArtifactHandler のエラー処理と変換を適切にサポートする
- [SPARK-46188] [SC-149571][Doc][3.5] Spark ドキュメントで生成されたテーブルの CSS を修正する
- [SPARK-45940] [SC-149549][PYTHON] DataSourceReader インターフェイスに InputPartition を追加する
- [SPARK-43393] [SC-148301][SQL] アドレス シーケンス式のオーバーフローのバグに対処する。
- [SPARK-46144] [SC-149466][SQL] 条件にサブクエリが含まれている場合に INSERT INTO … REPLACE ステートメント に失敗する
- [SPARK-46118] [SC-149096][SQL][SS][CONNECT]
SQLContext.confの代わりにSparkSession.sessionState.confを使用し、SQLContext.confを非推奨としてマークする - [SPARK-45760] [SC-147550][SQL] 式で追加して式の重複を回避する
- [SPARK-43228] [SC-149670][SQL] 結合キーも CoalesceBucketsInJoin の PartitioningCollection と一致する
- [SPARK-46223] [SC-149691][PS] 未使用のコードをクリーンアップして SparkPandasNotImplementedError をテストする
- [SPARK-46119] [SC-149205][SQL]
UnresolvedAliasのtoStringメソッドをオーバーライドする - [SPARK-46206] [SC-149674][PS] SQL プロセッサに対してより狭いスコープ例外を使用する
- [SPARK-46191] [SC-149565][CORE] 既存のファイルの場合に
FileSystemPersistenceEngine.persistエラー メッセージを改善する - [SPARK-46036] [SC-149356][SQL] raise_error 関数からのエラー クラスの削除
- [SPARK-46055] [SC-149254][SQL] カタログ データベース API 実装を再書き込みする
- [SPARK-46152] [SC-149454][SQL] XML: XML スキーマ推論で DecimalType のサポートを追加する
- [SPARK-45943] [SC-149452][SQL] DetermineTableStats を解決ルールに移動する
- [SPARK-45887] [SC-148994][SQL]
Encodeの codegen と非 codegen の実装を配置する - [SPARK-45022] [SC-147158][SQL] データ セット API エラーのコンテキストを指定する
- [SPARK-45469] [SC-145135][CORE][SQL][CONNECT][PYTHON]
toIteratorをIterableOnceのiteratorに置き換える - [SPARK-46141] [SC-149357][SQL] spark.sql.legacy.ctePrecedencePolicy の既定値を CORRECTED に変更する
- [SPARK-45663] [SC-146617][CORE][MLLIB]
IterableOnceOps#aggregateをIterableOnceOps#foldLeftに置き換える - [SPARK-45660] [SC-146493][SQL] ComputeCurrentTime ルールでリテラル オブジェクトを再利用する
- [SPARK-45803] [SC-147489][CORE] 使用されなくなった
RpcAbortExceptionを削除する - [SPARK-46148] [SC-149350][PS] pyspark.pandas.mlflow.load_model テスト (Python 3.12) を修正する
- [SPARK-46110] [SC-149090][PYTHON] カタログ、構成、接続、観測、pandas モジュールでエラー クラスを使用する
- [SPARK-45827] [SC-149203][SQL] codegen とベクトル化されたリーダーが無効になっている状態でのバリアント修正
- [SPARK-46080] “[SC-149012][PYTHON] Cloudpickle を 3.0.0 にアップグレードする” を元に戻す
- [SPARK-45460] [SC-144852][SQL]
scala.collection.convert.ImplicitConversionsをscala.jdk.CollectionConvertersに置き換える - [SPARK-46073] [SC-149019][SQL] 特定のコマンドの UnresolvedNamespace の特別な解決を削除する
- [SPARK-45600] [SC-148976][PYTHON] Python データ ソース登録セッション レベルを作成する
- [SPARK-46074] [SC-149063][CONNECT][SCALA] UDF の失敗に関するエラー メッセージの詳細が不十分である
- [SPARK-46114] [SC-149076][PYTHON] エラー フレームワークに PySparkIndexError を追加する
- [SPARK-46120] [SC-149083][CONNECT][PYTHON] ヘルパー関数
DataFrame.withPlanを削除する - [SPARK-45927] [SC-148660][PYTHON] Python データ ソースのパスの処理を更新する
- [SPARK-46062] [14.x][SC-148991][SQL] CTE 定義と参照の間で isStreaming フラグを同期する
- [SPARK-45698] [SC-146736][CORE][SQL][SS]
Bufferに関連する非推奨の API の使用をクリーンアップする - [SPARK-46064] [SC-148984][SQL][SS] EliminateEventTimeWatermark をアナライザーに移動し、解決された子に対してのみ有効になるように変更する
- [SPARK-45922] [SC-149038][CONNECT][CLIENT] マイナー再試行のリファクタリング (複数のポリシーへのフォローアップ)
- [SPARK-45851] [SC-148419][CONNECT][SCALA] scala クライアントで複数のポリシーをサポートする
- [SPARK-45974] [SC-149062][SQL] RowLevelOperationRuntimeGroupFiltering に scan.filterAttributes の空でない判断を追加する
- [SPARK-46085] [SC-149049][CONNECT] Scala Spark Connect クライアントの Dataset.groupingSets
- [SPARK-45136] [SC-146607][CONNECT] Ammonite のサポートで ClosureCleaner を強化する
- [SPARK-46084] [SC-149020][PS] カテゴリ型のデータ型キャスト操作をリファクタリングする
- [SPARK-46083] [SC-149018][PYTHON] SparkNoSuchElementException を正規エラー API として作成する
- [SPARK-46048] [SC-148982][PYTHON][CONNECT] Python Spark Connect で DataFrame.groupingSets をサポートする
- [SPARK-46080] [SC-149012][PYTHON] Cloudpickle を 3.0.0 にアップグレードする
- [SPARK-46082] [SC-149015][PYTHON][CONNECT] Spark Connect を使用した Pandas 関数 API の protobuf 文字列表現を修正する
- [SPARK-46065] [SC-148985][PS]
create_mapを使用するように(DataFrame|Series).factorize()をリファクタリングする。 - [SPARK-46070] [SC-148993][SQL] ホット ループ外で SparkDateTimeUtils.getZoneId の正規表現パターンをコンパイルする
- [SPARK-46063] [SC-148981][PYTHON][CONNECT] cute、rollup、groupby、 pivot の引数の型に関連するエラー メッセージを改善する
- [SPARK-44442] [SC-144120][MESOS] Mesos のサポートを削除する
- [SPARK-45555] [SC-147620][PYTHON] 失敗したアサーションにデバッグ可能なオブジェクトが含まれる
- [SPARK-46048] [SC-148871][PYTHON][SQL] DataFrame.groupingSets in PySpark をサポートする
- [SPARK-45768] [SC-147304][SQL][PYTHON] faulthandler を SQL で Python を実行するためのランタイム構成にする
- [SPARK-45996] [SC-148586][PYTHON][CONNECT] Spark Connect の適切な依存関係要件メッセージを表示する
- [SPARK-45681] [SC-146893][UI] UI で一貫したエラー レンダリングを行うために UIUtils.errorMessageCell の js バージョンを複製する
- [SPARK-45767] [SC-147225][CORE]
TimeStampedHashMapとその UT を削除する - [SPARK-45696] [SC-148864][CORE] 特性 Promise のメソッド tryCompleteWith の修正は非推奨になった
- [SPARK-45503] [SC-146338][SS] RocksDB 圧縮を設定するための構成を追加する
- [SPARK-45338] [SC-143934][CORE][SQL]
scala.collection.JavaConvertersをscala.jdk.CollectionConvertersに置き換える - [SPARK-44973] [SC-148804][SQL]
conv()のArrayIndexOutOfBoundsExceptionを修正する - [SPARK-45912] [SC-144982][SC-148467][SQL] XSDToSchema API の機能強化: クラウド ストレージ アクセシビリティの HDFS API に変更する
- [SPARK-45819] [SC-147570][CORE] REST Submission API で
clearをサポートする - [SPARK-45552] [14.x][SC-146874][PS] フレキシブル パラメータを
assertDataFrameEqualに導入する - [SPARK-45815] [SC-147877][SQL][ストリーミング][14.x][CHERRY-PICK]
_metadata列を追加するために他のストリーミング ソースのインターフェイスを提供する - [SPARK-45929] [SC-148692][SQL] データフレーム API で groupingSets 操作をサポートする
- [SPARK-46012] [SC-148693][CORE] アプリの状態ファイルが見つからない場合、EventLogFileReader はローリング ログを読み取ってはならない
- [SPARK-45965] [SC-148575][SQL] DSv2 パーティション分割式を functions.partitioning に移動する
- [SPARK-45971] [SC-148541][CORE][SQL]
SparkCollectionUtilsのパッケージ名をorg.apache.spark.utilに修正する - [SPARK-45688] [SC-147356][SPARK-45693][CORE]
MapOpsに関連する非推奨の API の使用をクリーンアップし、method += in trait Growable is deprecatedを修正する - [SPARK-45962] [SC-144645][SC-148497][SQL]
treatEmptyValuesAsNullsを削除し、XML の代わりにnullValueオプションを使用する - [SPARK-45988] [SC-148580][SPARK-45989][PYTHON] Python 3.11 以降で
listGenericAlias を処理するために typehint を修正する - [SPARK-45999] [SC-148595][PS]
cumprodで専用PandasProductを使用する - [SPARK-45986] [SC-148583][ML][PYTHON] Python 3.11 で
pyspark.ml.torch.tests.test_distributorを修正する - [SPARK-45994] [SC-148581][PYTHON]
description-fileをdescription_fileに変更する - [SPARK-45575] [SC-146713][SQL] df 読み取り API のタイム トラベル オプションをサポートする
- [SPARK-45747] [SC-148404][SS] セッション ウィンドウ集計の読み取り状態を処理するために状態メタデータでプレフィックス キー情報を使用する
- [SPARK-45898] [SC-148213][SQL] 未解決の論理プランを使用するようにカタログ テーブル API を書き換える
- [SPARK-45828] [SC-147663][SQL] dsl で非推奨のメソッドを削除する
- [SPARK-45990] [SC-148576][SPARK-45987][PYTHON][CONNECT]
Python 3.11をサポートするようにprotobufを 4.25.1 にアップグレードする - [SPARK-45911] [SC-148226][CORE] TLS1.3 を RPC SSL の既定値にする
- [SPARK-45955] [SC-148429][UI] フレームグラフとスレッド ダンプの詳細のサポートを折りたたむ
- [SPARK-45936] [SC-148392][PS]
Index.symmetric_differenceを最適化する - [SPARK-45389] [SC-144834][SQL][3.5] パーティション メタデータの取得に関する MetaException 一致規則を修正する
- [SPARK-45655] [SC-148085][SQL][SS] CollectMetrics の AggregateFunctions 内で非決定論的な式を許可する
- [SPARK-45946] [SC-148448][SS] RocksDBSuite で既定の文字セットを渡すように非推奨の FileUtils 書き込みの使用を修正する
- [SPARK-45511] [SC-148285][SS] 状態データ ソース - 閲覧者
- [SPARK-45918] [SC-148293][PS]
MultiIndex.symmetric_differenceを最適化する - [SPARK-45813] [SC-148288][CONNECT][PYTHON] 観察したメトリックをコマンドから返す
- [SPARK-45867] [SC-147916][CORE]
spark.worker.idPatternをサポートする - [SPARK-45945] [SC-148418][CONNECT]
parserにヘルパー関数を追加する - [SPARK-45930] [SC-148399][SQL] MapInPandas/MapInArrow で非決定論的 UDF をサポートする
- [SPARK-45810] [SC-148356][Python] 入力テーブルからの行の使用を停止するために Python UDTF API を作成する
- [SPARK-45731] [SC-147929][SQL]
ANALYZE TABLEコマンドを使用してパーティション統計も更新する - [SPARK-45868] [SC-148355][CONNECT] Vanilla Spark と同じパーサーを
spark.tableが使用するようにする - [SPARK-45882] [SC-148161][SQL] BroadcastHashJoinExec 伝達パーティション分割では CoalescedHashPartitioning を考慮する必要がある
- [SPARK-45710] [SC-147428][SQL] エラー _LEGACY_ERROR_TEMP_21[59,60,61,62] に名前を割り当てる
- [SPARK-45915] [SC-148306][SQL]
PromoteStringsで 10 進数 (x, 0) を IntegralType と同じように扱う - [SPARK-45786] [SC-147552][SQL] 不正確な 10 進数の乗算と除算の結果を修正する
- [SPARK-45871] [SC-148084][CONNECT]
connectモジュールの.toBufferに関連する最適化コレクション変換 - [SPARK-45822] [SC-147546][CONNECT] SparkConnectSessionManager が停止した sparkcontext を検索する場合がある
- [SPARK-45913] [SC-148289][PYTHON] 内部属性を PySpark エラーから非公開にする。
- [SPARK-45827] [SC-148201][SQL] Spark にバリアントデータ型を追加する。
- [SPARK-44886] [SC-147876][SQL] CREATE/REPLACE TABLE に CLUSTER BY 句を導入する
- [SPARK-45756] [SC-147959][CORE]
spark.master.useAppNameAsAppId.enabledをサポートする - [SPARK-45798] [SC-147956][CONNECT] サーバー側のセッション ID をアサートする
- [SPARK-45896] [SC-148091][SQL] 正しい予期される型を使用して
ValidateExternalTypeを構築する - [SPARK-45902] [SC-148123][SQL]
DataSourceから使用されていない関数resolvePartitionColumnsを削除する - [SPARK-45909] [SC-148137][SQL]
IsNotNullで安全にアップキャストできる場合はNumericTypeキャストを削除する - [SPARK-42821] [SC-147715][SQL] splitFiles メソッドの未使用のパラメーターを削除する
- [SPARK-45875] [SC-148088][CORE]
coreモジュールからMissingStageTableRowDataを削除する - [SPARK-45783] [SC-148120][PYTHON][CONNECT] Spark Connect モードが有効になっているがリモート URL が設定されていない場合のエラー メッセージを改善する
- [SPARK-45804] [SC-147529][UI] フレーム グラフのオン/オフを切り替えるための spark.ui.threadDump.flamegraphEnabled 構成を追加する
- [SPARK-45664] [SC-146878][SQL] orc 圧縮コーデック用マッパーを導入する
- [SPARK-45481] [SC-146715][SQL] parquet 圧縮コーデック用マッパーを導入する
- [SPARK-45752] [SC-148005][SQL] 参照されていない CTE 関係をチェックするためにコードを簡略化する
- [SPARK-44752] [SC-146262][SQL] XML: Spark ドキュメントを更新する
- [SPARK-45752] [SC-147869][SQL] 参照されていない CTE はすべて CheckAnalysis0 でチェックする必要がある
- [SPARK-45842] [SC-147853][SQL] アナライザーを使用するようにカタログ関数 API をリファクタリングする
- [SPARK-45639] [SC-147676][SQL][PYTHON] DataFrameReader への Python データ ソースの読み込みをサポートする
- [SPARK-45592] [SC-146977][SQL] AQE と InMemoryTableScanExec の正確性の問題
- [SPARK-45794] [SC-147646][SS] ストリーミング状態メタデータ情報クエリを実行するために状態メタデータ ソースを導入する
- [SPARK-45739] [SC-147059][PYTHON] faulthandler に関して EOFException のみの代わりに IOException をキャッチする
- [SPARK-45677] [SC-146700] 観測 API のエラー ログを改善する
- [SPARK-45544] [SC-146873][CORE] SSL サポートを TransportContext に統合する
- [SPARK-45654] [SC-147152][PYTHON] Python データ ソース書き込み API を追加する
- [SPARK-45771] [SC-147270][CORE]
spark.eventLog.rolling.enabledを既定で有効にする - [SPARK-45713] [SC-146986][PYTHON] Python データ ソースの登録をサポートする
- [SPARK-45656] [SC-146488][SQL] 異なるデータ セットで同じ名前の観測値を指定した場合の観測を修正する
- [SPARK-45808] [SC-147571][CONNECT][PYTHON] SQL 例外のエラー処理を改善する
- [SPARK-45774] [SC-147353][CORE][UI]
ApplicationPageのspark.master.ui.historyServerUrlをサポートする - [SPARK-45776] [SC-147327][CORE] SPARK-39553 に追加された
MapOutputTrackerMaster#unregisterShuffleの防御 null チェックを削除する - [SPARK-45780] [SC-147410][CONNECT] InheritableThread ですべての Spark Connect クライアント の threadlocal を伝達する
- [SPARK-45785] [SC-147419][CORE] アプリ番号を回転するように
spark.deploy.appNumberModuloをサポートする - [SPARK-45793] [SC-147456][CORE] 組み込みの圧縮コーデックを改善する
- [SPARK-45757] [SC-147282][ML] バイナライザーでの NNZ の再計算を回避する
- [SPARK-45209] [SC-146490][CORE][UI] Executor スレッド ダンプ ページのフレーム グラフのサポート
- [SPARK-45777] [SC-147319][CORE]
LocalSchedulerBackendのspark.test.appIdをサポートする - [SPARK-45523] [SC-146331][PYTHON] ショートカットを持つように null チェックをリファクタリングする
- [SPARK-45711] [SC-146854][SQL] avro 圧縮コーデック用マッパーを導入する
- [SPARK-45523] [SC-146077][Python] UDTF が null 非許容列に対して None を返した場合に役立つエラー メッセージを返す
- [SPARK-45614] [SC-146729][SQL] エラー _LEGACY_ERROR_TEMP_215[6,7,8] に名前を割り当てる
- [SPARK-45755] [SC-147164][SQL] グローバル制限
1を適用してDataset.isEmpty()を改善する - [SPARK-45569] [SC-145915][SQL] エラー _LEGACY_ERROR_TEMP_2153 に名前を割り当てる
- [SPARK-45749] [SC-147153][CORE][WEBUI]
Duration列を正しく並べ替えるようにSpark History Serverを修正する - [SPARK-45754] [SC-147169][CORE]
spark.deploy.appIdPatternをサポートする - [SPARK-45707] [SC-146880][SQL]
DataFrameStatFunctions.countMinSketchをCountMinSketchAggで簡略化する - [SPARK-45753] [SC-147167][CORE]
spark.deploy.driverIdPatternをサポートする - [SPARK-45763] [SC-147177][CORE][UI]
Resource列が存在する場合にのみ表示するようにMasterPageを改善する - [SPARK-45112] [SC-143259][SQL] SQL データセット関数で UnresolvedFunction ベースの解決を使用します
Databricks ODBC/JDBC ドライバーのサポート
Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。
メンテナンスの更新
「Databricks Runtime 14.3 メンテナンス更新プログラム」をご参照ください。 これは最初のリリースでコメント アウトされています。
システム環境
- オペレーティング システム: Ubuntu 22.04.3 LTS
- Java: Zulu 8.74.0.17-CA-linux64
- Scala: 2.12.15
- Python: 3.10.12
- R: 4.3.1
- Delta Lake: 3.1.0
インストールされている Python ライブラリ
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| anyio | 3.5.0 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.0.5 | attrs | 22.1.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.96 |
| certifi | 2022.12.7 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | クリックし | 8.0.4 | comm | 0.1.2 |
| contourpy | 1.0.5 | cryptography | 39.0.1 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.1.6 | dbus-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.7 | docstring-to-markdown | 0.11 | entrypoints | 0.4 |
| executing | 0.8.3 | facets-overview | 1.1.1 | fastjsonschema | 2.19.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | googleapis-common-protos | 1.62.0 |
| grpcio | 1.48.2 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.4 | importlib-metadata | 4.6.4 | ipykernel | 6.25.0 |
| ipython | 8.14.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.17.3 |
| jupyter-client | 7.3.4 | jupyter-server | 1.23.4 | jupyter_core | 5.2.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 |
| kiwisolver | 1.4.4 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lxml | 4.9.1 | MarkupSafe | 2.1.1 |
| matplotlib | 3.7.0 | matplotlib-inline | 0.1.6 | mccabe | 0.7.0 |
| mistune | 0.8.4 | more-itertools | 8.10.0 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.2 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | nodeenv | 1.8.0 |
| ノートブック | 6.5.2 | notebook_shim | 0.2.2 | numpy | 1.23.5 |
| oauthlib | 3.2.0 | パッケージング | 23.2 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 22.3.1 | platformdirs | 2.5.2 |
| plotly | 5.9.0 | pluggy | 1.0.0 | prometheus-client | 0.14.1 |
| prompt-toolkit | 3.0.36 | protobuf | 4.24.0 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| pyarrow | 8.0.0 | pyarrow-hotfix | 0.5 | pycparser | 2.21 |
| pydantic | 1.10.6 | pyflakes | 3.1.0 | Pygments | 2.11.2 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | pyodbc | 4.0.32 |
| pyparsing | 3.0.9 | pyright | 1.1.294 | pyrsistent | 0.18.0 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | python-lsp-server | 1.8.0 |
| pytoolconfig | 1.2.5 | pytz | 2022.7 | pyzmq | 23.2.0 |
| requests | 2.28.1 | rope | 1.7.0 | s3transfer | 0.6.2 |
| scikit-learn | 1.1.1 | scipy | 1.10.0 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | setuptools | 65.6.3 |
| 6 | 1.16.0 | sniffio | 1.2.0 | soupsieve | 2.3.2.post1 |
| ssh-import-id | 5.11 | stack-data | 0.2.0 | statsmodels | 0.13.5 |
| tenacity | 8.1.0 | terminado | 0.17.1 | threadpoolctl | 2.2.0 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.7.1 | typing_extensions | 4.4.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.14 |
| virtualenv | 20.16.7 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | whatthepatch | 1.0.2 |
| wheel | 0.38.4 | widgetsnbextension | 3.6.1 | yapf | 0.33.0 |
| zipp | 1.0.0 |
インストールされている R ライブラリ
R ライブラリは、2023-02-10 の Posit パッケージ マネージャー CRAN スナップショットからインストールされます。
| ライブラリ | Version | ライブラリ | Version | ライブラリ | Version |
|---|---|---|---|---|---|
| 矢印 | 12.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.1 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob (blob) | 1.2.4 |
| boot | 1.3-28 | brew | 1.0 から 8 | brio | 1.1.3 |
| broom | 1.0.5 | bslib | 0.5.0 | cachem | 1.0.8 |
| callr | 3.7.3 | キャレット | 6.0-94 | cellranger | 1.1.0 |
| chron | 2.3-61 | クラス | 7.3-22 | cli | 3.6.1 |
| clipr | 0.8.0 | clock | 0.7.0 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.9.0 |
| compiler | 4.3.1 | config | 0.3.1 | conflicted | 1.2.0 |
| cpp11 | 0.4.4 | crayon | 1.5.2 | 資格情報 | 1.3.2 |
| curl | 5.0.1 | data.table | 1.14.8 | datasets | 4.3.1 |
| DBI | 1.1.3 | dbplyr | 2.3.3 | desc | 1.4.2 |
| devtools | 2.4.5 | ダイアグラム | 1.6.5 | diffobj | 0.3.5 |
| digest | 0.6.33 | downlit | 0.4.3 | dplyr | 1.1.2 |
| dtplyr | 1.3.1 | e1071 | 1.7-13 | ellipsis | 0.3.2 |
| evaluate | 0.21 | fansi | 1.0.4 | farver | 2.1.1 |
| fastmap | 1.1.1 | fontawesome | 0.5.1 | forcats | 1.0.0 |
| foreach | 1.5.2 | foreign | 0.8-85 | forge | 0.2.0 |
| fs | 1.6.2 | future | 1.33.0 | future.apply | 1.11.0 |
| gargle | 1.5.1 | generics | 0.1.3 | gert | 1.9.2 |
| ggplot2 | 3.4.2 | gh | 1.4.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-7 | globals | 0.16.2 | glue | 1.6.2 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.1 | grDevices | 4.3.1 | grid | 4.3.1 |
| gridExtra | 2.3 | gsubfn | 0.7 | gtable | 0.3.3 |
| hardhat | 1.3.0 | haven | 2.5.3 | highr | 0.10 |
| hms | 1.1.3 | htmltools | 0.5.5 | htmlwidgets | 1.6.2 |
| httpuv | 1.6.11 | httr | 1.4.6 | httr2 | 0.2.3 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-14 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.7 | KernSmooth | 2.23-21 | knitr | 1.43 |
| labeling | 0.4.2 | later | 1.3.1 | lattice | 0.21-8 |
| lava | 1.7.2.1 | ライフサイクル | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.2 | magrittr | 2.0.3 | markdown | 1.7 |
| MASS | 7.3-60 | Matrix | 1.5-4.1 | memoise | 2.0.1 |
| 方法 | 4.3.1 | mgcv | 1.8-42 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.6 | parallel | 4.3.1 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.2 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2.1 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.4 | processx | 3.8.2 |
| prodlim | 2023.03.31 | profvis | 0.3.8 | progress | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.5 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.11 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.4 | readxl | 1.4.3 | recipes | 1.0.6 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.1.1 |
| rmarkdown | 2.23 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.21 | rprojroot | 2.0.3 | Rserve | 1.8-11 |
| RSQLite | 2.3.1 | rstudioapi | 0.15.0 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.6 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4.1 | sourcetools | 0.1.7-1 | sparklyr | 1.8.1 |
| spatial | 7.3-15 | splines | 4.3.1 | sqldf | 0.4-11 |
| SQUAREM | 2021.1 | stats | 4.3.1 | stats4 | 4.3.1 |
| stringi | 1.7.12 | stringr | 1.5.0 | survival | 3.5-5 |
| sys | 3.4.2 | systemfonts | 1.0.4 | tcltk | 4.3.1 |
| testthat | 3.1.10 | textshaping | 0.3.6 | tibble | 3.2.1 |
| tidyr | 1.3.0 | tidyselect | 1.2.0 | tidyverse | 2.0.0 |
| timechange | 0.2.0 | timeDate | 4022.108 | tinytex | 0.45 |
| ツール | 4.3.1 | tzdb | 0.4.0 | urlchecker | 1.0.1 |
| usethis | 2.2.2 | utf8 | 1.2.3 | utils | 4.3.1 |
| uuid | 1.1-0 | vctrs | 0.6.3 | viridisLite | 0.4.2 |
| vroom | 1.6.3 | waldo | 0.5.1 | whisker | 0.4.1 |
| withr | 2.5.0 | xfun | 0.39 | xml2 | 1.3.5 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.7 |
| 郵便番号 | 2.3.0 |
インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)
| グループ ID | 成果物 ID | Version |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | ストリーム (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.13.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.15.1 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.3 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | コレクタ | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 12.0.1 |
| org.apache.arrow | arrow-memory-core | 12.0.1 |
| org.apache.arrow | arrow-memory-netty | 12.0.1 |
| org.apache.arrow | arrow-vector | 12.0.1 |
| org.apache.avro | avro | 1.11.2 |
| org.apache.avro | avro-ipc | 1.11.2 |
| org.apache.avro | avro-mapred | 1.11.2 |
| org.apache.commons | commons-collections4 | 4.4. |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.20.0 |
| org.apache.logging.log4j | log4j-api | 2.20.0 |
| org.apache.logging.log4j | log4j-core | 2.20.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.20.0 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.0 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |