次の方法で共有

Databricks Runtime 16.1

  • [アーティクル]

次のリリース ノートでは、Apache Spark 3.5.0 を搭載した Databricks Runtime 16.1 に関する情報を提供します。

Databricks は、2024 年 12 月にこのバージョンをリリースしました。

ヒント

サポート終了 (EoS) に達した Databricks Runtime バージョンのリリース ノートについては、サポート終了の Databricks Runtime リリース ノートを参照してください。 EoS Databricks Runtime のバージョンは廃止され、更新されない可能性があります。

動作の変更

破壊的変更: Photon 正規表現の処理が Apache Spark と一致するようになりました

Databricks Runtime 15.4 以降では、Photon での正規表現処理が Apache Spark 正規表現処理の動作に合わせて更新されます。 以前は、split() や regexp_extract()など、Photon によって実行される正規表現関数では、Spark パーサーによって拒否された正規表現がいくつか受け入れられていた。 Apache Spark との一貫性を維持するために、Spark が無効と見なす正規表現に対して Photon クエリが失敗するようになりました。

この変更により、Spark コードに無効な正規表現が含まれている場合、エラーが発生する可能性があります。 たとえば、一致しない中かっこを含む式 split(str_col, '{') は、以前は Photon によって受け入れられていましたが、現在は失敗します。 この式を修正するには、ブレース文字 split(str_col, '\\{')をエスケープすることができます。

また、ASCII 以外の文字の正規表現の一致によっては、Photon と Spark の動作も異なりました。 これは、Photon が Apache Spark の動作と一致するようにも更新されます。

VARIANT データ型は、比較を必要とする操作では使用できなくなりました

Databricks Runtime 16.1 以降では、VARIANT データ型を含むクエリで次の句または演算子を使用することはできません。

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

さらに、次の DataFrame 関数を使用することはできません。

  • df.dropDuplicates()
  • df.repartition()

これらの操作は比較を実行し、VARIANT データ型を使用する比較では未定義の結果が生成され、Databricks ではサポートされません。 Azure Databricks ワークロードまたはテーブルで VARIANT 型を使用する場合、Databricks では次の変更が推奨されます。

  • クエリまたは式を更新して、VARIANT 値をVARIANT 以外のデータ型に明示的にキャストします。
  • 上記のいずれかの操作で使用する必要があるフィールドがある場合は、VARIANT データ型からそれらのフィールドを抽出し、VARIANT 以外のデータ型を使用して格納します。

詳細については、「クエリバリアントデータ」を参照してください。

新機能と機能強化

Apache Spark における照合順序のサポートは現在、パブリックプレビューの段階にあります。

言語対応、大文字と小文字を区別しない、アクセスを区別しない照合順序を、STRING の列と式に割り当てることができるようになりました。 これらの照合順序は、文字列比較、並べ替え、グループ化操作、および多くの文字列関数で使用されます。 「照合順序」を参照してください。

Delta Lake でのコレーションのサポートはパブリック プレビューです

Delta テーブルを作成または変更するときに、列の照合順序を定義できるようになりました。 「Delta Lake での照合順序のサポート」を参照してください。

バキュームの LITE モードはパブリック プレビュー段階です

VACUUM table_name LITE を使用して、Delta トランザクション ログのメタデータを活用する軽量のバキューム操作を実行できるようになりました。 フルモードとライトモードの と VACUUMを参照してください。

USE CATALOG with IDENTIFIER 句のパラメーター化のサポート

Databricks Runtime 16.1 以降では、USE CATALOG ステートメントで IDENTIFIER 句 がサポートされています。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。

テーブルとビューの COMMENT ONCOLUMN のサポート

Databricks Runtime 16.1 以降では、COMMENT ON ステートメントはビュー列とテーブル列のコメントの変更をサポートしています。

新しい SQL 関数

Databricks Runtime 16.1 以降では、次の新しい組み込み SQL 関数を使用できます。

  • dayname(expr) は、指定された日付の曜日の 3 文字の英語頭字語を返します。
  • uniform(expr1, expr2 [,seed]) は、指定された数値範囲内の独立した同じ分散値を持つランダムな値を返します。
  • randstr(length) は、英数字のランダムな文字列 length 返します。

その他の関数に対する名前付きパラメーターの呼び出し

Databricks Runtime 16.1 以降では、次の関数は名前付きパラメーター呼び出し をサポートしています。

REPAIR TABLE コマンドの SYNC METADATA パラメーターは、Hive メタストアでサポートされています

Databricks Runtime 16.1 以降では、REPAIR TABLE コマンドで SYNC METADATA パラメーターを使用して、Hive メタストア マネージド テーブルのメタデータを更新できます。 REPAIR TABLEを参照してください。

圧縮された Apache Arrow バッチのデータ整合性の強化

Databricks Runtime 16.1 以降では、データの破損からさらに保護するために、すべての LZ4 圧縮 Arrow バッチに LZ4 のコンテンツとブロック チェックサムが含まれるようになりました。 「LZ4 フレームフォーマットの説明 を参照してください。

Unity カタログ共有アクセス モード コンピューティングで Scala メソッドのサポートが追加されました

Databricks Runtime 16.1 以降では、Unity カタログ共有アクセス モード コンピューティングで、次の Scala メソッド (Dataset.flatMapGroups()、Dataset.mapGroups()、および DataStreamWriter.foreach()) のサポートが追加されています。

組み込みの Teradata JDBC ドライバー

Databricks Runtime 16.1 以降では、Teradata JDBC Driver が Azure Databricks に組み込まれています。 DriverManager経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。

Scala の StreamingQueryListener のサポート

共有アクセス モードで構成されたコンピューティングで Scala で StreamingQueryListener を使用できるようになりました。

組み込みの Oracle JDBC ドライバー

Databricks Runtime 16.1 以降では、Oracle JDBC Driver は Azure Databricks に組み込まれています。 DriverManager経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。

パスを使用してアクセスされた Delta テーブルの詳細なエラー

パスを使用してアクセスされた Delta テーブルの新しいエラー メッセージ エクスペリエンスが利用できるようになりました。 すべての例外がユーザーに転送されるようになりました。 基になるファイルを Delta テーブルとして読み取ることができない場合に、例外 DELTA_MISSING_DELTA_TABLE が予約されるようになりました。

その他の変更

cloudFiles 構造化ストリーミング ソースの名前が変更されたエラー コード

このリリースには、次のエラー コードの名前を変更する変更が含まれています。

  • _LEGACY_ERROR_TEMP_DBR_0143 の名前が CF_INCORRECT_STREAM_USAGEに変更されます。
  • _LEGACY_ERROR_TEMP_DBR_0260 の名前が CF_INCORRECT_BATCH_USAGE に変更されます。

バグの修正

入れ子になった型が NULL 制約を適切に受け入れるようになりました

このリリースでは、STRUCTなど、入れ子になった型の Delta で生成された列に影響を与えるバグが修正されました。 これらの列は、入れ子になったフィールドの NULL または NOT NULL 制約に基づいて式を誤って拒否することがありました。 これは修正されました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • 0.0.198 から 0.0.201 までの ipyflow-core
    • pyccolo を 0.0.52 から 0.0.65
  • アップグレードされた R ライブラリ:
  • アップグレードされた Java ライブラリ:
    • io.delta.delta-sharing-client_2.12 を 1.2.1 から 1.2.2
    • org.lz4.lz4-java を 1.8.0 から 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider バージョンを 1.6.2-linux-x86_64 から 2.4.1-linux-x86_64 に変更します。

Apache Spark

Databricks Runtime 16.1 には、Apache Spark 3.5.0 が含まれています。 このリリースには、Databricks Runtime 16.0に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-50482] [SC-182879][CORE] 非推奨の no-op spark.shuffle.spill 構成
  • [SPARK-50032] [SC-182706][SQL][16.x] 完全修飾された照合順序名の使用を許可する
  • [SPARK-50467] [SC-182823][PYTHON] 組み込み関数の __all__ を追加する
  • [SPARK-48898] [SC-182828][SQL] バリアントの細分化バグを修正
  • [SPARK-50441] [SC-182668][SQL] CTE を参照するときにパラメーター化された識別子が機能しない問題を修正する
  • [SPARK-50446] [SC-182639][PYTHON] Arrow 最適化 Python UDF の同時レベル
  • [SPARK-50430] [SC-182536][CORE] 手動複製の代わりに標準の Properties.clone を使用する
  • [SPARK-50471] [SC-182790][PYTHON] ArrowベースのPythonデータソースライターのサポート
  • [SPARK-50466] [SC-182791][PYTHON] 文字列関数の docstring を調整する - パート 1
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] 新しいタイマー API と初期状態 API と Timer の統合
  • [SPARK-50437] [SC-182586][SS] TransformWithStateExec でデシリアライザーを作成するオーバーヘッドを減らす
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] o... のチェーンのサポートを追加
  • [SPARK-49294] [SC-182730][UI] シャッフル/書き込み時のチェック ボックスの幅属性を追加します。
  • [SPARK-50426] [SC-182540][PYTHON] 組み込みまたは Java データ ソースを使用するときに静的な Python データ ソース参照を回避する
  • [SPARK-48356] [SC-182603][SQL] FOR ステートメントのサポート
  • [SPARK-50333] [SC-182136][SQL] CsvToStructs に対するコード生成サポート (実行時置換可能の & を使用)
  • [SPARK-50285] [SC-182575] StagedTable インスタンスへのコミットのメトリック
  • [SPARK-50081] [SC-182344][SQL] XPath*のコード生成サポート (Invoke & RuntimeReplaceable による)
  • [SPARK-50440] [SC-182592] [SQL] AttributeSeq.resolveCandidates をリファクターする
  • [SPARK-50067] [SC-179648][SQL] SchemaOfCsv の Codegen のサポート (Invoke と RuntimeReplaceable による)
  • [SPARK-49873] [SC-178577][SQL] エラーテストにおけるマージ後のエラーを修正
  • [SPARK-50118] [SC-181259][CONNET] タスクの実行中に分離状態キャッシュをリセットする
  • [SPARK-49873] [SC-178577][SQL] _LEGACY_ERROR_TEMP_1325に適切なエラー クラスを割り当てる
  • [SPARK-50381] [SC-182197][CORE] spark.master.rest.maxThreads のサポート
  • [SPARK-46725] [SC-182448][SQL] DAYNAME 関数の追加
  • [SPARK-50270] [SC-181179][SS][PYTHON] TransformWithStateInPandas のカスタム状態メトリックを追加しました
  • [SPARK-50118] "[SC-181259][CONNET] タスクの実行中に分離状態キャッシュをリセットする" を元に戻す
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] テーブル値関数の DataFrame API を追加する
  • [SPARK-49470] [SC-175736][UI] dataTables のスタイルシートと javascript を 1.13.5 から 1.13.11 に更新する
  • [SPARK-50235] "[SC-180786][SQL] ColumnarToRowExec のすべての行を処理した後に ColumnVector リソースをクリーンアップする" を元に戻す
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] createDataFrame トリガー Config RPC を多くても 1 回行う
  • [SPARK-50387] [SC-182441][SS] タイマーの有効期限と関連するテストの更新条件
  • [SPARK-50287] [SC-182400][SQL] FileTable で WriteBuilder を作成するときのテーブルとリレーションシップのマージ オプション
  • [SPARK-50066] [SC-181484][SQL] SchemaOfXml のためのコード生成サポート（& RuntimeReplaceable を呼び出す）
  • [SPARK-50092] [SC-181568][SQL] 多次元配列の PostgreSQL コネクタの動作を修正
  • [SPARK-50318] [SC-181641][SQL] IntervalUtils.makeYearMonthInterval を追加して、interpreted と codegen の間でコードを重複除去する
  • [SPARK-50312] [SC-181646][SQL] kerberos が true の場合に SparkThriftServer createServer パラメーターを渡すエラー
  • [SPARK-50246] [SC-181468][SQL] _LEGACY_ERROR_TEMP_2167に適切なエラー条件を割り当てる : INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] json/xml から指定されたスキーマの照合順序を変更しないでください
  • [SPARK-50250] [SC-181466][SQL] _LEGACY_ERROR_TEMP_2075に適切なエラー条件を割り当てる : UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] _LEGACY_ERROR_TEMP_2058に適切なエラー条件を割り当てる: INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] タスクの実行中に分離状態キャッシュをリセットする
  • [SPARK-50235] [SC-180786][SQL] ColumnarToRowExec のすべての行を処理した後に ColumnVector リソースをクリーンアップする
  • [SPARK-50156] [SC-180781][SQL] _LEGACY_ERROR_TEMP_2113 を UNRECOGNIZED_STATISTIC に統合する
  • [SPARK-50069] [SC-180163][SQL] _LEGACY_ERROR_TEMP_0028 を UNSUPPORTED_FROM_TO_EXPRESSION に統合する
  • [SPARK-50154] [SC-180663][SQL] _LEGACY_ERROR_TEMP_0043に適切なエラー条件を割り当てる: INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] StructsToJson(to_json) のためのコード生成サポート
  • [SPARK-50055] [SC-180978][SQL] TryMakeInterval alternative の追加
  • [SPARK-50397] [SC-182367][CORE] 非推奨の --ip と -i 引数を Master/Worker から削除します
  • [SPARK-50238] [SC-181434][PYTHON] PySpark UDF/UDF/UDAFs および Python UC UDF でバリアント サポートを追加する
  • [SPARK-50079] [SC-179830][SQL] _LEGACY_ERROR_TEMP_2013に適切なエラー条件を割り当てる : NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][EXAMPLE] submit-sql.sh REST API の例を追加
  • [SPARK-49966] [SC-179501][SQL] Invoke を使用して JsonToStructs(from_json) を実装する
  • [SPARK-50302] [SC-182518][SS] TTL を使用した TransformWithState ステートフル変数のセカンダリ インデックス サイズがプライマリ インデックス サイズと等しいことを確認する
  • [SPARK-50301] [SC-182241][SS][16.x] TransformWithState メトリックに直感的な意味を反映させる
  • [SPARK-50175] [SC-182140][SQL] 照合順序の優先順位の計算を変更する
  • [SPARK-50148] [SC-180292][SQL] StaticInvoke を、スロー例外を宣言するメソッドと互換性を持つようにする
  • [SPARK-50280] [SC-181214][PYTHON] compute_hist で結果の並べ替えと空のビンの入力をリファクタリングする
  • [SPARK-50190] [SC-182458][PYTHON] ヒストグラムから Numpy の直接依存関係を削除する
  • [SPARK-50382] [SC-182368][CONNECT] Spark Connect でのアプリケーション開発に関する一般的な情報のドキュメントを追加する
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] Python Connect クライアントの threadpool で classproperty を使用しないようにする
  • [SPARK-49566] [SC-182239][SQL] EXTEND 演算子の SQL パイプ構文を追加する
  • [SPARK-50036] [SC-179533][CORE][PYTHON] REPL シェルのコンテキストにSPARK_LOG_SCHEMAを含める
  • [SPARK-49859] [SC-178259][CONNECT] multiprocessing.ThreadPool を ThreadPoolExecutor に置き換えます。
  • [SPARK-50141] [SC-182378][PYTHON] lpad と rpad が列型引数を受け入れるようにする
  • [SPARK-50379] [SC-182142][SQL] WindowExecBase での DayTimeIntevalType 処理の修正
  • [SPARK-49954] [SC-179110][SQL] SchemaOfJson の Codegen のサポート (Invoke と RuntimeReplaceable による)
  • [SPARK-50398] [SC-182341][CORE] ExitCode 0 を使用して Spark スクリプトで --help 使用する
  • [SPARK-50377] [SC-182238][SQL] 折りたたみ可能な RuntimeReplaceable の評価を許可する
  • [SPARK-50241] [SC-181444][SQL] NullIntolerant Mixin を Expression.nullIntolerant メソッドに置き換える
  • [SPARK-50084] [SC-179672][SQL] _LEGACY_ERROR_TEMP_3168に適切なエラー条件を割り当てる : MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] _LEGACY_ERROR_TEMP_0038に適切なエラー条件を割り当てる : DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] _LEGACY_ERROR_TEMP_1049に適切なエラー条件を割り当てる : INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] _LEGACY_ERROR_TEMP_0039 を UNSUPPORTED_SQL_STATEMENT に統合する
  • [SPARK-50378] [SC-182235][SS] transformWithState で proc 初期状態に費やした時間を追跡するためのカスタムメトリックを追加する
  • [SPARK-50029] [SC-179531][SQL] StaticInvoke を返すメソッドと互換性を持たせる Any
  • [SPARK-49990] [SC-179497][SQL] randStr のパフォーマンスを向上させる
  • [SPARK-50048] [SC-179528][SQL] _LEGACY_ERROR_TEMP_2114に適切なエラー条件を割り当てます: UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] _LEGACY_ERROR_TEMP_2104 を INTERNAL_ERROR に変換する
  • [SPARK-49665] [SC-180054][SQL] 文字列関数の照合順序のサポートをトリミングする
  • [SPARK-48549] [SC-176472][SQL][PYTHON] SQL 関数の sentences を改善する
  • [SPARK-50022] [SC-179503][CORE][UI] UI が無効になっているときにアプリ UI リンクを非表示にする MasterPage を修正
  • [SPARK-50087] [SC-182152] MSSqlServer と将来のコネクタに対する CASE WHEN でのブール式の堅牢な処理
  • [SPARK-49991] [SC-179481][SQL] HadoopMapReduceCommitProtocol で 'mapreduce.output.basename' を尊重してファイル名を生成する
  • [SPARK-50038] [SC-179521][SQL] _LEGACY_ERROR_TEMP_0008に適切なエラー条件を割り当てます: MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] _LEGACY_ERROR_TEMP_1156に適切なエラー条件を割り当てる : COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] UI が無効になっているときにアプリ UI リンクを非表示にする ApplicationPage を修正
  • [SPARK-49911] [SC-179111][SQL] サポート バイナリの等価性のセマンティックを修正
  • [SPARK-50025] [SC-179496][SQL] _LEGACY_ERROR_TEMP_1253 を EXPECT_VIEW_NOT_TABLE に統合する
  • [SPARK-49829] [SC-179480][SS] ストリームストリーム結合で state store に入力を追加する際の最適化のバグを修正
  • [SPARK-50004] [SC-179499][SQL] _LEGACY_ERROR_TEMP_3327 を FIELD_NOT_FOUND に統合する
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator は ConstantFolding のコントラクトを尊重する必要があります
  • [SPARK-50340] [SC-181859][SQL] INSERT 入力クエリで UDT をラップ解除
  • [SPARK-50237] [SC-181660][SQL] _LEGACY_ERROR_TEMP_2138-9に適切なエラー条件を割り当てる : CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] AQE 最適化後の出力列の順序変更の問題を修正
  • [SPARK-49773] [SC-178369][SQL] 不適切なタイムゾーンの make_timestamp() から Java 例外をキャッチしない
  • [SPARK-49977] [SC-179265][SQL] スタックベースの反復計算を使用して、ディープ式ツリー用の Scala List オブジェクトが多数作成されないようにする
  • [SPARK-50153] [SC-181591][SQL] RuleExecutor に name を追加して、QueryExecutionMetricsのログの出力をより明確にする
  • [SPARK-50320] [SC-181668][CORE] 警告 experimental 削除して --remote を公式オプションにする
  • [SPARK-49909] [SC-179492] "[SQL] 一部の式のプリティ名を修正" を元に戻す
  • [SPARK-50330] [SC-180720][SC-181764][SQL] 並べ替えノードとウィンドウ ノードにヒントを追加する
  • [SPARK-50364] [SC-182003][SQL] Row.jsonValue に LocalDateTime 型のシリアル化を実装する
  • [SPARK-50016] [SC-182139][SQL] _LEGACY_ERROR_TEMP_2067に適切なエラー条件を割り当てる : UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] TransformWithStateInPandas での deleteIfExists のサポート
  • [SPARK-49757] [SC-177824][SQL] SETCATALOG ステートメントでの IDENTIFIER 式のサポート
  • [SPARK-50315] [SC-181886][SQL] V1Fallback 書き込みのカスタム メトリックをサポート
  • [SPARK-42838] [SC-181509][SQL] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] ResolveSQLOnFile をリファクターする
  • [SPARK-48344] [SC-181967][SQL] 実行フレームワークを追加するための SQL スクリプトの準備
  • [SPARK-49345] [SC-174786][CONNECT] 現在実行中の Spark セッションを使用していることを確認します
  • [SPARK-49925] [SC-178882][SQL] 照合文字列を使用して順序のテストを追加する
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] PySpark プロット のエラー メッセージとインポートを改善する
  • [SPARK-49368] [SC-174999][CONNECT] protobuf lite クラスに直接アクセスしないようにする
  • [SPARK-50056] [SC-181378][SQL] ParseUrl の Codegen のサポート (Invoke と RuntimeReplaceable で)
  • [SPARK-49601] [SC-180770][SS][PYTHON] TransformWithStateInPandas の初期状態処理をサポート
  • [SPARK-49908] [SC-178768][SQL] _LEGACY_ERROR_TEMP_0044に適切なエラー条件を割り当てる
  • [SPARK-50144] [SC-180307][SS] DSv1 ストリーミング ソースでのメトリック計算の制限に対処する
  • [SPARK-49874] [SC-178303][SQL] trimとltrimの照合順序指定子が削除されます。
  • [SPARK-49513] [SC-180339][SS] transformWithStateInPandas API でのタイマーのサポートの追加
  • [SPARK-49119] [SC-175607][SQL] v1 と v2 の間の構文 show columns の不整合を修正する
  • [SPARK-49206] [SC-173704][CORE][UI] マスター EnvironmentPage に Environment Variables テーブルを追加する
  • [SPARK-49934] [SC-179581][SQL] リテラルを使用して照合されたマップにアクセスするための暗黙的なキャストを追加する
  • [SPARK-50049] [SC-181659][SQL] v2 テーブルへの書き込みでのカスタム ドライバー メトリックのサポート
  • [SPARK-50171] [SC-180295][PYTHON] numpy を KDE プロットで省略可能にする
  • [SPARK-49962] [SC-179320][SQL] AbstractStringTypes クラス階層を簡略化する
  • [SPARK-50226] [SC-181483][SQL] MakeDTInterval と MakeYMInterval を修正して Java 例外をキャッチする
  • [SPARK-48775] [SC-170801][SQL][STS] SQLContext を STS の SparkSession に置き換える
  • [SPARK-49015] [SC-175688][CORE] Connect Server で spark.log.structuredLogging.enabled を尊重する必要がある
  • [SPARK-50327] [SC-181667][SQL][16.x] 単一パス アナライザーで再利用されるように関数の解決を分離する
  • [SPARK-49995] [SC-180762][SQL] 名前付き引数のサポートをより多くの TVF に追加
  • [SPARK-49268] [SC-174903][CORE] IO 例外を SHS 履歴プロバイダーにログする
  • [SPARK-48123] [SC-164989][Core] 構造化ログを照会するための定数テーブル スキーマを指定する
  • [SPARK-49217] [SC-174904][CORE] UnsafeShuffleWriter で個別のバッファー サイズ構成をサポート
  • [SPARK-50325] [SC-181664][SQL][16.x] シングルパス アナライザーで再利用するエイリアス解決を除外する
  • [SPARK-50322] [SC-181665][SQL] サブクエリのパラメーター化された識別子を修正する
  • [SPARK-48400] [SC-175283][CORE] PrometheusServlet を DeveloperApi に昇格させる
  • [SPARK-50118] "[SC-181259][CONNET] タスクの実行中に分離状態キャッシュをリセットする" を元に戻す
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] Spark Connect での Python 3.13 のサポート
  • [SPARK-50152] [SC-181264][SS] 状態データ ソース リーダーでの handleInitialState のサポート
  • [SPARK-50260] [SC-181271][CONNECT] Spark C.. をリファクタリングして最適化します。
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: 変数を含む logInfo を構造化ログ フレームワークに移行する
  • [SPARK-49312] [SC-174672][PYTHON] assertSchemaEqual のエラー メッセージを改善する
  • [SPARK-49439] [SC-175236][SQL] FromProtobuf & ToProtobuf 式の美しい名前を修正
  • [SPARK-50092] [ES-1258521] 多次元配列の PostgreSQL コネクタの動作を修正する
  • [SPARK-49913] [SC-181565][SQL] 入れ子になったラベル付きスコープに一意のラベル名のチェックを追加する
  • [SPARK-49563] [SC-181465][SQL] WINDOW 演算子の SQL パイプ構文を追加する
  • [SPARK-49661] [SC-179021][SQL] トリム照合のハッシュと比較を実装。
  • [SPARK-38912] [SC-181543][PYTHON] classmethod とプロパティに関連するコメントを削除する
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] RocksDB SST ファイル マッピング管理を改善し、既存のスナップショットで同じバージョンを再読み込みする際の問題を修正
  • [SPARK-49002] "[SC-172846][SQL] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 内の無効な場所を一貫して処理する" を元に戻す
  • [SPARK-49668] [SC-178268][SQL] トリム照合のための照合キーサポートを実装する
  • [SPARK-50262] [SC-181193][SQL] 照合順序の変更中に複合型の指定を禁止する
  • [SPARK-48898] [SC-181435][SQL] バリアントシュレッディング関数の追加
  • [SPARK-48273] [SC-181381]元に戻す "[SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正する
  • [SPARK-50222] [SC-180706][CORE] spark.submit.appName をサポート
  • [SPARK-50208] [SC-180662][CORE] spark.master.useDriverIdAsAppName.enabled をサポート
  • [SPARK-50224] [SC-180689][SQL] IsValidUTF8 や ValidateUTF8、TryValidateUTF8、MakeValidUTF8 の置き換えは NullIntolerant であるべきです
  • [SPARK-50247] [SC-180962][CORE] BLOCK_MANAGER_REREGISTRATION_FAILED を ExecutorExitCode として定義します
  • [SPARK-50282] [SC-181221][ML] TargetEncoderModel.transform を簡素化
  • [SPARK-50112] [SC-180763][SQL] TransformWithState 演算子で Avro エンコードを使用できるようにする
  • [SPARK-50267] [SC-181180][ML] DataFrame API を使用した TargetEncoder.fit の向上
  • [SPARK-37178] [SC-180939][ML] ターゲット エンコードを ml.feature に追加する
  • [SPARK-50118] [SC-181259][CONNET] タスクの実行中に分離状態キャッシュをリセットする
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] np.int8 で lit(ndarray) を numpy データ型に準拠させる
  • [SPARK-50256] [SC-181048][SQL] 軽量検証を追加して、すべてのオプティマイザー ルールの後に論理プランが未解決になったかどうかを確認します
  • [SPARK-50196] [SC-180932][CONNECT] Python エラー コンテキストを修正して適切なコンテキストを使用する
  • [SPARK-50274] [SC-181181][CORE] DirectByteBufferOutputStream での close 後使用の防止
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] ボックス、KDE、ヒストグラム プロットで省略可能な "column" パラメーターをサポート
  • [SPARK-50273] [SC-181178][SS] RocksDB ロック取得/リリース ケースのログ記録を改善する
  • [SPARK-50033] [SC-180720][SC-180659][SQL] logical.Aggregate() ノードにヒントを追加します。
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] 完了リスナーに起因する RocksDB の余分な acquireLock 解放を修正
  • [SPARK-50253] [SC-180969][SS] Stream-Stream Join は、サポートされていない場合はチェックポイント ID をフェッチしないべきです。
  • [SPARK-50255] [SC-180964][PYTHON] compute_hist での不要なキャストを回避
  • [SPARK-50228] [SC-180780][SQL] RewriteCollationJoin ルールを FinishAnalysis に移動する
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] ボックス プロットの kwargs の一部になるように "precision" を調整
  • [SPARK-49637] [SC-180160][SQL] INVALID_FRACTION_OF_SECONDのエラー メッセージが変更されました
  • [SPARK-49530] [SC-180658][PYTHON] データフレームからアクティブ なセッションを取得する
  • [SPARK-50195] [SC-180654][CORE] spark.app.name が正しく SparkSubmit に伝達されるように StandaloneRestServer を修正
  • [SPARK-50229] [SC-180773] 論理計画中に作成される AttributeReference オブジェクトの有効期間を短縮することで、広範なスキーマのドライバーのメモリ使用量を削減する
  • [SPARK-50231] [SC-180815][PYTHON] 関数 instr で、列 substring が受け入れられるようにする
  • [SPARK-49854] [SC-179812][16.x][SQL] セッション複製中にアーティファクト マネージャーを複製する
  • [SPARK-50219] [SC-180694][SQL] シングルパス リゾルバーでヘルパー メソッドを使用できるように ApplyCharTypePadding をリファクタリングする
  • [SPARK-50077] [SC-179827][SQL] LogicalRelation の新しいパターン オブジェクトを導入して、既定の完全なパラメーター パターンを回避する
  • [SPARK-50128] [Backport][16x][SC-180677][SS] Scala で暗黙的なエンコーダーを使用してステートフル プロセッサ ハンドル API を追加する
  • [SPARK-50061] [SC-179961][SQL] 照合列の分析テーブルを有効にする
  • [SPARK-49993] [SC-180084][SQL] 合計と平均のエラー メッセージを改善する
  • [SPARK-49638] [SC-179665][SQL] INVALID_URLの ANSI 構成候補を削除する
  • [SPARK-50204] [SC-180660][SQL] HiveTableRelation 読み取りパス解決を分解
  • [SPARK-50193] [SC-180651][SS] 時間モードを検証するための例外処理を修正
  • [SPARK-50179] [SC-180342][CORE] REST API で spark.app.name プロパティを省略可能にする
  • [SPARK-50068] [SC-180300][SQL] TypeCoercion と AnsiTypeCoercion をリファクタリングして単一ノード変換を分離する
  • [SPARK-49411] [SC-179483][SS] ドライバーとステートフル演算子の間でステート ストア チェックポイント ID を通信する
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET はデータの順序を保持する必要があります
  • [SPARK-49506] [SC-180165][SQL] 折りたたみ可能な配列のための ArrayBinarySearch の最適化
  • [SPARK-50097] [SC-179908][SQL] _LEGACY_ERROR_TEMP_1248に適切なエラー条件を割り当てる : ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] try_make_timestamp (_ltzと_ntz) と関連するテストを追加する
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] ヒストグラム プロットをサポート
  • [SPARK-50015] [SC-179964][SQL] _LEGACY_ERROR_TEMP_1125に適切なエラー条件を割り当てる : MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] scala ファイルと java ファイルを既定のフォルダーに移動する
  • [SPARK-49980] [SC-180353][CORE][SQL] 取り消されたタスクの中断によって発生する潜在的なファイル ストリーム リークを修正する
  • [SPARK-49010] [SC-172304][SQL][XML] XML スキーマ推論の大文字と小文字の区別の単体テストを追加する
  • [SPARK-49562] [SC-180211][SQL] 集計用の SQL パイプ構文を追加する
  • [SPARK-49663] [SC-180239][SQL] 照合順序式で RTRIM 候補を有効にする
  • [SPARK-48965] [SC-175926][SQL] Dataset#toJSON で正しいスキーマを使用する
  • [SPARK-48493] [SC-175893][PYTHON] 直接方向バッチサポートを使用して Python データソース リーダーを強化し、パフォーマンスを向上させる
  • [SPARK-49734] [SC-180226][PYTHON] 関数 shuffle の引数 seed 追加
  • [SPARK-50174] [16.x][SC-180253][SQL] UnresolvedCatalogRelation 解決を分解
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] kde/density プロットをサポート
  • [SPARK-49805] [SC-180218][SQL][ML] private[xxx] 関数を function.scala から削除する
  • [SPARK-49808] [SC-179490][SQL] lazy val に起因するサブクエリ実行のデッドロックを修正
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] ボックス プロットをサポート
  • [SPARK-50008] [SC-179290][PS][CONNECT] attach_distributed_sequence_column で不要な操作を回避する
  • [SPARK-49767] [SC-180161][PS][CONNECT] 内部関数呼び出しをリファクタリングする
  • [SPARK-49683] [SC-178341][SQL] ブロックトリムの照合順序
  • [SPARK-49939] [SC-178941][SQL] json_object_keys の Codegen のサポート (Invoke と RuntimeReplaceable による)
  • [SPARK-50031] [SC-179582][SQL] TryParseUrl 式を追加する
  • [SPARK-49766] [SC-178933][SQL] json_array_length の Codegen のサポート (Invoke と RuntimeReplaceable による)
  • [SPARK-50046] [SC-180026][SS] EventTimeWatermark ノードの安定した順序を使用して透かしを計算する
  • [SPARK-49540] [SC-180145][PS] distributed_sequence_id の使用を統合する
  • [SPARK-50060] [SC-179965][SQL] TypeCoercion と AnsiTypeCoercion の異なる照合型間の変換が無効になりました
  • [SPARK-49004] [SC-173244][CONNECT] 列 API の内部関数に個別のレジストリを使用する
  • [SPARK-49811] [SC-177888][SQL]StringTypeAnyCollation の名前を変更する
  • [SPARK-49202] [SC-180059][PS] ヒストグラムに ArrayBinarySearch を適用する
  • [SPARK-49203] [SC-175734][SQL] java.util.Arrays.binarySearch の式を追加する
  • [SPARK-50034] [SC-179816][CORE] SparkUncaughtExceptionHandler で致命的なエラーをキャッチされない例外として誤報告しているのを修正
  • [SPARK-50093] [SC-179836][SQL] ICU を使用する照合順序には、使用されている ICU ライブラリのバージョンが必要です
  • [SPARK-49985] [SC-179644][SQL] バリアントの間隔の種類のサポートを削除する
  • [SPARK-49103] [SC-173066][CORE] spark.master.rest.filters をサポート
  • [SPARK-50090] [SC-179819] ResolveBinaryArithmetic をリファクターして単一ノード変換を分離する
  • [SPARK-49902] [SC-179650][SQL] RegExpReplace で基になるランタイム エラーをキャッチする
  • [SPARK-49126] [SC-173342][CORE] spark.history.ui.maxApplications 構成定義を History.scala に移動します
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] 行番号のないエディターでメモリ プロファイラーを使用する場合のエラー メッセージの改善
  • [SPARK-50062] [SC-179835][SQL] InSet による照合順序をサポートする
  • [SPARK-50035] [Backport][16x][SC-179530][SS] ステートフル プロセッサの明示的な handleExpiredTimer 関数部分のサポートを追加
  • [SPARK-49982] [SC-179814][SQL] InMemoryRelation での負のキャッシュを修正
  • [SPARK-49082] [SC-173350][SQL] AvroDeserializer での型の上位変換の拡大
  • [SPARK-50088] [SC-179680][SQL] UnresolvedStarBase.expand をリファクター
  • [SPARK-49802] [SC-179482][SS] ステートフル プロセッサで使用されるマップとリストの種類の読み取り変更フィードのサポートを追加
  • [SPARK-49846] [SC-179506][SS] transformWithState 演算子で使用する numUpdatedStateRows メトリックと numRemovedStateRows メトリックを追加する
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] lit が文字列およびブール型の numpy ndarray を受け入れるようにする
  • [SPARK-49821] [SC-179527][SS][PYTHON] TransformWithStateInPandas の MapState と TTL のサポートを実装する
  • [SPARK-49558] [SC-179485][SQL] LIMIT/OFFSET および ORDER/SORT/CLUSTER/DISTRIBUTE BY の SQL パイプ構文を追加する
  • [SPARK-48144] [SC-165725][LC-4080][SQL] シャッフル結合ヒントを尊重する canPlanAsBroadcastHashJoin を修正
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] 空の numpy ndarray で lit を動作させる
  • [SPARK-50018] [SC-179488][SQL] AbstractStringType をシリアル化可能にする
  • [SPARK-50016] [SC-179491][SQL] 明示的な照合順序の不一致エラーの改善
  • [SPARK-50010] [SC-179487][SQL] 暗黙的な照合順序の不一致エラーを明確化する
  • [SPARK-48749] [SC-170116][SQL] UnaryPositive を簡略化し、RuntimeReplaceable でその Catalyst ルールを排除する
  • [SPARK-49857] [SC-178576][SQL] StorageLevel を Dataset localCheckpoint API に追加する
  • [SPARK-50058] [SC-179538][SQL] プラン正規化関数を組み込み、後でシングルパス アナライザー テストで使用する
  • [SPARK-50052] [SC-179535][PYTHON][16.X] NumpyArrayConverter で空の str ndarray がサポートされるようにする
  • [SPARK-47261] [SC-173665][SQL] エラーの_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173、および_LEGACY_ERROR_TEMP_1174の名前を適切に割り当てます
  • [SPARK-49147] [SC-173471][CORE] DeveloperApi インターフェイスで KryoRegistrator をマークする
  • [SPARK-48949] [SC-173070][SQL] SPJ: ランタイム パーティション のフィルター処理
  • [SPARK-50044] [SC-179523][PYTHON] 複数の数学関数のドキュメント文字列を調整する
  • [SPARK-48757] [SC-170113][CORE] IndexShuffleBlockResolver に明示的なコンストラクターを設定する
  • [SPARK-50037] [SQL] AttributeSeq.resolve(...) をリファクター
  • [SPARK-48782] [SC-177056][SQL] カタログでプロシージャを実行するためのサポートを追加する
  • [SPARK-49057] [SC-173081][SQL] クエリ ステージを送信するときに AQE ループをブロックしない
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] ID 列の追加 SQL 構文
  • [SPARK-48773] [SC-170773] 構成ビルダー フレームワークによる "spark.default.parallelism" のドキュメント構成
  • [SPARK-48735] [SC-169810][SQL] BIN 関数のパフォーマンス向上
  • [SPARK-48900] [SC-172433] ジョブ/ステージの取り消しのすべての内部呼び出しに reason フィールドを追加する
  • [SPARK-48488] [SC-167605][CORE] SparkSubmit で log[info|warning|error] メソッドを修正する
  • [SPARK-48708] [SC-169809][CORE] KryoSerializer から 3 つの不要な型登録を削除します
  • [SPARK-49958] [SC-179312][PYTHON] 文字列検証関数用 Python API
  • [SPARK-49979] [SC-179264][SQL] 失敗したプランにおいて 2 回の収集を行う際の AQE ハングアップ問題を修正する
  • [SPARK-48729] [SC-169795][SQL] SQL 関数を表す UserDefinedFunction インターフェイスを追加する
  • [SPARK-49997] [SC-179279][SQL] _LEGACY_ERROR_TEMP_2165 を MALFORMED_RECORD_IN_PARSING に統合する
  • [SPARK-49259] [SC-179271][SS]Kafka 読み取り時のサイズベースのパーティション作成
  • [SPARK-48129] [SC-165006][PYTHON] 構造化ログを照会するための定数テーブル スキーマを PySpark に提供する
  • [SPARK-49951] [SC-179259][SQL] LEGACY_ERROR_TEMPに適切なエラー条件を割り当てる (1099|3085)
  • [SPARK-49971] [SC-179278][SQL] _LEGACY_ERROR_TEMP_1097に適切なエラー状態を割り当てる
  • [SPARK-49998] [SC-179277][SQL] _LEGACY_ERROR_TEMP_1252 を EXPECT_TABLE_NOT_VIEW に統合する
  • [SPARK-49876] [SC-179262][CONNECT] Spark Connect Service からグローバル ロックを取り除く
  • [SPARK-49957] [SC-179202][SQL] 文字列検証関数の Scala API
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener は spark.interrupt() の影響を受けません
  • [SPARK-49643] [SC-179239][SQL] _LEGACY_ERROR_TEMP_2042を ARITHMETIC_OVERFLOW にマージする
  • [SPARK-49959] [SC-179109][SQL] 正しいオフセットから null を読み取る ColumnarArray.copy() を修正
  • [SPARK-49956] "[SC-179070] collect_set 式で照合順序を無効にする" を元に戻す
  • [SPARK-49987] [SC-179180][SQL] seedExpression が randstr で折りたたみ不可能な場合のエラー プロンプトを修正する
  • [SPARK-49948] [SC-179158][PS][CONNECT] Sparkのボックスプロットに、pandas用のパラメーター「precision」を追加する
  • [SPARK-49970] [SC-179167][SQL] _LEGACY_ERROR_TEMP_2069に適切なエラー条件を割り当てる
  • [SPARK-49916] [SC-179108][SQL] 一部の行での ColumnType とデータ型の不一致に対して適切な例外を投げる
  • [SPARK-49956] [SC-179070] collect_set式における照合順序を無効にしました
  • [SPARK-49974] [16.x][SC-179071][SQL] Analyzer.scala から resolveRelations(...) を移動する
  • [SPARK-47259] [SC-176437][SQL] 間隔エラーのエラー条件に名前を割り当てる
  • [SPARK-47430] [SC-173679][SQL] バインド参照例外を修正するためのマップの種類別のグループを再作成
  • [SPARK-49067] [SC-172616][SQL] utf-8 リテラルを UrlCodec クラスの内部メソッドに移動する
  • [SPARK-49955] [SC-178989][SQL] の null 値は、JSON 文字列 RDD の解析時にファイルが破損したという意味ではありません
  • [SPARK-49393] [SC-175212][SQL] 非推奨のカタログ プラグイン API で既定で失敗する
  • [SPARK-49952] [SC-178985][SQL] _LEGACY_ERROR_TEMP_1142に適切なエラー状態を割り当てる
  • [SPARK-49405] [SC-175224][SQL] JsonOptions で文字セットを制限する
  • [SPARK-49892] [SC-178975][SQL] _LEGACY_ERROR_TEMP_1136に適切なエラー クラスを割り当てる
  • [SPARK-49904] [SC-178973][SQL] _LEGACY_ERROR_TEMP_2140に適切なエラー状態を割り当てる
  • [SPARK-47257] [SC-174244][SQL] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_105[3-4] と_LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] ReorderAssociativeOperator で 0 と 1 を処理する
  • [SPARK-49891] [SC-178970][SQL] _LEGACY_ERROR_TEMP_2271に適切なエラー状態を割り当てる
  • [SPARK-49918] [SC-178748][CORE] 必要に応じて、SparkContext で conf への読み取り専用アクセスを使用する
  • [SPARK-49666] [SC-177891][SQL] トリミング照合順序機能の機能フラグを追加する
  • [SPARK-48885] [SC-171050][SQL] RuntimeReplaceable オーバーライドの一部のサブクラスを lazy val に置き換える
  • [SPARK-49932] [SC-178931][CORE] tryWithResource リリース JsonUtils#toJsonString リソースを使用してメモリ リークを回避する
  • [SPARK-49949] [SC-178978][PS] attach_sequence_column で不要な分析タスクを回避する
  • [SPARK-49924] [SC-178935][SQL] 置換後も containsNullArrayCompact 保持する
  • [SPARK-49121] [SC-174787][SQL] SQL 関数の from_protobuf と to_protobuf のサポート
  • [SPARK-47496] [SC-160529][SQL] Java SPI での動的 JDBC 方言登録のサポート
  • [SPARK-49359] [SC-174895][SQL] StagedTableCatalog の実装を非アトミック書き込みにフォールバックできるようにする
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] SELECT 句で末尾のコンマが発生したときのエラーを改善する
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer: Microsoft SQL Server からの Spark SQL データ型のマッピングを文書化し、テストを追加
  • [SPARK-46037] [SC-175495][SQL] Codegen なしで残ったシャッフルされたハッシュ結合ビルドの正確性を修正
  • [SPARK-47813] [SC-162615][SQL] getArrayDimension を updateExtraColumnMeta に置き換える
  • [SPARK-49542] [SC-178765][SQL] パーティション変換の例外評価エラー
  • [SPARK-47172] [SC-169537][CORE] RPC 暗号化の AES-GCM のサポートを追加
  • [SPARK-47666] [SC-161476][SQL] mysql ビット配列を LongType として読み取るときに NPE を修正する
  • [SPARK-48947] [SC-174239][SQL] 小文字の文字セット名を使用して Charset.forName に存在しないキャッシュを減らす
  • [SPARK-49909] [SC-178552][SQL] 一部の式の美しい名前を修正
  • [SPARK-47647] [SC-161377][SQL] MySQL データ ソースが Postgres のような BinaryType として bit(n>1) を読み取ることができるようにする
  • [SPARK-46622] [SC-153004][CORE] toString メソッドを o.a.s.network.shuffledb.StoreVersion のためにオーバーライドする
  • [SPARK-48961] [SC-171910][PYTHON] PySparkException のパラメーターの名前を JVM と一致させる
  • [SPARK-49889] [SC-178474][PYTHON] 関数の引数 trim を追加trim/ltrim/rtrim
  • [SPARK-47537] [SC-160747][SQL] MySQL コネクタ/J でのエラー データ型のマッピングを修正
  • [SPARK-47628] [SC-161257][SQL] PostgreSQL ビット配列の問題「ブール値にキャストできません」を修正
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] char/varchar 列の変更コメントを修正
  • [SPARK-49549] [SC-178764][SQL] エラー条件に名前を割り当てる_LEGACY_ERROR_TEMP_3055, 3146
  • [SPARK-49791] [SC-177730][SQL] DelegatingCatalogExtension をより拡張可能にする
  • [SPARK-49559] [SC-178551][SQL] セット操作の SQL パイプ構文を追加する
  • [SPARK-49906] [SC-178536][SQL] PartitioningUtils にCONFLICTING_DIRECTORY_STRUCTURES エラーを導入して使用する
  • [SPARK-49877] [SC-178392][SQL] classifyException 関数シグネチャの変更: isRuntime 引数の追加
  • [SPARK-47501] [SC-160532][SQL] 既存の convertTimestampToTimestamp for JdbcDialect のように convertDateToDate を追加する
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType はエラーの場合に子要素を返すべきです
  • [SPARK-47462] [SC-160460][SQL] MySQLDialect の TINYINT を使用して他の符号なし数値型のマッピングを調整する
  • [SPARK-47435] [SC-160129][SQL] SPARK-45561 によって発生する MySQL UNSIGNED TINYINT のオーバーフローの問題を修正
  • [SPARK-49398] [SC-176377][SQL] CACHE TABLE と CREATE VIEW のクエリのパラメーターのエラーを改善
  • [SPARK-47263] [SC-177012][SQL] レガシ条件に名前を割り当てる _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] ascendingOrder が SortArray で DataTypeMismatch のときのプロンプトを修正
  • [SPARK-49806] [SC-178304][SQL][CONNECT] Scala および Connect クライアントで show した後に冗長な blank space を削除する
  • [SPARK-47258] [SC-175032][SQL] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] JOIN 演算子の SQL パイプ構文を追加する
  • [SPARK-49836] [SC-178339][SQL][SS] ウィンドウがウィンドウ/session_window fn に指定されたときにクエリが壊れる可能性がある問題を修正
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Postgres と MySQL の SQL タイムスタンプ マッピングを処理する
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] 円グラフのサポート
  • [SPARK-49824] [SC-178251][SS][CONNECT] SparkConnectStreamingQueryCache でのログ記録の向上
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] 列フィールド操作の文字列形式を調整する
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] 面プロットをサポートする
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] 散布図をサポート
  • [SPARK-49744] [SC-178363][SS][PYTHON] TransformWithStateInPandas で ListState の TTL サポートを実装する
  • [SPARK-49879] [SC-178334][CORE] TransportCipherUtil を別のファイルに移動して Java コンパイルの警告を排除する
  • [SPARK-49866] [SC-178353][SQL] パーティション列を含む describe テーブルのエラー メッセージを改善
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] GetColumnByOrdinal を呼び出すときにインデックスが範囲外の場合のエラー メッセージを改善する
  • [SPARK-49607] [SC-177373][PYTHON] サンプリングベースのプロットのサンプリング アプローチを更新する
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] 横棒グラフと縦棒グラフをサポート
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] plotly バックエンドで折れ線グラフをサポート
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] ユーザー指向メッセージが多い ArrayIndexOutOfBounds によって発生するランタイム例外をスローするように UnivocityParser を変更しました
  • [SPARK-49870] [SC-178262][PYTHON] Spark クラシックで Python 3.13 のサポートを追加する
  • [SPARK-49560] [SC-178121][SQL] TABLESAMPLE 演算子の SQL パイプ構文を追加する
  • [SPARK-49864] [SC-178305][SQL] BINARY_ARITHMETIC_OVERFLOWのメッセージを改善する
  • [SPARK-48780] [SC-170274][SQL] 関数とプロシージャを処理するために、NamedParametersSupport 内のエラー処理を汎用化
  • [SPARK-49358] [SC-178158][SQL] 照合文字列を含むマップ型のモード式
  • [SPARK-47341] [SC-178157][SQL] RuntimeConfig#get の不正確なドキュメントを修正
  • [SPARK-48357] [SC-178153][SQL] LOOP ステートメントのサポート
  • [SPARK-49845] [SC-178059][CORE] REST API で appArgs と environmentVariables を省略可能にする
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable が書き込み用かどうかを示す必要があります
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Scala のクライアント側リスナーのサポートを追加しました
  • [SPARK-48700] [SC-177978][SQL] 複合型のモード式 (すべての照合順序)
  • [SPARK-48196] [SC-177899][SQL] QueryExecution lazy val plans を LazyTry に変換する
  • [SPARK-49749] [16.x][SC-177877][CORE] BlockManagerInfo でデバッグするようにログ レベルを変更する
  • [SPARK-49561] [SC-177897][SQL] PIVOT 演算子と UNPIVOT 演算子の SQL パイプ構文を追加する
  • [SPARK-49823] [SC-177885][SS] rocksdb close path でのシャットダウン中にフラッシュを回避する
  • [SPARK-49820] [SC-177855] [PYTHON] raise IOError を raise OSError に変更する
  • [SPARK-49653] [SC-177266][SQL] 相関スカラー サブクエリの単一結合
  • [SPARK-49552] [SC-177477][PYTHON] 新しい 'randstr' および 'uniform' SQL 関数の DataFrame API サポートを追加
  • [SPARK-48303] [16.x][SC-166251][CORE] LogKeys の再編成
  • [SPARK-49656] [16x][Backport][SS] 値の状態コレクション型と読み取り変更フィード オプションを持つ状態変数のサポートを追加
  • [SPARK-48112] [SC-165129][CONNECT] SparkConnectPlanner のセッションをプラグインに公開する
  • [SPARK-48126] [16.x][SC-165309][Core] spark.log.structuredLogging.enabled を有効にする
  • [SPARK-49505] [SC-176873][SQL] 範囲内でランダムな文字列または数値を生成する新しい SQL 関数 "randstr" と "uniform" を作成する
  • [SPARK-49463] [SC-177474] TransformWithStateInPandas の ListState をサポート
  • [SPARK-48131] [SC-165007][Core] MDC キーの mdc.taskName と task_name の統合
  • [SPARK-49557] [SC-177227][SQL] WHERE 演算子の SQL パイプ構文を追加する
  • [SPARK-49323] [16.x][SC-174689][CONNECT] Spark Connect Server のテスト フォルダーからサーバーのメイン フォルダーに MockObserver を移動する
  • [SPARK-49745] [SC-177501][SS] 状態データ ソース リーダーを介して登録済みタイマーを読み取る変更を追加する
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] ColumnFamilyOptions を削除し、RocksDB の dbOptions に直接構成を追加する

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーとアップグレードをダウンロードしてください (ODBCをダウンロード、JDBC をダウンロード)。

Databricks Runtime 16.1 メンテナンス更新プログラムのを参照してください。

システム環境

  • オペレーティングシステム: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.2.1

インストールされている Python ライブラリ

図書館 バージョン 図書館 バージョン 図書館 バージョン
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 黒い 24.4.2
ウィンカー 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024年6月2日 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
暗号化手法 42.0.5 サイクラー 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
デコレータ 5.1.1 非推奨 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 executing 0.8.3
facets-overview 1.1.1 ファイルロック 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Googleクラウドストレージ 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 ジェダイ 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
キウィソルバー 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
マッケイブ 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
包装 24.1 パンダ 1.5.3 パルソ 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 プラットフォームディレクトリ 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
ピッコロ 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server（パイソンLSPサーバー） 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
リクエスト 2.32.2 縄 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
スタックデータ 0.2.0 statsmodels（統計モデル） 0.14.2 持久力 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
竜巻 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 リクエストの種類 2.31.0.0 types-setuptools 68.0.0.0
タイプ六 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch（ホワットザパッチ） 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 ジップ 3.17.0

インストールされているRライブラリ

R ライブラリは、2024-08-04 のPosit Package Manager CRAN スナップショットからインストールされます。

図書館 バージョン 図書館 バージョン 図書館 バージョン
arrow 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 64ビット 4.0.5
bitops 1.0-8 ブロッブ 1.2.4 boot 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 キャシェム 1.1.0 callr 3.7.6
キャレット 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.3 clipr 0.8.0
clock 0.7.1 クラスター 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 コンパイラ 4.4.0
config 0.3.2 葛藤している 1.2.0 cpp11 0.4.7
クレヨン 1.5.3 credentials 2.0.1 curl 5.2.1
data.table 1.15.4 データセット 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
ダイアグラム 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 evaluate 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome (フォントオーサム) 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
未来 1.34.0 future.apply 1.11.2 gargle 1.5.2
ジェネリック 0.1.3 ゲルト 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 膠 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
グラフィックス 4.4.0 grDevices 4.4.0 グリッド 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 安らぎの場所 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 ジューシージュース 0.1.0
KernSmooth 2.23-22 knitr 1.48 ラベリング 0.4.3
あとで 1.3.2 lattice 0.22-5 溶岩 1.8.0
ライフサイクル 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
マトリックス 1.6-5 memoise 2.0.1 メソッド 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016年8月-翌年1月1日 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 褒める 1.0.0
プリティユニット 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 進捗 1.2.3
progressr 0.14.0 約束 1.3.0 プロト 1.0.0
プロキシ 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 ランダムフォレスト (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 反応可能 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
レシピ 1.1.0 再戦 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 サス 0.4.9
scales 1.3.0 selectr 0.4-2 セッション情報 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 スクエアム 2021.1 統計 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
生存 3.6-4 swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse（タイディバース） 2.0.0 時間変更 0.3.0
timeDate 4032.109 tinytex 0.52 tools 4.4.0
tzdb 0.4.0 URLチェッカー 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 ワルド 0.5.2 ウイスカー 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 ジップ 2.3.1

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループID アーティファクト ID バージョン
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config（AWS Java SDK 設定） 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.638
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK サポート 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 川 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core ジャクソン-アノテーション (Jackson-annotations) 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（ジャクソンデータフォーマットCBOR） 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine カフェイン 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 ネイティブ
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-ネイティブス
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-ネイティブス
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink ティンク 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger プロファイラー 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル・ジャバ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections 「commons-collections」 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload コモンズ-ファイルアップロード 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics メトリクス注釈 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics メトリクス・ヘルスチェック 4.2.19
io.dropwizard.metrics メトリクス-ジェッティ9 4.2.19
io.dropwizard.metrics メトリクス-JMX 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics メトリクス-サーブレット 4.2.19
io.netty netty-all 4.1.108.Final
io.netty ネットィバッファー 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler (ネットティハンドラー) 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 収集家 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 蟻 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow 矢印ベクトル 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator キュレーターフレームワーク 2.13.0
org.apache.curator キュレーターのレシピ集 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper 飼育員 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework チェッカー・クオル 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino コモンズコンパイラ 3.0.16
org.codehaus.janino ジャニーノ 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty ジェティサーバー 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty ジェティユーティル 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api（ウェブソケット・API） 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocketサーバ 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-サーブレット 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core ジャージーコモン 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェース 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1