DLT リリース 2022.37

2022 年 9 月 14 日から 22 日

これらの機能と機能強化は、DLT の 2022.37 リリースでリリースされました。

このリリースで使用される Databricks Runtime のバージョン

チャネル:

• CURRENT (既定値): Databricks Runtime 10.3.7
• プレビュー: Databricks Runtime 11.0.5

このリリースの新機能と機能強化

• 更新開始 API 要求から、応答本文の request_id フィールドが返されるようになりました。 request_id は、更新を開始する元の要求の安定した識別子です。 更新が再試行または再起動された場合、新しい更新プログラムは request_idを継承します。

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

新しい requests API 要求 (GET /pipelines/{pipeline_id}/requests/{request_id}) は、request_idに関連付けられているパイプライン更新の状態を返します。 応答には、最新の更新プログラムに関する情報が含まれます。

{
  "status": "ACTIVE",
  "latest_update": {}
}

• 操作が具体化されたビューまたはストリーミング テーブルから読み取られない限り、Python コードは dlt.table() または dlt.view() 関数の外部で spark.sql 操作を呼び出すようになりました。

• イベント ログ エントリに、イベント スキーマの安定性を示す maturity プロパティが含まれるようになりました。 指定できる値は、stable、evolving、および deprecatedです。 DLT イベント ログの詳細については、「DLT イベント ログとは」を参照してください。.

• ストリーミング テーブルで使用されるソース テーブルに互換性のない変更が行われると、エラー メッセージが改善されます。

• パイプラインを作成または編集するときに、DLT UI でクラスター ポリシーを選択できるようになりました。 以前は、パイプラインのクラスター ポリシーを設定するには、パイプラインの JSON 設定を編集する必要があります。

• パイプラインの起動を高速化します。 このリリースには、パイプラインの開始時に SETTING_UP_TABLES ステップを高速化する拡張機能が含まれています。

このリリースのバグ修正

• このリリースでは、アイドル状態のクラスター インスタンスが使用できない場合に、拡張自動スケールのスケールアップを妨げるバグが修正されました。