次の方法で共有

Delta Live Tables リリース 2022.49

  • [アーティクル]

2022 年 12 月 6 日から 9 日

これらの機能と機能強化は、Delta Live Tables の 2022.49 リリースでリリースされました。

このリリースで使用される Databricks Runtime のバージョン

チャネル:

  • CURRENT (既定値): Databricks Runtime 11.0.11
  • PREVIEW: Databricks Runtime 11.3.2

このリリースの新機能と機能強化

  • Databricks Git フォルダーからファイルを Python モジュールとしてインポートできるようになりました。 sys.path.append() を使用して、現在のリポジトリ パスまたは指定したリポジトリ パスからファイルを インポートできます。

  • 拡張自動スケールが一般公開されました。 このリリースでは、拡張自動スケールは、UI で作成された新しいパイプラインの既定の自動スケール モードです。 Databricks では、拡張自動スケーリングを使用するために、既存のクラスター自動スケーリングを使用するパイプラインを更新することをお勧めします。

  • 継続的モードでのパイプライン実行の場合、再試行可能なエラーが発生したときの既定の再試行制限が 2 になりました。 元の試行を含め、すべてのフローでは、致命的でないエラーが発生したときに、3 回の試行 (指数バックオフあり) が実行されます。 以前は、既定値がバッチ フローの場合の無制限の再試行と、ストリーミング フローの場合の 5 回の再試行でした。

  • 構成パラメーター pipelines.maxFlowRetryAttempts が、バッチ フローとストリーミング フロー、継続的パイプラインまたはトリガーされたパイプラインを含むすべてのフローの再試行制限に適用されるようになりました。 以前は、pipelines.maxFlowRetryAttempts は、トリガー モードではすべての再試行制限に適用されていましたが、継続的モードではバッチ フローにのみ適用されており、継続的モードでのストリーミング パイプラインの再試行は、pipelines.numStreamRetryAttempts によって制御されていました。 既存のパイプラインの場合、継続的モードのストリーミング フローに対して、pipelines.numStreamRetryAttempts が引き続きサポートされます。 pipelines.numStreamRetryAttempts と pipelines.maxFlowRetryAttempts の両方が設定されている場合、継続的モードのストリーミング フローでは pipelines.numStreamRetryAttempts が優先されます。 それ以外の場合は、pipelines.maxFlowRetryAttempts に構成された値が使用されます。 Delta Live Tables のプロパティ リファレンスを参照してください。

このリリースのバグ修正

  • このリリースでは、Photon 対応クラスターに対して、1 時間あたりの DBU の誤った計算が表示されるバグが修正されました。

  • このリリースでは、Unity Catalog 対応ワークスペースで Delta Live Tables のメンテナンス タスクが失敗するバグが修正されました。

  • このリリースでは、自動ローダーによってデータを取り込む継続的パイプラインを停止または再起動すると、パイプラインが数分間ハングするバグが修正されました。