次の方法で共有

次に予定されているもの

  • [アーティクル]

今後の Azure Databricks リリースでの機能と動作の変更について説明します。

クエリ プロファイル UI の機能強化

クエリ プロファイル UI は、使いやすさを向上させ、主要な分析情報にすばやくアクセスできるように更新されています。

  • 概要パネル には、主要なメトリック、最小化されたクエリ プロファイル プレビュー、クエリ プロファイル ページの主要セクションへのクイック リンクが含まれます。
  • 新しい Top 演算子 パネルには、フィルター オプションとグラフ ビューが強調表示された、最も多くのリソースを消費する演算子が一覧表示されます。
  • 更新されたレイアウトは、概要メトリックから詳細な分析情報への読みやすさとナビゲーションを向上するように設計されています。
  • 追加の機能強化には、キーワードベースのノードの強調表示、強化された実行リスト、クエリ パフォーマンス分析ワークフローの絞り込みなどがあります。

自動ローダー増分ディレクトリ一覧オプションの動作の変更

手記

自動ローダー cloudFiles.useIncrementalListing オプションは非推奨です。 このメモでは、オプションの既定値の変更と、この変更後も引き続き使用する方法について説明しますが、Databricks では、このオプションの使用を ファイル通知モードに置き換えることをお勧めします。

今後の Databricks ランタイム リリースでは、非推奨の自動ローダー cloudFiles.useIncrementalListing オプションの値が既定で falseに設定されます。 この値を false に設定すると、自動ローダーは実行されるたびに完全なディレクトリ一覧を実行します。 現在、cloudFiles.useIncrementalListing オプションの既定値は autoであり、ディレクトリで増分一覧を使用できるかどうかを検出するためのベスト エフォートの試行を自動ローダーに指示します。

増分登録機能を引き続き使用するには、cloudFiles.useIncrementalListing オプションを autoに設定します。 この値を autoに設定すると、自動ローダーは、この変更前のこのオプションの動作と一致する 7 つの増分一覧に 1 回、完全な一覧を実行するようベスト エフォートで試行します。

自動ローダー ディレクトリ一覧オプションの詳細については、自動ローダー オプション を参照してください。

予測最適化で既定で有効になっている統計管理

Databricks では、1 月 21 日以降、予測最適化が有効になっているすべてのアカウントに対する統計管理の有効化が開始されます。 統計管理では、書き込み時に統計コレクションを追加し、Unity カタログのマネージド テーブルに対して ANALYZE コマンドを自動的に実行することで、既存の予測最適化機能が拡張されます。 予測最適化の詳細については、「Unity Catalog 管理テーブルの予測最適化」を参照してください。

サービス資格情報向けの Scala SDK サポートを取得するサーバーレス コンピュート

サーバーレス コンピューティングの更新では、Scala SDK でサービス資格情報を使用する外部クラウド サービスに対する Unity カタログ管理認証がサポートされます。 Databricks Runtime 16.2 以降で既に利用可能なサービス プリンシパル認証の Scala サポートにより、Python SDK を使用したサービス資格情報による認証のサポートが追加されます。 「サービス資格情報を使用して外部クラウド サービスへのアクセスを管理する」を参照してください。

データセット定義が DLT パイプラインから削除されたときの動作の変更

DLT の今後のリリースでは、具体化されたビューまたはストリーミング テーブルがパイプラインから削除された場合の動作が変更されます。 この変更により、削除された具体化されたビューまたはストリーミング テーブルは、次のパイプライン更新の実行時に自動的には削除されません。 代わりに、DROP MATERIALIZED VIEW コマンドを使用して具体化されたビューを削除するか、DROP TABLE コマンドを使用してストリーミング テーブルを削除できます。 オブジェクトを削除した後、パイプライン更新を実行しても、オブジェクトは自動的に回復されません。 同じ定義を持つ具体化されたビューまたはストリーミング テーブルがパイプラインに再追加されると、新しいオブジェクトが作成されます。 ただし、UNDROP コマンドを使用してオブジェクトを回復することはできます。

2025 年 2 月 1 日に、ワークスペース ファイルがすべての Azure Databricks ワークスペースに対し有効になります

Databricks では、2025 年 2 月 1 日にすべての Azure Databricks ワークスペース のワークスペース ファイルが有効になります。 この変更により、ワークスペース ユーザーは新しいワークスペース ファイル機能を使用できなくなります。 2025 年 2 月 1 日以降、ワークスペース機能の有効化と無効化を するために、Azure Databricks REST API で enableWorkspaceFilesystem プロパティを使用してワークスペース ファイル無効にすることはできません。 ワークスペース ファイルの詳細については、「ワークスペース ファイルとは」を参照してください。

Delta Sharingでは、テーブルはデフォルトで履歴と共有されます。

Databricks では、Delta Sharing 機能を使用して共有されるテーブルの既定の設定を、履歴を含むように変更する予定です。 以前は、履歴の共有は既定で無効でした。 テーブル履歴を共有すると、読み取りパフォーマンスが向上し、高度なデルタ最適化が自動的にサポートされます。

ワークフローのサーバーレス コンピューティング ワークロードに対するコストの削減とパフォーマンスとコストの詳細な制御

現在サポートされている自動パフォーマンス最適化に加えて、ワークフローのサーバーレス コンピューティング最適化機能の強化により、ワークロードがパフォーマンスとコストのどちらに最適化されるかをより詳細に制御できます。 詳細については、「ノートブック、ジョブ、パイプラインのサーバーレス コンピューティングのコスト削減」を参照してください。

従来のダッシュボード バージョン サポートの変更

Databricks では、AI/BI ダッシュボード (旧称 Lakeview ダッシュボード) の使用を推奨しています。 以前のバージョンのダッシュボード (旧称: Databricks SQL ダッシュボード) は、レガシ ダッシュボードと呼ばれるようになりました。 Databricks では、新しいレガシ ダッシュボードの作成は推奨されていません。 AI/BI ダッシュボードでは、AI 支援の作成、ドラフトモードと公開モード、クロスフィルタリングなど、従来のバージョンと比較して改善された機能が提供されます。

レガシ ダッシュボードのサポート終了タイムライン

  • 2025 年 4 月 7 日: レガシ バージョンのダッシュボードの公式サポートが終了します。 重大なセキュリティの問題とサービスの停止のみが対処されます。
  • 2025 年 11 月 3 日: Databricks では、過去 6 か月間アクセスされていないレガシ ダッシュボードのアーカイブを開始します。 アーカイブされたダッシュボードにはアクセスできなくなり、アーカイブ プロセスはローリング ベースで行われます。 アクティブに使用されるダッシュボードへのアクセスは変更されません。

Databricks は、2025 年 11 月 3 日以降、お客様と協力して、アクティブなレガシ ダッシュボードの移行計画を策定する予定です。

AI/BI ダッシュボードへの移行を支援するために、アップグレード ツールはユーザー インターフェイスと API の両方で使用できます。 UI で組み込みの移行ツールを使用する方法については、「レガシ ダッシュボードを AI/BI ダッシュボードに複製する」を参照してください。 REST API を使用したダッシュボードの作成と管理に関するチュートリアルについては、「Azure Databricks API を使用してダッシュボードを管理する」を参照してください。

サーバーレス コンピューティング ワークロードの帰属の変更

現在、課金対象の使用状況システム テーブルには、run_as、job_id、job_run_id、notebook_id が null 値のサーバーレス SKU 課金レコードが含まれる場合があります。 これらのレコードは、特定のワークロードに直接起因しない共有リソースに関連するコストを表しています。

コストのレポートを簡素化するために、Databricks ではまもなく、これらの共有コストが発生元の特定のワークロードに帰属するようになります。 ワークロードの識別子フィールドが null 値の課金レコードは表示されなくなります。 サーバーレス コンピューティングの使用量を増やし、さらにワークロードを追加すると、請求書におけるこれらの共有コストの割合が減少します。より多くのワークロード間で共有されることになるためです。

サーバーレス コンピューティング コストの監視について詳しくは、「サーバーレス コンピューティングのコストを監視する」を参照してください。

監査ログの sourceIpAddress フィールドにポート番号が含まれなくなる

バグにより、特定の承認および認証監査ログの sourceIPAddress フィールドに IP に加えてポート番号が含まれます (たとえば、"sourceIPAddress":"10.2.91.100:0")。 ポート番号 (0 としてログに記録される) は、実際の値を示すものではなく、Databricks 監査ログのその他の部分と矛盾します。 監査ログの一貫性を高めるために、Databricks では、これらの監査ログ イベントの IP アドレスの形式を変更する予定です。 この変更は、2024 年 8 月上旬から徐々にロールアウトされます。

監査ログに sourceIpAddress という 0.0.0.0 が含まれている場合、Databricks はログ記録を停止する可能性があります。

JDK8 と JDK11 がサポート対象外に

Azure Databricks では、Spark 4.0 リリース時の、次のメジャー Databricks Runtime バージョンにおいて JDK 8 をサポート対象外とする予定です。 Azure Databricks では、Databricks Runtime 14.x の次の LTS バージョンで JDK 11 サポートを削除する予定です。

Unity Catalog を新しいワークスペースで自動的に有効化する

Databricks では、新しいワークスペースに対する Unity Catalog の自動的な有効化を開始しました。 自動有効化により、ワークスペースの作成後にアカウント管理者が Unity Catalog を構成する必要はなくなります。 ロールアウトは、アカウント間で徐々に進めています。

sqlite-jdbc のアップグレード

Databricks Runtime では、すべての Databricks Runtime メンテナンス リリースで sqlite-jdbc バージョンを 3.8.11.2 から 3.42.0.0 にアップグレードする予定です。 バージョン 3.42.0.0 の API は、3.8.11.2 と完全に互換性がありません。 メソッドと戻り値の型がバージョン 3.42.0.0 を使用していることを確認します。

コードで sqlite-jdbc を使用している場合は、sqlite-jdbc 互換性レポートを確認してください。