ノートブックのサーバーレス コンピューティング
この記事では、ノートブックでサーバーレス コンピューティングを使用する方法について説明します。 ジョブでサーバーレス コンピューティングを使用する方法については、「ワークフローでサーバーレス コンピューティングを使用して Azure Databricks ジョブを実行する」を参照してください。
価格情報については、「Databricks の価格」を参照してください。
要件
- ワークスペースは、Unity Catalog に対して有効にする必要があります。
- ワークスペースはサポートされているリージョン内に存在する必要があります。 「Azure Databricks のリージョン」を参照してください。
- アカウントでサーバーレス コンピューティングが有効になっている必要があります。 「サーバーレス コンピューティングを有効にする」をご覧ください。
ノートブックをサーバーレス コンピューティングにアタッチする
ワークスペースでサーバーレス対話型コンピューティングが有効になっている場合、ワークスペース内のすべてのユーザーは、ノートブックでサーバーレス コンピューティングにアクセスできます。 追加のアクセス許可は必要ありません。
サーバーレス コンピューティングにアタッチするには、ノートブックの [接続] ドロップダウン メニューをクリックし、[サーバーレス] を選択します。 新しいノートブックの場合、他のリソースが選択されていないと、アタッチされたコンピューティングは、コードの実行時に自動的に既定のサーバーレスに設定されます。
サーバーレス使用の予算ポリシーを選択する
重要
この機能はパブリック プレビュー段階にあります。
予算ポリシーを使用すると、組織はサーバーレスの使用状況にカスタム タグを適用して、詳細な課金属性を設定できます。
ワークスペースで予算ポリシーを使用してサーバーレス使用量を属性付けする場合は、ノートブックに適用する予算ポリシーを選択できます。 ユーザーが 1 つの予算ポリシーにのみ割り当てられている場合は、そのポリシーが既定で選択されます。
Environmentサイド パネルを使用して、ノートブックがサーバーレス コンピューティングに接続された後に予算ポリシーを選択できます。
- ノートブック UI で、 Environment サイド パネル
をクリックします。 - [ Budget ポリシー] で ノートブックに適用する予算ポリシーを選択します。
- [適用] をクリックします。
その時点から、ノートブックからのすべての使用状況は、予算ポリシーのカスタム タグを継承します。
Note
ノートブックが Git リポジトリから作成された場合、または budget ポリシーが割り当てられない場合、次回サーバーレス コンピューティングにアタッチされるときに、最後に選択した予算ポリシーが既定で適用されます。
サーバーレス ワークロードの高メモリを構成する
重要
この機能はパブリック プレビュー段階にあります。
サーバーレス ワークロードを実行するためにより多くのメモリが必要な場合は、より大きなメモリ サイズを使用するようにノートブックを構成できます。 メモリが多いサーバーレス使用量は、標準メモリよりも DBU の放射率が高くなります。
- ノートブック UI で、 Environment サイド パネル をクリックします。
- [メモリ] で、[ハイ メモリ] を選択します。
- [適用] をクリックします。
この設定は、ノートブックのメモリ設定を使用して実行されるノートブック ジョブ タスクにも適用されます。 ノートブックのメモリ設定を更新すると、次のジョブの実行に影響します。
クエリの分析情報を表示する
ノートブックとジョブのサーバーレス コンピューティングでは、クエリ分析情報を使用して Spark の実行パフォーマンスを評価します。 ノートブックでセルを実行した後は、[パフォーマンスの表示] リンクをクリックして、SQL および Python クエリに関連する分析情報を表示できます。
任意の Spark ステートメントをクリックして、クエリ メトリックを表示できます。 そこから、[クエリ プロファイルの表示] をクリックして、クエリ実行の視覚化を表示できます。 クエリ プロファイルの詳細については、「クエリ プロファイル」を参照してください。
Note
ジョブ実行のパフォーマンス分析情報を表示するには、「ジョブ実行クエリ分析情報の表示」を参照してください。
クエリの履歴
サーバーレス コンピューティングで実行されるすべてのクエリは、ワークスペースのクエリの履歴ページにも記録されます。 クエリの履歴の詳細については、「クエリの履歴」を参照してください。
クエリ分析情報の制限事項
- クエリ プロファイルは、クエリの実行が終了した後にのみ使用できます。
- メトリックはライブで更新されますが、実行中にクエリ プロファイルは表示されません。
- 対象となるクエリの状態は、RUNNING、CANCELED、FAILED、FINISHED のみです。
- クエリの履歴ページから実行中のクエリを取り消すことはできません。 ノートブックまたはジョブで取り消すことができます。
- 詳細メトリックは使用できません。
- クエリ プロファイルのダウンロードは使用できません。
- Spark UI へのアクセスは使用できません。
- ステートメント テキストには、実行された最後の行のみが含まれます。 ただし、この行の前に、同じステートメントの一部として実行された行が複数存在する可能性があります。