サーバーレス コンピューティングに接続する
この記事では、Azure Databricks 上で使用できる複数のサーバーレス オファリングについて説明します。 サーバーレス コンピューティングを使用すると、オンデマンド コンピューティング リソースにすばやく接続できます。
このセクションの記事は、ノートブック、ジョブ、Delta Live Tables のサーバーレス コンピューティングに焦点を当てています。 サーバーレス SQL ウェアハウスの詳細については、「サーバーレス SQL ウェアハウスとは」を参照してください。 モデルの提供の詳細については、「Azure Databricks でのモデルの提供」を参照してください。
サーバーレス コンピューティング プレーン アーキテクチャの詳細については、「サーバーレス コンピューティング プレーン」を参照してください。
サーバーレス コンピューティングとは
サーバーレス コンピューティングを使用すると、クラスターをプロビジョニングせずにワークロードを実行できます。 代わりに、Databricks は必要なコンピューティング リソースを自動的に割り当てて管理します。 これにより、クラスター管理やリソース使用率を気にすることなく、コードの記述とデータの分析に集中できます。
サーバーレス コンピューティングには、次の利点があります。
- クラウド リソースは Azure Databricks によって管理され、管理オーバーヘッドを削減し、ユーザーの生産性を向上させるための即時コンピューティングを提供します。
- サーバーレス コンピューティング リソースの迅速な起動とスケーリング時間により、アイドル時間を最小限に抑え、使用するコンピューティングに対してのみ料金を支払うことができます。
- 容量の処理、セキュリティ、修正プログラムの適用、アップグレードは自動的に管理されるため、信頼性、セキュリティ ポリシー、容量不足について心配する必要が少なくなります。
Azure Databricks で使用できるサーバーレス コンピューティングの種類は何ですか?
現在、Azure Databricks は次の種類のサーバーレス コンピューティングを提供しています。
- ノートブック用のサーバーレス コンピューティング: ノートブックで SQL および Python コードを実行するために使用されるオンデマンドでスケーラブルなコンピューティング。
- ジョブ用のサーバーレス コンピューティング: インフラストラクチャを構成およびデプロイせずに Databricks ジョブを実行するために使用されるオンデマンドでスケーラブルなコンピューティング。
- サーバーレス SQL ウェアハウス: SQL エディターまたは対話型ノートブックでデータ オブジェクトに対して SQL コマンドを実行するために使われるオンデマンドのエラスティック コンピューティング。 SQL ウェアハウスは UI、CLI、または REST API を使って作成できます。
- サーバーレス DLT パイプライン: Delta Live Tables パイプラインの更新用に最適化されたスケーラブルなコンピューティング。
- Mosaic AI Model Serving: AI モデルをデプロイするための高可用性かつ短い待機時間のサービス。
- モザイク AI モデル トレーニング - 予測: AutoML を使用して、ユーザーが指定したデータセットに基づいて最適な予測アルゴリズムとハイパーパラメーターを選択します。
サーバーレス コンピューティングを有効にする
ノートブック、ジョブ、Delta Live テーブルのサーバーレス コンピューティングにアクセスするには、アカウント管理者が機能を有効にする必要がある場合があります。 「サーバーレス コンピューティングを有効にする」をご覧ください。
サーバーレス SQL ウェアハウスにアクセスするには、「 サーバーレス SQL ウェアハウスを使用する」を参照してください。
サーバーレス コンピューティングの制限事項
制限事項の一覧については、「サーバーレス コンピューティングの制限事項」を参照してください。
よく寄せられる質問 (FAQ)
- リリースのロール アウト方法
- 実行中のサーバーレス ージョンの確認方法
- サーバーレスのコストを見積もる方法
- 特定のワークロードに対する DBU の使用状況を分析する方法
- ワークフローとノートブックのサーバーレス コンピューティングを有効にしていないのに、サーバーレス ジョブの課金レコードが表示されるのはどうしてですか?
- サーバーレス コンピューティングはプライベート リポジトリをサポートしていますか?
- ジョブ タスクのライブラリをインストールする方法
- カスタム データ ソースに接続できますか?
- サーバーレス コンピューティング プレーン ネットワークのしくみ
- Databricks アセット バンドルを使用してジョブのサーバーレス コンピューティングを構成できますか?
リリースのロール アウト方法
サーバーレス コンピューティングは、バージョンレス製品です。つまり、Databricks は、プラットフォームの機能強化とアップグレードをサポートするために、サーバーレス コンピューティング ランタイムを自動的にアップグレードします。 すべてのユーザーが同じ更新プログラムを取得し、短期間でロール アウトされます。
実行中のサーバーレス ージョンの確認方法
サーバーレス ワークロードは常に最新のランタイム バージョンで実行されます。 最新バージョンのリリース ノートを参照してください。
サーバーレスのコストを見積もる方法
Databricks では、代表的なワークロードまたは特定のワークロードを実行してベンチマークを行ってから、課金システム テーブルを分析することをお勧めします。 「課金対象の使用状況システム テーブル リファレンス」を参照してください。
特定のワークロードに対する DBU の使用状況を分析する方法
特定のワークロードのコストを確認するには、system.billing.usage
システム テーブルに対してクエリを実行します。 サンプル クエリと、コスト監視ダッシュボードのダウンロード方法については、「サーバーレス コンピュートのコストを監視する」を参照してください。
ワークフローとノートブックのサーバーレス コンピューティングを有効にしていないのに、サーバーレス ジョブの課金レコードが表示されるのはどうしてですか?
レイクハウス監視と予測最適化は、サーバーレス ジョブ SKU でも課金されます。
これら 2 つの機能を使用するのに、サーバーレス コンピューティングを有効にする必要はありません。
サーバーレス コンピューティングはプライベート リポジトリをサポートしていますか?
リポジトリはプライベートにすることも、認証を必要とすることもできます。 セキュリティ上の理由から、認証済みリポジトリにアクセスするときは、事前に署名された URL が必要です。
ジョブ タスクのライブラリをインストールする方法
Databricks では、環境を使用してジョブのライブラリをインストールおよび管理することをお勧めします。 「ノートブック以外のタスクの環境と依存関係を構成する」を参照してください。
カスタム データ ソースに接続できますか?
いいえ。サポートされるのは、Lakehouse フェデレーションを使用するソースのみです。 「サポートされているデータ ソース」を参照してください。
サーバーレス コンピューティング プレーン ネットワークのしくみ
サーバーレス コンピューティング リソースは、Azure Databricks によって管理されるサーバーレス コンピューティング プレーンで実行されます。 ネットワークとアーキテクチャの詳細については、「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。
Databricks アセット バンドルを使用してジョブのサーバーレス コンピューティングを構成できますか?
はい。Databricks アセット バンドルを使用して、サーバーレス コンピューティングを使用するジョブを構成できます。 「サーバーレス コンピューティングを使用するジョブを構成する」を参照してください。