次の方法で共有

ネットワーク

  • [アーティクル]

この記事では、Azure Databricks アカウントおよびワークスペースのデプロイと管理のためのネットワーク構成について説明します。

重要

2024 年 12 月 4 日から、Databricks は、外部リソースに接続するサーバーレス ワークロードのネットワーク コストの課金を開始します。 課金は段階的に実施され、2024 年 12 月 4 日以降は課金されない場合があります。 課金が有効になる前に、使用量に対してさかのぼって課金されることはありません。 課金が有効になると、次の料金が発生する場合があります。

  • Private Link 経由でのリソースへのプライベート接続。 Private Link 経由でのリソースへのプライベート接続に対するデータ処理料金は無期限に免除されます。 時間単位の料金が適用されます。
  • NAT ゲートウェイ経由のリソースへのパブリック接続。
  • サーバーレス コンピューティングとターゲット リソースが異なるリージョンにある場合など、発生するデータ転送料金。

Azure Databricks アーキテクチャの概要

Azure Databricks は、"コントロール プレーン" と "コンピューティング プレーン" により動作します。

  • コントロール プレーンには、Azure Databricks によって Azure Databricks アカウントで管理されるバックエンド サービスが含まれています。 Web アプリケーションは、コントロール プレーン内にあります。
  • コンピューティング プレーンは、データが処理される場所です。 コンピューティング プレーンには、使用するコンピューティングに応じて次の 2 つの種類があります。
    • 従来の Azure Databricks コンピューティングの場合、コンピューティング リソースは、Azure サブスクリプション内にあり、"クラシック コンピューティング プレーン" と呼ばれます。 これは、Azure サブスクリプション内のネットワークとそのリソースを指します。 クラシック コンピューティング プラン リソースは、ワークスペースが存在するリージョンにあります。
    • サーバーレス コンピューティングの場合、サーバーレス コンピューティング リソースは、Azure Databricks アカウント内の "サーバーレス コンピューティング プレーン" 内で実行されます。 サーバーレス コンピューティング プラン リソースは、ワークスペースのクラシック コンピューティング プレーンと同じクラウド リージョンにあります。 ワークスペースを作成する場合は、このリージョンを選択します。

クラシック コンピューティングとサーバーレス コンピューティングの詳細については、「コンピューティングの種類」を参照してください。 アーキテクチャの追加情報については、「Azure Databricks アーキテクチャの概要」を参照してください。

セキュリティで保護されたネットワーク接続

Azure Databricks は既定で、セキュリティで保護されたネットワーク環境を提供しますが、組織に追加のニーズがある場合は、次の図に示すさまざまなネットワーク接続間でネットワーク接続機能を構成できます。

ネットワーク接続の概要図

  1. ユーザーおよびアプリケーションから Azure Databricks: アクセスを制御し、ユーザーとその Azure Databricks ワークスペース間のプライベート接続を提供する機能を構成できます。 「ユーザーから Azure Databricks ネットワークへ」を参照してください。
  2. コントロール プレーンとクラシック コンピューティング プレーン: クラスターなどのクラシック コンピューティング プレーンは、Azure サブスクリプション内にデプロイされ、コントロール プレーンに接続されます。 従来のネットワーク接続機能を使用して、クラシック コンピューティング プレーン リソースを独自の仮想ネットワークにデプロイし、クラスターからコントロール プレーンへのプライベート接続を有効にすることができます。 ｢クラシック コンピューティング プレーン ネットワーク」を参照してください。
  3. サーバーレス コンピューティング プレーンとストレージ: サーバーレス コンピューティングからストレージへのプライベート接続と専用接続を構成できます。 「サーバーレス コンピューティング プレーン ネットワーク」を参照してください。

プライベート エンドポイントなどの Azure ストレージ ネットワーク機能を構成して、クラシック コンピューティング プレーンと Azure リソース間の接続をセキュリティで保護できます。 「Azure Databricks ワークスペースに Azure Data Lake Storage Gen2 へのアクセス権を付与する」と「Lakehouse フェデレーションのためのネットワークに関する推奨事項」をご覧ください。

ワークスペース ストレージ アカウントに対するファイアウォールのサポートを有効にして、許可されているネットワークと接続からのアカウントへのアクセスを制限することもできます。 「ワークスペース ストレージ アカウントのファイアウォール サポートを有効にする」を参照してください。

コントロール プレーンとサーバーレス コンピューティング プレーンの間は常に、パブリック インターネットではなく Azure ネットワーク バックボーン経由で接続されます。