仮想ネットワークを使用して Azure Machine Learning トレーニング環境をセキュリティで保護する

[アーティクル]
09/03/2024

適用対象: Python SDK azure-ai-ml v2 (現行)

ヒント

この記事の手順ではなく、Azure Machine Learning のマネージド仮想ネットワークを使用できます。マネージド仮想ネットワークを使用すると、Azure Machine Learning はワークスペースとマネージドコンピューティングのネットワーク分離のジョブを処理します。また、ワークスペースに必要なリソース (Azure Storage アカウントなど) のプライベートエンドポイントを追加することもできます。詳しくは、ワークスペースのマネージドネットワーク分離に関する記事をご覧ください。

Azure Machine Learning のコンピューティングインスタンス、サーバーレスコンピューティング、およびコンピューティングクラスターを使用して、Azure Virtual Network 内のモデルを安全にトレーニングできます。環境を計画する際に、パブリック IP アドレスあり、またはなしのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティングを構成できます。この 2 つの一般的な違いは次のとおりです。

パブリック IP なし: 同じネットワークリソース要件がないため、コストが削減されます。インターネットからの受信トラフィックの要件を削除して、セキュリティを向上します。ただし、必要なリソース (Microsoft Entra ID、Azure Resource Manager など) への送信アクセスを有効にするために、追加の構成変更が必要です。
パブリック IP: 既定で動作しますが、Azure ネットワークリソースが増えるため、コストが高くなります。パブリックインターネットを経由する Azure Machine Learning service からの受信通信が必要です。

次の表に、これらの構成の違いを示します。

構成	パブリック IP あり	パブリック IP なし
受信トラフィック	`AzureMachineLearning` サービスタグ。	なし
送信トラフィック	既定では、制限なしでパブリックインターネットにアクセスできます。ネットワークセキュリティグループまたはファイアウォールを使用して、アクセスする対象を制限できます。	既定では、Azure によって提供される既定の送信アクセスを使って、パブリックネットワークにアクセスできます。インターネット上の必要なリソースに送信トラフィックをルーティングする必要がある場合は、代わりに Virtual Network NAT ゲートウェイまたはファイアウォールを使うことをお勧めします。
Azure ネットワークリソース	パブリック IP アドレス、ロードバランサー、ネットワークインターフェイス	なし

また、Azure Databricks または HDInsight を使用して仮想ネットワーク内のモデルをトレーニングすることもできます。

重要

この記事で "(プレビュー)" と付記されている項目は、現在、パブリックプレビュー段階です。プレビューバージョンはサービスレベルアグリーメントなしで提供されています。運用環境のワークロードに使用することはお勧めできません。特定の機能はサポート対象ではなく、機能が制限されることがあります。詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。

この記事は、Azure Machine Learning ワークフローのセキュリティ保護に関するシリーズの一部です。このシリーズの他の記事は次のとおりです。

安全なワークスペースの作成に関するチュートリアルについては、「チュートリアル: 安全なワークスペースを作成する」、「Bicep テンプレート」、または「Teraform テンプレート」を参照してください。

この記事では、仮想ネットワークで次のトレーニングコンピューティングリソースをセキュリティで保護する方法について説明します。

Azure Machine Learning コンピューティングクラスター
Azure Machine Learning コンピューティングインスタンス
Azure Machine Learning サーバーレスコンピューティング
Azure Databricks
仮想マシン
HDInsight クラスター

前提条件

一般的な仮想ネットワークのシナリオと全体的な仮想ネットワークアーキテクチャについては、ネットワークセキュリティの概要に関するページを参照してください。
コンピューティングリソースで使用する既存の仮想ネットワークとサブネット。この VNet は、Azure Machine Learning ワークスペースと同じサブスクリプションにある必要があります。
- ワークスペースとトレーニングジョブで使用されるストレージアカウントは、コンピューティングインスタンス、サーバーレスコンピューティング、およびクラスターに使用するものと同じ Azure リージョンに配置することをお勧めします。それらが同じ Azure リージョンにない場合、データ転送コストが発生し、ネットワーク待機時間が増える可能性があります。
- VNet 内の *.instances.azureml.net および *.instances.azureml.ms への WebSocket 通信が許可されていることを確認します。 WebSocket は、コンピューティングインスタンスでは Jupyter によって使用されます。
仮想ネットワーク内の既存のサブネット。このサブネットは、コンピューティングインスタンス、クラスター、およびサーバーレスコンピューティングのノードの作成時に使用されます。
- サブネットが他の Azure サービスに委任されていないことを確認します。
- サブネットに十分な空き IP アドレスが含まれていることを確認します。コンピューティングインスタンスごとに 1 つの IP アドレスが必要です。コンピューティングクラスター内の "ノード" ごと、およびサーバーレスコンピューティングノードごとに、1 つの IP アドレスが必要です。
独自の DNS サーバーがある場合は、DNS 転送を使用して、コンピューティングインスタンスおよびクラスターの完全修飾ドメイン名 (FQDN) を解決することをお勧めします。詳細については、Azure Machine Learning でのカスタム DNS の使用に関する記事を参照してください。

リソースを仮想ネットワークまたはサブネットにデプロイするには、ご利用のユーザーアカウントが、Azure ロールベースのアクセス制御 (Azure RBAC) で次のアクションへのアクセス許可を保持している必要があります。
- 仮想ネットワークリソースの "Microsoft.Network/*/read"。このアクセス許可は、Azure Resource Manager (ARM) テンプレートのデプロイには必要ありません。
- 仮想ネットワークリソース上の "Microsoft.Network/virtualNetworks/join/action"。
- サブネットリソース上の "Microsoft.Network/virtualNetworks/subnets/join/action"。
ネットワークでの Azure RBAC の詳細については、ネットワークの組み込みロールに関するページを参照してください

制限事項

仮想ネットワークでのコンピューティングクラスター/インスタンスおよびサーバーレスコンピューティングのデプロイは、Azure Lighthouse ではサポートされていません。
トレーニング中にコンピューティングインスタンスと既定のストレージアカウント間の "プライベート" ネットワーク通信用にポート 445 を開く必要があります。たとえば、コンピューティングが 1 つの VNet にあり、ストレージアカウントが別の VNet にある場合は、ストレージアカウント VNet に対してポート 445 をブロックしないでください。

ワークスペースとは異なる VNet/リージョン内のコンピューティングクラスター

重要

別のリージョン/VNet に "コンピューティングインスタンス" を作成することはできません。作成できるのは "コンピューティングクラスター" のみです。

ワークスペース仮想ネットワークとは異なるリージョンの Azure 仮想ネットワークにコンピューティングクラスターを作成するために、2 つの VNet 間の通信を有効にするオプションがいくつかあります。

VNet ピアリングを使用します。
コンピューティングクラスターを含むことになる仮想ネットワーク内にワークスペース用のプライベートエンドポイントを追加します。

重要

選択した方法に関係なく、コンピューティングクラスター用の VNet も作成する必要があります。Azure Machine Learning がお客様の代わりにこれを作成することはありません。

また、既定のストレージアカウント、Azure Container Registry、Azure Key Vault がコンピューティングクラスター用の VNet にアクセスすることを許可する必要もあります。これを行うには複数の方法があります。たとえば、コンピューティングクラスター用の VNet 内の各リソースにプライベートエンドポイントを作成したり、VNet ピアリングを使用してワークスペース VNet がコンピューティングクラスター VNet にアクセスできるようにしたりできます。

シナリオ: VNet ピアリング

Azure 仮想ネットワークを使用するようにワークスペースを構成します。詳細については、「ワークスペースリソースのセキュリティ保護」を参照してください。
コンピューティングクラスター用に使用する 2 つ目の Azure 仮想ネットワークを作成します。これはワークスペース用に使用するものとは異なる Azure リージョンに配置できます。
2 つの VNet 間で VNet ピアリングを構成します。

ヒント

VNet ピアリングの状態が接続済みになるのを待ってから続きを行います。
privatelink.api.azureml.ms DNS ゾーンを変更して、コンピューティングクラスター用の VNet へのリンクを追加します。このゾーンは Azure Machine Learning ワークスペースによって、ワークスペースがプライベートエンドポイントを使用して VNet に参加するときに作成されます。
1. 新しい仮想ネットワークリンクを DNS ゾーンに追加します。これは次のいずれかの方法で行うことができます。
  - Azure portal から DNS ゾーンに移動し、[仮想ネットワークリンク] を選択します。次に、[+ 追加] を選択し、コンピューティングクラスター用に作成した VNet を選択します。
  - Azure CLI から、az network private-dns link vnet create コマンドを使用します。詳細については、「az network private-dns link vnet create」を参照してください。
  - Azure PowerShell から、New-AzPrivateDnsVirtualNetworkLink コマンドを使用します。詳細については、「New-AzPrivateDnsVirtualNetworkLink」を参照してください。
privatelink.notebooks.azure.net DNS ゾーンに対して前の手順とサブ手順を繰り返します。
両方の VNet からのアクセスを許可するように、次の Azure リソースを構成します。
- ワークスペースの既定のストレージアカウント。
- ワークスペース用の Azure Container Registry。
- ワークスペース用の Azure Key Vault。
ヒント

VNet へのアクセスを許可するようにこれらのサービスを構成する方法は複数あります。たとえば、両方の VNet 内に各リソース用のプライベートエンドポイントを作成できます。または両方の VNet からのアクセスを許可するようにリソースを構成することができます。
VNet を使用する場合に通常行うようにコンピューティングクラスターを作成します。ただしコンピューティングクラスター用に作成した VNet を選択します。 VNet が別のリージョンにある場合は、コンピューティングクラスターの作成時にそのリージョンを選択します。

警告

リージョンを設定するときに、それがワークスペースやデータストアとは異なるリージョンであると、ネットワーク待機時間とデータ転送コストが増大する可能性があります。待ち時間とコストは、クラスターの作成時や、クラスターでのジョブの実行時に発生する可能性があります。

シナリオ: プライベートエンドポイント

Azure 仮想ネットワークを使用するようにワークスペースを構成します。詳細については、「ワークスペースリソースのセキュリティ保護」を参照してください。
コンピューティングクラスター用に使用する 2 つ目の Azure 仮想ネットワークを作成します。これはワークスペース用に使用するものとは異なる Azure リージョンに配置できます。
コンピューティングクラスターを含むことになる仮想ネットワーク内にワークスペース用の新しいプライベートエンドポイントを作成します。
- Azure portal を使用して新しいプライベートエンドポイントを追加するには、ワークスペースを選択した後に、[ネットワーク] を選択します。 [プライベートエンドポイント接続] と [+ プライベートエンドポイント] を選択し、フィールドを使用して新しいプライベートエンドポイントを作成します。
  - [リージョン] を選択する場合は、ご使用の仮想ネットワークと同じリージョンを選択します。
  - [リソースの種類] を選択する場合は、Microsoft.MachineLearningServices/workspaces を使用します。
  - [リソース] を実際のワークスペース名に設定します。
  - [仮想ネットワーク] と [サブネット] を、コンピューティングクラスター用に作成した VNet とサブネットに設定します。
  最後に、 [作成] を選択してプライベートエンドポイントを作成します。
- Azure CLI を使用して新しいプライベートエンドポイントを追加するには、az network private-endpoint create を使用します。このコマンドの使用例については、「Azure Machine Learning ワークスペース用のプライベートエンドポイントの構成」を参照してください。
VNet を使用する場合に通常行うようにコンピューティングクラスターを作成します。ただしコンピューティングクラスター用に作成した VNet を選択します。 VNet が別のリージョンにある場合は、コンピューティングクラスターの作成時にそのリージョンを選択します。

警告

リージョンを設定するときに、それがワークスペースやデータストアとは異なるリージョンであると、ネットワーク待機時間とデータ転送コストが増大する可能性があります。待機時間とコストは、クラスターの作成時や、クラスターでのジョブの実行時に発生する可能性があります。

パブリック IP なしのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティング

重要

この情報は、Azure Virtual Network を使用している場合にのみ有効です。 マネージド仮想ネットワークを使用している場合、コンピューティングリソースを Azure Virtual Network にデプロイすることはできません。マネージド仮想ネットワークの使用の詳細については、マネージドネットワークを使用したマネージドコンピューティングに関するページを参照してください。

重要

プレビューにオプトインせずにパブリック IP なしで構成されたコンピューティングインスタンスまたはコンピューティングクラスターを使用している場合は、2023 年 1 月 20 日 (この機能が一般提供される時点) より後に、それらを削除して再作成する必要があります。

パブリック IP なしのプレビューを以前に使用していた場合は、一般提供用に要件が変更されたため、どのトラフィックで受信と送信を許可するかについても変更が必要になる可能性があります。

送信要件 - 2 つの追加の送信。これらは、コンピューティングインスタンスおよびクラスターの管理にのみ使用されます。これらのサービスタグの宛先は、Microsoft によって所有されています。
- UDP ポート 5831 の AzureMachineLearning サービスタグ。
- TCP ポート 443 のBatchNodeManagement サービスタグ。

次の構成は、「前提条件」セクションに記載されている内容への追加であり、パブリック IP なしで構成されたコンピューティングインスタンス/クラスターの作成に固有の内容です。これらは、サーバーレスコンピューティングにも適用されます。

コンピューティングリソースが VNet から Azure Machine Learning サービスと通信するには、ワークスペースのプライベートエンドポイントを使用する必要があります。詳細については、「Azure Machine Learning ワークスペース用にプライベートエンドポイントを構成する」を参照してください。

VNet で、次のサービスタグまたは完全修飾ドメイン名 (FQDN) への送信トラフィックを許可します。

サービスタグ	Protocol	Port	Notes
`AzureMachineLearning`	TCP UDP	443/8787/18881 5831	Azure Machine Learning service との通信。
`BatchNodeManagement.<region>`	ANY	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。 Azure Batch との通信。コンピューティングインスタンスとコンピューティングクラスターは、Azure Batch サービスを使用して実装されます。
`Storage.<region>`	TCP	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。このサービスタグは、Azure Batch によって使用される Azure Storage アカウントとの通信に使用されます。

重要

Storage.<region> への送信アクセスは、ワークスペースからのデータの流出に利用されるおそれがあります。サービスエンドポイントポリシーを使用すると、この脆弱性を軽減できます。詳細については、Azure Machine Learning のデータ流出防止に関する記事を参照してください。

FQDN	Protocol	Port	Notes
`<region>.tundra.azureml.ms`	UDP	5831	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。
`graph.windows.net`	TCP	443	Microsoft Graph API との通信。
`*.instances.azureml.ms`	TCP	443/8787/18881	Azure Machine Learning との通信。
`*.<region>.batch.azure.com`	ANY	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。 Azure Batch との通信。
`*.<region>.service.batch.azure.com`	ANY	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。 Azure Batch との通信。
`*.blob.core.windows.net`	TCP	443	Azure Blob Storage との通信。
`*.queue.core.windows.net`	TCP	443	Azure Queue Storage との通信。
`*.table.core.windows.net`	TCP	443	Azure Table Storage との通信。

既定では、パブリック IP なしで構成されているコンピューティングインスタンスまたはクラスターは、インターネットに送信アクセスできません。そこからインターネットにアクセス "できる" 場合は、Azure の既定の送信アクセスが原因であり、ユーザーにはインターネットへの送信を許可する NSG があります。ただし、既定の送信アクセスを使うことはお勧めしません。インターネットへの送信アクセスが必要な場合は、代わりに、ファイアウォールとアウトバウンド規則、または NAT ゲートウェイとネットワークサービスグループを使って、送信トラフィックを許可することをお勧めします。

Azure Machine Learning で使用される送信トラフィックの詳細については、次の記事を参照してください。
- ネットワークの着信トラフィックおよび送信トラフィックを構成する。
- Azure のアウトバウンド接続方法。
Azure Firewallで使用できるサービスタグの詳細については、「仮想ネットワークサービスタグ」の記事を参照してください。

パブリック IP アドレスなしでコンピューティングインスタンスまたはクラスターを作成するには、次の情報を利用してください。

az ml compute create コマンドで、次の値を置き換えます。

rg: コンピューティングが作成されるリソースグループ。
ws: Azure Machine Learning ワークスペースの名前。
yourvnet: Azure 仮想ネットワーク。
yoursubnet: コンピューティングに使うサブネット。
AmlCompute または ComputeInstance: AmlCompute を指定すると、"コンピューティングクラスター" が作成されます。 ComputeInstance を使って "コンピューティングインスタンス" を作成します。

# create a compute cluster with no public IP
az ml compute create --name cpu-cluster --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type AmlCompute --set enable_node_public_ip=False

# create a compute instance with no public IP
az ml compute create --name myci --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type ComputeInstance --set enable_node_public_ip=False

重要

次のコードスニペットは、ml_client の指す対象が、プライベートエンドポイントを使って VNet に参加する Azure Machine Learning ワークスペースであることを前提としています。 ml_client の使用の詳細については、チュートリアル「1 日でわかる Azure Machine Learning」を参照してください。

from azure.ai.ml.entities import AmlCompute, NetworkSettings

network_settings = NetworkSettings(vnet_name="<vnet-name>", subnet="<subnet-name>")
compute = AmlCompute(
    name=cpu_compute_target,
    size="STANDARD_D2_V2",
    min_instances=0,
    max_instances=4,
    enable_node_public_ip=False,
    network_settings=network_settings
)
ml_client.begin_create_or_update(entity=compute)

Note

NetworkSettings クラス内でサブネットを構成する場合、これは、新しい VNet の作成時または既存のものの参照時のサブネットの名前、または既存の VNet 内のサブネットの完全修飾リソース ID のいずれかである必要があります。サブネット ID が指定されている場合は、vnet_name を指定しないでください。サブネット ID は、別のリソースグループ内の VNet またはサブネットを参照できます。

次の情報を使用して、指定のワークスペースに VNet でパブリック IP アドレスがないサーバーレスコンピューティング ノードを構成します。

重要

パブリック IP サーバーレスコンピューティングを使用せず、ワークスペースで IP 許可一覧を使用している場合は、送信プライベートエンドポイントをワークスペースに追加する必要があります。サーバーレスコンピューティングはワークスペースと通信する必要がありますが、パブリック IP が構成されていない場合は、インターネットアクセスに Azure Default Outbound を使用します。この送信のパブリック IP は動的であり、IP 許可一覧に追加することはできません。ワークスペースに対して送信プライベートエンドポイントを作成することで、ワークスペースにバインドされたサーバーレスコンピューティングからのトラフィックが、IP 許可一覧をバイパスできるようになります。

Azure CLI
Python SDK
[スタジオ](#tab/azure-studio)

ワークスペースを作成します。

az ml workspace create -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

name: testserverlesswithnpip
location: eastus
public_network_access: Disabled
serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: true

ワークスペースの更新:

az ml workspace update -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: true

重要

from azure.ai.ml import MLClient
from azure.ai.ml.entities import ServerlessComputeSettings, Workspace
from azure.identity import DefaultAzureCredential

subscription_id = <sub id>
resource_group = <resource group>
workspace_name = <workspace name>
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group
)

workspace = Workspace(
    name=workspace_name,
    serverless_compute=ServerlessComputeSettings(
        custom_subnet=<subnet id>,
        no_public_ip=true,
    )
)

workspace = ml_client.workspaces.begin_update(workspace)

パブリック IP ありのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティング

重要

次の構成は、「前提条件」セクションに記載されている内容への追加であり、パブリック IP ありのコンピューティングインスタンス/クラスターの作成に固有の内容です。これらは、サーバーレスコンピューティングにも適用されます。

複数のコンピューティングインスタンス/クラスターを 1 つの仮想ネットワークに配置する場合は、1 つまたは複数のリソースのクォータの増加を要求する必要がある場合があります。 Machine Learning コンピューティングインスタンスまたはクラスターにより、仮想ネットワークが含まれているリソースグループにネットワークリソースが自動的に割り当てられます。サービスにより、各コンピューティングインスタンスまたはクラスターについて次のリソースが割り当てられます。
- ネットワークセキュリティグループ (NSG) は自動的に作成されます。この NSG を使って、AzureMachineLearning サービスタグからのポート 44224 での受信 TCP トラフィックを許可します。
  
  重要
  
  コンピューティングインスタンスとコンピューティングクラスターは、必要なルールが設定された NSG を自動的に作成します。
  
  サブネットレベルに別の NSG がある場合、サブネットレベルの NSG のルールが、自動的に作成された NSG のルールと競合しないようにする必要があります。
  
  NSG でネットワークトラフィックがどのようにフィルター処理されるかについては、「ネットワークセキュリティグループによってネットワークトラフィックをフィルター処理する方法」を参照してください。
- 1 つのロードバランサー
コンピューティングクラスターでは、クラスターが 0 ノードにスケールダウンするたびにこれらのリソースが削除され、スケールアップすると作成されます。

コンピューティングインスタンスでは、これらのリソースはインスタンスが削除されるまで保持されます。インスタンスを停止しても、リソースは削除されません。

重要

これらのリソースは、サブスクリプションのリソースクォータによって制限されます。仮想ネットワークリソースグループがロックされている場合、コンピューティングクラスターやインスタンスの削除が失敗します。コンピューティングクラスターやインスタンスが削除されるまで、ロードバランサーを削除することはできません。また、ネットワークセキュリティグループの作成を禁止する Azure Policy の割り当てがないことも確認してください。
お使いの VNet で、AzureMachineLearning サービスタグからのポート 44224 での受信 TCP トラフィックを許可します。

重要

コンピューティングインスタンス/クラスターには、作成時に IP アドレスが動的に割り当てられます。このアドレスは作成前には分からず、作成プロセスの一環として受信アクセスが必要であるため、ファイアウォールで静的に割り当てることはできません。代わりに、VNet でファイアウォールを使用している場合は、この受信トラフィックを許可するようにユーザー定義ルートを作成する必要があります。

お使いの VNet で、次のサービスタグに対する送信トラフィックを許可します。

サービスタグ	Protocol	Port	Notes
`AzureMachineLearning`	TCP UDP	443/8787/18881 5831	Azure Machine Learning service との通信。
`BatchNodeManagement.<region>`	ANY	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。 Azure Batch との通信。コンピューティングインスタンスとコンピューティングクラスターは、Azure Batch サービスを使用して実装されます。
`Storage.<region>`	TCP	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。このサービスタグは、Azure Batch によって使用される Azure Storage アカウントとの通信に使用されます。

重要

FQDN	Protocol	Port	Notes
`<region>.tundra.azureml.ms`	UDP	5831	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。
`graph.windows.net`	TCP	443	Microsoft Graph API との通信。
`*.instances.azureml.ms`	TCP	443/8787/18881	Azure Machine Learning との通信。
`*.<region>.batch.azure.com`	ANY	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。 Azure Batch との通信。
`*.<region>.service.batch.azure.com`	ANY	443	`<region>` は、Azure Machine Learning ワークスペースが含まれている Azure リージョンに置き換えます。 Azure Batch との通信。
`*.blob.core.windows.net`	TCP	443	Azure Blob Storage との通信。
`*.queue.core.windows.net`	TCP	443	Azure Queue Storage との通信。
`*.table.core.windows.net`	TCP	443	Azure Table Storage との通信。

パブリック IP アドレスを使って VNet にコンピューティングインスタンスまたはクラスターを作成するには、次の情報を利用してください。

Azure CLI
Python SDK
[スタジオ](#tab/azure-studio)

az ml compute create コマンドで、次の値を置き換えます。

rg: コンピューティングが作成されるリソースグループ。
ws: Azure Machine Learning ワークスペースの名前。
yourvnet: Azure 仮想ネットワーク。
yoursubnet: コンピューティングに使うサブネット。
AmlCompute または ComputeInstance: AmlCompute を指定すると、"コンピューティングクラスター" が作成されます。 ComputeInstance を使って "コンピューティングインスタンス" を作成します。

# create a compute cluster with a public IP
az ml compute create --name cpu-cluster --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type AmlCompute

# create a compute instance with a public IP
az ml compute create --name myci --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type ComputeInstance

重要

from azure.ai.ml.entities import AmlCompute, NetworkSettings

network_settings = NetworkSettings(vnet_name="<vnet-name>", subnet="<subnet-name>")
compute = AmlCompute(
    name=cpu_compute_target,
    size="STANDARD_D2_V2",
    min_instances=0,
    max_instances=4,
    network_settings=network_settings
)
ml_client.begin_create_or_update(entity=compute)

Note

次の情報を使用して、指定のワークスペースに VNet でパブリック IP アドレスがあるサーバーレスコンピューティング ノードを構成します。

Azure CLI
Python SDK
[スタジオ](#tab/azure-studio)

ワークスペースを作成します。

az ml workspace create -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

name: testserverlesswithvnet
location: eastus
serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: false

ワークスペースの更新:

az ml workspace update -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: false

重要

from azure.ai.ml import MLClient
from azure.ai.ml.entities import ServerlessComputeSettings, Workspace
from azure.identity import DefaultAzureCredential

subscription_id = <sub id>
resource_group = <resource group>
workspace_name = <workspace name>
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group
)

workspace = Workspace(
    name=workspace_name,
    serverless_compute=ServerlessComputeSettings(
        custom_subnet=<subnet id>,
        no_public_ip=false,
    )
)

workspace = ml_client.workspaces.begin_update(workspace)

Azure Databricks

仮想ネットワークは Azure Machine Learning のワークスペースと同じサブスクリプションとリージョンになければなりません。
仮想ネットワークでワークスペースの Azure Storage アカウントもセキュリティで保護される場合、それらは Azure Databricks クラスターと同じ仮想ネットワークに存在する必要があります。
Azure Databricks によって使用される __databricks-private__ および __databricks-public__ サブネットに加えて、仮想ネットワーク用に作成された __既定の__ サブネットも必要です。
Azure Databricks は、仮想ネットワークとの通信にプライベートエンドポイントを使用しません。

仮想ネットワークでの Azure Databricks の使用に関する具体的な情報については、「[Azure Virtual Network に Azure Databricks をデプロイする](/azure/databricks/administration-guide/cloud-configurations/azure/vnet-inject)」を参照してください。

仮想マシンまたは HDInsight クラスター

このセクションでは、ワークスペースのある仮想ネットワークで仮想マシンまたは Azure HDInsight クラスターを使用する方法について説明します。

VM または HDInsight クラスターを作成する

重要

Azure Machine Learning では、Ubuntu を実行する仮想マシンのみがサポートされています。

Azure portal または Azure CLI を使用して VM または HDInsight クラスターを作成し、そのクラスターを Azure の仮想ネットワークに配置します。詳細については、次の記事を参照してください。

Linux VM 用の Azure 仮想ネットワークの作成と管理を行う
[Azure Virtual Network を使用した Azure HDInsight の拡張](../hdinsight/hdinsight-plan-virtual-network-deployment.md)

ネットワークポートを構成する

Azure Machine Learning で VM またはクラスターの SSH ポートと通信できるようにするために、ネットワークセキュリティグループ用のソースエントリを構成します。 SSH ポートは、通常はポート 22 です。このソースからのトラフィックを許可するには、次の操作を実行します。

__[ソース]__ ボックスの一覧で、 __[サービスタグ]__ を選択します。
__[ソースサービスタグ]__ ボックスの一覧で、 __[AzureMachineLearning]__ を選択します。
[ソースポート範囲] ボックスの一覧で、* を選択します。
__[宛先]__ ボックスの一覧で __[すべて]__ を選択します。
__[宛先ポート範囲]__ ボックスの一覧で __[22]__ を選択します。
__[プロトコル]__ で __[すべて]__ を選択します。
[アクション] で、 [許可] を選択します。

ネットワークセキュリティグループの既定のアウトバウンド規則を保持します。詳細については、「セキュリティグループ」の既定のセキュリティ規則をご覧ください。

既定のアウトバウンド規則を使用せずに仮想ネットワークのアウトバウンドアクセスを制限する場合は、「[必要なパブリックインターネットアクセス](#required-public-internet-access)」セクションを参照してください。

VM または HDInsight クラスターをアタッチする

VM または HDInsight クラスターをお客様の Azure Machine Learning のワークスペースにアタッチします。詳細については、「モデルのトレーニングとデプロイのためのコンピューティングリソースを管理する」を参照してください。

モデルのトレーニングに必要なパブリックインターネットアクセス

重要

この記事の前のセクションでは、コンピューティングリソースの作成に必要な構成について説明していますが、このセクションの構成情報は、これらのリソースをモデルのトレーニングに使用するために必要です。

Azure Machine Learning は、パブリックインターネットへの受信アクセスと送信アクセスの両方が必要です。次の表に、必要なアクセスの概要と、その目的を示します。 .region で終わるサービスタグでは、region を、ご利用のワークスペースを含む Azure リージョンに置き換えます。 Storage.westus の例を次に示します。

ヒント

「必須」のタブには、必要な受信および送信の構成が一覧表示されます。「状況」のタブには、有効にする構成によっては必要になる、省略可能な受信と送信の構成が一覧表示されます。

必須
状況

方向	プロトコルおよび ports	サービスタグ	目的
送信	TCP: 80、443	`AzureActiveDirectory`	Microsoft Entra ID 使用した認証。
送信	TCP: 443、18881 UDP: 5831	`AzureMachineLearning`	Azure Machine Learning service の使用。ノートブックで Python Intellisense にポート 18881 が使用されます。 Azure Machine Learning コンピューティングインスタンスの作成、更新、削除には、ポート 5831 が使用されます。
送信	ANY: 443	`BatchNodeManagement.region`	Azure Machine Learning コンピューティングインスタンス/クラスターの Azure Batch バックエンドとの通信。
送信	TCP: 443	`AzureResourceManager`	Azure Machine Learning、Azure CLI、Azure Machine Learning SDK を使用した Azure リソースの作成。
送信	TCP: 443	`Storage.region`	コンピューティングクラスターとコンピューティングインスタンスの Azure Storage アカウントに格納されたデータにアクセスします。この送信でのデータ流出の防止については、「データ流出防止」を参照してください。
送信	TCP: 443	`AzureFrontDoor.FrontEnd` * 21Vianet によって運営される Microsoft Azure では不要。	Azure Machine Learning スタジオ用のグローバルエントリポイント。 AutoML のイメージと環境を格納します。この送信でのデータ流出の防止については、「データ流出防止」を参照してください。
送信	TCP: 443	`MicrosoftContainerRegistry.region` このタグには `AzureFrontDoor.FirstParty` タグへの依存関係があることに注意してください	Microsoft が提供する Docker イメージにアクセスします。 Azure Kubernetes Service の Azure Machine Learning ルートのセットアップ。

方向	プロトコルおよび ports	サービスタグ	目的
受信	TCP: 44224	`AzureMachineLearning`	Azure Machine Learning コンピューティングインスタンス/クラスターを作成、更新、削除します。パブリック IP オプションを使用してインスタンス/クラスターが構成されている場合に必要です。
送信	TCP: 8787	`AzureMachineLearning`	Azure Machine Learning service の使用。 RStudio を使用する場合は、ポート 8787 が必要です。
送信	TCP: 445	`Storage.region`	コンピューティングクラスターとコンピューティングインスタンスの Azure Storage アカウントに格納されたデータにアクセスします。この送信でのデータ流出の防止については、「データ流出防止」を参照してください。 445 は、Azure ML 用の仮想ネットワークとストレージアカウント用のプライベートエンドポイントの間にファイアウォールがある場合のみ必要です。
送信	TCP: 443	`AzureMonitor`	App Insights と Azure Monitor への監視とメトリックのログ記録に使われます。ワークスペースの Azure Monitor をセキュリティで保護していない場合にのみ必要です。 * この送信は、サポートインシデントの情報をログに記録するためにも使用されます。
送信	TCP: 443	`Keyvault.region`	Azure Batch サービスのキーコンテナーにアクセスします。ワークスペースの作成時に hbi_workspace フラグを有効にした場合にのみ必要です。

ヒント

サービスタグの代わりに IP アドレスが必要な場合、次のいずれかのオプションを使用します。

Azure IP 範囲とサービスタグから一覧をダウンロードします。
Azure CLI の az network list-service-tags コマンドを使用します。
Azure PowerShell の Get-AzNetworkServiceTag コマンドを使用します。

IP アドレスは定期的に変わる可能性があります。

機械学習プロジェクトで必要なパッケージをインストールするために、Visual Studio Code サイトと Microsoft 以外のサイトへの送信トラフィックを許可する必要がある場合があります。次の表に、機械学習に一般的に使用されるリポジトリを示します。

ホスト名	目的
`anaconda.com` `*.anaconda.com`	既定のパッケージをインストールするために使用されます。
`*.anaconda.org`	リポジトリデータを取得するために使用されます。
`pypi.org`	既定のインデックスからの依存関係 (存在する場合) を一覧表示するために使用されます。ユーザー設定によってこのインデックスが上書きされることはありません。インデックスが上書きされる場合は、`*.pythonhosted.org` も許可する必要があります。
`cloud.r-project.org`	R 開発用の CRAN パッケージをインストールするときに使用されます。
`*.pytorch.org`	PyTorch に基づくいくつかのサンプルによって使用されます。
`*.tensorflow.org`	Tensorflow に基づくいくつかのサンプルによって使用されます。
`code.visualstudio.com`	Visual Studio Code デスクトップをダウンロードしてインストールするために必要です。これは Visual Studio Code Web では必要ありません。
`update.code.visualstudio.com` `*.vo.msecnd.net`	セットアップスクリプトを通じてコンピューティングインスタンスにインストールされている Visual Studio Code サーバービットを取得するために使用されます。
`marketplace.visualstudio.com` `vscode.blob.core.windows.net` `*.gallerycdn.vsassets.io`	Visual Studio Code 拡張機能をダウンロードしてインストールするために必要です。これらのホストにより、Visual Studio Code 用の Azure ML 拡張機能で提供されるコンピューティングインスタンスへのリモート接続が有効になります。詳細については、「Visual Studio Code で Azure Machine Learning コンピューティングインスタンスに接続する」を参照してください。
`raw.githubusercontent.com/microsoft/vscode-tools-for-ai/master/azureml_remote_websocket_server/*`	コンピューティングインスタンスにインストールされている Websocket サーバービットを取得するために使用されます。 Websocket サーバーは、Visual Studio Code クライアント (デスクトップアプリケーション) から、コンピューティングインスタンスで実行されている Visual Studio Code サーバーに要求を送信するために使用されます。

注意

Azure Machine Learning VS Code 拡張機能を使用する場合、リモートコンピューティングインスタンスには、拡張機能に必要なパッケージのインストールにパブリックリポジトリへのアクセスが必要です。コンピューティングインスタンスがこれらのパブリックリポジトリまたはインターネットにアクセスするためにプロキシを必要とする場合、コンピューティングインスタンスの ~/.bashrc ファイルで HTTP_PROXY および HTTPS_PROXY 環境変数を設定およびエクスポートする必要があります。このプロセスは、カスタムスクリプトを使用してプロビジョニング時に自動化できます。

Azure Machine Learning で Azure Kubernetes Service (AKS) を使用する場合は、AKS VNet への次のトラフィックを許可します。

「Azure Kubernetes Service (AKS) でエグレストラフィックを制限する」で説明されている AKS の受信または送信の一般的な要件。
mcr.microsoft.com への送信。
AKS クラスターにモデルをデプロイする場合は、「ML モデルを Kubernetes Service にデプロイする」記事のガイダンスを使用してください。

ファイアウォールソリューションの使用に関する詳細については、Azure Machine Learning でのファイアウォールの使用に関するページを参照してください。

次の手順

この記事は、Azure Machine Learning ワークフローのセキュリティ保護に関するシリーズの一部です。このシリーズの他の記事は次のとおりです。

次の方法で共有

仮想ネットワークを使用して Azure Machine Learning トレーニング環境をセキュリティで保護する

前提条件

制限事項

ワークスペースとは異なる VNet/リージョン内のコンピューティングクラスター

シナリオ: VNet ピアリング

シナリオ: プライベートエンドポイント

パブリック IP なしのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティング

パブリック IP ありのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティング

Azure Databricks

仮想マシンまたは HDInsight クラスター

VM または HDInsight クラスターを作成する

ネットワークポートを構成する

VM または HDInsight クラスターをアタッチする

モデルのトレーニングに必要なパブリックインターネットアクセス

次の手順

フィードバック

その他のリソース

次の方法で共有

仮想ネットワークを使用して Azure Machine Learning トレーニング環境をセキュリティで保護する

前提条件

制限事項

ワークスペースとは異なる VNet/リージョン内のコンピューティング クラスター

シナリオ: VNet ピアリング

シナリオ: プライベート エンドポイント

パブリック IP なしのコンピューティング インスタンス/クラスターまたはサーバーレス コンピューティング

パブリック IP ありのコンピューティング インスタンス/クラスターまたはサーバーレス コンピューティング

Azure Databricks

仮想マシンまたは HDInsight クラスター

VM または HDInsight クラスターを作成する

ネットワーク ポートを構成する

VM または HDInsight クラスターをアタッチする

モデルのトレーニングに必要なパブリック インターネット アクセス

次の手順

フィードバック

その他のリソース

ワークスペースとは異なる VNet/リージョン内のコンピューティングクラスター

シナリオ: プライベートエンドポイント

パブリック IP なしのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティング

パブリック IP ありのコンピューティングインスタンス/クラスターまたはサーバーレスコンピューティング

ネットワークポートを構成する

モデルのトレーニングに必要なパブリックインターネットアクセス