バッチ エンドポイントを使用してパイプラインをデプロイする方法

適用対象:Azure CLI ml extension v2 (現行)Python SDK azure-ai-ml v2 (現行)

Azure Machine Learning で操作するための便利な方法が提供されるため、パイプライン コンポーネントをバッチ エンドポイントの下にデプロイできます。 この記事では、単純なパイプラインを含むバッチ デプロイを作成する方法について説明します。 次のことを学習します。

• パイプライン コンポーネントを作成して登録する
• バッチ エンドポイントを作成してパイプライン コンポーネントをデプロイする
• 展開をテスト

この例の概要

この例では、"hello world!" を出力する単純なコマンド ジョブで構成されるパイプライン コンポーネントをデプロイします。 このコンポーネントは、入力や出力を必要としない最も単純なパイプライン デプロイ シナリオです。

この記事の例は、azureml-examples リポジトリに含まれているコード サンプルを基にしています。 YAML などのファイルをコピーして貼り付けることなくコマンドをローカルで実行するには、最初にリポジトリを複製してから、ディレクトリをそのフォルダーに変更します。

Azure CLI

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Python

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/sdk/python

この例のファイルは、次の場所にあります。

cd endpoints/batch/deploy-pipelines/hello-batch

Jupyter ノートブックで作業を進める

この例の Python SDK バージョンに沿って作業を進めることができます。そのためには、複製されたリポジトリで sdk-deploy-and-test.ipynb ノートブックを開きます。

前提条件

• Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。 無料版または有料版の Azure Machine Learning をお試しください。

• Azure Machine Learning ワークスペース。 ワークスペースを作成するには、「Azure Machine Learning ワークスペースの管理」を参照してください。

• Machine Learning ワークスペースでの以下のアクセス許可があることを確認してください。

  • バッチ エンドポイントとバッチ デプロイを作成または管理する: 所有者または共同作成者のロール、あるいは Microsoft.MachineLearningServices/workspaces/batchEndpoints/* を許可するカスタム役割を使用します。
  • ワークスペース リソース グループ内での Azure Resource Manager デプロイの作成: 所有者、共同作成者、またはワークスペースがデプロイされるリソース グループ での Microsoft.Resources/deployments/write を許可するカスタム ロールを使用します。

• Machine Learning を使用するには、以下のソフトウェアをインストールします。

  Azure CLI

  次のコマンドを実行して、Azure CLI と ml という Azure Machine Learning 用の拡張機能をインストールします。

  az extension add -n ml
  

  バッチ エンドポイントのパイプライン コンポーネント デプロイは、Azure CLI 用拡張機能 ml のバージョン 2.7 で導入されました。 az extension update --name ml コマンドを使用して、最新バージョンを取得します。

  Python

  次のコマンドを実行して、Azure Machine Learning SDK for Python をインストールします。

  pip install azure-ai-ml
  

  ModelBatchDeployment および PipelineComponentBatchDeployment クラスは、SDK のバージョン 1.7.0 で導入されました。 pip install -U azure-ai-ml コマンドを使用して、最新バージョンを取得します。

---

ワークスペースに接続する

ワークスペースは、Machine Learning の最上位のリソースです。 これは Machine Learning を使用する際に作成するすべての成果物を操作するための一元的な場所を提供します。 このセクションでは、デプロイ タスクを実行するワークスペースに接続します。

Azure CLI

次のコマンドで、サブスクリプション ID、ワークスペース、場所、リソース グループの値を入力します。

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Python

1. 必要なライブラリをインポートします。

   from azure.ai.ml import MLClient, Input, load_component
   from azure.ai.ml.entities import BatchEndpoint, ModelBatchDeployment, ModelBatchDeploymentSettings, PipelineComponentBatchDeployment, Model, AmlCompute, Data, BatchRetrySettings, CodeConfiguration, Environment, Data
   from azure.ai.ml.constants import AssetTypes, BatchDeploymentOutputAction
   from azure.ai.ml.dsl import pipeline
   from azure.identity import DefaultAzureCredential
   

2. ワークスペースの詳細を構成し、ワークスペースへのハンドルを取得します。

   次のコードで、サブスクリプション ID、ワークスペース、リソース グループの値を入力します。

   subscription_id = "<subscription>"
   resource_group = "<resource-group>"
   workspace = "<workspace>"
   
   ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
   

パイプライン コンポーネントを作成する

バッチ エンドポイントでは、モデルまたはパイプライン コンポーネントをデプロイできます。 パイプライン コンポーネントは再利用可能であり、共有レジストリを使用してこれらのコンポーネントをワークスペース間で移動することで、MLOps プラクティスを効率化できます。

この例のパイプライン コンポーネントには、ログに "hello world" メッセージのみを出力する 1 つのステップが含まれています。 入力や出力は必要ありません。

hello-component/hello.yml ファイルには、パイプライン コンポーネントの構成が含まれています。

hello-component/hello.yml

$schema: https://azuremlschemas.azureedge.net/latest/pipelineComponent.schema.json
name: hello_batch
display_name: Hello Batch component
version: 1
type: pipeline
jobs:
  main_job:
    type: command
    component:
      code: src
      environment: azureml://registries/azureml/environments/sklearn-1.5/labels/latest
      command: >-
        python hello.py

コンポーネントを登録します。

Azure CLI

az ml component create -f hello-component/hello.yml

Python

hello_batch = load_component(source="hello-component/hello.yml")
hello_batch_registered = ml_client.components.create_or_update(hello_batch)

バッチ エンドポイントを作成する

1. エンドポイントの名前を指定します。 バッチ エンドポイントの名前は、呼び出し URI の構成に使用されるため、各リージョンで一意である必要があります。 一意性を確保するために、次のコードで指定する名前に末尾文字を追加します。

   Azure CLI

   ENDPOINT_NAME="hello-batch"
   

   Python

   endpoint_name = "hello-batch"

2. エンドポイントを構成します。

   Azure CLI

   endpoint.yml ファイルには、エンドポイントの構成が含まれます。

   endpoint.yml

   $schema: https://azuremlschemas.azureedge.net/latest/batchEndpoint.schema.json
   name: hello-batch
   description: A hello world endpoint for component deployments.
   auth_mode: aad_token
   

   Python

   endpoint = BatchEndpoint(
       name=endpoint_name,
       description="A hello world endpoint for component deployments",
   )

3. エンドポイントを作成します。

   Azure CLI

   az ml batch-endpoint create --name $ENDPOINT_NAME  -f endpoint.yml
   

   Python

   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. エンドポイント URI にクエリを実行します。

   Azure CLI

   az ml batch-endpoint show --name $ENDPOINT_NAME
   

   Python

   endpoint = ml_client.batch_endpoints.get(name=endpoint_name)
   print(endpoint)

パイプライン コンポーネントをデプロイする

パイプライン コンポーネントをデプロイするには、バッチ デプロイを作成する必要があります。 デプロイは、実際の作業を行うアセットをホスティングするために必要なリソースのセットです。

1. コンピューティング クラスターを作成します。 バッチ エンドポイントとバッチ デプロイは、コンピューティング クラスター上で実行されます。 これらは、ワークスペースに既に存在する任意の Azure Machine Learning コンピューティング クラスター上で実行できます。 したがって、複数のバッチ デプロイが同じコンピューティング インフラストラクチャを共有できます。 この例では、batch-cluster という名前の Azure Machine Learning コンピューティング クラスター上で作業します。 ワークスペースにコンピューティングが存在することを確認し、存在しない場合は作成します。

   Azure CLI

   az ml compute create -n batch-cluster --type amlcompute --min-instances 0 --max-instances 5
   

   Python

   compute_name = "batch-cluster"
   if not any(filter(lambda m: m.name == compute_name, ml_client.compute.list())):
       compute_cluster = AmlCompute(
           name=compute_name,
           description="Batch endpoints compute cluster",
           min_instances=0,
           max_instances=5,
       )
       ml_client.begin_create_or_update(compute_cluster).result()

2. デプロイを構成します。

   Azure CLI

   deployment.yml ファイルには、デプロイの構成が含まれます。 追加のプロパティについては、完全なバッチ エンドポイント YAML スキーマを確認してください。

   deployment.yml

   $schema: https://azuremlschemas.azureedge.net/latest/pipelineComponentBatchDeployment.schema.json
   name: hello-batch-dpl
   endpoint_name: hello-pipeline-batch
   type: pipeline
   component: azureml:hello_batch@latest
   settings:
       default_compute: batch-cluster
   

   Python

   deployment = PipelineComponentBatchDeployment(
       name="hello-batch-dpl",
       description="A hello world deployment with a single step.",
       endpoint_name=endpoint.name,
       component=hello_batch,
       settings={"continue_on_step_failure": False, "default_compute": compute_name},
   )

3. デプロイを作成します。

   Azure CLI

   次のコードを実行して、バッチ エンドポイントの下にバッチ デプロイを作成し、それを既定のデプロイとして設定します。

   az ml batch-deployment create --endpoint $ENDPOINT_NAME -f deployment.yml --set-default
   

   ヒント

   この新しいデプロイが既定になったことを示すために --set-default フラグが使用されていることに注目してください。

   Python

   このコマンドは、デプロイの作成を開始し、デプロイの作成が続行されている間に確認応答を返します。

   ml_client.batch_deployments.begin_create_or_update(deployment).result()

   作成したら、この新しいデプロイを既定として構成します。

   endpoint = ml_client.batch_endpoints.get(endpoint_name)
   endpoint.defaults.deployment_name = deployment.name
   ml_client.batch_endpoints.begin_create_or_update(endpoint).result()

4. デプロイを使用する準備が整いました。

展開をテスト

デプロイが作成されると、ジョブを受け取る準備が整います。 次のように、既定のデプロイを呼び出すことができます。

Azure CLI

JOB_NAME=$(az ml batch-endpoint invoke -n $ENDPOINT_NAME --query name -o tsv)

Python

job = ml_client.batch_endpoints.invoke(
    endpoint_name=endpoint.name,
)

ヒント

この例では、パイプラインに入力または出力がありません。 ただし、このパイプライン コンポーネントにいくつか入力や出力が必要な場合は、呼び出し時に指示できます。 入力と出力を指示する方法について詳しく確認するには、「バッチ エンドポイントのジョブと入力データを作成する」を参照するか、「前処理を使用してバッチ スコアリングを実行するパイプラインをデプロイする方法 (プレビュー)」に関するチュートリアルをご参照ください。

次を使用して、ログの表示およびストリーミングの進行状況を監視できます。

Azure CLI

az ml job stream -n $JOB_NAME

Python

ml_client.jobs.get(job.name)

ジョブが完了するまで待つには、次のコードを実行します。

ml_client.jobs.stream(name=job.name)

リソースをクリーンアップする

完了したら、関連付けられているリソースをワークスペースから削除します。

Azure CLI

次のコードを実行して、バッチ エンドポイントとその基になっているデプロイを削除します。 --yes は、削除を確認するために使用します。

az ml batch-endpoint delete -n $ENDPOINT_NAME --yes

Python

エンドポイントを削除します:

ml_client.batch_endpoints.begin_delete(endpoint_name).result()

(オプション) 後のデプロイでコンピューティング クラスターを再利用する予定がない場合は、コンピューティングを削除します。

Azure CLI

az ml compute delete -n batch-cluster

Python

ml_client.compute.begin_delete(name="batch-cluster")

次のステップ

• バッチ エンドポイントを使用してトレーニング パイプラインをデプロイする方法)
• 前処理を使用してバッチ スコアリングを実行するパイプラインをデプロイする方法
• パイプライン ジョブからバッチ エンドポイントを作成する
• バッチ エンドポイントのジョブと入力データを作成する
• バッチ エンドポイントのトラブルシューティング