AzureBatchStep クラス

リファレンス

Azure Batch にジョブを送信するための Azure ML パイプラインステップを作成します。

注: この手順は、ディレクトリとその内容のアップロード/ダウンロードには対応していません。

AzureBatchStep の使用例については、ノートブック https://aka.ms/pl-azbatch を参照してください。

ジョブをAzure Batchに送信するための Azure ML パイプラインステップを作成します。

継承: azureml.pipeline.core._azurebatch_step_base._AzureBatchStepBase

AzureBatchStep

コンストラクター

AzureBatchStep(name, create_pool=False, pool_id=None, delete_batch_job_after_finish=True, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', source_directory=None, executable=None, arguments=None, inputs=None, outputs=None, allow_reuse=True, compute_target=None, version=None)

パラメーター

名前	説明
name 必須	str [必須] ステップの名前。
create_pool	bool ジョブを実行する前にプールを作成するかどうかを示します。規定値: False
pool_id	str [必須] ジョブが実行されるプールの ID。 ID には、既存のプール、またはジョブの送信時に作成されるプールを指定できます。規定値: None
delete_batch_job_after_finish	bool ジョブの完了後に Batch アカウントからそのジョブを削除するかどうかを示します。規定値: True
delete_batch_pool_after_finish	bool ジョブの完了後にプールを削除するかどうかを示します。規定値: False
is_positive_exit_code_failure	bool タスクが正のコードで存在する場合にジョブが失敗するかどうかを示します。規定値: True
vm_image_urn	str `create_pool` が True で、VM が VirtualMachineConfiguration を使用する場合。値の形式: `urn:publisher:offer:sku`。例: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`. 規定値: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool タスクを管理特権で実行する必要があるかどうかを示します。規定値: False
target_compute_nodes	int `create_pool` が True の場合は、プールに追加される計算ノードの数を示します。規定値: 1
vm_size	str `create_pool` が True の場合は、計算ノードの仮想マシンのサイズを示します。規定値: standard_d1_v2
source_directory	str モジュールバイナリ、実行可能ファイル、アセンブリなどが保存されているローカルフォルダー。規定値: None
executable	str [必須] ジョブの一部として実行されるコマンドまたは実行可能ファイルの名前。規定値: None
arguments	str コマンドまたは実行可能ファイルの引数。規定値: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] 入力ポートバインドのリスト。ジョブを実行する前に、入力ごとにフォルダーが作成されます。各入力のファイルは、ストレージから計算ノード上のそれぞれのフォルダーにコピーされます。たとえば、入力名が input1 で、ストレージ上の相対パスが some/relative/path/that/can/be/really/long/inputfile.txt の場合、コンピューティング上のファイルパスは ./input1/inputfile.txt となります。入力名が 32 文字を超える場合は、フォルダー名がコンピューティング先に正常に作成されるように、文字が切り捨てられ、一意のサフィックスが名前に追加されます。規定値: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] 出力ポートバインドのリスト。入力と同様に、ジョブを実行する前に、出力ごとにフォルダーが作成されます。フォルダー名は出力名と同じになります。ジョブによって出力がそのフォルダーに保存されることが前提となります。規定値: None
allow_reuse	bool 同じ設定で再実行されたときに、ステップで前の結果を再利用するかどうかを示します。再利用は既定で有効になっています。ステップの内容 (スクリプトや依存関係) だけでなく、入力とパラメーターも変更されていない場合は、このステップの前の実行からの出力が再利用されます。ステップを再利用する場合、計算するジョブを送信する代わりに、前の実行の結果を後続のステップですぐに利用できるようにします。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。規定値: True
compute_target	BatchCompute, str [必須] ジョブが実行される BatchCompute コンピューティング。規定値: None
version	str モジュールの機能変更を示すオプションのバージョンタグ。規定値: None
name 必須	str [必須] ステップの名前。
create_pool 必須	bool ジョブを実行する前にプールを作成するかどうかを示します。
pool_id 必須	str [必須] ジョブが実行されるプールの ID。 ID には、既存のプール、またはジョブの送信時に作成されるプールを指定できます。
delete_batch_job_after_finish 必須	bool ジョブの完了後に Batch アカウントからそのジョブを削除するかどうかを示します。
delete_batch_pool_after_finish 必須	bool ジョブの完了後にプールを削除するかどうかを示します。
is_positive_exit_code_failure 必須	bool タスクが正のコードで存在する場合にジョブが失敗するかどうかを示します。
vm_image_urn 必須	str `create_pool` が True で、VM が VirtualMachineConfiguration を使用する場合。値の形式: `urn:publisher:offer:sku`。例: `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`.
run_task_as_admin 必須	bool タスクを管理特権で実行する必要があるかどうかを示します。
target_compute_nodes 必須	int `create_pool` が True の場合は、プールに追加される計算ノードの数を示します。
vm_size 必須	str が True の場合 `create_pool` は、コンピューティングノードの仮想マシンサイズを示します。
source_directory 必須	str モジュールバイナリ、実行可能ファイル、アセンブリなどを含むローカルフォルダー。
executable 必須	str [必須] ジョブの一部として実行されるコマンドまたは実行可能ファイルの名前。
arguments 必須	list コマンドまたは実行可能ファイルの引数。
inputs 必須	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData]] 入力ポートバインドのリスト。ジョブを実行する前に、入力ごとにフォルダーが作成されます。各入力のファイルは、ストレージから計算ノード上のそれぞれのフォルダーにコピーされます。たとえば、入力名が input1 で、ストレージ上の相対パスが some/relative/path/that/can/be/really/long/inputfile.txt の場合、コンピューティング上のファイルパスは ./input1/inputfile.txt となります。入力名が 32 文字を超える場合は、切り捨てられ、一意のサフィックスが付加されるため、コンピューティングでフォルダー名を正常に作成できます。
outputs 必須	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] 出力ポートバインドのリスト。入力と同様に、ジョブを実行する前に、出力ごとにフォルダーが作成されます。フォルダー名は出力名と同じになります。ジョブがそのフォルダーに出力されることを前提とします。
allow_reuse 必須	bool 同じ設定で再実行されたときに、ステップで前の結果を再利用するかどうかを示します。再利用は既定で有効になっています。ステップの内容 (スクリプトや依存関係) だけでなく、入力とパラメーターも変更されていない場合は、このステップの前の実行からの出力が再利用されます。ステップを再利用する場合、計算するジョブを送信する代わりに、前の実行の結果を後続のステップですぐに利用できるようにします。 Azure Machine Learning データセットを入力として使用する場合、再利用は、基になるデータが変更されたかどうかではなく、データセットの定義が変更されたかどうかによって決まります。
compute_target 必須	BatchCompute, str [必須] ジョブが実行される BatchCompute コンピューティング。
version 必須	str モジュールの機能変更を示すオプションのバージョンタグ。

注釈

次の例は、Azure Machine Learning パイプライン内で AzureBatchStep を使用する方法を示しています。


   step = AzureBatchStep(
               name="Azure Batch Job",
               pool_id="MyPoolName", # Replace this with the pool name of your choice
               inputs=[testdata],
               outputs=[outputdata],
               executable="azurebatch.cmd",
               arguments=[testdata, outputdata],
               compute_target=batch_compute,
               source_directory=binaries_folder,
   )

完全なサンプルは、https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-azurebatch-to-run-a-windows-executable.ipynb から入手できます

メソッド

create_node

AzureBatch ステップからノードを作成し、指定されたグラフに追加します。

このメソッドは直接使用するためのものではありません。このステップでパイプラインがインスタンス化されると、Azure ML は、ワークフローを表すパイプライングラフにステップを追加できるように、このメソッドで必要なパラメーターを自動的に渡します。

create_node

AzureBatch ステップからノードを作成し、指定されたグラフに追加します。

create_node(graph, default_datastore, context)

パラメーター

名前	説明
graph 必須	Graph ノードを追加するグラフオブジェクト。
default_datastore 必須	Union[AbstractAzureStorageDatastore, AzureDataLakeDatastore] 既定のデータストア。
context 必須	<xref:azureml.pipeline.core._GraphContext> グラフコンテキスト。

戻り値

型	説明
Node	作成されたノード。

次の方法で共有

AzureBatchStep クラス

コンストラクター

パラメーター

注釈

メソッド

create_node

パラメーター

戻り値

フィードバック

その他のリソース