MpiStep 類別
建立 Azure ML 管線步驟以執行 MPI 作業。
如需使用 MpiStep 的範例,請參閱筆記本 https://aka.ms/pl-style-trans 。
建立 Azure ML 管線步驟以執行 MPI 作業。
已淘汰。 CommandStep請改用 。 如需範例,請參閱 如何使用 CommandStep 在管線中執行分散式定型。
- 繼承
-
MpiStep
建構函式
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
參數
名稱 | Description |
---|---|
name
|
[必要]模組的名稱。 預設值: None
|
source_directory
|
[必要]資料夾,其中包含步驟中使用的 Python 腳本、conda env 和其他資源。 預設值: None
|
script_name
|
[必要]相對於 的 Python 腳本 預設值: None
|
arguments
|
[必要]命令列引數的清單。 預設值: None
|
compute_target
|
[必要]要使用的計算目標。 預設值: None
|
node_count
|
[必要]用於定型之計算目標中的節點數目。 如果大於 1,將會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 預設值: None
|
process_count_per_node
|
[必要]每個節點的進程數目。 如果大於 1,將會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 預設值: None
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
輸入埠系結的清單。 預設值: None
|
outputs
|
輸出埠系結的清單。 預設值: None
|
params
必要
|
以 「AML_PARAMETER_」 註冊為環境變數的名稱/值組字典。 |
allow_reuse
|
指出當使用相同的設定重新執行時,步驟是否應該重複使用先前的結果。 預設會啟用重複使用。 如果步驟內容 (腳本/相依性) ,以及輸入和參數保持不變,則會重複使用此步驟上一次執行的輸出。 重複使用步驟時,不會提交要計算的作業,則會立即讓任何後續步驟使用上一次執行的結果。 如果您使用 Azure Machine Learning 資料集做為輸入,則重複使用取決於資料集的定義是否已變更,而非基礎資料是否已變更。 預設值: True
|
version
|
選擇性版本標籤,表示模組功能變更。 預設值: None
|
hash_paths
|
已淘汰:不再需要。 檢查步驟內容的變更時,雜湊的路徑清單。 如果沒有偵測到任何變更,管線將會重複使用先前執行的步驟內容。 根據預設,的內容 預設值: None
|
use_gpu
必要
|
指出執行實驗的環境是否應該支援 GPU。
如果為 True,則會在環境中使用以 GPU 為基礎的預設 Docker 映射。 如果為 False,則會使用以 CPU 為基礎的映射。 只有在未設定 參數時 |
use_docker
必要
|
指出執行實驗的環境是否應該以 Docker 為基礎。 |
custom_docker_image
必要
|
要用來定型之映射的 Docker 映射名稱。 如果未設定,則會使用預設 CPU 型映射作為基底映射。 |
image_registry_details
必要
|
Docker 映射登錄的詳細資料。 |
user_managed
必要
|
指出 Azure ML 是否重複使用現有的 Python 環境;False 表示 Azure ML 會根據 conda 相依性規格建立 Python 環境。 |
conda_packages
必要
|
字串清單,表示要新增至 Python 環境的 conda 套件。 |
pip_packages
必要
|
字串清單,表示要新增至 Python 環境的 pip 套件。 |
pip_requirements_file_path
必要
|
pip 需求文字檔的相對路徑。
這個參數可以與 |
environment_definition
必要
|
實驗的 EnvironmentDefinition。 其中包含 PythonSection 和 DockerSection 和環境變數。 任何未透過其他參數直接公開至 MpiStep 建構的環境選項,都可以使用 environment_definition 參數來設定。 如果指定此參數,則會優先于其他環境相關參數,例如use_gpu、custom_docker_image、conda_packages或pip_packages,而且這些不正確組合會回報錯誤。 |
name
必要
|
[必要]模組的名稱。 |
source_directory
必要
|
[必要]資料夾,其中包含步驟中使用的 Python 腳本、conda env 和其他資源。 |
script_name
必要
|
[必要]相對於 的 Python 腳本 |
arguments
必要
|
[必要]命令列引數的清單。 |
compute_target
必要
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[必要]要使用的計算目標。 |
node_count
必要
|
[必要]用於定型的計算目標中的節點數目。 如果大於 1,將會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 |
process_count_per_node
必要
|
[必要]每個節點的進程數目。 如果大於 1,將會執行 mpi 分散式作業。 分散式作業僅支援 AmlCompute 計算目標。 支援 PipelineParameter 值。 |
inputs
必要
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
輸入埠系結的清單。 |
outputs
必要
|
輸出埠系結的清單。 |
params
必要
|
以 「 >> AML_PARAMETER_ << 」 註冊為環境變數的名稱/值組字典。 |
allow_reuse
必要
|
指出當以相同參數重新執行時,步驟是否應該重複使用先前的結果,則會重複使用此步驟上一次執行的輸出。 重複使用步驟時,不會提交要計算的作業,則會立即讓任何後續步驟使用上一次執行的結果。 如果您使用 Azure Machine Learning 資料集做為輸入,則重複使用取決於資料集的定義是否已變更,而非基礎資料是否已變更。 |
version
必要
|
選擇性版本標籤,表示模組功能變更 |
hash_paths
必要
|
已淘汰:不再需要。 檢查步驟內容的變更時,雜湊的路徑清單。 如果沒有偵測到任何變更,管線將會重複使用先前執行的步驟內容。 根據預設,的內容 |
use_gpu
必要
|
指出執行實驗的環境是否應該支援 GPU。
如果為 True,則會在環境中使用以 GPU 為基礎的預設 Docker 映射。 如果為 False,則會使用以 CPU 為基礎的映射。 只有在未設定 參數時 |
use_docker
必要
|
指出執行實驗的環境是否應該以 Docker 為基礎。 custom_docker_image (str) :要用來建置 mpi 作業之映射的 Docker 映射名稱。 如果未設定,則會使用預設 CPU 型映射作為基底映射。 |
custom_docker_image
必要
|
要用來定型之映射的 Docker 映射名稱。 如果未設定,則會使用預設 CPU 型映射作為基底映射。 |
image_registry_details
必要
|
Docker 映射登錄的詳細資料。 |
user_managed
必要
|
指出 Azure ML 是否重複使用現有的 Python 環境;False 表示 Azure ML 會根據 conda 相依性規格建立 Python 環境。 |
conda_packages
必要
|
字串清單,表示要新增至 Python 環境的 conda 套件。 |
pip_packages
必要
|
字串清單,表示要新增至 Python 環境的 pip 套件。 |
pip_requirements_file_path
必要
|
pip 需求文字檔的相對路徑。
這個參數可以與 |
environment_definition
必要
|
實驗的 EnvironmentDefinition。 其中包含 PythonSection 和 DockerSection 和環境變數。 任何未透過其他參數直接公開至 MpiStep 建構的環境選項,都可以使用 environment_definition 參數來設定。 如果指定此參數,則會優先于其他環境相關參數,例如use_gpu、custom_docker_image、conda_packages或pip_packages,而且這些不正確組合會回報錯誤。 |