MpiStep Klass
Skapar ett Azure ML-pipelinesteg för att köra ett MPI-jobb.
Ett exempel på hur du använder MpiStep finns i notebook-filen https://aka.ms/pl-style-trans.
Skapa ett Azure ML-pipelinesteg för att köra ett MPI-jobb.
DEPRECATED. CommandStep Använd i stället. Ett exempel finns i Så här kör du distribuerad träning i pipelines med CommandStep.
- Arv
-
MpiStep
Konstruktor
MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)
Parametrar
Name | Description |
---|---|
name
|
[Krävs] Namnet på modulen. Standardvärde: None
|
source_directory
|
[Krävs] En mapp som innehåller Python-skript, conda env och andra resurser som används i steget. Standardvärde: None
|
script_name
|
[Krävs] Namnet på ett Python-skript i förhållande till Standardvärde: None
|
arguments
|
[Krävs] En lista över kommandoradsargument. Standardvärde: None
|
compute_target
|
[Krävs] Ett beräkningsmål att använda. Standardvärde: None
|
node_count
|
[Krävs] Antalet noder i beräkningsmålet som används för träning. Om det är större än 1 körs ett mpi-distribuerat jobb. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds. Standardvärde: None
|
process_count_per_node
|
[Krävs] Antalet processer per nod. Om det är större än 1 körs ett mpi-distribuerat jobb. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds. Standardvärde: None
|
inputs
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
En lista över indataportbindningar. Standardvärde: None
|
outputs
|
En lista över portbindningar för utdata. Standardvärde: None
|
params
Obligatorisk
|
En ordlista med namn/värde-par som registrerats som miljövariabler med "AML_PARAMETER_". |
allow_reuse
|
Anger om steget ska återanvända tidigare resultat när det körs igen med samma inställningar. Återanvändning är aktiverat som standard. Om steginnehållet (skript/beroenden) samt indata och parametrar förblir oförändrade återanvänds utdata från föregående körning av det här steget. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats. Standardvärde: True
|
version
|
En valfri versionstagg som anger en funktionsändring för modulen. Standardvärde: None
|
hash_paths
|
INAKTUELL: behövs inte längre. En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet Standardvärde: None
|
use_gpu
Obligatorisk
|
Anger om miljön som ska köra experimentet ska ha stöd för GPU:er.
Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern |
use_docker
Obligatorisk
|
Anger om miljön som ska köra experimentet ska vara Docker-baserad. |
custom_docker_image
Obligatorisk
|
Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte har angetts används en cpu-baserad standardavbildning som basavbildning. |
image_registry_details
Obligatorisk
|
Information om Docker-avbildningsregistret. |
user_managed
Obligatorisk
|
Anger om Azure ML återanvänder en befintlig Python-miljö. False innebär att Azure ML skapar en Python-miljö baserat på specifikationen för conda-beroenden. |
conda_packages
Obligatorisk
|
En lista över strängar som representerar conda-paket som ska läggas till i Python-miljön. |
pip_packages
Obligatorisk
|
En lista över strängar som representerar pip-paket som ska läggas till i Python-miljön. |
pip_requirements_file_path
Obligatorisk
|
Den relativa sökvägen till pip-kravtextfilen.
Den här parametern kan anges i kombination med parametern |
environment_definition
Obligatorisk
|
EnvironmentDefinition för experimentet. Den innehåller variablerna PythonSection och DockerSection och miljö. Alla miljöalternativ som inte exponeras direkt via andra parametrar för MpiStep-konstruktionen kan anges med hjälp av environment_definition parameter. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packages eller pip_packages och fel rapporteras för dessa ogiltiga kombinationer. |
name
Obligatorisk
|
[Krävs] Namnet på modulen. |
source_directory
Obligatorisk
|
[Krävs] En mapp som innehåller Python-skript, conda env och andra resurser som används i steget. |
script_name
Obligatorisk
|
[Krävs] Namnet på ett Python-skript i förhållande till |
arguments
Obligatorisk
|
[Krävs] En lista över kommandoradsargument. |
compute_target
Obligatorisk
|
<xref:azureml.core.compute.AmlComputeCompute>, str
[Krävs] Ett beräkningsmål att använda. |
node_count
Obligatorisk
|
[Krävs] Antal noder i beräkningsmålet som används för träning. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds. |
process_count_per_node
Obligatorisk
|
[Krävs] Antal processer per nod. Om det är större än 1 körs det distribuerade mpi-jobbet. Endast AmlCompute-beräkningsmål stöds för distribuerade jobb. PipelineParameter-värden stöds. |
inputs
Obligatorisk
|
list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]]
En lista över indataportbindningar. |
outputs
Obligatorisk
|
En lista över portbindningar för utdata. |
params
Obligatorisk
|
En ordlista med namn/värde-par som registrerats som miljövariabler med ">>AML_PARAMETER_<<". |
allow_reuse
Obligatorisk
|
Anger om steget ska återanvända tidigare resultat när omkörningen med samma parametrar förblir oförändrad, och utdata från föregående körning av det här steget återanvänds. När du återanvänder steget, i stället för att skicka jobbet för beräkning, görs resultaten från den föregående körningen omedelbart tillgängliga för efterföljande steg. Om du använder Azure Machine Learning-datauppsättningar som indata bestäms återanvändningen av om datauppsättningens definition har ändrats, inte av om underliggande data har ändrats. |
version
Obligatorisk
|
Valfri versionstagg för att ange en ändring av funktionen för modulen |
hash_paths
Obligatorisk
|
INAKTUELL: behövs inte längre. En lista över sökvägar till hash när du söker efter ändringar i steginnehållet. Om inga ändringar har identifierats återanvänder pipelinen steginnehållet från en tidigare körning. Som standard hashas innehållet |
use_gpu
Obligatorisk
|
Anger om miljön som ska köra experimentet ska ha stöd för GPU:er.
Om det är sant används en GPU-baserad Docker-standard avbildning i miljön. Om det är falskt används en CPU-baserad avbildning. Standard docker-avbildningar (CPU eller GPU) används endast om parametern |
use_docker
Obligatorisk
|
Anger om miljön som ska köra experimentet ska vara Docker-baserad. custom_docker_image (str): Namnet på docker-avbildningen från vilken avbildningen som ska användas för mpi-jobbet skapas. Om den inte har angetts används en standard-CPU-baserad avbildning som basavbildning. |
custom_docker_image
Obligatorisk
|
Namnet på den Docker-avbildning som avbildningen ska använda för träning kommer att skapas. Om den inte anges används en standard-CPU-baserad avbildning som basavbildning. |
image_registry_details
Obligatorisk
|
Information om Docker-avbildningsregistret. |
user_managed
Obligatorisk
|
Anger om Azure ML återanvänder en befintlig Python-miljö. Falskt innebär att Azure ML skapar en Python-miljö baserat på specifikationen för conda-beroenden. |
conda_packages
Obligatorisk
|
En lista med strängar som representerar conda-paket som ska läggas till i Python-miljön. |
pip_packages
Obligatorisk
|
En lista med strängar som representerar pip-paket som ska läggas till i Python-miljön. |
pip_requirements_file_path
Obligatorisk
|
Den relativa sökvägen till textfilen pip requirements.
Den här parametern kan anges i kombination med parametern |
environment_definition
Obligatorisk
|
EnvironmentDefinition för experimentet. Den innehåller PythonSection- och DockerSection- och miljövariabler. Alla miljöalternativ som inte exponeras direkt via andra parametrar för MpiStep-konstruktionen kan anges med hjälp av environment_definition parameter. Om den här parametern anges har den företräde framför andra miljörelaterade parametrar som use_gpu, custom_docker_image, conda_packages eller pip_packages och fel rapporteras för dessa ogiltiga kombinationer. |