MpiStep Clase

Crea un paso de canalización de Azure ML para ejecutar un trabajo de MPI.

Para obtener un ejemplo del uso de MpiStep, consulte el cuaderno https://aka.ms/pl-style-trans.

Cree un paso de canalización de Azure ML para ejecutar un trabajo de MPI.

EN DESUSO. Use CommandStep en su lugar. Para ver un ejemplo, consulte Ejecución del entrenamiento distribuido en canalizaciones con CommandStep.

Herencia

PythonScriptStep

MpiStep

Constructor

MpiStep(name=None, source_directory=None, script_name=None, arguments=None, compute_target=None, node_count=None, process_count_per_node=None, inputs=None, outputs=None, allow_reuse=True, version=None, hash_paths=None, **kwargs)

Parámetros

Nombre	Description
name	str [Obligatorio] El nombre del módulo. Valor predeterminado: None
source_directory	str [Obligatorio] La carpeta que contiene el script de Python, el entorno Conda y otros recursos que se usan en el paso. Valor predeterminado: None
script_name	str [Obligatorio] El nombre de un script de Python relativo a source_directory. Valor predeterminado: None
arguments	list [Obligatorio] Una lista de argumentos de la línea de comandos. Valor predeterminado: None
compute_target	AmlCompute, str [Obligatorio] Un destino de proceso que se usará. Valor predeterminado: None
node_count	int [Obligatorio] El número de nodos en el destino de proceso usados para el entrenamiento. Si es mayor que 1, se ejecutará un trabajo distribuido de MPI. Solo se admite el destino de proceso AmlCompute para los trabajos distribuidos. Se admiten valores PipelineParameter. Valor predeterminado: None
process_count_per_node	int [Obligatorio] El número de procesos por nodo. Si es mayor que 1, se ejecutará un trabajo distribuido de MPI. Solo se admite el destino de proceso AmlCompute para los trabajos distribuidos. Se admiten valores PipelineParameter. Valor predeterminado: None
inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]] Una lista de enlaces de puerto de entrada. Valor predeterminado: None
outputs	list[Union[PipelineData, PipelineOutputAbstractDataset, OutputPortBinding]] Una lista de enlaces de puerto de salida. Valor predeterminado: None
params Requerido	dict Un diccionario de pares nombre-valor registrados como variables de entorno con "AML_PARAMETER_".
allow_reuse	bool Indica si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración. La reutilización está habilitada de manera predeterminada. Si el contenido del paso (scripts o dependencias), así como las entradas y los parámetros permanecen sin cambios, se reutiliza la salida de la ejecución anterior de este paso. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se hacen disponibles inmediatamente para los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado. Valor predeterminado: True
version	str Una etiqueta de versión opcional para indicar un cambio en la funcionalidad del módulo. Valor predeterminado: None
hash_paths	list EN DESUSO: ya no es necesario. Una lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detecta ningún cambio, la canalización reutilizará el contenido del paso de una ejecución anterior. De manera predeterminada, se aplica hash al contenido de source_directory, excepto a los archivos enumerados en .amlignore o .gitignore. Valor predeterminado: None
use_gpu Requerido	bool Indica si el entorno para ejecutar el experimento debe admitir GPU. Si es True, se usará en el entorno una imagen predeterminada de Docker basada en GPU. Si es False, se usará una imagen basada en CPU. Las imágenes predeterminadas de Docker (CPU o GPU) solo se usarán si el parámetro custom_docker_image no está establecido. Esta configuración solo se usa en destinos de proceso habilitados para Docker.
use_docker Requerido	bool Indica si el entorno para ejecutar el experimento se debe basar en GPU.
custom_docker_image Requerido	str El nombre de la imagen de Docker a partir de la que se va a crear la imagen que se va a usar para el entrenamiento. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
image_registry_details Requerido	ContainerRegistry Los detalles del registro de imágenes de Docker.
user_managed Requerido	bool Indica si Azure ML reutiliza un entorno de Python existente; False significa que Azure ML creará un entorno de Python basado en la especificación de dependencias de Conda.
conda_packages Requerido	list Una lista de cadenas que representan los paquetes de Conda que se van a agregar al entorno de Python.
pip_packages Requerido	list Una lista de cadenas que representan los paquetes pip que se van a agregar al entorno de Python.
pip_requirements_file_path Requerido	str La ruta de acceso relativa al archivo de texto de requisitos de pip. Este parámetro se puede especificar en combinación con el parámetro pip_packages.
environment_definition Requerido	EnvironmentDefinition EnvironmentDefinition para el experimento. Incluye PythonSection, DockerSection y variables de entorno. Cualquier opción de entorno que no se exponga directamente a través de otros parámetros a la construcción MpiStep se puede establecer mediante el parámetro de entorno environment_definition. Si se especifica este parámetro, tendrá prioridad sobre otros parámetros relacionados con el entorno como use_gpu, custom_docker_image, conda_packages o pip_packages y se notifican errores en estas combinaciones no válidas.
name Requerido	str [Obligatorio] El nombre del módulo.
source_directory Requerido	str [Obligatorio] La carpeta que contiene el script de Python, el entorno Conda y otros recursos que se usan en el paso.
script_name Requerido	str [Obligatorio] El nombre de un script de Python relativo a source_directory.
arguments Requerido	list [Obligatorio] Una lista de argumentos de la línea de comandos.
compute_target Requerido	<xref:azureml.core.compute.AmlComputeCompute>, str [Obligatorio] Un destino de proceso que se usará.
node_count Requerido	int [Obligatorio] Número de nodos del destino de proceso usado para el entrenamiento. Si es mayor que 1, se ejecutará el trabajo distribuido de mpi. Solo se admite el destino de proceso AmlCompute para los trabajos distribuidos. Se admiten valores PipelineParameter.
process_count_per_node Requerido	int [Obligatorio] Número de procesos por nodo. Si es mayor que 1, se ejecutará el trabajo distribuido de mpi. Solo se admite el destino de proceso AmlCompute para los trabajos distribuidos. Se admiten valores PipelineParameter.
inputs Requerido	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputAbstractDataset, DatasetConsumptionConfig]] Una lista de enlaces de puerto de entrada.
outputs Requerido	list[Union[PipelineData, OutputDatasetConfig, PipelineOutputAbstractDataset, OutputPortBinding]] Una lista de enlaces de puerto de salida.
params Requerido	dict Diccionario de pares nombre-valor registrados como variables de entorno con ">>AML_PARAMETER_<<".
allow_reuse Requerido	bool Indica si el paso debe reutilizar los resultados anteriores cuando se vuelven a ejecutar con los mismos parámetros, el resultado de la ejecución anterior de este paso se reutiliza. Al volver a usar el paso, en lugar de enviar el trabajo al proceso, los resultados de la ejecución anterior se hacen disponibles inmediatamente para los pasos posteriores. Si usa conjuntos de datos de Azure Machine Learning como entradas, la reutilización viene determinada por si la definición del conjunto de datos ha cambiado, no por si los datos subyacentes han cambiado.
version Requerido	str Etiqueta de versión opcional para indicar un cambio en la funcionalidad del módulo
hash_paths Requerido	list EN DESUSO: ya no es necesario. Una lista de rutas de acceso a hash al comprobar si hay cambios en el contenido del paso. Si no se detecta ningún cambio, la canalización reutilizará el contenido del paso de una ejecución anterior. De manera predeterminada, se aplica hash al contenido de source_directory, excepto a los archivos enumerados en .amlignore o .gitignore.
use_gpu Requerido	bool Indica si el entorno para ejecutar el experimento debe admitir GPU. Si es True, se usará en el entorno una imagen predeterminada de Docker basada en GPU. Si es False, se usará una imagen basada en CPU. Las imágenes predeterminadas de Docker (CPU o GPU) solo se usarán si el parámetro custom_docker_image no está establecido. Esta configuración solo se usa en destinos de proceso habilitados para Docker.
use_docker Requerido	bool Indica si el entorno para ejecutar el experimento se debe basar en GPU. custom_docker_image (str): nombre de la imagen de Docker a partir de la cual se compilará la imagen que se va a usar para el trabajo de mpi. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
custom_docker_image Requerido	str El nombre de la imagen de Docker a partir de la que se va a crear la imagen que se va a usar para el entrenamiento. Si no se establece, se usará una imagen predeterminada basada en CPU como imagen base.
image_registry_details Requerido	ContainerRegistry Los detalles del registro de imágenes de Docker.
user_managed Requerido	bool Indica si Azure ML reutiliza un entorno de Python existente; False significa que Azure ML creará un entorno de Python basado en la especificación de dependencias de Conda.
conda_packages Requerido	list Una lista de cadenas que representan los paquetes de Conda que se van a agregar al entorno de Python.
pip_packages Requerido	list Una lista de cadenas que representan los paquetes pip que se van a agregar al entorno de Python.
pip_requirements_file_path Requerido	str La ruta de acceso relativa al archivo de texto de requisitos de pip. Este parámetro se puede especificar en combinación con el parámetro pip_packages.
environment_definition Requerido	EnvironmentDefinition EnvironmentDefinition para el experimento. Incluye PythonSection, DockerSection y variables de entorno. Cualquier opción de entorno que no se exponga directamente a través de otros parámetros a la construcción MpiStep se puede establecer mediante el parámetro de entorno environment_definition. Si se especifica este parámetro, tendrá prioridad sobre otros parámetros relacionados con el entorno como use_gpu, custom_docker_image, conda_packages o pip_packages y se notifican errores en estas combinaciones no válidas.