ParallelRunStep Clase

Crea un paso de canalización de Azure Machine Learning para procesar grandes cantidades de datos de forma asincrónica y en paralelo.

Para obtener un ejemplo del uso de ParallelRunStep, vea el cuaderno https://aka.ms/batch-inference-notebooks.

Para consultar la guía de solución de problemas, vea https://aka.ms/prstsg. Puede encontrar más referencias allí.

Cree un paso de canalización de Azure ML para procesar grandes cantidades de datos de forma asincrónica y en paralelo.

Para obtener un ejemplo del uso de ParallelRunStep, consulte el vínculo https://aka.ms/batch-inference-notebooksdel cuaderno .

Herencia

azureml.pipeline.core._parallel_run_step_base._ParallelRunStepBase

ParallelRunStep

Constructor

ParallelRunStep(name, parallel_run_config, inputs, output=None, side_inputs=None, arguments=None, allow_reuse=True)

Parámetros

Nombre	Description
name Requerido	str Nombre del paso. Debe ser único para el área de trabajo, solo debe estar formado por letras minúsculas, números o guiones, debe comenzar por una letra y tener entre 3 y 32 caracteres de longitud.
parallel_run_config Requerido	ParallelRunConfig Objeto ParallelRunConfig que se usa para determinar las propiedades de ejecución necesarias.
inputs Requerido	list[Union[DatasetConsumptionConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset]] Lista de conjuntos de datos de entrada. Todos los conjuntos de datos de la lista deben ser del mismo tipo. Los datos de entrada se particionarán para el procesamiento paralelo. Cada conjunto de datos de la lista se divide en minilotes por separado y cada uno de los minilotes se trata por igual en el procesamiento paralelo.º
output	Union[PipelineData, OutputPortBinding, OutputDatasetConfig] El enlace de puerto de salida se puede usar en pasos de canalización posteriores. Valor predeterminado: None
side_inputs	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]] Lista de datos de referencia de entrada lateral. Las entradas secundarias no se particionarán como datos de entrada. Valor predeterminado: None
arguments	list[str] Lista de argumentos de línea de comandos que se pasarán a entry_script de Python. Valor predeterminado: None
allow_reuse	bool sirve para decidir si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración o entrada. Si se establece en "false", siempre se generará una nueva ejecución para este paso durante la ejecución de la canalización. Valor predeterminado: True
name Requerido	str Nombre del paso. Debe ser único para el área de trabajo, solo debe estar formado por letras minúsculas, números o guiones, debe comenzar por una letra y tener entre 3 y 32 caracteres de longitud.
parallel_run_config Requerido	ParallelRunConfig Objeto ParallelRunConfig que se usa para determinar las propiedades de ejecución necesarias.
inputs Requerido	list[Union[DatasetConsumptionConfig, PipelineOutputFileDataset, PipelineOutputTabularDataset]] Lista de conjuntos de datos de entrada. Todos los conjuntos de datos de la lista deben ser del mismo tipo. Los datos de entrada se particionarán para el procesamiento paralelo. Cada conjunto de datos de la lista se divide en minilotes por separado y cada uno de los minilotes se trata por igual en el procesamiento paralelo.º
output Requerido	PipelineData, OutputPortBinding El enlace de puerto de salida se puede usar en pasos de canalización posteriores.
side_inputs Requerido	list[Union[InputPortBinding, DataReference, PortDataReference, PipelineData, PipelineOutputFileDataset, PipelineOutputTabularDataset, DatasetConsumptionConfig]] Lista de datos de referencia de entrada lateral. Las entradas secundarias no se particionarán como datos de entrada.
arguments Requerido	list[str] Lista de argumentos de línea de comandos que se pasarán a entry_script de Python.
allow_reuse Requerido	bool sirve para decidir si el paso debe volver a usar los resultados anteriores cuando se ejecuta con la misma configuración o entrada. Si se establece en "false", siempre se generará una nueva ejecución para este paso durante la ejecución de la canalización.

Comentarios

ParallelRunStep se puede usar para procesar grandes cantidades de datos en paralelo. Los casos de uso comunes son el entrenamiento de un modelo de aprendizaje automático o la ejecución de inferencia sin conexión para generar predicciones sobre un lote de observaciones. ParallelRunStep funciona mediante la separación de los datos en lotes que se procesan en paralelo. El tamaño del lote, el número de nodos y otros parámetros ajustables para acelerar el procesamiento paralelo se pueden controlar con la clase ParallelRunConfig. ParallelRunStep puede funcionar con TabularDataset o FileDataset como entrada.

Para usar ParallelRunStep:

• Cree un objeto ParallelRunConfig para especificar cómo se realiza el procesamiento por lotes, con parámetros para controlar el tamaño del lote, el número de nodos por destino de proceso y una referencia al script de Python personalizado.

• Cree un objeto ParallelRunStep que use el objeto ParallelRunConfig y defina las entradas y salidas del paso.

• Use el objeto ParallelRunStep configurado en una Pipeline como lo haría con otros tipos de pasos de canalización.

En los siguientes artículos se analizan ejemplos de trabajo con las clases ParallelRunStep y ParallelRunConfig para la inferencia por lotes:

• Tutorial: Compilación de una canalización de Azure Machine Learning para la puntuación por lotes En este artículo se muestra cómo usar estas dos clases para la puntuación por lotes asincrónica en una canalización y cómo habilitar un punto de conexión REST para ejecutar la canalización.

• Ejecución de una inferencia por lotes en grandes cantidades de datos mediante Azure Machine Learning En este artículo se muestra cómo procesar grandes cantidades de datos de forma asincrónica y en paralelo con un script de inferencia personalizado y un modelo de clasificación de imágenes previamente entrenado basado en el conjunto de datos de MNIST.

   from azureml.pipeline.steps import ParallelRunStep, ParallelRunConfig

   parallel_run_config = ParallelRunConfig(
       source_directory=scripts_folder,
       entry_script=script_file,
       mini_batch_size="5",
       error_threshold=10,         # Optional, allowed failed count on mini batch items
       allowed_failed_count=15,    # Optional, allowed failed count on mini batches
       allowed_failed_percent=10,  # Optional, allowed failed percent on mini batches
       output_action="append_row",
       environment=batch_env,
       compute_target=compute_target,
       node_count=2)

   parallelrun_step = ParallelRunStep(
       name="predict-digits-mnist",
       parallel_run_config=parallel_run_config,
       inputs=[ named_mnist_ds ],
       output=output_dir,
       arguments=[ "--extra_arg", "example_value" ],
       allow_reuse=True
   )

Para más información sobre este ejemplo, consulte el cuaderno https://aka.ms/batch-inference-notebooks.

Métodos

create_module_def	Crea el objeto de definición de módulo que describe el paso. No se debe llamar a este método directamente.
create_node	Crea un nodo para PythonScriptStep y lo agrega al grafo especificado. No se debe llamar a este método directamente. Cuando se crea una instancia de una canalización con ParallelRunStep, Azure Machine Learning pasa automáticamente los parámetros necesarios mediante este método para que ese paso se pueda agregar a un grafo de canalización que represente el flujo de trabajo.

create_module_def

Crea el objeto de definición de módulo que describe el paso.

No se debe llamar a este método directamente.

create_module_def(execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, arguments=None)

Parámetros

Nombre	Description
execution_type Requerido	str Tipo de ejecución del módulo.
input_bindings Requerido	list Enlaces de entrada del paso.
output_bindings Requerido	list Enlaces de salida del paso.
param_defs	list Definiciones de parámetros de paso. Valor predeterminado: None
create_sequencing_ports	bool Si es true, se crearán puertos de secuenciación para el módulo. Valor predeterminado: True
allow_reuse	bool Si es true, el módulo estará disponible para reutilizarse en futuras canalizaciones. Valor predeterminado: True
version	str Versión del módulo. Valor predeterminado: None
arguments	list Lista de argumentos anotados que se va a usar al llamar a este módulo. Valor predeterminado: None

Devoluciones

Tipo	Description
ModuleDef	Objeto def del módulo.

create_node

Crea un nodo para PythonScriptStep y lo agrega al grafo especificado.

No se debe llamar a este método directamente. Cuando se crea una instancia de una canalización con ParallelRunStep, Azure Machine Learning pasa automáticamente los parámetros necesarios mediante este método para que ese paso se pueda agregar a un grafo de canalización que represente el flujo de trabajo.

create_node(graph, default_datastore, context)

Parámetros

Nombre	Description
graph Requerido	Graph Objeto Graph.
default_datastore Requerido	AbstractAzureStorageDatastore o AzureDataLakeDatastore Almacén de datos predeterminado.
context Requerido	<xref:azureml.pipeline.core._GraphContext> Contexto.

Devoluciones

Tipo	Description
Node	El nodo creado.