steps 包

包含可在 Azure 机器学习管道中执行的预生成步骤。

Azure ML 管道步骤可以一起配置为构造一个管道,它表示可共享且可重用的 Azure 机器学习工作流。 管道的每个步骤都可以配置为在步骤内容(脚本和依赖项)以及输入和参数保持不变时允许重用其以前的运行结果。

此包中的类通常与 core 包中的类一起使用。 核心包包含用于配置数据 (PipelineData)、计划 (Schedule) 和管理步骤的输出 (StepRun) 的类。

此包中的预生成步骤涵盖了在机器学习工作流中遇到的许多常见方案。 若要开始使用预生成管道步骤,请参阅:

模块

adla_step

包含用于创建 Azure ML 管道步骤来使用 Azure Data Lake Analytics 运行 U-SQL 脚本的功能。

automl_step

包含用于添加和管理 Azure 机器学习中的自动化 ML 管道步骤的功能。

azurebatch_step

包含创建在 Azure Batch 中运行 Windows 可执行文件的 Azure ML 管道步骤的功能。

command_step

包含创建运行命令的 Azure ML 管道步骤的功能。

data_transfer_step

包含用于创建 Azure ML 管道步骤的功能,该步骤在存储选项之间传输数据。

databricks_step

包含用于创建 Azure ML 管道步骤的功能,以在 DBFS 上运行 Databricks 笔记本或 Python 脚本。

estimator_step

包含用于创建运行估算器以进行机器学习模型训练的管道步骤的功能。

hyper_drive_step

包含用于创建和管理运行超参数优化的 Azure ML 管道步骤的功能。

kusto_step

包含用于创建运行 Kusto 笔记本的 Azure ML 管道步骤的功能。

module_step

包含使用现有版本的模块添加 Azure 机器学习管道步骤的功能。

mpi_step

包含用于添加 Azure ML 管道步骤以运行机器学习模型训练的 MPI 作业的功能。

parallel_run_config

包含用于配置 ParallelRunStep 的功能。

parallel_run_step

包含添加步骤以在多个 AmlCompute 目标上以并行模式运行用户脚本的功能。

python_script_step

包含创建运行 Python 脚本的 Azure ML 管道步骤的功能。

r_script_step

包含用于创建运行 R 脚本的 Azure ML 管道步骤的功能。

synapse_spark_step

包含创建运行 Python 脚本的 Azure ML Synapse 步骤的功能。

AdlaStep

创建 Azure ML Pipeline 步骤以使用 Azure Data Lake Analytics 运行 U-SQL 脚本。

有关使用 AdlaStep 的示例,请参阅笔记本 https://aka.ms/pl-adla

创建 Azure ML 管道步骤以使用 Azure Data Lake Analytics运行 U-SQL 脚本。

AutoMLStep

创建用于封装自动化机器学习运行的 Azure 机器学习机器学习管道步骤。

有关使用 AutoMLStep 的示例,请参阅笔记本 https://aka.ms/pl-automl

初始化 AutoMLStep。

AutoMLStepRun

提供有关自动化 ML 试验运行和检索默认输出的方法的信息。

在管道中提交自动化 ML 运行后,AutoMLStepRun 类用于管理、检查状态和检索运行详细信息。 此外,此类还可以用来通过 StepRun 类获得 AutoMLStep 的默认输出。

初始化 automl 步骤运行。

AzureBatchStep

创建用于将作业提交到 Azure Batch 的 Azure ML 管道步骤。

注意:此步骤不支持上传/下载目录及其内容。

有关使用 AzureBatchStep 的示例,请参阅笔记本 https://aka.ms/pl-azbatch

创建用于将作业提交到Azure Batch的 Azure ML 管道步骤。

CommandStep

创建运行命令的 Azure ML 管道步骤。

创建运行命令的 Azure ML 管道步骤。

DataTransferStep

创建在存储选项之间传输数据的 Azure ML 管道步骤。

DataTransferStep 支持常见的存储类型,例如作为源和接收器的 Azure Blob 存储和 Azure Data Lake。 有关详细信息,请参阅备注部分。

有关使用 DataTransferStep 的示例,请参阅笔记本 https://aka.ms/pl-data-trans

创建在存储选项之间传输数据的 Azure ML 管道步骤。

DatabricksStep

创建 Azure ML 管道步骤,以将 DataBricks 笔记本、Python 脚本或 JAR 添加为节点。

有关使用 DatabricksStep 的示例,请参阅笔记本 https://aka.ms/pl-databricks

创建 Azure ML 管道步骤,将 DataBricks 笔记本、Python 脚本或 JAR 添加为节点。

有关使用 DatabricksStep 的示例,请参阅笔记本 https://aka.ms/pl-databricks

:p aram python_script_name:[必需] 相对于 source_directory的 Python 脚本的名称。 如果脚本采用输入和输出,则会将输入和输出作为参数传递给脚本。 如果指定了 python_script_name,则也必须指定 source_directory

只能指定 notebook_pathpython_script_pathpython_script_namemain_class_name 中的一个。

如果使用 data_reference_name=input1 将 DataReference 对象指定为输入,使用 name=output1 将 PipelineData 对象指定为输出,则输入和输出将作为参数传递给脚本。 这就是它们的外观,你需要分析脚本中的参数以访问每个输入和输出的路径:"-input1","wasbs://test@storagename.blob.core.windows.net/test","-output1", "wasbs://test@storagename.blob.core.windows.net/b3e26de1-87a4-494d-a20f-1988d22b81a2/output1"

此外,在脚本中可以使用以下参数:

  • AZUREML_RUN_TOKEN:用于在 Azure 机器学习中进行身份验证的 AML 令牌。
  • AZUREML_RUN_TOKEN_EXPIRY:AML 令牌过期时间。
  • AZUREML_RUN_ID:此运行的 Azure 机器学习运行 ID。
  • AZUREML_ARM_SUBSCRIPTION:AML 工作区的 Azure 订阅。
  • AZUREML_ARM_RESOURCEGROUP:Azure 机器学习工作区的 Azure 资源组。
  • AZUREML_ARM_WORKSPACE_NAME:Azure 机器学习工作区的名称。
  • AZUREML_ARM_PROJECT_NAME:Azure 机器学习试验的名称。
  • AZUREML_SERVICE_ENDPOINT:AML 服务的终结点 URL。
  • AZUREML_WORKSPACE_ID:Azure 机器学习工作区的 ID。
  • AZUREML_EXPERIMENT_ID:Azure 机器学习试验的 ID。
  • AZUREML_SCRIPT_DIRECTORY_NAME:source_directory 复制到的 DBFS 中的目录路径。
  (This parameter is only populated when `python_script_name` is used.  See more details below.)

使用 DatabricksStep 参数 source_directorypython_script_name 从 Databricks 上你的本地计算机执行 Python 脚本时,source_directory 将复制到 DBFS,DBFS 上的目录路径将在脚本开始执行时作为参数传递给脚本。 此参数标记为 -AZUREML_SCRIPT_DIRECTORY_NAME。 需要在此参数的前面添加字符串前缀“dbfs:/”或“/dbfs/”才能访问 DBFS 中的目录。

EstimatorStep

已弃用。 创建要为 Azure ML 模型训练运行 Estimator 的管道步骤。

创建 Azure ML 管道步骤,以运行估算器进行机器学习模型训练。

已弃用。 请改用 CommandStep。 有关示例,请参阅如何使用 CommandStep 在管道中运行 ML 训练脚本

HyperDriveStep

创建 Azure ML 管道步骤以运行机器学习模型训练的超参数优化。

有关使用 HyperDriveStep 的示例,请参阅笔记本 https://aka.ms/pl-hyperdrive

创建 Azure ML 管道步骤,以便为机器学习模型训练运行超参数优化。

HyperDriveStepRun

管理、检查状态并检索 HyperDriveStep 管道步骤的运行详细信息。

HyperDriveStepRun 提供 HyperDriveRun 的功能(具有 StepRun 的额外支持)。 通过 HyperDriveStepRun 类,可以管理、检查状态和检索 HyperDrive 运行及其生成的每个子运行的运行详细信息。 StepRun 类使你能够在提交父管道运行并且管道已提交步骤运行后执行此操作。

初始化 HyperDriveStepRun。

HyperDriveStepRun 提供 HyperDriveRun 的功能(具有 StepRun 的额外支持)。 HyperDriveRun 类使你能够管理、检查状态以及检索 HyperDrive 运行及其生成的每个子运行的运行详细信息。 通过 StepRun 类,能够在提交父管道运行并且管道已提交步骤运行后执行此操作。

KustoStep

KustoStep 启用了在 Azure ML 管道中的目标 Kusto 群集上运行 Kusto 查询的功能。

初始化 KustoStep。

ModuleStep

创建 Azure 机器学习管道步骤以运行特定版本的模块。

Module 对象定义可重用的计算(例如脚本或可执行文件),这些计算可以在不同的机器学习方案中由不同的用户使用。 若要在管道中使用特定版本的模块,请创建 ModuleStep。 ModuleStep 是管道中使用现有 ModuleVersion 的步骤。

有关使用 ModuleStep 的示例,请参阅笔记本 https://aka.ms/pl-modulestep

创建 Azure ML 管道步骤以运行特定版本的模块。

MpiStep

创建用于运行 MPI 作业的 Azure ML 管道步骤。

有关使用 MpiStep 的示例,请参阅笔记本 https://aka.ms/pl-style-trans

创建 Azure ML 管道步骤以运行 MPI 作业。

已弃用。 请改用 CommandStep。 有关示例,请参阅 如何使用 CommandStep 在管道中运行分布式训练

ParallelRunConfig

定义 ParallelRunStep 对象的配置。

有关使用 ParallelRunStep 的示例,请参阅笔记本 https://aka.ms/batch-inference-notebooks

有关故障排除指南,请参阅 https://aka.ms/prstsg。 可在此处找到更多参考资料。

初始化 config 对象。

ParallelRunStep

创建 Azure 机器学习管道步骤异步并行处理大量数据。

有关使用 ParallelRunStep 的示例,请参阅笔记本 https://aka.ms/batch-inference-notebooks

有关故障排除指南,请参阅 https://aka.ms/prstsg。 可在此处找到更多参考资料。

创建 Azure ML 管道步骤,以异步和并行方式处理大量数据。

有关使用 ParallelRunStep 的示例,请参阅笔记本链接 https://aka.ms/batch-inference-notebooks

PythonScriptStep

创建运行 Python 脚本的 Azure ML 管道步骤。

有关使用 PythonScriptStep 的示例,请参阅笔记本 https://aka.ms/pl-get-started

创建运行 Python 脚本的 Azure ML 管道步骤。

RScriptStep

注意

这是一个试验性的类,随时可能更改。 有关详细信息,请参阅 https://aka.ms/azuremlexperimental

创建运行 R 脚本的 Azure ML 管道步骤。

创建运行 R 脚本的 Azure ML 管道步骤。

已弃用。 请改用 CommandStep。 有关示例,请参阅如何使用 CommandStep 在管道中运行 R 脚本

SynapseSparkStep

注意

这是一个试验性的类,随时可能更改。 有关详细信息,请参阅 https://aka.ms/azuremlexperimental

创建用于提交和执行 Python 脚本的 Azure ML Synapse 步骤。

创建在 synapse spark 池上运行 Spark 作业的 Azure ML 管道步骤。