Module Класс

Ссылка

Представляет вычислительную единицу, используемую в конвейере Машинное обучение Azure.

Модуль — это коллекция файлов, которые будут выполняться в целевом объекте вычислений, и описание интерфейса. Коллекция файлов может быть скриптом, двоичными файлами или любыми другими файлами, необходимыми для выполнения в целевом объекте вычислений. Интерфейс модуля описывает входные и выходные данные, а также определения параметров. Он не привязывает их к конкретным значениям или данным. С модулем связан моментальный снимок, который фиксирует коллекцию файлов, определенных для модуля.

Инициализация модуля.

Наследование: builtins.object

Module

Конструктор

Module(workspace, module_id, name, description, status, default_version, module_version_list, _module_provider=None, _module_version_provider=None)

Параметры

Имя	Описание
workspace Обязательно	Workspace Объект рабочей области, которому принадлежит этот объект Module.
module_id Обязательно	str Идентификатор Module.
name Обязательно	str Имя Module.
description Обязательно	str Описание Module.
status Обязательно	str Новое состояние Module: Active, Deprecated или Disabled.
default_version Обязательно	str Версия Module по умолчанию.
module_version_list Обязательно	list Список объектов ModuleVersionDescriptor.
_module_provider	<xref:azureml.pipeline.core._aeva_provider._AzureMLModuleProvider> (Только для внутреннего использования.) Поставщик module. Default value: None
_module_version_provider	<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider> (Только для внутреннего использования.) Поставщик ModuleVersion. Default value: None
workspace Обязательно	Workspace Объект рабочей области, которому принадлежит этот объект Module.
module_id Обязательно	str Идентификатор Module.
name Обязательно	str Имя Module.
description Обязательно	str Описание Module.
status Обязательно	str Новое состояние Module: Active, Deprecated или Disabled.
default_version Обязательно	str Версия Module по умолчанию.
module_version_list Обязательно	list Список объектов ModuleVersionDescriptor.
_module_provider Обязательно	<xref:<xref:_AevaMlModuleProvider object>> Поставщик Module.
_module_version_provider Обязательно	<xref:azureml.pipeline.core._aeva_provider._AevaMlModuleVersionProvider> Поставщик ModuleVersion.

Объект Module выступает в качестве контейнера его версий. В следующем примере ModuleVersion создается из метода publish_python_script и имеет два входных и два выходных значения. Созданный ModuleVersion является версией по умолчанию (is_default имеет значение True).


   out_sum = OutputPortDef(name="out_sum", default_datastore_name=datastore.name, default_datastore_mode="mount",
                           label="Sum of two numbers")
   out_prod = OutputPortDef(name="out_prod", default_datastore_name=datastore.name, default_datastore_mode="mount",
                            label="Product of two numbers")
   entry_version = module.publish_python_script("calculate.py", "initial",
                                                inputs=[], outputs=[out_sum, out_prod], params = {"initialNum":12},
                                                version="1", source_directory="./calc")

Полный пример можно найти здесь: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-how-to-use-modulestep.ipynb

Этот модуль можно использовать при определении конвейера на различных этапах с использованием ModuleStep.

В следующем примере показано, как подключить данные, используемые в конвейере, к входным и выходным данным ModuleVersion с помощью PipelineData:


   middle_step_input_wiring = {"in1":first_sum, "in2":first_prod}
   middle_sum = PipelineData("middle_sum", datastore=datastore, output_mode="mount",is_directory=False)
   middle_prod = PipelineData("middle_prod", datastore=datastore, output_mode="mount",is_directory=False)
   middle_step_output_wiring = {"out_sum":middle_sum, "out_prod":middle_prod}

Затем при создании ModuleStep можно использовать сопоставление:


   middle_step = ModuleStep(module=module,
                            inputs_map= middle_step_input_wiring,
                            outputs_map= middle_step_output_wiring,
                            runconfig=RunConfiguration(), compute_target=aml_compute,
                            arguments = ["--file_num1", first_sum, "--file_num2", first_prod,
                                         "--output_sum", middle_sum, "--output_product", middle_prod])

Разрешение используемой версии модуля происходит после отправки и выполняется следующим образом:

Удаление всех отключенных версий
Если указана определенная версия, используйте ее, иначе
Если для Module определена версия по умолчанию, используйте его, иначе
Если все версии соответствуют семантике управления версиями без букв, используйте максимальное значение, иначе
Используйте версию Module, которая была обновлена последней

Обратите внимание, что поскольку сопоставление входных и выходных данных узла с входными и выходными данными модуля определяется при создании конвейера, если разрешенная версия при отправке имеет интерфейс, отличный от того, который разрешается при создании конвейера, отправка конвейера завершится ошибкой.

Базовый модуль можно обновить в соответствии с новыми версиями, сохранив версию по умолчанию.

Модули имеют уникальные имена в рабочей области.

Методы

create	Создание объекта Module.
deprecate	Установка для состояния Module значения Deprecated.
disable	Установка для состояния Module значения Disabled.
enable	Установка для состояния Module значения Active.
get	Получение объекта Module по имени или по идентификатору. Если какое-либо значение не указано, порождается исключение.
get_default	Получение версии модуля по умолчанию.
get_default_version	Получение версии Module по умолчанию.
get_versions	Получение всех версий Module.
module_def_builder	Создание объекта определения модуля, описывающего этап.
module_version_list	Получение списка версий Module.
process_source_directory	Обработка исходного каталога для этапа и проверка существования скрипта.
publish	Создание объекта ModuleVersion и его добавление в текущий Module.
publish_adla_script	Создание объекта ModuleVersion на основе Azure Data Lake Analytics (ADLA) и его добавление в текущий модуль.
publish_azure_batch	Создание ModuleVersion, использующего пакетную службу Azure, и его добавление ее в текущий Module.
publish_python_script	Создание ModuleVersion на основе скрипта Python и его добавление в текущий Module.
resolve	Разрешение и возврат правильного объекта ModuleVersion.
set_default_version	Задание ModuleVersion по умолчанию для Module.
set_description	Указание описания Module.
set_name	Указание имени Module.

create

Создание объекта Module.

static create(workspace, name, description, _workflow_provider=None)

Параметры

Имя	Описание
workspace Обязательно	Workspace Рабочая область для создания Module.
name Обязательно	str Имя Module.
description Обязательно	str Описание Module.
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> (Только для внутреннего использования.) Поставщик рабочих процессов. Default value: None

Возвращаемое значение

Тип	Описание
Module	Объект Module.

deprecate

Установка для состояния Module значения Deprecated.

deprecate()

disable

Установка для состояния Module значения Disabled.

disable()

enable

Установка для состояния Module значения Active.

enable()

get

Получение объекта Module по имени или по идентификатору. Если какое-либо значение не указано, порождается исключение.

static get(workspace, module_id=None, name=None, _workflow_provider=None)

Параметры

Имя	Описание
workspace Обязательно	Workspace Рабочая область для создания Module.
module_id	str Идентификатор Module. Default value: None
name	str Имя Module. Default value: None
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> (Только для внутреннего использования.) Поставщик рабочих процессов. Default value: None

Возвращаемое значение

Тип	Описание
Module	Объект Module.

get_default

Получение версии модуля по умолчанию.

get_default()

Возвращаемое значение

Тип	Описание
ModuleVersion	Версия модуля по умолчанию.

get_default_version

Получение версии Module по умолчанию.

get_default_version()

Возвращаемое значение

Тип	Описание
str	Версия Module по умолчанию.

get_versions

Получение всех версий Module.

static get_versions(workspace, name, _workflow_provider=None)

Параметры

Имя	Описание
workspace Обязательно	Workspace Рабочая область, в которой был создан объект Module.
name Обязательно	str Имя Module.
_workflow_provider	<xref:azureml.pipeline.core._aeva_provider._AevaWorkflowProvider> (Только для внутреннего использования.) Поставщик рабочих процессов. Default value: None

Возвращаемое значение

Тип	Описание
list	Список ModuleVersionDescriptor.

module_def_builder

Создание объекта определения модуля, описывающего этап.

static module_def_builder(name, description, execution_type, input_bindings, output_bindings, param_defs=None, create_sequencing_ports=True, allow_reuse=True, version=None, module_type=None, step_type=None, arguments=None, runconfig=None, cloud_settings=None)

Параметры

Имя	Описание
name Обязательно	str Имя Module.
description Обязательно	str Описание Module.
execution_type Обязательно	str Тип выполнения Module.
input_bindings Обязательно	list Входные привязки Module.
output_bindings Обязательно	list Выходные привязки Module.
param_defs	list Определения параметров Module. Default value: None
create_sequencing_ports	bool Указывает, будут ли создаваться для Module порты виртуализации. Default value: True
allow_reuse	bool Указывает, будет ли Module доступен для многократного использования. Default value: True
version	str Версия класса Module. Default value: None
module_type	str Тип Module. Default value: None
step_type	str Тип этапа, связанный с этим модулем, например, PythonScriptStep, HyperDriveStep и т. д. Default value: None
arguments	list Список аргументов с заметками для использования при вызове этого модуля. Default value: None
runconfig	str Файл runconfig, который будет использоваться для python_script_step. Default value: None
cloud_settings	str Параметры, которые будут использоваться для облаков Default value: None

Возвращаемое значение

Тип	Описание
ModuleDef	Объект определения Module.

Исключения

Тип	Описание
ValueError

module_version_list

Получение списка версий Module.

module_version_list()

Возвращаемое значение

Тип	Описание
list	Список ModuleVersionDescriptor.

process_source_directory

Обработка исходного каталога для этапа и проверка существования скрипта.

static process_source_directory(name, source_directory, script_name)

Параметры

Имя	Описание
name Обязательно	str Имя шага этапа.
source_directory Обязательно	str Исходный каталог для этапа.
script_name Обязательно	str Имя скрипта для этапа.

Возвращаемое значение

Тип	Описание
str, list	Исходный каталог и хэш-пути.

Исключения

Тип	Описание
ValueError

publish

Создание объекта ModuleVersion и его добавление в текущий Module.

publish(description, execution_type, inputs, outputs, param_defs=None, create_sequencing_ports=True, version=None, is_default=False, content_path=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Параметры

Имя	Описание
description Обязательно	str Описание Module.
execution_type Обязательно	str Тип выполнения класса Module. Допустимые значения — `esCloud`, `adlcloud` и `AzureBatchCloud`
inputs Обязательно	list Входные данные класса Module.
outputs Обязательно	list Выходные данные Module.
param_defs	list Определения параметров Module. Default value: None
create_sequencing_ports	bool Указывает, будут ли создаваться для Module порты виртуализации. Default value: True
version	str Версия класса Module. Default value: None
is_default	bool Указывает, является ли опубликованная версия версией по умолчанию. Default value: False
content_path	str directory. Default value: None
hash_paths	list Список путей для хэширования при проверке изменений в содержимом шага. Если изменения не обнаружены, конвейер будет повторно использовать содержимое этапа из предыдущего выполнения. По умолчанию содержимое `source_directory` хэшируется (кроме файлов, перечисленных в .amlignore или .gitignore). НЕ РЕКОМЕНДУЕТСЯ: больше не требуется. Default value: None
category	str Категория версии модуля. Default value: None
arguments	list Аргументы, используемые при вызове модуля. Аргументы могут быть строками, входными ссылками (InputPortDef), выходными ссылками (OutputPortDef) и параметрами конвейера (PipelineParameter). Default value: None
runconfig	RunConfiguration Необязательный RunConfiguration. RunConfiguration можно использовать для указания дополнительных требований для выполнения, таких как зависимости Conda и образ Docker. Default value: None

Возвращаемое значение

Тип	Описание
ModuleVersion

Исключения

Тип	Описание
Exception

publish_adla_script

Создание объекта ModuleVersion на основе Azure Data Lake Analytics (ADLA) и его добавление в текущий модуль.

publish_adla_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, degree_of_parallelism=None, priority=None, runtime_version=None, compute_target=None, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None)

Параметры

Имя	Описание
script_name Обязательно	str Имя скрипта ADLA относительно `source_directory`.
description Обязательно	str Описание версии Module.
inputs Обязательно	list Входные привязки Module.
outputs Обязательно	list Выходные привязки Module.
params	dict Параметры ModuleVersion в виде пар name-default_value. Default value: None
create_sequencing_ports	bool Указывает, будут ли создаваться для Module порты виртуализации. Default value: True
degree_of_parallelism	int Степень параллелизации, используемая для этого задания. Default value: None
priority	int Значение приоритета, используемое для текущего задания. Default value: None
runtime_version	str Версия среды выполнения обработчика Azure Data Lake Analytics (ADLA). Default value: None
compute_target	AdlaCompute, str Служба вычислений ADLA, используемая для этого задания. Default value: None
version	str Версия модуля. Default value: None
is_default	bool Указывает, является ли опубликованная версия версией по умолчанию. Default value: False
source_directory	str directory. Default value: None
hash_paths	list hash_paths Default value: None
category	str Категория версии модуля. Default value: None
arguments	list Аргументы, используемые при вызове модуля. Аргументы могут быть строками, входными ссылками (InputPortDef), выходными ссылками (OutputPortDef) и параметрами конвейера (PipelineParameter). Default value: None

Возвращаемое значение

Тип	Описание
ModuleVersion

publish_azure_batch

Создание ModuleVersion, использующего пакетную службу Azure, и его добавление ее в текущий Module.

publish_azure_batch(description, compute_target, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, create_pool=False, pool_id=None, delete_batch_job_after_finish=False, delete_batch_pool_after_finish=False, is_positive_exit_code_failure=True, vm_image_urn='urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter', run_task_as_admin=False, target_compute_nodes=1, vm_size='standard_d1_v2', executable=None, source_directory=None, category=None, arguments=None)

Параметры

Имя	Описание
description Обязательно	str Описание версии Module.
compute_target Обязательно	BatchCompute или str Целевой объект вычислений BatchCompute.
inputs Обязательно	list Входные привязки Module.
outputs Обязательно	list Выходные привязки Module.
params	dict Параметры ModuleVersion в виде пар name-default_value. Default value: None
create_sequencing_ports	bool Указывает, будут ли создаваться для Module порты виртуализации. Default value: True
version	str Версия класса Module. Default value: None
is_default	bool Указывает, является ли опубликованная версия версией по умолчанию. Default value: False
create_pool	bool Указывает, следует ли создавать пул перед выполнением заданий. Default value: False
pool_id	str (Обязательно) Идентификатор пула, в котором будет выполняться задание. Default value: None
delete_batch_job_after_finish	bool Указывает, следует ли удалять задание из учетной записи пакетной службы после его завершения. Default value: False
delete_batch_pool_after_finish	bool Указывает, следует ли удалять пул после завершения задания. Default value: False
is_positive_exit_code_failure	bool Указывает, завершается ли задание ошибкой, если существует задача с положительным кодом. Default value: True
vm_image_urn	str Если `create_pool` имеет значение True и виртуальная машина использует VirtualMachineConfiguration, этот параметр указывает, какой образ виртуальной машины следует использовать. Формат значения: `urn:publisher:offer:sku`. Например, `urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter`. Default value: urn:MicrosoftWindowsServer:WindowsServer:2012-R2-Datacenter
run_task_as_admin	bool Указывает, должна ли задача выполняться с правами администратора. Default value: False
target_compute_nodes	int Если `create_pool` имеет значение True, указывает, сколько кластерных узлов будет добавлено в пул. Default value: 1
vm_size	str Если `create_pool` имеет значение True, указывает размер виртуальной машины для вычислительных узлов. Default value: standard_d1_v2
executable	str Имя команды или исполняемого файла, которые будут выполняться в рамках этого задания. Default value: None
source_directory	str Исходный каталог. Default value: None
category	str Категория версии модуля. Default value: None
arguments	list Аргументы, используемые при вызове модуля. Аргументы могут быть строками, входными ссылками (InputPortDef), выходными ссылками (OutputPortDef) и параметрами конвейера (PipelineParameter). Default value: None

Возвращаемое значение

Тип	Описание
ModuleVersion

Исключения

Тип	Описание
ValueError

publish_python_script

Создание ModuleVersion на основе скрипта Python и его добавление в текущий Module.

publish_python_script(script_name, description, inputs, outputs, params=None, create_sequencing_ports=True, version=None, is_default=False, source_directory=None, hash_paths=None, category=None, arguments=None, runconfig=None)

Параметры

Имя	Описание
script_name Обязательно	str Имя скрипта Python (относительно `source_directory`).
description Обязательно	str Описание версии Module.
inputs Обязательно	list Входные привязки Module.
outputs Обязательно	list Выходные привязки Module.
params	dict Параметры ModuleVersion в виде пар name-default_value. Default value: None
create_sequencing_ports	bool Указывает, будут ли создаваться для Module порты виртуализации. Default value: True
version	str Версия класса Module. Default value: None
is_default	bool Указывает, является ли опубликованная версия версией по умолчанию. Default value: False
source_directory	str directory. Default value: None
hash_paths	list Список путей для хэширования при проверке изменений в содержимом шага. Если изменения не обнаружены, конвейер будет повторно использовать содержимое этапа из предыдущего выполнения. По умолчанию содержимое `source_directory` хэшируется (кроме файлов, перечисленных в .amlignore или .gitignore). НЕ РЕКОМЕНДУЕТСЯ: больше не требуется. Default value: None
category	str Категория версии модуля. Default value: None
arguments	list Аргументы, используемые при вызове модуля. Аргументы могут быть строками, входными ссылками (InputPortDef), выходными ссылками (OutputPortDef) и параметрами конвейера (PipelineParameter). Default value: None
runconfig	RunConfiguration Необязательный RunConfiguration. RunConfiguration можно использовать для указания дополнительных требований для выполнения, таких как зависимости Conda и образ Docker. Default value: None

Возвращаемое значение

Тип	Описание
ModuleVersion

resolve

Разрешение и возврат правильного объекта ModuleVersion.

resolve(version=None)

Параметры

Имя	Описание
version	Default value: None

Возвращаемое значение

Тип	Описание
ModuleVersion	Используемая версия Module.

set_default_version

Задание ModuleVersion по умолчанию для Module.

set_default_version(version_id)

Параметры

Имя	Описание
version_id Обязательно

Возвращаемое значение

Тип	Описание
str	Версия по умолчанию.

Исключения

Тип	Описание
Exception

set_description

Указание описания Module.

set_description(description)

Параметры

Имя	Описание
description Обязательно	str Указываемое описание.

Исключения

Тип	Описание
Exception

set_name

Указание имени Module.

set_name(name)

Параметры

Имя	Описание
name Обязательно	str Указываемое имя.

Исключения

Тип	Описание
Exception

Атрибуты

default_version

Получение версии Module по умолчанию.

Возвращаемое значение

Тип	Описание
str	Строка версии по умолчанию.

description

Получение описания Module.

Возвращаемое значение

Тип	Описание
str	Строка описания.

id

Получение идентификатора Module.

Возвращаемое значение

Тип	Описание
str	Идентификатор.

name

Получение имени Module.

Возвращаемое значение

Тип	Описание
str	Имя.

status

Получение состояния Module.

Возвращаемое значение

Тип	Описание
str	Состояние.

Поделиться через

Module Класс

Конструктор

Параметры

Комментарии

Методы

create

Параметры

Возвращаемое значение

deprecate

disable

enable

get

Параметры

Возвращаемое значение

get_default

Возвращаемое значение

get_default_version

Возвращаемое значение

get_versions

Параметры

Возвращаемое значение

module_def_builder

Параметры

Возвращаемое значение

Исключения

module_version_list

Возвращаемое значение

process_source_directory

Параметры

Возвращаемое значение

Исключения

publish

Параметры

Возвращаемое значение

Исключения

publish_adla_script

Параметры

Возвращаемое значение

publish_azure_batch

Параметры

Возвращаемое значение

Исключения

publish_python_script

Параметры

Возвращаемое значение

resolve

Параметры

Возвращаемое значение

set_default_version

Параметры

Возвращаемое значение

Исключения

set_description

Параметры

Исключения

set_name

Параметры

Исключения

Атрибуты

default_version

Возвращаемое значение

description

Возвращаемое значение

id

Возвращаемое значение

name

Возвращаемое значение

status

Возвращаемое значение

Обратная связь

Дополнительные ресурсы