Estimator Класс

Представляет универсальный оценщик для обучения данных с помощью любой предоставляемой платформы.

НЕ РЕКОМЕНДУЕТСЯ. Используйте объект ScriptRunConfig с собственной определенной средой или курированной средой AzureML. Общие сведения о настройке выполнений экспериментов с помощью ScriptRunConfig приведены в статье Настройка и отправка запусков обучения.

Этот класс предназначен для использования с платформами машинного обучения, у которых еще нет предварительно настроенного оценщика Машинного обучения Azure. Предварительно настроенные оценщики существуют для Chainer, PyTorch, TensorFlow и SKLearn. Как создать Оценщик, который не является предварительно настроенным, см. статью Обучение моделей с помощью оценщика Машинного обучения Azure.

Класс Оценщика создает программу-оболочку для сведений о конфигурации запуска, чтобы упростить задачи указания способа выполнения скрипта. Он поддерживает выполнение с одним и с несколькими узлами. При запуске оценщика создается модель в выходном каталоге, указанном в скрипте обучения.

Инициализируйте оценщик.

используется azureml.core.environment._DEFAULT_SHM_SIZE. Дополнительные сведения приведены в статье со справочными сведениями о запусках Docker. :type shm_size: str :p aram resume_from: путь к данным, содержащий файлы контрольной точки или модели, из которых следует возобновить эксперимент. :type resume_from: azureml.data.datapath.DataPath :p aram max_run_duration_seconds: максимально допустимое время выполнения. Azure ML попытается автоматически

отмените выполнение, если оно занимает больше времени, чем это значение.

Наследование

azureml.train.estimator._mml_base_estimator.MMLBaseEstimator

Estimator

Конструктор

Estimator(source_directory, *, compute_target=None, vm_size=None, vm_priority=None, entry_script=None, script_params=None, node_count=1, process_count_per_node=1, distributed_backend=None, distributed_training=None, use_gpu=False, use_docker=True, custom_docker_base_image=None, custom_docker_image=None, image_registry_details=None, user_managed=False, conda_packages=None, pip_packages=None, conda_dependencies_file_path=None, pip_requirements_file_path=None, conda_dependencies_file=None, pip_requirements_file=None, environment_variables=None, environment_definition=None, inputs=None, source_directory_data_store=None, shm_size=None, resume_from=None, max_run_duration_seconds=None, _disable_validation=True, _show_lint_warnings=False, _show_package_warnings=False)

Параметры

Имя	Описание
source_directory Обязательно	str Локальный каталог, содержащий конфигурацию эксперимента и файлы кода, необходимые для задания на обучение.
compute_target Обязательно	AbstractComputeTarget или str Целевой объект вычислений, в котором будет выполняться обучение. Это может быть либо объект, либо строка "local" (локальный).
vm_size Обязательно	str Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.
vm_priority Обязательно	str Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется "dedicated" (выделенный). Поддерживаемые значения: "dedicated" (выделенный) и "lowpriority" (низкий приоритет). Действует только в том случае, если параметр vm_size указан во входных данных.
entry_script Обязательно	str Относительный путь к файлу, используемому для начала обучения.
script_params Обязательно	dict Словарь аргументов командной строки для передачи в скрипт обучения, указанный в entry_script.
node_count Обязательно	int Число узлов в целевом объекте вычислений, используемом для обучения. Если значение больше 1, будет запущено распределенное задание MPI.
process_count_per_node Обязательно	int Количество процессов (или рабочих ролей), запускаемых на каждом узле. Если значение больше 1, будет запущено распределенное задание MPI. Для распределенных заданий поддерживается только целевой объект AmlCompute.
distributed_backend Обязательно	str Внутренний сервер подключений для распределенного обучения. НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр distributed_training. Поддерживаемые значения: "mpi". "mpi" представляет MPI/Horovod. Этот параметр является обязательным при node_count или process_count_per_node> 1. Если node_count == 1 и process_count_per_node == 1, серверная часть не будет использоваться, кроме случаев, когда она задана явным образом. Для распределенного обучения поддерживается только целевой объект AmlCompute.
distributed_training Обязательно	Mpi Параметры для выполнения распределенного задания обучения. Чтобы запустить распределенное задание с помощью MPI-сервера, используйте объект Mpi для указания process_count_per_node.
use_gpu Обязательно	bool Указывает, должна ли среда запуска эксперимента поддерживать GPU. При значении True в среде будет использоваться образ Docker по умолчанию на основе GPU. При значении False будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если параметр custom_docker_image не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.
use_docker Обязательно	bool Указывает, должна ли среда запуска эксперимента быть основана на Docker.
custom_docker_base_image Обязательно	str Имя образа Docker, из которого будет построен образ, используемый для обучения. НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр custom_docker_image. Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию.
custom_docker_image Обязательно	str Имя образа Docker, из которого будет построен образ, используемый для обучения. Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию. Можно указывать только те образы, которые доступны в публичных репозиториях Docker (Docker Hub). Чтобы выбрать образ из частного репозитория Docker, используйте параметр конструктора environment_definition.
image_registry_details Обязательно	ContainerRegistry Сведения о реестре образов Docker.
user_managed Обязательно	bool Указывает, будет ли Azure ML повторно использовать существующую среду Python. При значении False среда Python создается на основе спецификации зависимостей conda.
conda_packages Обязательно	list Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.
pip_packages Обязательно	list Список строк, представляющих пакеты pip, добавляемые в среду Python для эксперимента.
conda_dependencies_file_path Обязательно	str Относительный путь к файлу YAML зависимостей Conda. Если он указан, Машинное обучение Azure не будет устанавливать пакеты, связанные с платформой. НЕ РЕКОМЕНДУЕТСЯ. Используется параметр conda_dependencies_file. Укажите conda_dependencies_file_path или conda_dependencies_file. Если указаны оба значения, используется conda_dependencies_file.
pip_requirements_file_path Обязательно	str Относительный путь к текстовому файлу требований pip. НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр pip_requirements_file. Этот параметр можно указать в сочетании с параметром pip_packages. Укажите pip_requirements_file_path или pip_requirements_file. Если указаны оба значения, используется pip_requirements_file.
conda_dependencies_file Обязательно	str Относительный путь к файлу YAML зависимостей Conda. Если он указан, Машинное обучение Azure не будет устанавливать пакеты, связанные с платформой.
pip_requirements_file Обязательно	str Относительный путь к текстовому файлу требований pip. Этот параметр можно указать в сочетании с параметром pip_packages.
environment_variables Обязательно	dict Словарь имен и значений переменных среды. Эти переменные среды задаются для процесса, в котором выполняется пользовательский скрипт.
environment_definition Обязательно	Environment Определение среды для эксперимента. Сюда входят PythonSection, DockerSection и переменные среды. С помощью этого параметра можно задать любую опцию среды, которая не предоставляется напрямую через другие параметры в конструкцию оценщика. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными со средой, например, use_gpu, custom_docker_image, conda_packages и pip_packages. При недопустимых сочетаниях будут выводиться ошибки.
inputs Обязательно	list Список объектов DataReference или DatasetConsumptionConfig, используемых в качестве входных данных.
source_directory_data_store Обязательно	Datastore Резервное хранилище данных для общей папки проекта.
shm_size Обязательно	str Размер блока общей памяти контейнера Docker. Если значение не задано, используется значение по умолчанию azureml.core.environment._DEFAULT_SHM_SIZE. Дополнительные сведения приведены в статье со справочными сведениями о запусках Docker.
resume_from Обязательно	DataPath Путь к данным, содержащий файлы контрольной точки или модели, из которых возобновляется выполнение эксперимента.
max_run_duration_seconds Обязательно	int Максимально допустимое время выполнения. Машинное обучение Azure будет пытаться автоматически отменить запуск, если он занимает больше времени, чем задано этим значением.
source_directory Обязательно	str Локальный каталог, содержащий конфигурацию эксперимента и файлы кода, необходимые для задания на обучение.
compute_target Обязательно	AbstractComputeTarget или str Целевой объект вычислений, в котором будет выполняться обучение. Это может быть либо объект, либо строка "local" (локальный).
vm_size Обязательно	str Размер виртуальной машины целевого объекта вычислений, который будет создан для обучения. Поддерживаемые значения: любой размер виртуальной машины Azure.
vm_priority Обязательно	str Приоритет виртуальной машины целевого объекта вычислений, который будет создан для обучения. Если значение не указано, используется "dedicated" (выделенный). Поддерживаемые значения: "dedicated" (выделенный) и "lowpriority" (низкий приоритет). Действует только в том случае, если параметр vm_size указан во входных данных.
entry_script Обязательно	str Относительный путь к файлу, используемому для начала обучения.
script_params Обязательно	dict Словарь аргументов командной строки для передачи в скрипт обучения, указанный в entry_script.
node_count Обязательно	int Число узлов в целевом объекте вычислений, используемом для обучения. Если больше 1, будет запущено распределенное задание MPI. Для распределенных заданий поддерживается только целевой объект AmlCompute.
process_count_per_node Обязательно	int Количество процессов на каждом узле. Если больше 1, будет запущено распределенное задание MPI. Для распределенных заданий поддерживается только целевой объект AmlCompute.
distributed_backend Обязательно	str Внутренний сервер подключений для распределенного обучения. НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр distributed_training. Поддерживаемые значения: "mpi". "mpi" представляет MPI/Horovod. Этот параметр является обязательным при node_count или process_count_per_node> 1. Если node_count == 1 и process_count_per_node == 1, серверная часть не будет использоваться, кроме случаев, когда она задана явным образом. Для распределенного обучения поддерживается только целевой объект AmlCompute.
distributed_training Обязательно	Mpi Параметры для выполнения распределенного задания обучения. Чтобы запустить распределенное задание с помощью MPI-сервера, используйте объект Mpi для указания process_count_per_node.
use_gpu Обязательно	bool Указывает, должна ли среда выполнения эксперимента поддерживать GPU. При значении True в среде будет использоваться образ Docker по умолчанию на основе GPU. При значении False будет использоваться образ на основе ЦП. Образы Docker по умолчанию (ЦП или GPU) будут использоваться только в том случае, если параметр custom_docker_image не задан. Этот параметр используется только в целевых объектах вычислений с поддержкой Docker.
use_docker Обязательно	bool Указывает, должна ли среда выполнения эксперимента быть основана на Docker.
custom_docker_base_image Обязательно	str Имя образа Docker, из которого будет построен образ, используемый для обучения. НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр custom_docker_image. Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию.
custom_docker_image Обязательно	str Имя образа Docker, из которого будет построен образ, используемый для обучения. Если он не задан, в качестве базового образа будет использоваться образ на основе ЦП по умолчанию. Можно указывать только те образы, которые доступны в публичных репозиториях Docker (Docker Hub). Чтобы выбрать образ из частного репозитория Docker, используйте параметр конструктора environment_definition.
image_registry_details Обязательно	ContainerRegistry Сведения о реестре образов Docker.
user_managed Обязательно	bool Указывает, будет ли Azure ML повторно использовать существующую среду Python. При значении False среда Python создается на основе спецификации зависимостей conda.
conda_packages Обязательно	list Список строк, представляющих пакеты conda, добавляемые в среду Python для эксперимента.
pip_packages Обязательно	list Список строк, представляющих пакеты pip, добавляемые в среду Python для эксперимента.
conda_dependencies_file_path Обязательно	Относительный путь к файлу YAML зависимостей Conda. Если он указан, Машинное обучение Azure не будет устанавливать пакеты, связанные с платформой. НЕ РЕКОМЕНДУЕТСЯ. Используется параметр conda_dependencies_file. Укажите conda_dependencies_file_path или conda_dependencies_file. Если указаны оба значения, используется conda_dependencies_file.
pip_requirements_file_path Обязательно	Относительный путь к текстовому файлу требований pip. НЕ РЕКОМЕНДУЕТСЯ. Используйте параметр pip_requirements_file. Его можно указать в сочетании с параметром pip_packages. Укажите pip_requirements_file_path или pip_requirements_file. Если указаны оба значения, используется pip_requirements_file.
pip_requirements_file Обязательно	str Относительный путь к текстовому файлу требований pip. Его можно указать в сочетании с параметром pip_packages.
environment_variables Обязательно	dict Словарь имен и значений переменных среды. Эти переменные среды задаются для процесса, в котором выполняется пользовательский скрипт.
environment_definition Обязательно	Environment Определение среды для эксперимента. Сюда входят PythonSection, DockerSection и переменные среды. С помощью этого параметра можно задать любую опцию среды, которая не предоставляется напрямую через другие параметры в конструкцию оценщика. Если этот параметр указан, он будет иметь приоритет над другими параметрами, связанными со средой, например, use_gpu, custom_docker_image, conda_packages и pip_packages. При недопустимых сочетаниях будут выводиться ошибки.
inputs Обязательно	list Список объектов DataReference или DatasetConsumptionConfig, используемых в качестве входных данных.
source_directory_data_store Обязательно	Datastore Резервное хранилище данных для общей папки проекта.
shm_size Обязательно	Размер блока общей памяти контейнера Docker. Если значение не задано, значение по умолчанию
_disable_validation Обязательно	bool Отключите проверку скрипта перед запуском отправки. Значение по умолчанию равно True.
_show_lint_warnings Обязательно	bool Отображение предупреждений при анализе кода скрипта. Значение по умолчанию — False.
_show_package_warnings Обязательно	bool Отображение предупреждений о проверке пакета. Значение по умолчанию — False.