Поделиться через

InferenceConfig Класс

  • Ссылка

Представляет параметры конфигурации для пользовательской среды, используемой для развертывания.

Конфигурация вывода является входным параметром для действий Model, связанных с развертыванием:

Инициализируйте объект конфигурации.

Наследование
builtins.object
InferenceConfig

Конструктор

InferenceConfig(entry_script, runtime=None, conda_file=None, extra_docker_file_steps=None, source_directory=None, enable_gpu=None, description=None, base_image=None, base_image_registry=None, cuda_version=None, environment=None)

Параметры

Имя Описание
entry_script
Обязательно
str

Путь к локальному файлу, содержащему код, выполняемый для образа.
runtime
str

Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.

Default value: None
conda_file
str

Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.

Default value: None
extra_docker_file_steps
str

Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.

Default value: None
source_directory
str

Путь к папке, содержащей все файлы для создания образа.

Default value: None
enable_gpu
bool

Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.

Default value: None
description
str

Описание для этого образа.

Default value: None
base_image
str

Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.

Default value: None
base_image_registry
ContainerRegistry

Реестр образов, содержащий базовый образ.

Default value: None
cuda_version
str

Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр enable_gpu, по умолчанию используется версия 9.1.

Default value: None
environment
Environment

Объект среды, используемый для развертывания. Среду не нужно регистрировать.

Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script, source_directory и description.

Default value: None
entry_script
Обязательно
str

Путь к локальному файлу, содержащему код, выполняемый для образа.
runtime
Обязательно
str

Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
conda_file
Обязательно
str

Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
extra_docker_file_steps
Обязательно
str

Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
source_directory
Обязательно
str

Путь к папке, содержащей все файлы для создания образа.
enable_gpu
Обязательно
bool

Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Значение по умолчанию — False.
description
Обязательно
str

Описание для этого образа.
base_image
Обязательно
str

Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
base_image_registry
Обязательно
ContainerRegistry

Реестр образов, содержащий базовый образ.
cuda_version
Обязательно
str

Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр enable_gpu, по умолчанию используется версия 9.1.
environment
Обязательно
Environment

Объект среды, используемый для развертывания. Среду не нужно регистрировать.

Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script, source_directory и description.

Комментарии

В следующем примере показано, как создать объект InferenceConfig и использовать его для развертывания модели.


   from azureml.core.model import InferenceConfig
   from azureml.core.webservice import AciWebservice


   service_name = 'my-custom-env-service'

   inference_config = InferenceConfig(entry_script='score.py', environment=environment)
   aci_config = AciWebservice.deploy_configuration(cpu_cores=1, memory_gb=1)

   service = Model.deploy(workspace=ws,
                          name=service_name,
                          models=[model],
                          inference_config=inference_config,
                          deployment_config=aci_config,
                          overwrite=True)
   service.wait_for_deployment(show_output=True)

Переменные

Имя Описание
entry_script
str

Путь к локальному файлу, содержащему код, выполняемый для образа.
runtime
str

Среда выполнения, используемая для образа. Текущие поддерживаемые среды выполнения: spark-py и python.
conda_file
str

Путь к локальному файлу, содержащему определение среды Conda, который нужно использовать для образа.
extra_docker_file_steps
str

Путь к локальному файлу, содержащему дополнительные этапы Docker для выполнения при настройке образа.
source_directory
str

Путь к папке, содержащей все файлы для создания образа.
enable_gpu
bool

Указывает, следует ли включить поддержку GPU в образе. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes.
azureml.core.model.InferenceConfig.description

Описание для этого образа.
base_image
str

Пользовательский образ, который нужно использовать в качестве базового. Если базовый образ не задан, то будет использоваться базовый образ на основе заданного параметра среды выполнения.
base_image_registry
ContainerRegistry

Реестр образов, содержащий базовый образ.
cuda_version
str

Версия CUDA, которую нужно установить для образов, требующих поддержки GPU. Образ GPU должен использоваться службами Microsoft Azure, такими как Экземпляры контейнеров Azure, Вычислительная среда Машинного обучения Azure, Виртуальные машины Azure и Служба Azure Kubernetes. Поддерживаются версии 9.0, 9.1 и 10.0. Если задан параметр enable_gpu, по умолчанию используется версия 9.1.
azureml.core.model.InferenceConfig.environment

Объект среды, используемый для развертывания. Среду не нужно регистрировать.

Укажите либо этот параметр, либо другие параметры, но не используйте их одновременно. Отдельные параметры НЕ будут переопределять параметры объекта среды. Исключениями являются entry_script, source_directory и description.

Методы

build_create_payload

Создает полезные данные создания для образа контейнера.
build_profile_payload

Создает полезные данные профилирования для пакета модели.
validate_configuration

Проверка допустимости указанных значений конфигурации.

Генерирует WebserviceException, если проверка завершается неудачно.
validation_script_content

Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse.

Генерирует UserErrorException, если проверка завершается неудачно.

build_create_payload

Создает полезные данные создания для образа контейнера.

build_create_payload(workspace, name, model_ids)

Параметры

Имя Описание
workspace
Обязательно
Workspace

Объект рабочей области для создания образа.
name
Обязательно
str

Имя изображения.
model_ids
Обязательно
list[str]

Список идентификаторов моделей для упаковки в образ.

Возвращаемое значение

Тип Описание
dict

Полезные данные для создания образа контейнера.

Исключения

Тип Описание
WebserviceException

build_profile_payload

Создает полезные данные профилирования для пакета модели.

build_profile_payload(profile_name, input_data=None, workspace=None, models=None, dataset_id=None, container_resource_requirements=None, description=None)

Параметры

Имя Описание
profile_name
Обязательно
str

Имя запуска профилирования.
input_data
str

Входные данные для профилирования.

Default value: None
workspace
Workspace

Объект рабочей области, в котором необходимо профилировать модель.

Default value: None
models
list[Model]

Список объектов модели. Может быть пустым списком.

Default value: None
dataset_id
str

Идентификатор, связанный с набором данных, содержащим входные данные для выполнения профилирования.

Default value: None
container_resource_requirements
ContainerResourceRequirements

Требования к ресурсам контейнера для самого крупного экземпляра, на котором должна быть развернута модель.

Default value: None
description
str

Описание, связываемое с сеансом профилирования.

Default value: None

Возвращаемое значение

Тип Описание
dict

Полезные данные профиля модели.

Исключения

Тип Описание
WebserviceException

validate_configuration

Проверка допустимости указанных значений конфигурации.

Генерирует WebserviceException, если проверка завершается неудачно.

validate_configuration()

Исключения

Тип Описание
WebserviceException

validation_script_content

Убедитесь, что синтаксис скрипта оценки допустим с помощью ast.parse.

Генерирует UserErrorException, если проверка завершается неудачно.

validation_script_content()

Исключения

Тип Описание
UserErrorException