core Пакет
Содержит основные пакеты, модули и классы для Машинного обучения Azure.
Основные области включают управление целевыми объектами вычислений, создание рабочих областей и экспериментов и управление ими, отправку выполнений модели и доступ ним, а также получение выходных данных выполнения и ведения журнала.
Пакеты
compute |
Этот пакет содержит классы, используемые для управления целевыми объектами вычислений в Машинном обучении Azure. Дополнительные сведения о выборе целевых объектов вычислений для обучения и развертывания см. в статье Целевые объекты вычислений в Машинном обучении Azure. |
image |
Содержит функциональные возможности для управления образами, развернутыми в качестве конечной точки веб-службы в Машинном обучении Azure. Не рекомендуется использовать этот класс. Используйте вместо этого класс Environment. Образ используется для развертывания Model, сценариев и связанных файлов в качестве конечной точки веб-службы или устройства IoT Edge. Конечная точка обрабатывает входящие запросы на оценку и возвращает прогнозы. Ключевыми классами этого пакета являются класс Image, родительский класс образов Машинного обучения Azure и производный класс ContainerImage для образов Docker, а также образы предварительной версии, такие как ППВМ. При отсутствии рабочего процесса, специально требующего использования образов, следует использовать класс Environment для определения образа. Затем можно использовать объект Environment с Model Сведения об использовании класса Model приведены в разделе Развертывание моделей с помощью Машинного обучения Azure. Сведения об использовании пользовательских образов приведены в статье Развертывание модели с помощью пользовательского базового образа Docker. |
webservice |
Содержит функции для развертывания моделей машинного обучения в качестве конечных точек веб-служб в Машинном обучении Azure. При развертывании модели Машинного обучения Azure в качестве веб-службы создается конечная точка и REST API. Через этот API вы можете отправлять данные в модель и получать от нее прогнозы. Вы создаете веб-службу при развертывании Model или Image в Экземплярах контейнеров Azure (модуль aci), службе Azure Kubernetes (модуль aks) и конечной точке Azure Kubernetes (AksEndpoint) или программируемой пользователем вентильной матрице (ППВМ). Развертывание с использованием модели рекомендуется для большинства вариантов использования, а развертывание с использованием образа рекомендуется для расширенных вариантов использования. Оба типа развертывания поддерживаются в классах этого модуля. |
Модули
authentication |
Содержит функциональные возможности для управления различными типами проверки подлинности в Машинном обучении Azure. Поддерживаемые типы проверки подлинности:
Дополнительные сведения об этих механизмах проверки подлинности приведены в https://aka.ms/aml-notebook-auth. |
compute_target |
Содержит функциональные возможности для целевых объектов вычислений, не управляемых Машинным обучением Azure. Целевые объекты вычислений определяют среду вычислений для обучения и могут быть либо локальными, либо удаленными ресурсами в облаке. Удаленные ресурсы позволяют легко увеличивать масштаб экспериментов машинного обучения вертикально или горизонтально, используя преимущества ускоренной обработки ЦП и GPU. Сведения о целевых объектах вычислений, управляемых с помощью Машинного обучения Azure приведены в классе ComputeTarget. Дополнительные сведения см. в статье Целевые объекты вычислений в Машинном обучении Microsoft Azure. |
conda_dependencies |
Содержит функциональные возможности для управления зависимостями среды Conda. Используйте класс CondaDependencies для загрузки существующих файлов среды Conda и настройки новых сред, в которых выполняются эксперименты, а также управления ими. |
container_registry |
Содержит функциональные возможности для управления Реестром контейнеров Azure. |
databricks |
Содержит функциональные возможности для управления средами Databricks в Машинном обучении Azure. Дополнительные сведения о работе с Databricks в Машинном обучении Azure приведены в статье Настройка среды разработки для Машинного обучения Azure. |
dataset |
Управляет взаимодействием с наборами данных Машинного обучения Azure. Этот модуль предоставляет функциональные возможности для использования необработанных данных, управления данными и выполнения действий с данными в Машинном обучении Azure. Используйте класс Dataset в этом модуле для создания наборов данных вместе с функциями пакета data, которые содержат вспомогательные классы FileDataset и TabularDataset. Сведения о начале работы с наборами данных см. в статье "Добавление и регистрация наборов данных". |
datastore |
Содержит функциональные возможности для управления хранилищами данных в Машинном обучении Azure. |
environment |
Содержит функциональные возможности для создания воспроизводимых сред (также называемых окружениями) в Машинном обучении Azure и управления ими. Среды обеспечивают способ управления зависимостью от ПО, чтобы контролируемые среды были воспроизводимы с минимальной ручной конфигурацией при переходе между локальными и распределенными средами облачной разработки. Среда инкапсулирует пакеты Python, переменные среды, параметры программного обеспечения для сценариев обучения и оценки, а также время выполнения для Python, Spark или Docker. Дополнительные сведения об использовании сред для обучения и развертывания с помощью Машинного обучения Azure приведены в статье Создание повторно используемых сред и управление ими. |
experiment |
Содержит функциональные возможности для отправки экспериментов и управления журналом экспериментов в Машинном обучении Microsoft Azure. |
keyvault |
Содержит функциональные возможности для управления секретами в Key Vault, связанном с рабочей областью Машинного обучения Azure. Этот модуль содержит удобные методы для добавления, извлечения, удаления и перечисления секретов из Azure Key Vault, связанного с рабочей областью. |
linked_service |
Содержит функциональные возможности для создания связанной службы в рабочей области AML и управления ею. |
model |
Содержит функциональные возможности для управления целевыми объектами вычислений Машинного обучения Azure в Машинном обучении Azure. С помощью класса Model можно выполнять следующие основные задачи:
Дополнительные сведения об использовании моделей приведены в статье Принцип работы Машинного обучения Azure: архитектура и основные понятия. |
private_endpoint |
Содержит функциональные возможности для определения и настройки частных конечных точек Azure. |
profile |
Содержит функциональные возможности для профилирования моделей в Машинном обучении Azure. |
resource_configuration |
Содержит функциональные возможности для управления конфигурацией ресурсов для сущностей Машинного обучения Azure. |
run |
Содержит функциональные возможности для управления метриками и артефактами экспериментов в Машинном обучении Azure. |
runconfig |
Содержит функциональные возможности для управления конфигурацией выполнения экспериментов в Машинном обучении Azure. Класс ключа в этом модуле — RunConfiguration. Он инкапсулирует сведения, необходимые для отправки выполнения обучения указанному целевому объекту вычислений. Конфигурация включает широкий набор определений поведения, например, следует ли использовать имеющуюся среду Python или среду Conda, созданную из спецификации. Доступ к другим классам конфигурации в модуле осуществляется с помощью RunConfiguration. |
script_run |
Содержит функциональные возможности для управления отправленными обучающими запусками в Машинном обучении Azure. |
script_run_config |
Содержит функциональные возможности для управления конфигурацией отправки обучающих запусков в Машинном обучении Azure. |
util |
Содержит класс для указания уровня детализации ведения журнала. |
workspace |
Содержит функциональные возможности для управления рабочей областью — ресурсом верхнего уровня в Машинном обучении Azure. Этот модуль содержит класс Workspace и его методы и атрибуты, позволяющие управлять артефактами машинного обучения, такими как целевые объекты вычислений, среды, хранилища данных, эксперименты и модели. Рабочая область связана с подпиской Azure и группой ресурсов и является основным средством выставления счетов. Рабочие области поддерживают управление доступом на основе ролей (RBAC) Azure Resource Manager и соответствие регионам для всех данных машинного обучения, сохраненных в рабочей области. |
Классы
ComputeTarget |
Абстрактный родительский класс для всех целевых объектов вычислений, управляемых с помощью Машинного обучения Azure. Целевой объект вычислений — это назначенный вычислительный ресурс или среда для выполнения скрипта обучения или размещения развертываемой службы. Это может быть локальный компьютер или облачный ресурс вычислений. Дополнительные сведения см. в статье Целевые объекты вычислений в Машинном обучении Microsoft Azure. Конструктор ComputeTarget класса. Получение облачного представления объекта Вычислений, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующего конкретному типу извлеченного вычислительного объекта. |
ContainerRegistry |
Определяет подключение к Реестру контейнеров Azure. Конструктор ContainerRegistry класса. |
Dataset |
Представляет ресурс для изучения, преобразования и администрирования данных в Машинном обучении Azure. Набор данных — это ссылка на данные в Datastore или в расположениях по общедоступным URL-адресам. Улучшенные интерфейсы API для нерекомендуемых методов в этом классе см. в описании класса AbstractDataset. Поддерживаются следующие типы наборов данных:
Сведения о начале работы с наборами данных см. в статье "Добавление и регистрация наборов данных" или просмотр записных https://aka.ms/tabulardataset-samplenotebook книжек и https://aka.ms/filedataset-samplenotebook. Инициализация объекта набора данных. Чтобы получить набор данных, который уже зарегистрирован в рабочей области, используйте метод get. |
Datastore |
Представляет абстракцию хранилища для учетной записи хранения Машинного обучения Azure. Хранилища данных подключаются к рабочим областям и используются для хранения сведений о подключении к службам хранилища Azure, чтобы можно было ссылаться на них по имени, не запоминая сведения о подключении и секреты, используемые для подключения к службам хранилища. Примеры поддерживаемых служб хранилища Azure, которые можно зарегистрировать в качестве хранилищ данных:
Этот класс используется для выполнения операций управления, включая регистрацию, вывод списка, получение и удаление хранилищ данных.
Хранилища данных для каждой службы создаются с помощью методов Дополнительные сведения о хранилищах данных и способах их использования в машинном обучении см. в следующих статьях: Возвращает хранилище данных по имени. Этот вызов выполнит запрос к службе хранилища данных. |
Environment |
Настраивает воспроизводимую среду Python для экспериментов с машинным обучением. Среда определяет пакеты Python, переменные среды и параметры Docker, используемые в экспериментах машинного обучения, включая подготовку данных, обучение и развертывание в веб-службе. Управление средой и ее версиями осуществляется в Машинном обучении Azure Workspace. Вы можете обновить существующую среду и получить версию для повторного использования. Среды являются уникальными для рабочей области, в которой они созданы, и не могут быть использованы в других рабочих областях. Дополнительные сведения о средах см. в статье Создание повторно используемых сред и управление ими. Конструктор среды класса. |
Experiment |
Представляет главную точку входа для создания экспериментов в Машинном обучении Azure и работы с ними. Эксперимент — это контейнер пробных попыток, которые представляют собой многократные запуски модели. Конструктор экспериментов. |
Image |
Определяет абстрактный родительский класс для образов Машинного обучения Azure. Не рекомендуется использовать этот класс. Используйте вместо этого класс Environment. Конструктор изображений. Не рекомендуется использовать этот класс. Используйте вместо этого класс Environment. Конструктор изображений используется для получения облачного представления объекта Image, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующего конкретному типу извлеченного объекта Image. |
Keyvault |
Управляет секретами, которые хранятся в Azure Key Vault, связанном с рабочей областью Машинного обучения Azure. С каждой рабочей областью Машинного обучение Azure связано Azure Key Vault. Класс Keyvault — это упрощенная программа-оболочка Azure Key Vault, которая позволяет управлять секретами в хранилище ключей, в том числе настраивать, извлекать, удалять и перечислять секреты. Используйте класс Keyvault, чтобы безопасно передавать секреты для удаленного выполнения без предоставления конфиденциальной информации в виде открытого текста. Дополнительные сведения приведены в статье Использование секретов в обучающих прогонах. Конструктор Keyvault класса. |
LinkedService |
Примечание. Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental. Определяет ресурс для управления связыванием рабочей области AML с другими службами в Azure. Инициализировать объект LinkedService. |
Model |
Представляет результат обучающих прогонов машинного обучения. Модель — это результат обучающего прогона машинного обучения Azure Run или другого процесса обучения модели за пределами Azure. Независимо от того, как создается модель, ее можно зарегистрировать в рабочей области, где она будет представлена с помощью имени и версии. С помощью класса модели можно упаковывать модели для использования с Docker, развертывать их в качестве конечной точки для прогнозирования в реальном времени и использовать эту точку для запросов на вывод. Полное руководство по созданию и использованию моделей и управлению ими см. в статье Обучение модели классификации изображений с помощью данных MNIST и моделей scikit-learn, использующих Машинное обучение Microsoft Azure. Конструктор модели. Конструктор модели используется для получения облачного представления объекта Model, связанного с предоставленной рабочей областью. Должен указать имя или идентификатор. |
PrivateEndPoint |
Определяет частную конечную точку для управления подключениями к частным конечным точкам, связанным с рабочей областью Azure ML. Инициализация PrivateEndPoint. |
PrivateEndPointConfig |
Определяет конфигурацию для частной конечной точки Azure. Частная конечная точка Azure — это сетевой интерфейс, обеспечивающий защищенное частное подключение к рабочей области Azure ML на базе Приватного канала. Инициализация PrivateEndPointConfig. |
Run |
Определяет базовый класс для всех выполнений экспериментов Машинного обучения Azure. Выполнение представляет собой одну попытку запуска эксперимента. Выполнения используются для наблюдения за асинхронной реализацией попытки, записи метрик журнала и хранения выходных данных попытки, а также для анализа результатов и доступа к артефактам, формируемым в ходе попытки. Объекты выполнения создаются при отправке скрипта для обучения модели во множестве различных сценариев Машинного обучения Azure, в том числе при выполнении HyperDrive, конвейера и AutoML. Объект запуска также создается при использовании submit или start_logging с классом Experiment. Сведения о том, как приступить к работе с экспериментами и запусками, приведены в следующих статьях: Инициализация объекта Run. |
RunConfiguration |
Представляет конфигурацию для выполнений экспериментов, предназначенных для различных целевых объектов вычислений в Машинном обучении Azure. Объект RunConfiguration инкапсулирует сведения, необходимые для отправки обучающего выполнения в эксперименте. Как правило, объект RunConfiguration не создается напрямую, но берется из метода, возвращающего его, например, метода submit класса Experiment. RunConfiguration — это конфигурация базовой среды, которая также используется в других видах действий по настройке, которые зависят от запускаемого типа выполнения. Например, при настройке PythonScriptStep можно получить доступ к объекту RunConfiguration этапа и настроить зависимости Conda или получить доступ к свойствам среды для выполнения. Примеры конфигураций запусков приведены в статье Настройка целевых объектов вычислений для обучения моделей. Инициализация RunConfiguration с параметрами по умолчанию. |
ScriptRun |
Предоставляет программный доступ для управления отправленными запусками обучения. Выполнение, отправленное с помощью ScriptRunConfig, представляет одну попытку выполнения эксперимента. При отправке запуска возвращается объект ScriptRun, который можно использовать для наблюдения за асинхронным выполнением запуска, метрик журнала и хранения выходных данных запуска, а также для анализа результатов и доступа к артефактам, созданным при запуске. Чтобы начать работу с экспериментами и объектом ScriptRunConf, см. следующие статьи: Конструктор ScriptRun класса. |
ScriptRunConfig |
Представляет сведения о конфигурации для отправки обучающего запуска в Машинном обучении Azure. ScriptRunConfig добавляет в пакет сведения о конфигурации, необходимые для отправки выполнения в Azure ML, включая скрипт, целевой объект вычислений, среду и все конфигурации, относящиеся к распределенному заданию. После настройки и отправки выполнения скрипта с помощью метода submit возвращается объект ScriptRun. Конструктор ScriptRunConfig класса. |
SynapseWorkspaceLinkedServiceConfiguration |
Примечание. Это экспериментальный класс, который может быть изменен в любое время. Дополнительные сведения см. по адресу https://aka.ms/azuremlexperimental. Определяет конфигурацию связанной службы для связывания рабочей области Synapse. Инициализировать объект SynapseWorkspaceLinkedServiceConfiguration. |
Webservice |
Определяет базовые функции для развертывания моделей в качестве конечных точек веб-службы в Машинном обучении Azure. Конструктор веб-служб используется для получения облачного представления веб-службы, связанного с указанной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу полученного объекта веб-службы. Класс WebService позволяет развертывать модели машинного обучения из объекта Model или Image. Дополнительные сведения о работе с классом WebService см. в статье Развертывание моделей в Машинном обучении Azure. Инициализация экземпляра веб-службы. Конструктор веб-службы получает облачное представление объекта веб-службы, связанного с предоставленной рабочей областью. Он вернет экземпляр дочернего класса, соответствующего конкретному типу извлеченного объекта веб-службы. |
Workspace |
Определяет ресурс Машинного обучения Azure для управления артефактами обучения и развертывания. Рабочая область — это фундаментальный ресурс для машинного обучения в Машинном обучении Azure. Рабочая область используется для экспериментов, обучения и развертывания моделей машинного обучения. Каждая рабочая область связана с подпиской Azure и группой ресурсов и имеет соответствующий номер SKU. Дополнительные сведения о рабочих областях приведены в статьях: Конструктор рабочей области класса для загрузки существующей рабочей области Машинное обучение Azure. |
diagnostic_log |
Направляет журналы отладки в указанный файл. |
Функции
attach_legacy_compute_target
Подключает целевой объект вычислений к этому проекту.
attach_legacy_compute_target(experiment, source_directory, compute_target)
Параметры
Имя | Описание |
---|---|
experiment
Обязательно
|
|
source_directory
Обязательно
|
|
compute_target
Обязательно
|
Целевой объект вычислений для подключения. |
Возвращаемое значение
Тип | Описание |
---|---|
None, если подключение выполнено успешно, в противном случае вызывает исключение. |
get_run
Возвращает запуск для этого эксперимента с его идентификатором запуска.
get_run(experiment, run_id, rehydrate=True, clean_up=True)
Параметры
Имя | Описание |
---|---|
experiment
Обязательно
|
Содержащий эксперимент. |
run_id
Обязательно
|
Идентификатор выполнения. |
rehydrate
|
<xref:boolean>
Указывает, возвращен ли исходный объект запуска или базовый объект запуска. При значении True, эта функция возвращает исходный тип объекта запуска. Например, при запуске AutoML возвращается объект AutoMLRun, а при запуске HyperDrive возвращается объект HyperDriveRun. При значении False, функция возвращает объект Run. Default value: True
|
clean_up
|
Если значение true, вызов _register_kill_handler из run_base Default value: True
|
Возвращаемое значение
Тип | Описание |
---|---|
Отправленное выполнение. |
is_compute_target_prepared
Проверка подготовки целевого объекта вычислений.
Проверяет, был ли целевой объект вычислений, указанный в run_config, уже подготовлен, или он отсутствует для указанной конфигурации запуска.
is_compute_target_prepared(experiment, source_directory, run_config)
Параметры
Имя | Описание |
---|---|
experiment
Обязательно
|
|
source_directory
Обязательно
|
|
run_config
Обязательно
|
str или
RunConfiguration
Конфигурация запуска. Это может быть имя конфигурации запуска в качестве строки или объект azureml.core.runconfig.RunConfiguration. |
Возвращаемое значение
Тип | Описание |
---|---|
Значение True, если целевой объект вычислений подготовлен. |
prepare_compute_target
Подготовка целевого объекта вычислений.
Устанавливает все необходимые пакеты для запуска эксперимента на основе run_config и custom_run_config.
prepare_compute_target(experiment, source_directory, run_config)
Параметры
Имя | Описание |
---|---|
experiment
Обязательно
|
|
source_directory
Обязательно
|
|
run_config
Обязательно
|
str или
RunConfiguration
Конфигурация запуска. Это может быть имя конфигурации запуска в качестве строки или объект azureml.core.runconfig.RunConfiguration. |
Возвращаемое значение
Тип | Описание |
---|---|
Объект запуска |
remove_legacy_compute_target
Удаление целевого объекта вычислений из проекта.
remove_legacy_compute_target(experiment, source_directory, compute_target_name)
Параметры
Имя | Описание |
---|---|
experiment
Обязательно
|
|
source_directory
Обязательно
|
|
compute_target_name
Обязательно
|
|
Возвращаемое значение
Тип | Описание |
---|---|
None, если удаление целевого объекта вычислений выполнено успешно, в противном случае вызывает исключение. |