Поделиться через

Управление рабочими областями Машинного обучения Azure с помощью расширения для Azure CLI (версия 1)

  • Статья

ОБЛАСТЬ ПРИМЕНЕНИЯ: расширение машинного обучения Azure CLI версии 1

Внимание

Для использования некоторых команд Azure CLI, приведенных в этой статье, используйте расширение azure-cli-ml (версия 1) для Машинного обучения Azure. Поддержка расширения версии 1 будет прекращена 30 сентября 2025 г. Вы можете установить и использовать расширение версии 1 до этой даты.

Рекомендуется перейти на расширение ml (версия 2) до 30 сентября 2025 г. Дополнительные сведения о расширении версии 2 см. на странице расширения CLI для Azure ML и пакета SDK для Python версии 2.

Из этой статьи вы узнаете, как создавать рабочие области Машинного обучения Azure и управлять ими с помощью интерфейса командной строки Azure. Интерфейс командной строки Azure предоставляет команды для управления ресурсами Azure и призван помочь вам быстро приступить к работе с Azure, используя возможности автоматизации. Расширение машинного обучения для интерфейса командной строки (CLI) предоставляет команды для работы с ресурсами Машинного обучения Azure.

Необходимые компоненты

Ограничения

  • При создании новой рабочей области можно автоматически создавать службы, необходимые рабочей области, или использовать существующие службы. Если вы хотите использовать существующие службы из подписки Azure, отличной от рабочей области, необходимо зарегистрировать пространство имен Машинного обучения Azure в подписке, которая содержит эти службы. Например, если вы создаете рабочую область в подписке A, использующую учетную запись хранения в подписке B, пространство имен Машинное обучение Azure необходимо зарегистрировать в подписке B, прежде чем рабочая область сможет использовать учетную запись хранения.

    Поставщик ресурсов для Машинного обучения Azure — Microsoft.MachineLearningServices. Сведения о том, зарегистрировано ли оно или зарегистрировано, см. в разделе поставщиков ресурсов и типов Azure.

    Внимание

    Эта информация применяется только к ресурсам, предоставляемым во время создания рабочей области: учетные записи служба хранилища Azure, Реестр контейнеров Azure, Azure Key Vault и Application Insights.

Совет

Экземпляр Azure Application Insights создается при создании рабочей области. При необходимости экземпляр Application Insights можно удалить после создания кластера. Удаление ограничивает сведения, собранные из рабочей области, и может оказаться более сложным для устранения неполадок. При удалении экземпляра Application Insights, созданного рабочей областью, единственным способом ее повторного создания является удаление и повторное создание рабочей области.

Дополнительные сведения об использовании экземпляра Application Insights см. в статье "Мониторинг и сбор данных из Машинное обучение конечных точек веб-службы".

Безопасный обмен данными в CLI

Некоторые команды Azure CLI взаимодействуют с Azure Resource Manager через Интернет. Этот обмен данными защищается с использованием протоколов HTTPS/TLS 1.2.

В расширении CLI для Машинного обучения Azure версии 1 (azure-cli-ml) только некоторые команды взаимодействуют с Azure Resource Manager. В частности, это команды для создания, обновления, удаления, перечисления и отображения ресурсов Azure. Такие операции, как отправка задания обучения напрямую взаимодействуют с рабочей областью Машинного обучения Azure. Если рабочая область защищена с помощью частной конечной точки, этого достаточно для защиты команд, предоставляемых расширением azure-cli-ml.

Подключение интерфейса командной строки к своей подписке Azure

Внимание

Если вы используете Azure Cloud Shell, этот раздел можно пропустить. Cloud Shell автоматически выполняет аутентификацию, используя учетную запись, с помощью которой вы вошли в подписку Azure.

Существует несколько способов проверки подлинности в подписке Azure с помощью интерфейса командной строки. Самый простой — выполнить интерактивную аутентификацию с помощью браузера. Чтобы выполнить аутентификацию в интерактивном режиме, откройте командную строку или терминал и выполните следующую команду:

az login

Если CLI сможет запустить браузер по умолчанию, он откроет в браузере страницу входа. Или откройте браузер и выполните инструкции из командной строки. В инструкции входит переход к https://aka.ms/devicelogin и ввод кода авторизации.

Совет

После входа вы увидите список подписок, связанных с вашей учетной записью Azure. В сведениях о подписке с isDefault: true указана текущая активная подписка для команд Azure CLI. Эта подписка должна быть той же, которая содержит рабочую область Машинного обучения Azure. Сведения о подписке можно найти на странице обзора рабочей области в портал Azure.

Чтобы выбрать другую подписку для команд Azure CLI, выполните az account set -s <subscription> команду и укажите имя подписки или идентификатор для переключения. См. дополнительные сведения о выборе нужной подписки при использовании нескольких подписок Azure.

Другие методы аутентификации см. в статье Вход с помощью Azure CLI.

Создание или изменение группы ресурсов

Рабочая область Машинного обучения Azure должна создаваться внутри группы ресурсов. Вы можете выбрать существующую группу ресурсов или создать новую. Выполните следующую команду, чтобы создать новую группу ресурсов. Замените <resource-group-name> именем, которое будет использоваться для этой группы ресурсов. Замените <location> регионом Azure, который будет использоваться для этой группы ресурсов:

Примечание.

Необходимо выбрать регион, в котором доступно Машинное обучение Azure. Дополнительные сведения см. в статье Доступность продуктов по регионам.

az group create --name <resource-group-name> --location <location>

Отклик на эту команду будет похож на приведенный ниже код JSON. Вы можете использовать выходные значения, чтобы найти созданные ресурсы или проанализировать их как входные данные на последующих этапах CLI для автоматизации.

{
  "id": "/subscriptions/<subscription-GUID>/resourceGroups/<resourcegroupname>",
  "location": "<location>",
  "managedBy": null,
  "name": "<resource-group-name>",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": null
}

Дополнительные сведения о работе с группами ресурсов см. в разделе az group.

Создание рабочей области

При развертывании рабочей области Машинного обучения Azure необходим ряд других служб в качестве зависимых связанных ресурсов. При использовании CLI для создания рабочей области интерфейс командной строки может создавать новые связанные ресурсы от вашего имени, но вы также можете приложить существующие ресурсы.

Внимание

При присоединении собственной учетной записи хранения убедитесь, что она соответствует следующим критериям:

  • Учетная запись хранения не является учетной записью "Премиум" (Premium_LRS и Premium_GRS)
  • Включены как BLOB-объекты Azure, так и функции файлов Azure
  • Иерархическое пространство имен (ADLS 2-го поколения) отключено. Эти требования относятся только к учетной записи хранения, используемой рабочей областью по умолчанию.

При подключении реестра контейнеров Azure необходимо включить учетную запись администратора перед использованием реестра контейнеров с рабочей областью Машинного обучения Azure.

Чтобы создать новую рабочую область, в которой службы создаются автоматически, используйте следующую команду:

az ml workspace create -w <workspace-name> -g <resource-group-name>

Внимание

При подключении имеющихся ресурсов не требуется указывать все данные. Можно указать один или несколько. Например, можно указать существующую учетную запись хранения, и рабочая область создаст остальные ресурсы.

Выходные данные команды для создания рабочей области подобны приведенному ниже коду JSON. Вы можете использовать выходные значения, чтобы найти созданные ресурсы или проанализировать их как выходные данные для последующих этапов CLI.

{
  "applicationInsights": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.insights/components/<application-insight-name>",
  "containerRegistry": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.containerregistry/registries/<acr-name>",
  "creationTime": "2019-08-30T20:24:19.6984254+00:00",
  "description": "",
  "friendlyName": "<workspace-name>",
  "id": "/subscriptions/<service-GUID>/resourceGroups/<resource-group-name>/providers/Microsoft.MachineLearningServices/workspaces/<workspace-name>",
  "identityPrincipalId": "<GUID>",
  "identityTenantId": "<GUID>",
  "identityType": "SystemAssigned",
  "keyVault": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.keyvault/vaults/<key-vault-name>",
  "location": "<location>",
  "name": "<workspace-name>",
  "resourceGroup": "<resource-group-name>",
  "storageAccount": "/subscriptions/<service-GUID>/resourcegroups/<resource-group-name>/providers/microsoft.storage/storageaccounts/<storage-account-name>",
  "type": "Microsoft.MachineLearningServices/workspaces",
  "workspaceid": "<GUID>"
}

Расширенные конфигурации

Настройка рабочей области для подключения к частной сети

В зависимости от варианта использования и требований организации, вы можете настроить Машинное обучение Azure с подключением к частной сети. С помощью Azure CLI можно развернуть рабочую область и конечную точку приватного канала для ресурса рабочей области. Дополнительные сведения об использовании частной конечной точки и виртуальной сети с рабочей областью см. в разделе Общие сведения об изоляции виртуальной сети и конфиденциальности. Для сложных конфигураций ресурсов также можно использовать варианты развертывания на основе шаблонов, в том числе Azure Resource Manager.

Если вы хотите, чтобы рабочая область была доступа только из определенной виртуальной сети, можно использовать приведенные ниже параметры в команде az ml workspace create или использовать команды az ml workspace private-endpoint.

az ml workspace create -w <workspace-name>
                       -g <resource-group-name>
                       --pe-name "<pe name>"
                       --pe-auto-approval "<pe-autoapproval>"
                       --pe-resource-group "<pe name>"
                       --pe-vnet-name "<pe name>"
                       --pe-subnet-name "<pe name>"
  • --pe-name — имя создаваемой частной конечной точки.
  • --pe-auto-approval — следует ли автоматически утверждать подключения частной конечной точки к рабочей области.
  • --pe-resource-group — группа ресурсов, в которой следует создать частную конечную точку. Должна быть той же группой, которая содержит виртуальную сеть.
  • --pe-vnet-name — существующая виртуальная сеть, в которой следует создать частную конечную точку.
  • --pe-subnet-name — имя подсети, в которой следует создать частную конечную точку. Значение по умолчанию — default.

Дополнительные сведения о том, как использовать эти команды, см. на страницах справки по CLI.

Управляемый клиентом ключ и рабочая область с сильным влиянием на организацию

По умолчанию метаданные для рабочей области хранятся в экземпляре Azure Cosmos DB, который обслуживается Майкрософт. Эти данные шифруются с помощью ключей, управляемых Майкрософт. Вместо ключа, управляемого корпорацией Майкрософт, также можно использовать собственный ключ. При этом в подписке Azure будет создан дополнительный набор ресурсов для хранения данных.

Дополнительные сведения о ресурсах, создаваемых при использовании собственного ключа для шифрования, см. в статье Шифрование данных в Машинном обучении Azure.

В параметре --cmk-keyvault укажите хранилище Azure Key Vault, содержащее ключ, а в параметре --resource-cmk-uri — идентификатор ресурса и URI ключа в хранилище.

Чтобы ограничить сбор данных корпорацией Майкрософт в своей рабочей области, вы также можете указать параметр --hbi-workspace.

az ml workspace create -w <workspace-name>
                       -g <resource-group-name>
                       --cmk-keyvault "<cmk keyvault name>"
                       --resource-cmk-uri "<resource cmk uri>"
                       --hbi-workspace

Примечание.

Авторизуйте приложение Машинного обучения (в службе управления удостоверениями и доступом) с разрешениями участника в вашей подписке, чтобы управлять дополнительными ресурсами шифрования данных.

Примечание.

Azure Cosmos DB не используется для хранения таких сведений, как показатели производительности модели, данные, регистрируемые экспериментами, или сведения, зарегистрированные в процессе развертывания модели. Дополнительные сведения о мониторинге этих элементов см. в разделе Мониторинг и ведение журнала статьи об архитектуре и основных понятиях.

Внимание

Выбрать параметр сильного влияния на организацию можно только при создании рабочей области. После создания рабочей области изменить этот параметр нельзя.

Дополнительные сведения о ключах, управляемых клиентом, и рабочей области с сильным влиянием на организацию см. в статье Корпоративная безопасность для Машинного обучения Azure.

Управление рабочими областями с помощью CLI

Получение сведений о рабочей области

Чтобы получить сведения о рабочей области, используйте следующую команду:

az ml workspace show -w <workspace-name> -g <resource-group-name>

Обновление рабочей области

Обновите рабочую область с помощью следующей команды:

az ml workspace update -n <workspace-name> -g <resource-group-name>

Ключи синхронизации для зависимых ресурсов

Если изменить ключи доступа для одного из ресурсов, используемых рабочей областью, для синхронизации рабочей области с новым ключом потребуется около часа. Чтобы заставить рабочую область синхронизироваться с новым ключом немедленно, выполните следующую команду:

az ml workspace sync-keys -w <workspace-name> -g <resource-group-name>

Дополнительные сведения об изменении ключей см. в разделе Повторное создание ключей доступа к хранилищу.

Удаление рабочей области

Предупреждение

Если обратимое удаление включено для рабочей области, его можно восстановить после удаления. Если обратимое удаление не включено или вы выбираете параметр для окончательного удаления рабочей области, его невозможно восстановить. Дополнительные сведения см. в разделе "Восстановление удаленной рабочей области".

Чтобы удалить рабочую область, когда она больше не нужна, используйте следующую команду:

az ml workspace delete -w <workspace-name> -g <resource-group-name>

Внимание

При удалении рабочей области не удаляется Application Insights, учетная запись хранения, хранилище ключей или реестр контейнеров, используемые рабочей областью.

Вы можете удалить группу ресурсов. При этом будет удалена рабочая область и все остальные ресурсы Azure из этой группы ресурсов. Чтобы удалить группу ресурсов, используйте следующую команду:

az group delete -g <resource-group-name>

Совет

Поведение по умолчанию для Машинное обучение Azure заключается в обратимом удалении рабочей области. Это означает, что рабочая область не сразу удаляется, но вместо этого помечается для удаления. Дополнительные сведения см. в статье "Обратимое удаление".

Устранение неполадок

Ошибки поставщика ресурсов

При создании рабочей области машинного обучения Azure или ресурса, используемого рабочей областью, может появиться сообщение об ошибке, аналогичное приведенному ниже.

  • No registered resource provider found for location {location}
  • The subscription is not registered to use namespace {resource-provider-namespace}

Многие, но не все поставщики ресурсов регистрируются автоматически. При появлении этого сообщения необходимо зарегистрировать упомянутый поставщик.

В следующей таблице содержится список поставщиков ресурсов, необходимых для Машинного обучения Azure:

Поставщик ресурсов Роль
Microsoft.MachineLearningServices Создание рабочей области машинного обучения Azure.
Microsoft.Storage Учетная запись службы хранилища Azure используется в качестве хранилища данных по умолчанию для рабочей области.
Microsoft.ContainerRegistry Реестр контейнеров Azure используется рабочей областью для создания образов Docker.
Microsoft.KeyVault Azure Key Vault используется рабочей областью для хранения секретов.
Microsoft.Notebooks Интегрированные записные книжки в вычислительном экземпляре машинного обучения Azure.
Microsoft.ContainerService Если вы планируете развертывать обученные модели в службах Azure Kubernetes.

Если вы планируете использовать ключ, управляемый клиентом, для машинного обучения Azure, необходимо зарегистрировать следующих поставщиков услуг:

Поставщик ресурсов Роль
Microsoft.DocumentDB Экземпляр Azure CosmosDB, который регистрирует метаданные для рабочей области.
Microsoft.Search Служба "Поиск Azure" предоставляет возможности индексирования для рабочей области.

Если вы планируете использовать управляемую виртуальную сеть с Машинное обучение Azure, необходимо зарегистрировать поставщика ресурсов Microsoft.Network. Этот поставщик ресурсов используется рабочей областью при создании частных конечных точек для управляемой виртуальной сети.

Сведения о регистрации поставщиков ресурсов см. в статье Устранение ошибок регистрации поставщика ресурсов.

Перемещение рабочей области

Предупреждение

Перемещение рабочей области Машинного обучения Azure в другую подписку или перемещение главной подписки на новый клиент не поддерживается. Это может привести к ошибкам.

Удаление Реестра контейнеров Azure

Для некоторых операций в рабочей области Машинного обучения Azure используется реестр контейнеров Azure (ACR) Он автоматически создает экземпляр ACR при необходимости.

Предупреждение

После создания Реестр контейнеров Azure для рабочей области не удаляйте его. Это нарушает рабочую область Машинное обучение Azure.

Следующие шаги

Дополнительные сведения о расширении Azure CLI для машинного обучения см. в документации по az ml (версия 1).

Чтобы проверить наличие проблем с рабочей областью, обратитесь к статье Использование диагностики для рабочей области.

Чтобы узнать, как переместить рабочую область в новую подписку Azure, обратитесь к статье Как переместить рабочую область.

Сведения о том, как поддерживать Машинное обучение Azure актуальности последних обновлений системы безопасности, см. в разделе "Управление уязвимостями".