Упаковка и развертывание моделей вне Машинное обучение Azure (предварительная версия)

Статья
09/02/2024

Модели можно развертывать вне Машинное обучение Azure для онлайн-обслуживания, создавая пакеты моделей (предварительная версия). Машинное обучение Azure позволяет создать пакет модели, который собирает все зависимости, необходимые для развертывания модели машинного обучения на служебной платформе. Пакет модели можно перемещать между рабочими областями и даже за пределами Машинное обучение Azure. Дополнительные сведения о пакетах моделей см. в статье "Пакеты модели" для развертывания (предварительная версия).

Внимание

Эта функция сейчас доступна в виде общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Ее не следует использовать для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены.

Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

В этой статье вы узнаете, как упаковать модель и развернуть ее в службе приложение Azure.

Необходимые компоненты

Перед выполнением действий, описанных в этой статье, убедитесь, что выполнены следующие необходимые условия:

Подписка Azure. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись, прежде чем начинать работу. Попробуйте бесплатную или платную версию Машинного обучения Azure.
Рабочая область Машинного обучения Azure. Если у вас нет одного, выполните действия, описанные в статье "Управление рабочими областями ", чтобы создать ее.

Примечание.

Рабочие области с поддержкой приватного канала не поддерживают модели упаковки для развертывания за пределами Машинное обучение Azure.
Управление доступом на основе ролей Azure (Azure RBAC) используется для предоставления доступа к операциям в Машинном обучении Azure. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена роль владельца или участника для рабочей области Машинное обучение Azure или настраиваемой роли. Дополнительные сведения см. в статье Управление доступом к рабочей области Машинного обучения Azure.

Подготовка системы

Выполните следующие действия, чтобы подготовить систему.

Пример в этой статье основан на примерах кода, содержащихся в репозитории azureml-examples . Чтобы выполнить команды локально без необходимости копирования и вставки YAML и других файлов, сначала клонируйте репозиторий, а затем измените каталоги в папку:
- Azure CLI
- Python
```
git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli
```
```
!git clone https://github.com/Azure/azureml-examples --depth 1
!cd azureml-examples/sdk/python
```
В этой статье используется пример в конечных точках папки /online/deploy-with-packages/mlflow-model.
Подключитесь к рабочей области Машинное обучение Azure, где вы будете выполнять свою работу.
- Azure CLI
- Python
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>
```
Рабочая область — это ресурс верхнего уровня для Машинного обучения Azure, который обеспечивает централизованное расположение для работы со всеми артефактами, созданными в Машинном обучении Azure. Здесь вы подключаетесь к рабочей области, в которой выполняются задачи развертывания.

Внимание

Чтобы использовать эту предварительную версию, azure-ai-ml пакет должен быть обновлен до минимальной версии 1.12.0. Запустите pip install azure-ai-ml==1.12.0 в среде conda, чтобы убедиться, что установлен последний пакет SDK.
1. Импортируйте необходимые библиотеки:
```
from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import ManagedOnlineEndpoint, ManagedOnlineDeployment, Model
from azure.ai.ml.constants import AssetTypes
from azure.identity import DefaultAzureCredential
```
2. Если вы работаете в Машинное обучение Azure вычислительном экземпляре, создайте следующееMLClient:
```
ml_client = MLClient.from_config(DefaultAzureCredential())
```
  В противном случае настройте сведения о рабочей области и получите дескриптор рабочей области:
```
subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)
```
Пакеты требуют регистрации модели в рабочей области или в реестре Машинное обучение Azure. В этом примере в репозитории есть локальная копия модели, поэтому необходимо опубликовать модель только в реестре в рабочей области. Этот шаг можно пропустить, если модель, которую вы пытаетесь развернуть, уже зарегистрирована.
- Azure CLI
- Python
```
MODEL_NAME='heart-classifier-mlflow'
MODEL_PATH='model'
az ml model create --name $MODEL_NAME --path $MODEL_PATH --type mlflow_model
```
```
model_name = "heart-classifier-mlflow"
model_path = "model"

model = ml_client.models.create_or_update(
    Model(name=model_name, path=model_path, type=AssetTypes.MLFLOW_MODEL)
)
```

Развертывание пакета модели в службе приложение Azure

В этом разделе описано, как упаковать ранее зарегистрированную модель MLflow и развернуть ее в службе приложение Azure.

Для развертывания модели за пределами Машинное обучение Azure требуется создать спецификацию пакета. Чтобы создать пакет, который полностью отключен от Машинное обучение Azure, укажите copy режим в конфигурации модели. Режим copy сообщает пакету, чтобы скопировать артефакты внутри пакета. В следующем коде показано, как указать режим копирования для конфигурации модели:
- Azure CLI
- Python
Создайте спецификацию YAML пакета:

package-external.yml
```
$schema: http://azureml/sdk-2-0/ModelVersionPackage.json
target_environment: heart-classifier-mlflow-pkg
inferencing_server: 
    type: azureml_online
model_configuration:
    mode: copy
```
```
pakage_config = ModelPackage(
    target_environment="heart-classifier-mlflow-pkg",
    inferencing_server=AzureMLOnlineInferencingServer(),
    model_configuration=ModelConfiguration(mode="copy"),
)
```
Совет

При указании конфигурации модели, используемой copy для свойства режима, вы гарантируете, что все артефакты модели копируются внутри созданного образа Docker, а не скачиваются из реестра моделей Машинное обучение Azure, что позволяет обеспечить истинную переносимость за пределами Машинное обучение Azure. Полная спецификация всех параметров при создании пакетов см. в статье "Создание спецификации пакета".

Запустите операцию пакета.

Azure CLI
Python

az ml model package --name $MODEL_NAME --version $MODEL_VERSION --file package-external.yml

model_package = ml_client.models.package(model_name, model.version, pakage_config)

Результатом операции пакета является среда в Машинное обучение Azure. Преимуществом этой среды является то, что каждая среда имеет соответствующий образ Docker, который можно использовать во внешнем развертывании. Изображения размещаются в Реестр контейнеров Azure. Ниже показано, как получить имя созданного образа:
1. Перейдите в Студию машинного обучения Azure.
2. Выберите раздел "Среды".
3. Выберите вкладку Настраиваемые среды.
4. Найдите среду с именем heart-classifier-mlflow-package, которая является именем только что созданного пакета.
5. Скопируйте значение, которое находится в поле реестра контейнеров Azure.
Теперь разверните этот пакет в Служба приложений.
1. Перейдите к портал Azure и создайте новый ресурс Служба приложений.
2. В мастере создания выберите подписку и группу ресурсов, которую вы используете.
3. В разделе сведений об экземпляре присвойте приложению имя.
4. Для публикации выберите контейнер Docker.
5. Для операционной системы выберите Linux.
6. Настройте остальную часть страницы при необходимости и нажмите кнопку "Далее".
7. Перейдите на вкладку Docker .
8. В разделе "Параметры" выберите один контейнер.
9. Для источника изображения выберите Реестр контейнеров Azure.
10. Настройте параметры реестра контейнеров Azure следующим образом:
  1. Для реестра выберите Реестр контейнеров Azure, связанные с рабочей областью Машинное обучение Azure.
  2. Для изображения выберите изображение, которое вы нашли на шаге 3(e) этого руководства.
  3. Для тега выберите последнюю версию.
11. Настройте остальную часть мастера по мере необходимости.
12. Нажмите кнопку создания. Модель теперь развертывается в созданном Служба приложений.
13. Способ вызова и получения прогнозов зависит от используемого сервера вывода. В этом примере использовался сервер вывода Машинное обучение Azure, который создает прогнозы в маршруте/score. Дополнительные сведения о входных форматах и функциях см. в сведениях о пакете azureml-inference-server-http.
14. Подготовьте полезные данные запроса. Формат модели MLflow, развернутой с Машинное обучение Azure сервером вывода, выглядит следующим образом:
  
  sample-request.json
```
{
    "input_data": {
        "columns": [
            "age", "sex", "cp", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 4, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}
```
15. Проверьте развертывание модели, чтобы узнать, работает ли она.
```
cat -A sample-request.json | curl http://heart-classifier-mlflow-pkg.azurewebsites.net/score \
    --request POST \
    --header 'Content-Type: application/json' \
    --data-binary @-
```

Следующий шаг

Пакеты моделей для развертывания (предварительная версия)

Поделиться через

Упаковка и развертывание моделей вне Машинное обучение Azure (предварительная версия)

Необходимые компоненты

Подготовка системы

Развертывание пакета модели в службе приложение Azure

Следующий шаг

Обратная связь

Дополнительные ресурсы