Развертывание моделей в качестве конечных точек API без сервера

Статья
09/02/2024

В этой статье вы узнаете, как развернуть модель из каталога моделей в качестве бессерверного API с выставлением счетов по мере использования маркеров.

Некоторые модели в каталоге моделей можно развернуть как бессерверный API с выставлением счетов по мере использования. Такой тип развертывания позволяет использовать модели в качестве API без размещения их в подписке, сохраняя корпоративную безопасность и соответствие требованиям, необходимым организациям. Этот параметр развертывания не требует квоты из подписки.

В этой статье используется развертывание модели Meta Llama для иллюстрации. Однако для развертывания любой модели в каталоге моделей, доступных для развертывания бессерверного API, можно использовать те же действия.

Необходимые компоненты

Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.
Рабочая область Машинного обучения Azure.
Управление доступом на основе ролей Azure (Azure RBAC) используется для предоставления доступа к операциям в Машинном обучении Azure. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена роли разработчика ИИ Azure в группе ресурсов. Дополнительные сведения о разрешениях см. в разделе "Управление доступом на основе ролей" в Машинное обучение Azure.
Для работы с Машинное обучение Azure необходимо установить следующее программное обеспечение:
Вы можете использовать любой совместимый веб-браузер для навигации Машинное обучение Azure.
Azure CLI и расширение ml для Машинное обучение Azure.
```
az extension add -n ml
```
Если у вас уже установлено расширение, убедитесь, что установлена последняя версия.
```
az extension update -n ml
```
После установки расширения настройте его:
```
az account set --subscription <subscription>
az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
```
Установите пакет SDK Машинное обучение Azure для Python.
```
pip install -U azure-ai-ml
```
После установки импортируйте необходимые пространства имен и создайте клиент, подключенный к рабочей области:
```
from azure.ai.ml import MLClient
from azure.identity import InteractiveBrowserCredential
from azure.ai.ml.entities import MarketplaceSubscription, ServerlessEndpoint

client = MLClient(
    credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
    subscription_id="<subscription-id>",
    resource_group_name="<resource-group>",
    workspace_name="<workspace-name>",
)
```
Вы можете использовать любой совместимый веб-браузер для развертывания шаблонов ARM в Microsoft портал Azure или с помощью любого из средств развертывания. В этом руководстве используется Azure CLI.

Поиск модели и идентификатора модели в каталоге моделей

Войдите в Студию машинного обучения Azure
Для моделей, предлагаемых через Azure Marketplace, убедитесь, что у вашей учетной записи есть разрешения на роль разработчика ИИ Azure в группе ресурсов или вы соответствуете разрешениям, необходимым для подписки на предложения моделей.

Счета за модели, предоставляемые поставщиками, не являющихся майкрософт (например, модели Llama и Mistral) выставляются через Azure Marketplace. Для таких моделей необходимо подписать рабочую область на конкретное предложение модели. Модели, предлагаемые корпорацией Майкрософт (например, модели Phi-3), не имеют этого требования, так как выставление счетов выполняется по-разному. Дополнительные сведения о выставлении счетов за бессерверное развертывание моделей в каталоге моделей см. в разделе "Выставление счетов для бессерверных API".
Перейдите в рабочую область. Чтобы использовать предложение развертывания модели API без сервера, рабочая область должна принадлежать одному из регионов, которые поддерживаются для бессерверного развертывания для конкретной модели, которую требуется развернуть.
Выберите каталог моделей на левой боковой панели и найдите карточку модели, которую вы хотите развернуть. В этой статье вы выбираете модель Meta-Llama-3-8B-Instruct .
1. Если вы развертываете модель с помощью Azure CLI, пакета SDK для Python или ARM, скопируйте идентификатор модели.
Внимание

Не включайте версию при копировании идентификатора модели. Конечные точки API без сервера всегда развертывают последнюю версию модели. Например, для идентификатора azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3модели скопируйте azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

В следующем разделе рассматриваются действия по подписке рабочей области на предложение модели. Этот раздел можно пропустить и перейти к развертыванию модели в конечной точке бессерверного API, если вы развертываете модель Майкрософт.

Конечные точки API без сервера могут развертывать как предлагаемые корпорацией Майкрософт, так и не майкрософт модели. Для моделей Майкрософт (таких как модели Phi-3) вам не нужно создавать подписку Azure Marketplace и развертывать их в бессерверных конечных точках API непосредственно для использования прогнозов. Для моделей, отличных от Майкрософт, сначала необходимо создать подписку. Если вы впервые развертываете модель в рабочей области, необходимо подписать рабочую область для конкретной модели из Azure Marketplace. Каждая рабочая область имеет собственную подписку на конкретное предложение Azure Marketplace модели, что позволяет контролировать расходы и отслеживать расходы.

Примечание.

Модели, предлагаемые в Azure Marketplace, доступны для развертывания в конечных точках API без сервера в определенных регионах. Проверьте доступность регионов для моделей в конечных точках API без сервера, чтобы проверить, какие модели и регионы доступны. Если нужный объект не указан, можно развернуть в рабочей области в поддерживаемом регионе, а затем использовать конечные точки API без сервера из другой рабочей области.

Создайте подписку Marketplace модели. При создании подписки вы принимаете условия, связанные с предложением модели. Помните, что вам не нужно выполнять этот шаг для предлагаемых корпорацией Майкрософт моделей (например, Phi-3).
1. На странице сведений о модели выберите "Развернуть". Откроется окно параметров развертывания, предоставляющее выбор между бессерверным развертыванием API и развертыванием с помощью управляемых вычислений.
  
  Примечание.
  
  Для моделей, которые можно развернуть только с помощью бессерверного развертывания API, мастер развертывания бессерверных API открывается сразу после выбора " Развернуть " на странице сведений о модели.
2. Выберите бессерверный API с помощью azure AI Content Safety (предварительная версия), чтобы открыть мастер развертывания бессерверных API.
3. Установите флажок, чтобы подтвердить политику покупки Майкрософт.
4. Если вы видите заметку , у вас уже есть подписка Azure Marketplace для этой рабочей области, вам не нужно создавать подписку, так как у вас уже есть подписка. Вы можете перейти к развертыванию модели в конечной точке бессерверного API.
5. В мастере развертывания выберите ссылку на условия использования Azure Marketplace, чтобы узнать больше об условиях использования. Вы также можете выбрать вкладку "Цены и условия ", чтобы узнать о ценах для выбранной модели.
6. В мастере развертывания выберите ссылку на условия использования Azure Marketplace, чтобы узнать больше об условиях использования. Вы также можете выбрать вкладку сведений о предложении Marketplace, чтобы узнать о ценах на выбранную модель.
7. Выберите "Подписаться" и " Развернуть".
subscription.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Используйте файл subscription.yml для создания подписки:
```
az ml marketplace-subscription create -f subscription.yml
```
```
model_id="azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct"
subscription_name="Meta-Llama-3-8B-Instruct"

marketplace_subscription = MarketplaceSubscription(
    model_id=model_id,
    name=subscription_name,
)

marketplace_subscription = client.marketplace_subscriptions.begin_create_or_update(
    marketplace_subscription
).result()
```
Чтобы создать подписку модели, используйте следующий шаблон:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "subscription_name": {
            "defaultValue": "Meta-Llama-3-8B-Instruct",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/marketplaceSubscriptions",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('subscription_name'))]",
            "properties": {
                "modelId": "[parameters('model_id')]"
            }
        }
    ]
}
```
Подписавшись на рабочую область для конкретного предложения Azure Marketplace, последующие развертывания одного и того же предложения в той же рабочей области не требуют повторной подписки.
В любой момент вы можете просмотреть предложения модели, на которые в настоящее время подписана ваша рабочая область:
1. Перейдите на портал Azure.
2. Перейдите в группу ресурсов, в которой принадлежит рабочая область.
3. В фильтре типов выберите SaaS.
4. Вы увидите все предложения, на которые вы подписаны в настоящее время.
5. Выберите любой ресурс, чтобы просмотреть сведения.
```
az ml marketplace-subscription list
```
```
marketplace_sub_list = client.marketplace_subscriptions.list()

for sub in marketplace_sub_list:
    print(sub.as_dict())
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.SaaS']"
```

Развертывание модели в конечной точке бессерверного API

После создания подписки для модели, отличной от Майкрософт, можно развернуть связанную модель в конечной точке бессерверного API. Для моделей Майкрософт (например, моделей Phi-3) вам не нужно создавать подписку.

Конечная точка БЕССерверного API предоставляет способ использования моделей в качестве API без размещения их в подписке, при этом организации безопасности и соответствия требованиям предприятия требуются. Этот параметр развертывания не требует квоты из подписки.

В этом разделе описано, как создать конечную точку с именем meta-llama3-8b-qwerty.

Создание бессерверной конечной точки
1. Чтобы развернуть модель Майкрософт, которая не требует подписки на предложение модели, выберите "Развернуть", а затем выберите бессерверный API с помощью azure AI Content Safety (предварительная версия), чтобы открыть мастер развертывания.
2. Кроме того, для модели, отличной от Майкрософт, требующей подписки на модель, если вы только что подписали свою рабочую область на предложение модели в предыдущем разделе, перейдите к выбору "Развернуть". Кроме того, выберите "Продолжить развертывание " (если в мастере развертывания уже есть подписка Azure Marketplace для этой рабочей области).
3. Присвойте развертыванию имя. Это имя становится частью URL-адреса API развертывания. Этот URL-адрес должен быть уникальным в каждом регионе Azure.
  
  Совет
  
  Параметр фильтра содержимого (предварительная версия) включен по умолчанию. Оставьте параметр по умолчанию для службы, чтобы обнаружить вредное содержимое, например ненависть, самоповредение, сексуальное и насильственное содержимое. Дополнительные сведения о фильтрации содержимого (предварительная версия) см. в разделе "Безопасность содержимого" для моделей, развернутых с помощью бессерверных API.
4. Выберите Развернуть. Подождите, пока развертывание будет готово, и вы будете перенаправлены на страницу "Развертывания".
endpoint.yml
```
name: meta-llama3-8b-qwerty
model_id: azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
```
Используйте файл endpoint.yml для создания конечной точки:
```
az ml serverless-endpoint create -f endpoint.yml
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Чтобы создать конечную точку, используйте следующий шаблон:

template.json
```
{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "project_name": {
            "defaultValue": "my-project",
            "type": "String"
        },
        "endpoint_name": {
            "defaultValue": "meta-llama3-8b-qwerty",
            "type": "String"
        },
        "location": {
            "defaultValue": "eastus2",
            "type": "String"
        },
        "model_id": {
            "defaultValue": "azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct",
            "type": "String"
        }
    },
    "variables": {},
    "resources": [
        {
            "type": "Microsoft.MachineLearningServices/workspaces/serverlessEndpoints",
            "apiVersion": "2024-04-01",
            "name": "[concat(parameters('project_name'), '/', parameters('endpoint_name'))]",
            "location": "[parameters('location')]",
            "sku": {
                "name": "Consumption"
            },
            "properties": {
                "modelSettings": {
                    "modelId": "[parameters('model_id')]"
                }
            }
        }
    ]
}
```
Затем создайте развертывание:
```
az deployment group create \
    --name model-subscription-deployment \
    --resource-group <resource-group> \
    --template-file template.json
```
Обработка шаблона развертывания Azure может занять несколько минут. По завершении появится сообщение, содержащее результат:
```
"provisioningState": "Succeeded",
```
В любой момент можно увидеть конечные точки, развернутые в рабочей области:
1. Перейдите в рабочую область.
2. Выберите Конечные точки.
3. Перейдите на вкладку "Бессерверные конечные точки", чтобы отобразить конечные точки API без сервера.
```
az ml serverless-endpoint list
```
```
endpoint_name="meta-llama3-8b-qwerty"

serverless_endpoint = ServerlessEndpoint(
    name=endpoint_name,
    model_id=model_id
)

created_endpoint = client.serverless_endpoints.begin_create_or_update(
    serverless_endpoint
).result()
```
Средства управления ресурсами можно использовать для запроса ресурсов. В следующем коде используется Azure CLI:
```
az resource list \
    --query "[?type=='Microsoft.MachineLearningServices/workspaces/serverlessEndpoints']"
```
Созданная конечная точка использует проверку подлинности ключа для авторизации. Чтобы получить ключи, связанные с данной конечной точкой, выполните следующие действия.
1. Чтобы вернуться на страницу развертывания, выберите имя конечной точки из списка бессерверных конечных точек.
2. Обратите внимание на URI целевой конечной точки и ключ. Используйте их для вызова развертывания и создания прогнозов.
Примечание.

При использовании портал Azure конечные точки API без сервера не отображаются по умолчанию в группе ресурсов. Используйте параметр "Показать скрытые типы", чтобы отобразить их в группе ресурсов.
```
az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
```
```
endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
print(endpoint_keys.primary_key)
print(endpoint_keys.secondary_key)
```
Используйте REST API для запроса этих сведений.
На этом этапе ваша конечная точка готова к использованию.
Если необходимо использовать это развертывание из другой рабочей области или вы планируете использовать поток запросов для создания интеллектуальных приложений, необходимо создать подключение к развертыванию бессерверного API. Сведения о настройке существующей конечной точки API без сервера в новой рабочей области или концентраторе см. в статье "Использование развернутых конечных точек БЕССерверного API из другой рабочей области или потока запроса".

Совет

Если вы используете поток запросов в той же рабочей области, где развернуто развертывание, необходимо создать подключение.

Использование конечной точки API без сервера

Модели, развернутые в Машинное обучение Azure и Студии ИИ Azure в конечных точках БЕССерверных API, поддерживают API вывода модели ИИ Azure, предоставляющий общий набор возможностей для базовых моделей и которые могут использоваться разработчиками для использования прогнозов из различных наборов моделей в единообразном и согласованном режиме.

Узнайте больше о возможностях этого API и о том, как его использовать при создании приложений.

Удаление конечных точек и подписок

Вы можете удалить подписки и конечные точки модели. Удаление подписки модели делает любую связанную конечную точку неработоспособным и непригодным для использования.

Чтобы удалить конечную точку API без сервера, выполните следующие действия.

Перейдите к Студия машинного обучения Azure.
Выберите конечные точки на левой боковой панели.
Перейдите на вкладку "Бессерверные конечные точки", чтобы отобразить конечные точки API без сервера.
Откройте конечную точку, которую нужно удалить.
Выберите команду Удалить.

Чтобы удалить связанную подписку модели, выполните следующие действия.

Перейдите на портал Azure.
Перейдите в группу ресурсов, в которой принадлежит рабочая область.
В фильтре типов выберите SaaS.
Выберите подписку, которую нужно удалить.
Выберите команду Удалить.

Чтобы удалить конечную точку API без сервера, выполните следующие действия.

az ml serverless-endpoint delete \
    --name "meta-llama3-8b-qwerty"

Чтобы удалить связанную подписку модели, выполните следующие действия.

az ml marketplace-subscription delete \
    --name "Meta-Llama-3-8B-Instruct"

Чтобы удалить конечную точку API без сервера, выполните следующие действия.

client.serverless_endpoints.begin_delete(endpoint_name).wait()

Чтобы удалить связанную подписку модели, выполните следующие действия.

client.marketplace_subscriptions.begin_delete(subscription_name).wait()

Средства управления ресурсами можно использовать для управления ресурсами. В следующем коде используется Azure CLI:

az resource delete --name <resource-name>

Поделиться через

Развертывание моделей в качестве конечных точек API без сервера

Необходимые компоненты

Поиск модели и идентификатора модели в каталоге моделей

Развертывание модели в конечной точке бессерверного API

Использование конечной точки API без сервера

Удаление конечных точек и подписок

Рекомендации по затратам и квотам для моделей, развернутых в качестве конечных точек API без сервера

Стоимость моделей Майкрософт

Стоимость моделей, отличных от Майкрософт

Обратная связь

Дополнительные ресурсы

Поделиться через

Развертывание моделей в качестве конечных точек API без сервера

Необходимые компоненты

Поиск модели и идентификатора модели в каталоге моделей

Подписка рабочей области на предложение модели

Развертывание модели в конечной точке бессерверного API

Использование конечной точки API без сервера

Удаление конечных точек и подписок

Рекомендации по затратам и квотам для моделей, развернутых в качестве конечных точек API без сервера

Стоимость моделей Майкрософт

Стоимость моделей, отличных от Майкрософт

Разрешения, необходимые для подписки на предложения моделей

Связанный контент

Обратная связь

Дополнительные ресурсы