Поделиться через

Добавление и настройка моделей в вывод модели ИИ Azure

  • Статья

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке вывода. После настройки данной модели можно создать прогнозы из него, указав его имя модели или имя развертывания в запросах. Дополнительные изменения в коде не требуются.

В этой статье вы узнаете, как добавить новую модель в модель ИИ Azure в Azure AI Foundry.

Необходимые компоненты

Для работы с этой статьей необходимо иметь следующее.

Добавление модели

Вы можете добавить модели в конечную точку вывода модели ИИ Azure, выполнив следующие действия:

  1. Перейдите в раздел каталога моделей на портале Azure AI Foundry.

  2. Прокрутите страницу до нужной модели и выберите ее.

    Анимация, показывающая, как выполнять поиск моделей в каталоге моделей и выбрать ее для просмотра сведений.

  3. Вы можете просмотреть сведения о модели в карточке модели.

  4. Выберите Развернуть.

  5. Для поставщиков моделей, требующих больше условий контракта, вам будет предложено принять эти условия. Это так, например, для моделей Мистраля. Примите условия для этих случаев, выбрав " Подписаться" и разверните его.

    Снимок экрана, показывающий, как согласиться с условиями модели Mistral-Large.

  6. Вы можете настроить параметры развертывания в настоящее время. По умолчанию развертывание получает имя развернутой модели. Имя развертывания используется в параметре model для запроса на перенаправление к данному развертыванию модели. Это позволяет также настроить определенные имена для моделей при присоединении определенных конфигураций. Например o1-preview-safe , для модели с строгим фильтром содержимого безопасности содержимого.

    Совет

    Каждая модель может поддерживать различные типы развертываний, предоставляя различные гарантии расположения данных или пропускной способности. Дополнительные сведения см . в типах развертывания.

  7. В зависимости от вашего проекта мы автоматически выбираем подключение к Службам искусственного интеллекта Azure. Используйте параметр "Настройка", чтобы изменить подключение в зависимости от ваших потребностей. Если вы развертываете в стандартном типе развертывания, модели должны быть доступны в регионе ресурса Служб искусственного интеллекта Azure.

    Снимок экрана: настройка развертывания при необходимости.

    Совет

    Если нужный ресурс не указан, может потребоваться создать подключение к нему. См. статью "Настройка службы вывода модели ИИ Azure" в моем проекте на портале Azure AI Foundry.

  8. Выберите Развернуть.

  9. После завершения развертывания новая модель будет указана на странице и будет готова к использованию.

Manage models in the repository (Управление моделями в репозитории)

Вы можете управлять существующими развертываниями моделей в ресурсе с помощью портала Azure AI Foundry.

  1. Перейдите в раздел "Модели и конечные точки" на портале Azure AI Foundry.

  2. Прокрутите страницу подключения к ресурсу Служб искусственного интеллекта Azure. Развертывания модели группируются и отображаются для каждого подключения.

    Снимок экрана: список моделей, доступных в заданном подключении.

  3. Вы увидите список моделей, доступных при каждом подключении. Выберите нужное развертывание модели.

  4. При необходимости измените или удалите развертывание.

Тестирование развертывания на игровой площадке

Вы можете взаимодействовать с новой моделью на портале Azure AI Foundry с помощью игровой площадки:

Примечание.

Детская площадка доступна только при работе с проектами ИИ в Azure AI Foundry. Создайте проект ИИ, чтобы получить полный доступ ко всем возможностям в Azure AI Foundry.

  1. Перейдите к разделу "Игровые площадки" на портале Azure AI Foundry.

  2. В зависимости от типа развернутой модели выберите необходимую площадку. В этом случае мы выбираем игровую площадку чата.

  3. В раскрывающемся списке "Развертывание" в разделе "Настройка" выберите имя созданного развертывания модели.

    Снимок экрана: выбор развертывания модели для использования на игровой площадке.

  4. Введите запрос и просмотрите выходные данные.

  5. Кроме того, можно использовать код просмотра, чтобы узнать, как получить доступ к развертыванию модели программным способом.

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке вывода. После настройки данной модели можно создать прогнозы из него, указав его имя модели или имя развертывания в запросах. Дополнительные изменения в коде не требуются.

В этой статье вы узнаете, как добавить новую модель в модель ИИ Azure в Azure AI Foundry.

Необходимые компоненты

Для работы с этой статьей необходимо иметь следующее.

  • Установите Azure CLI и cognitiveservices расширение для служб ИИ Azure:

    az extension add -n cognitiveservices

  • Некоторые команды, приведенные в этом руководстве, используют jq средство, которое может не быть установлено в вашей системе. Инструкции по установке см. в разделе "Скачать jq".

  • Определите следующие сведения:

    • Идентификатор вашей подписки Azure.

    • Имя ресурса Служб искусственного интеллекта Azure.

    • Группа ресурсов, в которой развернут ресурс Служб искусственного интеллекта Azure.

Добавление моделей

Чтобы добавить модель, сначала необходимо определить модель, которую требуется развернуть. Вы можете запросить доступные модели следующим образом:

  1. Войдите в подписку Azure:

    az login

  2. Если у вас более 1 подписки, выберите подписку, в которой находится ваш ресурс:

    az account set --subscription $subscriptionId>

  3. Задайте следующие переменные среды с именем ресурса Служб искусственного интеллекта Azure, который вы планируете использовать и группу ресурсов.

    accountName="<ai-services-resource-name>"
resourceGroupName="<resource-group>"

  4. Если у вас еще нет учетной записи Служб искусственного интеллекта Azure, ее можно создать следующим образом:

    az cognitiveservices account create -n $accountName -g $resourceGroupName

  5. Давайте посмотрим, какие модели доступны для вас, и под каким номером SKU. Следующая команда содержит список всех доступных определений модели:

    az cognitiveservices account list-models \
    -n $accountName \
    -g $resourceGroupName \
| jq '.[] | { name: .name, format: .format, version: .version, sku: .skus[0].name, capacity: .skus[0].capacity.default }'

  6. Выходные данные выглядят следующим образом:

    {
  "name": "Phi-3.5-vision-instruct",
  "format": "Microsoft",
  "version": "2",
  "sku": "GlobalStandard",
  "capacity": 1
}

  7. Определите модель, которую необходимо развернуть. Вам нужны свойства name, formatи versionsku. Емкость также может потребоваться в зависимости от типа развертывания.

    Совет

    Обратите внимание, что не все модели доступны во всех номерах SKU.

  8. Добавьте развертывание модели в ресурс. В следующем примере добавляется Phi-3.5-vision-instruct:

    az cognitiveservices account deployment create \
    -n $accountName \
    -g $resourceGroupName \
    --deployment-name Phi-3.5-vision-instruct \
    --model-name Phi-3.5-vision-instruct \
    --model-version 2 \
    --model-format Microsoft \
    --sku-capacity 1 \
    --sku-name GlobalStandard

  9. Модель готова к использованию.

Вы можете развернуть одну и ту же модель несколько раз, если это необходимо, если оно находится под другим именем развертывания. Эта возможность может оказаться полезной в случае, если вы хотите протестировать различные конфигурации для данной модели, включая безопасность содержимого.

Управление развертываниями

Вы можете просмотреть все развертывания, доступные с помощью интерфейса командной строки:

  1. Выполните следующую команду, чтобы просмотреть все активные развертывания:

    az cognitiveservices account deployment list -n $accountName -g $resourceGroupName

  2. Подробные сведения о данном развертывании можно просмотреть:

    az cognitiveservices account deployment show \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

  3. Вы можете удалить данное развертывание следующим образом:

        az cognitiveservices account deployment delete \
    --deployment-name "Phi-3.5-vision-instruct" \
    -n $accountName \
    -g $resourceGroupName

Использование модели

Развернутые модели в выводе модели ИИ Azure можно использовать с помощью конечной точки вывода модели ИИ Azure для ресурса. При создании запроса укажите параметр model и вставьте созданное вами имя развертывания модели. Вы можете программно получить универсальный код ресурса (URI) для конечной точки вывода с помощью следующего кода:

Конечная точка вывода

az cognitiveservices account show  -n $accountName -g $resourceGroupName | jq '.properties.endpoints["Azure AI Model Inference API"]'

Чтобы отправить запросы к конечной точке вывода модели ИИ Azure, добавьте маршрут models, например https://<resource>.services.ai.azure.com/models. Справочник по API для конечной точки на странице справочника по API вывода модели ИИ Azure.

Ключи вывода

az cognitiveservices account keys list  -n $accountName -g $resourceGroupName

Внимание

Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Вы можете решить и настроить, какие модели доступны для вывода в конечной точке вывода. После настройки данной модели можно создать прогнозы из него, указав его имя модели или имя развертывания в запросах. Дополнительные изменения в коде не требуются.

В этой статье вы узнаете, как добавить новую модель в модель ИИ Azure в Azure AI Foundry.

Необходимые компоненты

Для работы с этой статьей необходимо иметь следующее.

  • Установите интерфейс командной строки Azure.

  • Определите следующие сведения:

    • Идентификатор вашей подписки Azure.

    • Имя ресурса Служб искусственного интеллекта Azure.

    • Группа ресурсов, в которой развернут ресурс Служб искусственного интеллекта Azure.

    • Имя модели, поставщик, версия и номер SKU, которые вы хотите развернуть. Вы можете использовать портал Azure AI Foundry или Azure CLI для идентификации. В этом примере мы развернем следующую модель:

      • Имя модели:: Phi-3.5-vision-instruct
      • Поставщик: Microsoft
      • Версия:2
      • Тип развертывания: глобальный стандарт

Добавление модели

  1. Используйте шаблон ai-services-deployment-template.bicep для описания развертываний моделей:

    ai-services-deployment-template.bicep

    @description('Name of the Azure AI services account')
param accountName string

@description('Name of the model to deploy')
param modelName string

@description('Version of the model to deploy')
param modelVersion string

@allowed([
  'AI21 Labs'
  'Cohere'
  'Core42'
  'Meta'
  'Microsoft'
  'Mistral AI'
  'OpenAI'
])
@description('Model provider')
param modelPublisherFormat string

@allowed([
    'GlobalStandard'
    'Standard'
    'GlobalProvisioned'
    'Provisioned'
])
@description('Model deployment SKU name')
param skuName string = 'GlobalStandard'

@description('Content filter policy name')
param contentFilterPolicyName string = 'Microsoft.DefaultV2'

@description('Model deployment capacity')
param capacity int = 1

resource modelDeployment 'Microsoft.CognitiveServices/accounts/deployments@2024-04-01-preview' = {
  name: '${accountName}/${modelName}'
  sku: {
    name: skuName
    capacity: capacity
  }
  properties: {
    model: {
      format: modelPublisherFormat
      name: modelName
      version: modelVersion
    }
    raiPolicyName: contentFilterPolicyName == null ? 'Microsoft.Nill' : contentFilterPolicyName
  }
}

  2. Запустите развертывание:

    RESOURCE_GROUP="<resource-group-name>"
ACCOUNT_NAME="<azure-ai-model-inference-name>" 
MODEL_NAME="Phi-3.5-vision-instruct"
PROVIDER="Microsoft"
VERSION=2

az deployment group create \
    --resource-group $RESOURCE_GROUP \
    --template-file ai-services-deployment-template.bicep \
    --parameters accountName=$ACCOUNT_NAME modelName=$MODEL_NAME modelVersion=$VERSION modelPublisherFormat=$PROVIDER

Использование модели

Развернутые модели в выводе модели ИИ Azure можно использовать с помощью конечной точки вывода модели ИИ Azure для ресурса. При создании запроса укажите параметр model и вставьте созданное вами имя развертывания модели.

Следующие шаги