Руководство по созданию образов с помощью бессерверных GPU в Azure Container Apps (предварительная версия)
В этой статье вы узнаете, как создать приложение-контейнер, использующее бессерверные GPU для работы с приложением ИИ.
При использовании бессерверных GPU у вас есть прямой доступ к вычислительным ресурсам GPU, не выполняя настройку инфраструктуры вручную, например установку драйверов. Все, что вам нужно сделать, — развернуть образ модели ИИ.
Изучив этот учебник, вы:
- Создание нового приложения контейнера и среды
- Настройка среды для использования бессерверных GPU
- Развертывание приложения в приложениях контейнеров Azure
- Использование нового бессерверного приложения для включения GPU
- Включение потоковой передачи артефактов для уменьшения холодного запуска GPU
Необходимые компоненты
| Ресурс | Description |
|---|---|
| Учетная запись Azure | Вам потребуется учетная запись Azure с активной подпиской. Если у вас нет учетной записи, вы можете создать ее бесплатно. |
| экземпляр Реестр контейнеров Azure | Для создания экземпляра Реестр контейнеров Azure требуется существующий экземпляр Реестр контейнеров Azure или разрешения. |
| Доступ к бессерверным GPU | Доступ к GPU доступен только после запроса квот GPU. Вы можете отправить запрос на квоту GPU с помощью обращения в службу поддержки клиентов. |
Создание приложения-контейнера
Перейдите к портал Azure и найдите и выберите "Приложения контейнеров".
Выберите "Создать " и выберите "Приложение контейнера".
В окне "Основные сведения" введите следующие значения в каждый раздел.
В разделе "Сведения о проекте" введите следующие значения:
Параметр Значение Отток подписок Выберите свою подписку Azure. Группа ресурсов Выберите "Создать" и введите my-gpu-demo-group. Имя приложения-контейнера Введите my-gpu-demo-app. Источник развертывания Выберите образ контейнера. В среде "Приложения контейнеров" введите следующие значения:
Параметр Значение Область/регион Выберите Западная часть США 3.
Дополнительные поддерживаемые регионы см. в статье Об использовании бессерверных GPU в Azure.Среда Контейнеров приложений Выберите Создать. В окне "Создание приложений контейнеров" введите следующие значения:
Параметр Значение Имя среды Введите my-gpu-demo-env. Нажмите кнопку создания.
Нажмите кнопку "Далее": контейнер >.
В окне контейнера введите следующие значения:
Параметр Значение Имя. Введите my-gpu-demo-container. Источник изображения Выберите Docker Hub или другие реестры. Тип изображения Выберите общедоступную. Сервер для входа в реестр Введите mcr.microsoft.com. Образ и тег Введите k8se/gpu-quickstart:latest. Профиль рабочей нагрузки Выберите параметр, начинающийся с потребления — до 4... GPU Установите флажок. Тип GPU Выберите параметр T4 и выберите ссылку, чтобы добавить профиль в среду. Нажмите кнопку "Далее": входящий трафик >.
В окне входящего трафика введите следующие значения:
Параметр Значение Входящий трафик Установите флажок Включено. Входящий трафик Выберите переключатель "Принять трафик" в любом месте . Целевой порт Введите 80. Выберите Review + create (Просмотреть и создать).
Нажмите кнопку создания.
Подождите несколько минут, пока развертывание завершится, а затем выберите "Перейти к ресурсу".
Этот процесс может занять до пяти минут.
Использование приложения GPU
В окне обзора выберите ссылку "URL-адрес приложения", чтобы открыть интерфейс веб-приложения в браузере и использовать приложение GPU.
Примечание.
- Чтобы добиться оптимальной производительности приложений GPU, выполните действия по улучшению холодного запуска для бессерверных GPU.
- При наличии нескольких контейнеров в приложении первый контейнер получает доступ к GPU.
Мониторинг GPU
После создания образа выполните следующие действия, чтобы просмотреть результаты обработки GPU:
Откройте приложение контейнера в портал Azure.
В разделе "Мониторинг" выберите консоль.
Выберите свою реплику.
Выберите контейнер.
Выберите *Повторное подключение.
В окне командной строки "Выбор запуска" выберите /bin/bash и нажмите кнопку "Подключить".
После настройки оболочки введите команду nvidia-smi , чтобы просмотреть состояние и выходные данные gpu.
Очистка ресурсов
Ресурсы, созданные в этом руководстве, влияют на счет Azure.
Если вы не собираетесь использовать эти службы в долгосрочной перспективе, выполните действия, чтобы удалить все, созданное в этом руководстве.
В портал Azure найдите и выберите группы ресурсов.
Выберите my-gpu-demo-group.
Выберите команду Удалить группу ресурсов.
В поле подтверждения введите my-gpu-demo-group.
Выберите команду Удалить.