教學課程:在 Azure Container Apps 中使用無伺服器 GPU 產生映射 (預覽)
在本文中,您將瞭解如何建立使用 無伺服器 GPU 來提供 AI 應用程式的容器應用程式。
使用無伺服器 GPU 時,您可以直接存取 GPU 計算資源,而不需要執行手動基礎結構設定,例如安裝驅動程式。 您只需要部署 AI 模型的映像。
在本教學課程中,您會:
- 建立新的容器應用程式和環境
- 將環境設定為使用無伺服器 GPU
- 將您的應用程式部署至 Azure Container Apps
- 使用新的無伺服器 GPU 啟用應用程式
- 啟用成品串流以減少 GPU 冷啟動
必要條件
資源 | 描述 |
---|---|
Azure 帳戶 | 您需要具有有效訂用帳戶的 Azure 帳戶。 如果您沒有,可以免費建立一個。 |
Azure Container Registry 實例 | 您需要現有的 Azure Container Registry 實例或建立實例的許可權。 |
存取無伺服器 GPU | 只有在您要求 GPU 配額之後,才能存取 GPU。 您可以透過 客戶支援案例提交 GPU 配額要求。 |
建立容器應用程式
移至 Azure 入口網站 並搜尋並選取 [容器應用程式]。
選取 [ 建立 ],然後選取 [容器應用程式]。
在 [ 基本] 視窗中,在每個區段中輸入下列值。
在 [項目詳細數據] 下方,輸入下列值:
設定 值 訂用帳戶 選取 Azure 訂閱。 資源群組 選取 [ 新建 ],然後輸入 my-gpu-demo-group。 容器應用程式名稱 輸入 my-gpu-demo-app。 部署來源 選取 [容器映像]。 在 [容器應用程式] 環境中 ,輸入下列值:
設定 值 區域 選取 [美國西部 3]。
如需更多支持的區域,請參閱 在 Azure 中使用無伺服器 GPU。容器應用程式環境 選取 [新建] 在 [ 建立容器應用程式環境] 視窗中,輸入下列值:
設定 值 環境名稱 輸入 my-gpu-demo-env。 選取 建立。
選取 [下一步:容器 >]。
在 [ 容器] 視窗中,輸入下列值:
設定 值 名稱 輸入 my-gpu-demo-container。 影像來源 選擇「Docker Hub 或其他登錄」。 影像類型 選取 [公用]。 登錄登入伺服器 輸入 mcr.microsoft.com。 映像與標籤 輸入 k8se/gpu-quickstart:latest。 工作負載設定檔 選取以取用開始 的選項 - 最多 4... GPU 選取 核取方塊。 GPU 類型 選取 [T4 ] 選項,然後選取連結以將配置檔新增至您的環境。 選取 [下一步:輸入 >]。
在 [ 輸入 ] 視窗中,輸入下列值:
設定 值 輸入 選取 [啟用] 核取方塊。 輸入流量 選取 [ 從任何地方 接受流量] 單選按鈕。 目標連接埠 輸入 80。 選取 [檢閱 + 建立]。
選取 建立。
請稍候片刻,讓部署完成,然後選取 [移至資源]。
此程式最多可能需要五分鐘才能完成。
使用 GPU 應用程式
從 [ 概 觀] 視窗中,選取 [ 應用程式 URL] 連結,以在瀏覽器中開啟 Web 應用程式前端,並使用 GPU 應用程式。
注意
若要達到 GPU 應用程式的最佳效能,請遵循步驟來 改善無伺服器 GPU 的冷啟動。
監視 GPU
產生映射之後,請使用下列步驟來檢視 GPU 處理的結果:
在 Azure 入口網站中開啟您的容器應用程式。
從 [監視] 區段中,選取 [控制台]。
選取您的複本。
選取您的容器。
選取 [重新連線]。
在 [ 選擇啟動] 命令 視窗中,選取 /bin/bash,然後選取 [ 連線]。
設定殼層之後,輸入 nvidia-smi 命令以檢閱 GPU 的狀態和輸出。
清除資源
本教學課程中建立的資源會影響您的 Azure 帳單。
如果您不會長期使用這些服務,請使用步驟來移除本教學課程中建立的所有專案。
在 Azure 入口網站 中,搜尋並選取 [資源群組]。
選取 my-gpu-demo-group。
選取 [刪除資源群組]。
在確認方塊中,輸入 my-gpu-demo-group。
選取 [刪除]。