劇集
AKS Ep02 上的智慧型手機應用程式:使用 Kaito 將您自己的 AI 模型帶入 AKS 上的智慧型應用程式
取代為 Paul Yu, Ishaan Sehgal, Steven Murawski
加入我們,瞭解如何使用 Kubernetes AI 工具鏈操作員 (KAITO) 在 AKS 叢集內搭配 HTTP 型推斷端點執行開放原始碼大型語言模型 (LLM)。 我們將逐步解說 GPU 節點集區上容器化 LLM 的設定和部署,並瞭解 KAITO 如何協助降低布建 GPU 節點的操作負擔,以及調整模型部署參數以符合 GPU 配置檔。
學習目標
- 瞭解如何使用 AI 功能擴充現有的微服務。
- 瞭解使用漸進式增強功能整合現有應用程式中的 AI 功能。
- 瞭解如何搭配現有的應用程式使用 開放原始碼 或自定義大型語言模型(LLM)。
- 瞭解如何在 Azure Kubernetes Service 上執行 開放原始碼 或自定義大型語言模型
章
- 00:00 - 簡介
- 02:40 - 學習目標
- 04:35 - 示範 - 部署 Aks 市集示範應用程式
- 11:00 - AKS 上的 AI 工作負載
- 15:53 - AKS 上的 AI 和 ML
- 34:40 - 凱托是什麼?
- 42:03 - BYO 模型的挑戰
- 44:49 - 示範
- 01:16:04 - 摘要
建議的資源
相關劇集
- 完整系列: 實時學習:AKS 上的智慧型手機應用程式
連線
- Paul Yu |LinkedIn: /in/yupaul
- Ishaan Sehgal |LinkedIn: /in/ishaan-sehgal
- 史蒂文·穆拉夫斯基 |Twitter: @StevenMurawski |LinkedIn: /in/usepowershell
加入我們,瞭解如何使用 Kubernetes AI 工具鏈操作員 (KAITO) 在 AKS 叢集內搭配 HTTP 型推斷端點執行開放原始碼大型語言模型 (LLM)。 我們將逐步解說 GPU 節點集區上容器化 LLM 的設定和部署,並瞭解 KAITO 如何協助降低布建 GPU 節點的操作負擔,以及調整模型部署參數以符合 GPU 配置檔。
學習目標
- 瞭解如何使用 AI 功能擴充現有的微服務。
- 瞭解使用漸進式增強功能整合現有應用程式中的 AI 功能。
- 瞭解如何搭配現有的應用程式使用 開放原始碼 或自定義大型語言模型(LLM)。
- 瞭解如何在 Azure Kubernetes Service 上執行 開放原始碼 或自定義大型語言模型
章
- 00:00 - 簡介
- 02:40 - 學習目標
- 04:35 - 示範 - 部署 Aks 市集示範應用程式
- 11:00 - AKS 上的 AI 工作負載
- 15:53 - AKS 上的 AI 和 ML
- 34:40 - 凱托是什麼?
- 42:03 - BYO 模型的挑戰
- 44:49 - 示範
- 01:16:04 - 摘要
建議的資源
相關劇集
- 完整系列: 實時學習:AKS 上的智慧型手機應用程式
連線
- Paul Yu |LinkedIn: /in/yupaul
- Ishaan Sehgal |LinkedIn: /in/ishaan-sehgal
- 史蒂文·穆拉夫斯基 |Twitter: @StevenMurawski |LinkedIn: /in/usepowershell
影片 URL
HTML iframe
有任何意見嗎? 請在此提交問題。