劇集

AKS Ep02 上的智慧型手機應用程式:使用 Kaito 將您自己的 AI 模型帶入 AKS 上的智慧型應用程式

取代為 Paul Yu, Ishaan Sehgal, Steven Murawski

加入我們,瞭解如何使用 Kubernetes AI 工具鏈操作員 (KAITO) 在 AKS 叢集內搭配 HTTP 型推斷端點執行開放原始碼大型語言模型 (LLM)。 我們將逐步解說 GPU 節點集區上容器化 LLM 的設定和部署,並瞭解 KAITO 如何協助降低布建 GPU 節點的操作負擔,以及調整模型部署參數以符合 GPU 配置檔。

學習目標

  • 瞭解如何使用 AI 功能擴充現有的微服務。
  • 瞭解使用漸進式增強功能整合現有應用程式中的 AI 功能。
  • 瞭解如何搭配現有的應用程式使用 開放原始碼 或自定義大型語言模型(LLM)。
  • 瞭解如何在 Azure Kubernetes Service 上執行 開放原始碼 或自定義大型語言模型

連線

進階
解決方案架構設計師
DevOps 工程師
開發人員
AI 工程師
Azure Kubernetes Service (AKS)
Azure 虛擬機器