エピソード

AKS Ep02 のインテリジェント アプリ: Kaito を使用して AKS 上のインテリジェント アプリに独自の AI モデルを取り込む

代入 Paul Yu, Ishaan Sehgal, Steven Murawski

Learn ライブ

Kubernetes AI Toolchain Operator (KAITO) を使い、AKS クラスター内で HTTP ベースの推論エンドポイントを使ってオープン ソースの大規模言語モデル (LLM) を実行する方法について学習しましょう。 GPU ノード プール上でのコンテナ化された LLM のセットアップとデプロイについて説明します。また、GPU ノードのプロビジョニングと GPU プロファイルに合わせてモデル デプロイ パラメーターを調整するためにかかる運用の負担を軽減するために、KAITO がどのように役立つかについて確認します。

学習の目的

  • AI 機能を使って既存のマイクロサービスを拡張する方法について説明します。
  • プログレッシブ エンハンスメントを使って AI 機能を既存のアプリケーションに統合する方法について説明します。
  • オープン ソースまたはカスタムの大規模言語モデル (LLM) を既存のアプリケーションで使う方法について説明します。
  • Azure Kubernetes Service 上でオープン ソースまたはカスタムの大規模言語モデルを実行する方法について説明します

章

  • 00:00 - はじめに
  • 02:40 - ラーニング目標
  • 04:35 - デモ - Aks ストアデモ アプリをデプロイする
  • 11:00 - AKS の AI ワークロード
  • 15:53 - AKS 上の AI と ML
  • 34:40 - Kaito とは
  • 42:03 - BYO モデルの課題
  • 44:49 - デモ
  • 01:16:04 - 概要

のインスタンスに接続するときには、

上級
ソリューション アーキテクト
DevOps エンジニア
開発者
AI エンジニア
Azure Kubernetes Service (AKS)
Azure Virtual Machines