Epizoda
Inteligentní aplikace v AKS Ep02: Používání vlastních modelů AI do inteligentních aplikací v AKS pomocí Kaito
with Paul Yu, Ishaan Sehgal, Steven Murawski
Připojte se k nám a zjistěte, jak v clusteru AKS spouštět opensourcové rozsáhlé jazykové modely (LLM) s koncovými body odvozování založenými na PROTOKOLU HTTP pomocí operátoru kaiTO (Kubernetes AI Toolchain Operator). Projdeme si nastavení a nasazení kontejnerizovaných LLM ve fondech uzlů GPU a podíváme se, jak může KAITO pomoct snížit provozní zátěž zřizování uzlů GPU a ladění parametrů nasazení modelu tak, aby vyhovovaly profilům GPU.
Cíle výuky
- Zjistěte, jak rozšířit stávající mikroslužby o funkce umělé inteligence.
- Seznamte se s využitím progresivního vylepšení pro integraci funkcí umělé inteligence do stávajících aplikací.
- Naučte se používat opensourcové nebo vlastní velké jazykové modely (LLM) s existujícími aplikacemi.
- Naučte se spouštět opensourcové nebo vlastní velké jazykové modely ve službě Azure Kubernetes Service.
Chapters
- 00:00 - Úvod
- 02:40 - Učení cíle
- 04:35 – Ukázka – Nasazení ukázkové aplikace pro Aks store
- 11:00 – Úlohy AI v AKS
- 15:53 – AI a ML v AKS
- 34:40 - Co je Kaito?
- 42:03 – Výzvy s modely BYO
- 44:49 - Ukázka
- 01:16:04 - Souhrn
Doporučené zdroje informací
Související epizody
- Celá řada: Learn Live: Inteligentní aplikace v AKS
Propojit
- Paul Yu | LinkedIn: /in/yupaul
- Ishaan Sehgal | LinkedIn: /in/ishaan-sehgal
- Steven Murawski | Twitter: @StevenMurawski | LinkedIn: /in/usepowershell
Připojte se k nám a zjistěte, jak v clusteru AKS spouštět opensourcové rozsáhlé jazykové modely (LLM) s koncovými body odvozování založenými na PROTOKOLU HTTP pomocí operátoru kaiTO (Kubernetes AI Toolchain Operator). Projdeme si nastavení a nasazení kontejnerizovaných LLM ve fondech uzlů GPU a podíváme se, jak může KAITO pomoct snížit provozní zátěž zřizování uzlů GPU a ladění parametrů nasazení modelu tak, aby vyhovovaly profilům GPU.
Cíle výuky
- Zjistěte, jak rozšířit stávající mikroslužby o funkce umělé inteligence.
- Seznamte se s využitím progresivního vylepšení pro integraci funkcí umělé inteligence do stávajících aplikací.
- Naučte se používat opensourcové nebo vlastní velké jazykové modely (LLM) s existujícími aplikacemi.
- Naučte se spouštět opensourcové nebo vlastní velké jazykové modely ve službě Azure Kubernetes Service.
Chapters
- 00:00 - Úvod
- 02:40 - Učení cíle
- 04:35 – Ukázka – Nasazení ukázkové aplikace pro Aks store
- 11:00 – Úlohy AI v AKS
- 15:53 – AI a ML v AKS
- 34:40 - Co je Kaito?
- 42:03 – Výzvy s modely BYO
- 44:49 - Ukázka
- 01:16:04 - Souhrn
Doporučené zdroje informací
Související epizody
- Celá řada: Learn Live: Inteligentní aplikace v AKS
Propojit
- Paul Yu | LinkedIn: /in/yupaul
- Ishaan Sehgal | LinkedIn: /in/ishaan-sehgal
- Steven Murawski | Twitter: @StevenMurawski | LinkedIn: /in/usepowershell
Chcete se podělit o svůj názor? Tady můžete odeslat problém.