Odcinek

Intelligent Apps on AKS Ep02: Bring Your Own AI Models to Intelligent Apps on AKS with Kaito

with Paul Yu, Ishaan Sehgal, Steven Murawski

Usługa Learn na żywo

Dołącz do nas, aby dowiedzieć się, jak uruchamiać modele dużych języków typu open source (LLMs) z punktami końcowymi wnioskowania opartymi na protokole HTTP w klastrze AKS przy użyciu operatora łańcucha narzędzi AI Kubernetes (KAITO). Omówimy konfigurację i wdrażanie konteneryzowanych maszyn LLM w pulach węzłów procesora GPU i zobaczymy, jak funkcja KAITO może pomóc zmniejszyć obciążenie operacyjne aprowizowaniem węzłów procesora GPU i dostrajaniem parametrów wdrażania modelu w celu dopasowania ich do profilów procesora GPU.

Cele szkolenia

  • Dowiedz się, jak rozszerzyć istniejące mikrousługi za pomocą funkcji sztucznej inteligencji.
  • Dowiedz się, jak korzystać z progresywnego ulepszania w celu zintegrowania funkcji sztucznej inteligencji w istniejących aplikacjach.
  • Dowiedz się, jak używać modeli open source lub niestandardowych dużych modeli językowych (LLM) z istniejącymi aplikacjami.
  • Dowiedz się, jak uruchamiać modele open source lub niestandardowe duże języki w usłudze Azure Kubernetes Service

Rozdziały

  • 00:00 — wprowadzenie
  • 02:40 — cele Edukacja
  • 04:35 — pokaz — wdrażanie aplikacji demonstracyjnej sklepu Aks
  • 11:00 — Obciążenia sztucznej inteligencji w usłudze AKS
  • 15:53 — Sztuczna inteligencja i uczenie maszynowe w usłudze AKS
  • 34:40 — Co to jest Kaito?
  • 42:03 — Wyzwania związane z modelami BYO
  • 44:49 — pokaz
  • 01:16:04 — podsumowanie

Połącz

Zaawansowany
Solution Architect
DevOps Engineer
Developer
AI Engineer
Azure Kubernetes Service (AKS)
Azure Virtual Machines