Episodio

Intelligent Apps en AKS Ep02: Traiga sus propios modelos de IA a Intelligent Apps en AKS con Kaito

con Paul Yu, Ishaan Sehgal, Steven Murawski

Learn en directo

Únase a nosotros para aprender a ejecutar modelos de lenguaje grande (LLM) de código abierto con puntos de conexión de inferencia basados en HTTP dentro del clúster de AKS mediante el operador KAITO (Kubernetes AI Toolchain Operator). Le guiaremos por la configuración y la implementación de LLM en contenedores en grupos de nodos de GPU y veremos cómo KAITO puede ayudar a reducir la carga operativa de aprovisionar nodos de GPU y ajustar los parámetros de implementación del modelo para ajustarse a los perfiles de GPU.

Objetivos de aprendizaje

  • Obtenga información sobre cómo ampliar los microservicios existentes con funcionalidades de inteligencia artificial.
  • Comprenda el uso de la mejora progresiva para integrar las funcionalidades de inteligencia artificial en las aplicaciones existentes.
  • Aprenda a usar modelos de lenguaje grande (LLM) personalizados o de código abierto con aplicaciones existentes.
  • Aprenda a ejecutar modelos de lenguaje grande personalizados o de código abierto en Azure Kubernetes Service

Capítulos

  • 00:00 - Introducción
  • 02:40 - Objetivos de aprendizaje
  • 04:35 - Demostración: implementación de la aplicación de demostración de la tienda Aks
  • 11:00 : cargas de trabajo de IA en AKS
  • 15:53 : IA y ML en AKS
  • 34:40 - ¿Qué es Kaito?
  • 42:03 : Desafíos con modelos BYO
  • 44:49 - Demostración
  • 01:16:04 - Resumen

Conexión

Avanzado
Arquitecto de soluciones
Ingeniero de DevOps
Desarrollador
Ingeniero de IA
Azure Kubernetes Service (AKS)
Azure Virtual Machines