Episódio

Aplicativos inteligentes no AKS Ep02: Traga seus próprios modelos de IA para aplicativos inteligentes no AKS com Kaito

com o Paul Yu, Ishaan Sehgal, Steven Murawski

Learn Live

Junte-se a nós para aprender a executar modelos de linguagem grande (LLMs) de código aberto com pontos de extremidade de inferência baseados em HTTP dentro do seu cluster AKS usando o Kubernetes AI Toolchain Operator (KAITO). Analisaremos a configuração e a implantação de LLMs em contêineres em pools de nós de GPU e veremos como o KAITO pode ajudar a reduzir a carga operacional de provisionamento de nós de GPU e ajuste de parâmetros de implantação de modelo para se adequar aos perfis de GPU.

Objetivos de aprendizagem

  • Saiba como estender os microsserviços existentes com recursos de IA.
  • Entenda o uso do aprimoramento progressivo para integrar recursos de IA em aplicativos existentes.
  • Saiba como usar modelos de linguagem grande (LLM) de código aberto ou personalizados com aplicativos existentes.
  • Saiba como executar modelos de linguagem grande personalizados ou de código aberto no Serviço Kubernetes do Azure

Capítulos

  • 00:00 - Introdução
  • 02:40 - Objetivos de aprendizagem
  • 04:35 - Demonstração - Implantar o aplicativo de demonstração da loja Aks
  • 11:00 - Cargas de trabalho de IA no AKS
  • 15:53 - AI e ML no AKS
  • 34:40 - O que é Kaito?
  • 42:03 - Desafios com modelos BYO
  • 44:49 - Demonstração
  • 01:16:04 - Resumo

Ligar

Avançado
Solution Architect
DevOps Engineer
Developer
AI Engineer
Azure Kubernetes Service (AKS)
Azure Virtual Machines