Episódio

Aplicativos inteligentes no AKS Ep02: traga seus próprios modelos de IA para aplicativos inteligentes no AKS com Kaito

por Paul Yu, Ishaan Sehgal, Steven Murawski

Aprenda ao vivo

Junte-se a nós para saber como executar os Modelo de Linguagem Grande (LLMs) de código aberto com ponto de extremidade de inferência baseados em HTTP dentro de seu cluster do AKS usando o Operador de Cadeia de Ferramentas de IA do Kubernetes (KAITO). Analisaremos a configuração e implantação de LLMs conteinerizados em pools de nós de GPU e veremos como o KAITO pode ajudar a reduzir a carga operacional de provisionamento de nós de GPU e ajustar os parâmetros de implantação de modelo para se adequar aos perfis de GPU.

Objetivos do aprendizado

  • Saiba como estender microsserviços existentes com recursos de IA.
  • Entenda como usar o aprimoramento progressivo para integrar recursos de IA em aplicativos existentes.
  • Saiba como usar os Modelos de Linguagem Grande (LLM) de código aberto ou personalizados com aplicativos existentes.
  • Saiba como executar os Modelos de Linguagem Grande de código aberto ou personalizados no Serviço de Kubernetes do Azure

Capítulos

  • 00:00 – Introdução
  • 02:40 - Objetivos de aprendizagem
  • 04:35 - Demonstração - Implantar o aplicativo de demonstração da loja Aks
  • 11:00 - Cargas de trabalho de IA no AKS
  • 15:53 - AI e ML no AKS
  • 34:40 - O que é Kaito?
  • 42:03 - Desafios com os Modelos BYO
  • 44:49 - Demonstração
  • 01:16:04 - Resumo

Conectar

Avançado
Arquiteto de Soluções
Engenheiro de DevOps
Desenvolvedor
Engenheiro de IA
AKS (Serviço de Kubernetes do Azure)
Máquinas Virtuais do Azure