Episodio

Intelligent Apps on AKS Ep02: Bring Your Own AI Models to Intelligent Apps on AKS with Kaito

con Paul Yu, Ishaan Sehgal, Steven Murawski

Learn Live

Partecipa a Microsoft per informazioni su come eseguire modelli di linguaggio large open source con endpoint di inferenza basati su HTTP all'interno del cluster del servizio Azure Kubernetes usando l'operatore KAITO (AI Toolchain Operator) di Kubernetes. Verrà illustrata la configurazione e la distribuzione di VM in contenitori nei pool di nodi GPU e si vedrà in che modo KAITO può contribuire a ridurre il carico operativo del provisioning dei nodi GPU e l'ottimizzazione dei parametri di distribuzione del modello per adattarsi ai profili GPU.

Obiettivi di apprendimento

  • Informazioni su come estendere i microservizi esistenti con funzionalità di intelligenza artificiale.
  • Comprendere l'uso di miglioramenti progressivi per integrare le funzionalità di intelligenza artificiale nelle applicazioni esistenti.
  • Informazioni su come usare modelli LLM (Large Language Models) open source o personalizzati con applicazioni esistenti.
  • Informazioni su come eseguire modelli di linguaggio open source o personalizzati in servizio Azure Kubernetes

Capitoli

  • 00:00 - Introduzione
  • 02:40 - Obiettivi di apprendimento
  • 04:35 - Demo - Distribuire l'app demo dello Store del servizio Azure Kubernetes
  • 11:00 - Carichi di lavoro di intelligenza artificiale nel servizio Azure Kubernetes
  • 15:53 - Intelligenza artificiale e Machine Learning nel servizio Azure Kubernetes
  • 34:40 - Che cos'è Kaito?
  • 42:03 - Sfide con i modelli BYO
  • 44:49 - Demo
  • 01:16:04 - Riepilogo

Connessione

Avanzato
Progettista di soluzioni
Tecnico DevOps
Sviluppatore
AI engineer
Servizio Azure Kubernetes
Macchine virtuali di Azure