Episode

Intelligente Apps auf AKS Ep02: Bringen Sie Ihre eigenen KI-Modelle zu intelligenten Apps auf AKS mit Kaito

durch Paul Yu, Ishaan Sehgal, Steven Murawski

Learn Live

Nehmen Sie teil, um zu erfahren, wie große Open-Source-Sprachmodelle (LLMs) mit HTTP-basierten Rückschlussendpunkten in Ihrem AKS-Cluster mithilfe des Kubernetes AI Toolchain Operator (KAITO) ausgeführt werden. Wir gehen die Einrichtung und Bereitstellung von containerisierten LLMs auf GPU-Knotenpools durch. Dabei sehen wir, wie KAITO den betrieblichen Aufwand für die Bereitstellung von GPU-Knoten und die Optimierung von Parametern der Modellimplementierung für GPU-Profile verringern kann.

Lernziele

  • Erfahren Sie, wie Sie vorhandene Microservices mit KI-Funktionen erweitern.
  • Lernen Sie, wie Sie progressive Verbesserungen zur Integration von KI-Funktionen in vorhandene Anwendungen nutzen können.
  • Erfahren Sie, wie Sie Open-Source- oder benutzerdefinierte große Sprachmodelle (LLM) mit vorhandenen Anwendungen verwenden.
  • Erfahren Sie, wie Sie Open-Source- oder benutzerdefinierte große Sprachmodelle in Azure Kubernetes Service ausführen.

Kapitel

  • 00:00: Einführung
  • 02:40 - Lernziele
  • 04:35 - Demo – Bereitstellen der Aks Store-Demo-App
  • 11:00 - AI-Workloads auf AKS
  • 15:53 - KI und ML auf AKS
  • 34:40 - Was ist Kaito?
  • 42:03 - Herausforderungen mit BYO-Modellen
  • 44:49 - Demo
  • 01:16:04 - Zusammenfassung

Verbinden

Fortgeschrittene
Lösungsarchitekt
DevOps-Techniker
Entwickler
KI-Techniker
Azure Kubernetes Service (AKS)
Azure Virtual Machines