Серия

Интеллектуальные приложения в AKS Ep02: перенос собственных моделей ИИ в интеллектуальные приложения в AKS с Kaito

на Paul Yu, Ishaan Sehgal, Steven Murawski

Обучение в реальном времени

Присоединитесь к нам, чтобы узнать, как запускать модели большого языка с открытым исходным кодом (LLMs) с конечными точками вывода на основе HTTP в кластере AKS с помощью оператора цепочки инструментов Kubernetes (KAITO). Мы рассмотрим настройку и развертывание контейнерных LLM в пулах узлов GPU и посмотрим, как KAITO помогает снизить оперативное бремя подготовки узлов GPU и настройки параметров развертывания модели для соответствия профилям GPU.

Цели обучения

  • Узнайте, как расширить существующие микрослужбы с помощью возможностей искусственного интеллекта.
  • Узнайте, как использовать прогрессивное улучшение для интеграции возможностей ИИ в существующие приложения.
  • Узнайте, как использовать открытый код или пользовательские языковые модели (LLM) с существующими приложениями.
  • Узнайте, как выполнять открытый код или пользовательские языковые модели на Служба Azure Kubernetes

Главы

  • 00:00: введение
  • 02:40 — цели Обучение
  • 04:35 — демонстрация — развертывание демонстрационного приложения Магазина Aks
  • 11:00 — рабочие нагрузки ИИ в AKS
  • 15:53 — ИИ и МАШИНное обучение в AKS
  • 34:40 - Что такое Kaito?
  • 42:03 — проблемы с моделями BYO
  • 44:49 — демонстрация
  • 01:16:04 — сводка

Связь

Продвинутый уровень
Архитектор решений
Инженер DevOps
Разработка
Инженер по искусственному интеллекту
Служба Azure Kubernetes (AKS)
Виртуальные машины Azure