에피소드

AKS Ep02의 지능형 앱: Kaito를 사용하여 AKS의 지능형 앱에 사용자 고유의 AI 모델 가져오기

다음과 같이 바꿉니다. Paul Yu, Ishaan Sehgal, Steven Murawski

Learn Live

KAITO(Kubernetes AI Toolchain Operator)를 사용하여 AKS 클러스터 내에서 HTTP 기반 유추 엔드포인트로 오픈 소스 LLM(대규모 언어 모델)을 실행하는 방법을 알아보세요. GPU 노드 풀에서 컨테이너화된 LLM의 설정 및 배포를 살펴보고 KAITO가 GPU 노드를 프로비전하고 GPU 프로필에 맞게 모델 배포 매개 변수를 조정하는 운영 부담을 줄이는 데 어떻게 도움이 되는지 알아보세요.

학습 목표

  • AI 기능을 사용하여 기존 마이크로 서비스를 확장하는 방법을 알아봅니다.
  • 점진적인 향상된 기능을 사용하여 기존 애플리케이션에서 AI 기능을 통합하는 방법을 이해합니다.
  • 기존 애플리케이션에서 오픈 소스 또는 사용자 지정 LLM(큰 언어 모델)을 사용하는 방법을 알아봅니다.
  • Azure Kubernetes Service에서 오픈 소스 또는 사용자 지정 큰 언어 모델을 실행하는 방법 알아보기

장

연결

고급
솔루션 아키텍처
DevOps 엔지니어
개발자
AI 엔지니어
AKS(Azure Kubernetes Service)
Azure Virtual Machines