요약

  • 4분

이 모듈에서는 Azure OpenAI를 Azure API Management와 함께 사용하는 방법을 살펴보았습니다. 이러한 서비스를 결합하면 AI 모델에 대한 액세스를 관리하고 보호할 수 있습니다.

먼저, 부하 분산 문제에 대해 토론했고 Azure API Management가 트래픽을 관리하고 부하가 백 엔드 전체에 균등하게 분산되도록 하는 데 어떻게 도움이 될 수 있는지 알아보았습니다. 또한 회로 차단기와 이 차단기가 비정상 백 엔드에서 트래픽을 조종하는 데 어떻게 도움이 되는지 살펴보았습니다.

다음으로 토큰 기반 속도 제한과 이를 사용하여 API에 대한 액세스를 제어하는 ​​방법에 대해 토론했습니다. 중요한 교훈은 토큰 사용량에 제한을 두어 과도한 사용량과 소위 "노이즈 인접 항목"을 피하는 것이었습니다.

마지막으로, Azure OpenAI 내보내기 토큰 메트릭 정책을 사용하여 토큰 사용 패턴을 모니터링하고 분석하는 방법에 대해 설명했습니다. 포괄적인 메트릭을 제공하면 리소스 할당을 최적화하고, 의사 결정을 개선하고, 성능 모니터링을 강화할 수 있습니다.

다음 단계

다음은 권장하는 다음 단계입니다.