생성 AI 애플리케이션을 지속적으로 모니터링
Important
이 문서에 표시된 항목(미리 보기)은 현재 퍼블릭 미리 보기에서 확인할 수 있습니다. 이 미리 보기는 서비스 수준 계약 없이 제공되며, 프로덕션 워크로드에는 권장되지 않습니다. 특정 기능이 지원되지 않거나 기능이 제한될 수 있습니다. 자세한 내용은 Microsoft Azure Preview에 대한 추가 사용 약관을 참조하세요.
생성 AI의 지속적인 발전으로 조직은 점점 더 복잡한 애플리케이션을 빌드하여 다양한 문제(챗봇, RAG 시스템, 에이전트 시스템 등)를 해결했습니다. 이러한 애플리케이션은 혁신을 주도하고, 고객 환경을 개선하며, 의사 결정을 향상시키는 데 사용되고 있습니다. 이러한 생성 AI 애플리케이션을 구동하는 모델(예: GPT-4o)은 매우 지원되지만, 고품질, 안전 및 신뢰할 수 있는 결과를 보장하기 위해 지속적인 모니터링이 그 어느 때보다 중요해졌습니다. 연속 모니터링은 애플리케이션을 관찰할 때 여러 관점을 고려할 때 효과적입니다. 이러한 관점에는 토큰 사용량 및 비용, 작업 메트릭(대기 시간, 요청 수 등) 및 중요한 연속 평가가 포함됩니다. 평가에 대한 자세한 내용은 생성 AI 애플리케이션 평가를 참조 하세요.
Azure AI 및 Azure Monitor는 여러 관점에서 생성 AI 애플리케이션의 성능을 지속적으로 모니터링할 수 있는 도구를 제공합니다. Azure AI Online Evaluation을 사용하면 배포된 위치 또는 사용하는 오케스트레이션 프레임워크(예: LangChain)에 관계없이 애플리케이션을 지속적으로 평가할 수 있습니다. Azure AI Evaluation SDK와 패리티를 유지하거나 사용자 고유의 사용자 지정 평가자를 정의하는 다양한 기본 제공 평가자를 사용할 수 있습니다. 수집된 추적 데이터에 대해 올바른 평가자를 지속적으로 실행하여 팀은 사전 프로덕션 또는 사후 프로덕션에서 발생하는 보안, 품질 및 안전 문제를 보다 효과적으로 식별하고 완화할 수 있습니다. Azure AI Online 평가는 Azure Monitor Application Insights에서 사용할 수 있는 포괄적인 관찰 도구 모음과 완전히 통합되어 사용자 지정 대시보드를 빌드하고, 시간이 지남에 따라 평가 결과를 시각화하고, 고급 애플리케이션 모니터링에 대한 경고를 구성할 수 있습니다.
요약하자면, AI 산업의 복잡성과 급속한 발전으로 인해 생성된 AI 애플리케이션을 모니터링하는 것이 그 어느 때보다 중요해졌습니다. Azure Monitor Application Insights와 통합된 Azure AI Online 평가를 사용하면 배포된 애플리케이션을 지속적으로 평가하여 성능이 뛰어나고 안전하며 프로덕션 환경에서 고품질의 결과를 생성할 수 있습니다.
생성 AI 애플리케이션을 모니터링하는 방법
이 섹션에서는 Azure AI Foundry 추적, 온라인 평가 및 추적 시각화 기능을 사용하여 생성 AI 애플리케이션을 모니터링하는 방법을 알아봅니다. 그런 다음, 포괄적인 관찰 가능성 및 시각화를 위해 Azure AI Foundry가 Azure Monitor Application Insights와 통합되는 방법을 알아봅니다.
생성 AI 애플리케이션 추적
애플리케이션을 지속적으로 모니터링하는 첫 번째 단계는 분석을 위해 원격 분석 데이터를 캡처하고 저장하는 것입니다. 이렇게 하려면 Azure AI 추적 패키지를 사용하여 선택한 Azure Monitor Application Insights 리소스에 추적 데이터를 기록하도록 생성 AI 애플리케이션의 코드를 계측해야 합니다. 이 패키지는 관찰 가능성을 위해 OpenTelemetry 표준을 완전히 준수합니다. 애플리케이션의 코드를 계측한 후에는 추적 데이터가 Application Insights 리소스에 기록됩니다.
애플리케이션 코드에 추적을 포함하면 Azure AI Foundry 또는 Azure Monitor Application Insights 리소스에서 추적 데이터를 볼 수 있습니다. 이 작업을 수행하는 방법에 대한 자세한 내용은 생성 AI 애플리케이션 모니터링을 참조하세요.
온라인 평가 설정
생성 AI 애플리케이션에 대한 추적을 설정한 후 Azure AI Foundry SDK를 사용하여 온라인 평가를 설정하여 추적 데이터가 수집될 때 지속적으로 평가합니다. 이렇게 하면 시간이 지남에 따라 프로덕션 환경에서 애플리케이션의 성능을 모니터링할 수 있습니다.
참고 항목
여러 AI 애플리케이션이 추적 데이터를 동일한 Azure Monitor Application Insights 리소스에 로깅하는 경우 서비스 이름을 사용하여 Application Insights의 애플리케이션 데이터를 구분하는 것이 좋습니다. 서비스 이름을 설정하는 방법을 알아보려면 Azure AI 추적을 참조 하세요. 온라인 평가 구성 내에서 서비스 이름을 쿼리하는 방법을 알아보려면 추적 데이터에서 서비스 이름 사용을 참조하세요.
Azure Monitor Application Insights를 사용하여 생성 AI 애플리케이션 모니터링
이 섹션에서는 Azure AI가 Azure Monitor Application Insights와 통합되어 애플리케이션의 최신 상태로 업데이트된 상태를 유지할 수 있도록 생성 AI 앱에 대한 인사이트를 사용하여 조정된 기본 대시보드 보기를 제공하는 방법을 알아봅니다.
생성 AI 애플리케이션에 대한 인사이트
아직 설정하지 않은 경우 몇 가지 빠른 단계는 다음과 같습니다.
- Azure AI Foundry에서 프로젝트로 이동합니다.
- 왼쪽에서 추적 페이지를 선택합니다.
- Application Insights 리소스를 프로젝트에 연결합니다.
Azure AI Foundry 포털에서 추적을 이미 설정한 경우 생성 AI 애플리케이션 대시보드에 대한 인사이트를 확인하는 링크를 선택하기만 하면 됩니다.
Application Insights 리소스로 데이터를 스트리밍하면 이 사용자 지정된 대시보드에서 데이터가 자동으로 채워지도록 볼 수 있습니다.
이 보기는 모니터링 요구 사항을 시작하기에 좋은 장소입니다.
- 시간이 지남에 따라 토큰 사용량을 확인하여 사용 제한을 늘리거나 추가 비용 분석을 수행해야 하는지 파악할 수 있습니다.
- 평가 메트릭을 추세선으로 보고 매일 앱의 품질을 이해할 수 있습니다.
- 예외가 발생하는 경우 디버그하고 Azure Monitor 엔드투엔드 트랜잭션 세부 정보 보기를 사용하여 추적을 드릴다운하여 무엇이 잘못되었는지 파악할 수 있습니다.
Application Insights 리소스에 저장된 데이터를 쿼리하는 Azure 통합 문서입니다. 이 통합 문서를 사용자 지정하고 비즈니스 요구에 맞게 조정할 수 있습니다. 자세한 내용은 Azure 통합 문서 편집을 참조 하세요.
이렇게 하면 기록했을 수 있는 사용자 지정 평가기 또는 다른 markdown 텍스트를 추가하여 요약을 공유하고 보고 목적으로 사용할 수 있습니다.
이 통합 문서를 팀과 공유하여 최신 정보를 계속 받을 수도 있습니다.
참고 항목
팀 구성원과 이 통합 문서를 공유할 때 표시된 정보를 보려면 연결된 Application Insights 리소스에 대한 '읽기 권한자' 역할 이상이 있어야 합니다.