7단계 배포 및 모니터링
이 문서에서는 개념 증명 RAG 애플리케이션을 배포하고 모니터링하는 방법에 대한 높은 수준의 지침을 제공합니다.
이제 RAG POC를 빌드하고, 평가하고, 품질을 개선했으므로 이제 RAG 애플리케이션을 프로덕션에 배포해야 합니다. 성능 모니터링 및 피드백 수집을 완료했다는 의미는 아닙니다. 데이터 및 사용 패턴이 시간이 지남에 따라 변경 될 수 있으므로 배포 후에도 품질 반복은 매우 중요합니다.
Databricks를 사용하면 Mosaic AI Agent Serving를 사용하여 체인을 있는 그대로 배포할 수 있습니다. 지침은 생성 AI 애플리케이션에 대한 에이전트 배포를 참조하세요.
배포
적절한 배포는 RAG 솔루션의 원활한 운영과 성공을 보장하는 데 매우 중요합니다. 다음은 RAG 애플리케이션을 배포할 때 유의해야 할 중요한 고려 사항입니다.
- 주요 통합 지점 식별
- 기존 시스템 및 워크플로를 분석하여 RAG 솔루션이 통합되는 위치와 방법을 결정합니다.
- 특정 통합이 다른 통합보다 더 중요하거나 복잡한지 평가하고 그에 따라 우선 순위를 지정합니다.
- 버전 관리 및 확장성 구현
- 쉽게 추적 및 롤백할 수 있도록 모델에 대한 버전 관리 시스템을 설정합니다.
- Databricks Model Serving와 같은 도구를 활용하여 증가하는 부하를 처리하고 효율적으로 확장하도록 배포 아키텍처를 디자인합니다.
- 보안 및 액세스 제어 보장
- RAG 솔루션을 배포할 때 엔드포인트 보안 및 중요한 데이터 보호와 같은 보안 모범 사례를 따릅니다.
- 권한 있는 사용자만 RAG 솔루션과 상호 작용할 수 있도록 적절한 액세스 제어 메커니즘을 구현합니다.
모니터링
RAG 애플리케이션을 배포한 후에는 성능을 모니터링해야 합니다. 실제 사용량은 이전 테스트 및 평가 중에 명백하지 않았을 수 있는 문제를 표시할 수 있습니다. 또한 데이터 및 요구 사항을 변경하면 시간이 지남에 따라 애플리케이션 성능에 영향을 미칠 수 있습니다. 다음은 따라야 할 중요한 모니터링 사례입니다.
- 모니터링 메트릭 및 로깅 설정
- 정확도, 응답 시간 및 리소스 사용률과 같은 RAG 솔루션의 상태 및 효율성을 모니터링하는 주요 성능 메트릭을 정의합니다.
- 포괄적인 로깅을 구현하여 디버깅 및 개선 목적으로 중요한 이벤트, 오류 및 사용자 상호 작용을 캡처합니다.
- 경고 및 피드백 채널 설정
- 변칙 또는 중요한 문제를 알리도록 경고를 구성하여 사전 문제 해결을 허용합니다.
- 사용자가 RAG 솔루션에 대한 피드백을 제공하고 이 피드백을 정기적으로 검토하고 해결할 수 있는 채널을 제공합니다.
- 지속적으로 모니터링 및 개선
- 설정된 모니터링 메트릭을 사용하여 RAG 솔루션의 성능을 지속적으로 분석합니다.
- 모니터링에서 얻은 인사이트를 사용하여 RAG 솔루션에 대한 반복적인 개선 및 최적화를 추진합니다.
- 정기적인 상태 검사 수행
- 사용자에게 영향을 주기 전에 잠재적인 문제를 사전에 식별하고 해결하도록 정기적인 상태 검사를 예약합니다.
- 특정 구성 요소 또는 통합이 문제가 발생하기 쉬운지 평가하고 보다 면밀한 모니터링이 필요한지 평가합니다.