4단계 POC의 품질 평가

이 섹션의 샘플 코드는 GitHub 리포지토리에서 확인하세요.

예상 시간: 5-60분. 시간은 평가 집합의 질문 수에 따라 달라집니다. 100개의 질문에서 평가에는 약 5분이 걸립니다.

개요 및 예상 결과

이 단계에서는 방금 큐레이팅한 평가 집합을 사용하여 POC 앱을 평가하고 기준 품질, 비용 및 대기 시간을 설정합니다. 평가 결과는 다음 단계에서 품질 문제의 근본 원인을 식별하는 데 사용됩니다.

평가는 Mosaic AI 에이전트 평가를 사용하여 수행되며 이 쿡북의 메트릭 섹션에 설명된 품질, 비용 및 대기 시간의 모든 측면을 포괄적으로 살펴봅니다.

평가 집합의 각 질문에 대한 집계된 메트릭 및 평가는 MLflow에 기록됩니다. 자세한 내용은 평가 출력을 참조 하세요.

요구 사항

• 평가 집합을 사용할 수 있습니다.
• 이전 단계의 모든 요구 사항입니다.

지침

1. 05_evaluate_poc_quality 선택한 POC 디렉터리에서 Notebook을 열고 모두 실행을 클릭합니다.
2. Notebook 또는 MLflow를 사용하여 평가 결과를 검사합니다. 결과가 품질 요구 사항을 충족하는 경우 [배포 및 모니터링]으로 직접 건너뛸 수 있습니다. POC 애플리케이션은 Databricks를 기반으로 하므로 확장 가능한 프로덕션 준비 REST API에 배포할 준비가 된 것입니다.

다음 단계

POC 품질에 대한 이 기준 평가를 사용하여 품질 문제의 근본 원인을 파악하고 이러한 문제를 반복적으로 해결하여 앱을 개선합니다. 5단계를 참조하세요 . 품질 문제의 근본 원인을 식별합니다.