步驟 4. 評估POC的品質
如需本節中的範例程式碼,請參閱 GitHub 存放庫。
預期時間:5 - 60 分鐘。 時間會根據評估集中的問題數目而有所不同。 對於 100 個問題,評估大約需要 5 分鐘。
概觀和預期的結果
此步驟會使用您剛才策劃的評估集來評估POC應用程式,並建立基準品質、成本和延遲。 下一個步驟會使用評估結果來識別任何質量問題的根本原因。
評估是使用馬賽克 AI 代理程式評估完成,並全面查看本食譜計量一節中概述的品質、成本和延遲的所有層面。
評估集中每個問題的匯總計量和評估都會記錄至 MLflow。 如需詳細資訊,請參閱 評估輸出。
需求
- 評估集可供使用。
- 先前步驟的所有需求。
指示
- 在
05_evaluate_poc_quality
您選擇的 POC 目錄中開啟筆記本,然後按兩下 [ 全部執行]。 - 檢查筆記本中的評估結果或使用 MLflow。 如果結果符合您的品質需求,您可以直接跳至 [部署和監視] 。 由於 POC 應用程式是以 Databricks 為基礎所建置,因此已準備好部署至可調整且生產就緒的 REST API。
後續步驟
使用此 POC 品質的基準評估,找出任何質量問題的根本原因,並反覆修正這些問題以改善應用程式。 請參閱 步驟 5。找出質量問題的根本原因。