步骤 4. 评估 POC 的质量
有关本部分中的示例代码,请参阅 GitHub 存储库。
预期时间:5-60 分钟。 时间因评估集中的问题数而异。 对于 100 个问题,评估大约需要 5 分钟。
概述和预期结果
此步骤使用刚刚策划的评估集来评估 POC 应用,并建立基线质量、成本和延迟。 下一步将使用评估结果来确定任何质量问题的根本原因。
评估是使用 Mosaic AI 代理评估进行的,并全面考察了本指南指标部分所列出的所有质量、成本和延迟方面。
评估集中每个问题的聚合指标和评估都已记录到 MLflow。 有关详细信息,请参阅评估输出。
要求
- 评估集可用。
- 上述步骤中的所有要求。
说明
- 在所选 POC 目录中打开
05_evaluate_poc_quality
笔记本,然后单击“全部运行”。 - 检查笔记本中的评估结果或使用 MLflow。 如果结果满足质量要求,可以直接跳到[部署和监视]。 由于 POC 应用程序是基于 Databricks 构建的,因此可以部署到可缩放的生产就绪型 REST API。
下一步
使用此 POC 质量的基线评估,确定任何质量问题的根本原因,并以迭代方式修复这些问题以改进应用。 请参阅步骤 5. 确定质量问题的根本原因。