步骤 4. 评估 POC 的质量

突出显示了评估步骤的工作流

有关本部分中的示例代码,请参阅 GitHub 存储库

预期时间:5-60 分钟。 时间因评估集中的问题数而异。 对于 100 个问题,评估大约需要 5 分钟。

概述和预期结果

此步骤使用刚刚策划的评估集来评估 POC 应用,并建立基线质量、成本和延迟。 下一步将使用评估结果来确定任何质量问题的根本原因。

评估是使用 Mosaic AI 代理评估进行的,并全面考察了本指南指标部分所列出的所有质量、成本和延迟方面。

评估集中每个问题的聚合指标和评估都已记录到 MLflow。 有关详细信息,请参阅评估输出

要求

  • 评估集可用。
  • 上述步骤中的所有要求。

说明

  1. 在所选 POC 目录中打开 05_evaluate_poc_quality 笔记本,然后单击“全部运行”
  2. 检查笔记本中的评估结果或使用 MLflow。 如果结果满足质量要求,可以直接跳到[部署和监视]。 由于 POC 应用程序是基于 Databricks 构建的,因此可以部署到可缩放的生产就绪型 REST API。

下一步

使用此 POC 质量的基线评估,确定任何质量问题的根本原因,并以迭代方式修复这些问题以改进应用。 请参阅步骤 5. 确定质量问题的根本原因