Steg 4. Utvärdera POC:s kvalitet

Se GitHub-lagringsplatsen för exempelkoden i det här avsnittet.

Förväntad tid: 5–60 minuter. Tiden varierar beroende på antalet frågor i utvärderingsuppsättningen. För 100 frågor tar utvärderingen cirka 5 minuter.

Översikt och förväntat resultat

I det här steget används utvärderingsuppsättningen som du just har kurerat för att utvärdera din POC-app och fastställa baslinjekvalitet, kostnad och svarstid. Utvärderingsresultaten används i nästa steg för att identifiera rotorsaken till eventuella kvalitetsproblem.

Utvärderingen görs med hjälp av Mosaic AI Agent Evaluation och omfattar alla aspekter av kvalitet, kostnad och svarstid som beskrivs i måttavsnittet i den här kokboken.

De aggregerade måtten och utvärderingen av varje fråga i utvärderingsuppsättningen loggas till MLflow. Mer information finns i Utvärderingsutdata.

Krav

• Utvärderingsuppsättningen är tillgänglig.
• Alla krav från föregående steg.

Instruktioner

1. Öppna anteckningsboken 05_evaluate_poc_quality i den valda POC-katalogen och klicka på Kör alla.
2. Granska resultatet av utvärderingen i notebook-filen eller med hjälp av MLflow. Om resultatet uppfyller dina krav för kvalitet kan du hoppa direkt till [Distribuera och övervaka] . Eftersom POC-programmet bygger på Databricks är det redo att distribueras till ett skalbart, produktionsklart REST API.

Gå vidare

Med den här baslinjeutvärderingen av POC:s kvalitet kan du identifiera de bakomliggande orsakerna till eventuella kvalitetsproblem och iterativt åtgärda dessa problem för att förbättra appen. Se Steg 5. Identifiera rotorsaken till kvalitetsproblem.