Steg 4. Utvärdera POC:s kvalitet

Se GitHub-lagringsplatsen för exempelkoden i det här avsnittet.

Förväntad tid: 5–60 minuter. Tiden varierar beroende på antalet frågor i utvärderingsuppsättningen. För 100 frågor tar utvärderingen cirka 5 minuter.

Översikt och förväntat resultat

I det här steget används utvärderingsuppsättningen som du just har kurerat för att utvärdera din POC-app och fastställa baslinjekvalitet, kostnad och svarstid. Utvärderingsresultaten används i nästa steg för att identifiera rotorsaken till eventuella kvalitetsproblem.

Utvärderingen görs med hjälp av Mosaic AI Agent Evaluation och tittar omfattande på alla aspekter av kvalitet, kostnad och latens som beskrivs i avsnittet mätdatakriterier i den här handledningen.

De aggregerade måtten och utvärderingen av varje fråga i utvärderingsuppsättningen loggas till MLflow. Mer information finns i Utvärderingsutdata.

Krav

• Utvärderingsuppsättningen är tillgänglig.
• Alla krav från föregående steg.

Instruktioner

1. Öppna anteckningsboken 05_evaluate_poc_quality i den valda POC-katalogen och klicka på Kör alla.
2. Granska resultatet av utvärderingen i notebook-filen eller med hjälp av MLflow. Om resultatet uppfyller dina kvalitetskrav kan du hoppa direkt till Distribuera och övervaka. Eftersom POC-programmet bygger på Databricks är det redo att distribueras till ett skalbart, produktionsklart REST API.

Gå vidare

Med den här baslinjeutvärderingen av POC:s kvalitet kan du identifiera de bakomliggande orsakerna till eventuella kvalitetsproblem och iterativt åtgärda dessa problem för att förbättra appen. Se Steg 5. Identifiera rotorsaken till kvalitetsproblem.

< Föregående: Steg 3. Kurera en utvärderingsuppsättning

sv-SE: Nästa: Steg 5. Identifiera grundorsaker till kvalitetsproblem >