Pracovní postup vývoje řízený vyhodnocením
Tato část vás provede doporučeným pracovním postupem vývoje Databricks pro sestavování, testování a nasazování vysoce kvalitní aplikace RAG: vývoj řízený vyhodnocením. Tento pracovní postup vychází z doporučených osvědčených postupů týmu Puzzle Research pro vytváření a vyhodnocování vysoce kvalitních aplikací RAG. Databricks doporučuje následující pracovní postup řízený vyhodnocením:
- Definujte požadavky.
- Shromážděte zpětnou vazbu účastníků o rychlém testování konceptu (POC).
- Vyhodnoťte kvalitu POC.
- Iterativní diagnostika a oprava problémů s kvalitou
- Nasazení do produkčního prostředí
- Monitorování v produkčním prostředí
Při vývoji řízeném vyhodnocením existují dva základní koncepty:
Metriky: Definování toho, co znamená vysokou kvalitu
Podobně jako při nastavování obchodních cílů každý rok je potřeba definovat, co pro váš případ použití znamená vysoká kvalita. Hodnocení agenta Mosaic AI poskytuje navrženou sadu metrik k použití, z nichž nejdůležitější je přesnost nebo správnost odpovědí – poskytuje aplikace RAG správnou odpověď?
sada vyhodnocení: Objektivní měření metrik.
K objektivnímu měření kvality potřebujete sadu hodnocení, která obsahuje otázky se známými dobrými odpověďmi ověřenými lidmi. Tato příručka vás provede procesem vývoje a iterativního zpřesnění této sady hodnocení.
Ukotvení metrik a sady vyhodnocení poskytuje následující výhody:
- Během vývoje můžete iterativním způsobem a s jistotou upřesnit kvalitu vaší aplikace – už nemusíte hádat, jestli změna způsobila zlepšení.
- Sladění s obchodními účastníky připravenosti aplikace pro produkční prostředí bude jednodušší, když můžete s jistotou uvést: "Víme, že naše aplikace správně odpovídá na nejdůležitější otázky a není halucinace."
Podrobný návod znázorňující pracovní postup řízený vyhodnocením začněte s požadavky: Shromáždit požadavky.