Krok 6. Vyhodnoťte opravy kvality u agenta AI
Tento článek vás provede postupem iterace a vyhodnocením oprav kvality ve vašem generovacím agentovi AI na základě analýzy původní příčiny.
Další informace o vyhodnocení agenta AI naleznete v tématu What is Mosaic AI Agent Evaluation?.
Požadavky
- Na základě analýzy původní příčiny jste identifikovali potenciální opravy načtení nebo generování pro implementaci a vyhodnocení.
- Vaše aplikace POC (nebo jiný základní řetězec) se protokoluje do spuštění MLflow s vyhodnocením agenta uloženým ve stejném spuštění.
Podívejte se na úložiště GitHub pro vzorový kód v této části.
Očekávaný výsledek v vyhodnocení agenta
Předchozí obrázek ukazuje výstup vyhodnocení agenta v MLflow.
Jak opravit, vyhodnotit a iterovat agenta AI
Pro všechny typy použijte poznámkový blok B_quality_iteration/02_evaluate_fixes k vyhodnocení výsledného řetězce a konfigurace standardních hodnot, poC a výběru "vítěze". Tento poznámkový blok vám pomůže vybrat vítězný experiment a nasadit ho do revizní aplikace nebo škálovatelného rozhraní REST API připraveného pro produkční prostředí.
- V Azure Databricks otevřete poznámkový blok B_quality_iteration/02_evaluate_fixes .
- Na základě typu opravy, kterou implementujete:
- Opravy datových kanálů:
- Postupujte podle kroku 6 (kanálů). Implementujte opravy datového kanálu, abyste vytvořili nový datový kanál a získali název výsledného spuštění MLflow.
- Přidejte název spuštění do
DATA_PIPELINE_FIXES_RUN_NAMESproměnné.
- Opravy konfigurace řetězu:
- Postupujte podle pokynů v
Chain configurationčásti poznámkového bloku 02_evaluate_fixes a přidejte do proměnné opravy konfigurace řetězuCHAIN_CONFIG_FIXES.
- Postupujte podle pokynů v
- Opravy řetězového kódu:
- Vytvořte upravený soubor kódu řetězu a uložte ho do složky B_quality_iteration/chain_code_fixes . Případně vyberte jednu z oprav kódu řetězce z této složky.
- Postupujte podle pokynů v
Chain codečásti poznámkového bloku 02_evaluate_fixes a přidejte soubor řetězového kódu a veškerou další konfiguraci řetězu, která je pro proměnnouCHAIN_CODE_FIXESnutná.
- Opravy datových kanálů:
- Při spuštění poznámkového bloku z
Run evaluationbuňky dojde k následujícímu:- Vyhodnoťte každou opravu.
- Zjistěte opravu s nejlepší kvalitou, náklady a latencí.
- Nasaďte nejlepší řešení do aplikace Pro kontrolu a rozhraní REST API připravené pro produkční prostředí, abyste získali zpětnou vazbu účastníků.
Další krok
Pokračujte krokem 6 (kanály). Implementujte opravy datového kanálu.