Krok 5 (generování). Jak ladit kvalitu generování
Tato stránka popisuje, jak identifikovat původní příčinu problémů s generováním. Tuto stránku použijte, pokud analýza původní příčiny indikuje původní příčinu Improve Generation.
I s optimálním načtením, pokud komponenta LLM řetězce RAG nemůže efektivně využít načtený kontext k vygenerování přesných, koherentních a relevantních odpovědí, konečná kvalita výstupu trpí. Mezi způsoby, jak se můžou objevit problémy s kvalitou generování, jsou halucinace, nekonzistence nebo selhání stručné řešení dotazu uživatele.
Pokyny
Při řešení problémů s kvalitou generování postupujte takto:
- Otevřete poznámkový blok B_quality_iteration/01_root_cause_quality_issues.
- Pomocí dotazů načtěte trasování MLflow záznamů, u které došlo k problémům s kvalitou generování.
- U každého záznamu ručně prozkoumejte vygenerovanou odpověď a porovnejte ji s načteným kontextem a odpovědí na základní pravdu.
- Hledejte vzory nebo běžné problémy mezi dotazy s nízkou kvalitou generování. Příklad:
- Generování informací, které nejsou přítomné v načteného kontextu.
- Generování informací, které nejsou konzistentní s načteným kontextem (halucinace).
- Nepodařilo se přímo adresovat dotaz uživatele vzhledem k zadanému načteného kontextu.
- Generování odpovědí, které jsou příliš podrobné, obtížně pochopitelné nebo chybí logická soudržnost.
- Na základě zjištěného problému hypotézy potenciální původní příčiny a odpovídající opravy. Pokyny najdete v běžných důvodech nízké kvality generování.
- Při implementaci a vyhodnocení změn proveďte a vyhodnoťte potenciální opravu. To může zahrnovat úpravu řetězce RAG (například úpravu šablony výzvy nebo vyzkoušení jiného LLM) nebo datového kanálu (například úprava strategie bloků dat tak, aby poskytovala více kontextu).
- Pokud kvalita generování stále není uspokojivá, opakujte kroky 4 a 5 pro další nejslibnější opravu, dokud nedosáhne požadovaného výkonu.
- Znovu spusťte analýzu původní příčiny, abyste zjistili, jestli má celkový řetězec další původní příčiny, které by se měly řešit.
Běžné důvody nízké kvality generování
Následující tabulka uvádí kroky odstraňování chyb a potenciální opravy běžných problémů při generování. Opravy jsou kategorizovány podle komponent:
- Konfigurace řetězu
- Řetězení kódu
Komponenta definuje kroky, které byste měli provést v kroku implementace a vyhodnocení změn .
Důležité
Databricks doporučuje, abyste použili výzvu k iteraci na kvalitě výstupů vaší aplikace. Většina následujících kroků používá výzvu k technickému zpracování.
| Problém s generováním | Postup ladění | Potenciální oprava |
|---|---|---|
| Vygenerované informace se nenachází v načtených kontextech (například halucinace). | - Porovnejte generované odpovědi na načtený kontext k identifikaci hallukovaných informací. – Vyhodnoťte, jestli jsou určité typy dotazů nebo načteného kontextu náchylnější k halucinacím. |
-
konfigurace řetězu šablony výzvy k aktualizaci, která zvýrazní závislost na načtený kontext. - Zřetězte konfiguraci pomocí llm s větší podporou. - Zřetězení kódu Implementuje krok kontroly faktů nebo ověření po generování. |
| Nepodařilo se přímo adresovat dotaz uživatele nebo poskytovat příliš obecné odpovědi | - Porovnání vygenerovaných odpovědí na dotazy uživatelů za účelem posouzení relevance a specifikity. – Zkontrolujte, jestli některé typy dotazů mají za následek načtení správného kontextu, ale LLM vytváří výstup nízké kvality. |
-
Zřetězení konfigurace Vylepšit šablonu výzvy, aby podporovala přímé, specifické odpovědi. - Zřetězte konfiguraci Načtení cílenějšího kontextu vylepšením procesu načítání. - Zřetězte výsledky načítání kódu re-rank tak, aby se jako první vložily nejrelevavantnější bloky dat, pouze je poskytněte LLM. - Zřetězte konfiguraci pomocí llm s větší podporou. |
| Vygenerované odpovědi jsou obtížně pochopitelné nebo chybí logický tok. | - Vyhodnocení výstupu logického toku, gramatické správnosti a srozumitelnosti – Analyzujte, jestli dochází k neslušnosti častěji s určitými typy dotazů nebo při načtení určitých typů kontextu. |
-
Zřetězení šablony výzvy ke změně konfigurace , která podporuje koherentní a dobře strukturovanou odpověď. - Zřetězený config Poskytnout další kontext LLM načtením dalších relevantních bloků dat. - Zřetězte konfiguraci pomocí llm s větší podporou. |
| Vygenerované odpovědi nejsou v požadovaném formátu nebo stylu. | - Porovnejte výstup s očekávaným formátem a pokyny pro styl. – Vyhodnoťte, jestli jsou určité typy dotazů nebo načtených kontextů pravděpodobnější, že budou mít za následek odchylky formátu nebo stylu. |
-
Konfigurace řetězu Aktualizujte šablonu výzvy pro specifikaci požadovaného formátu a stylu výstupu. - Zřetězený kód Implementujte krok následného zpracování, který převede vygenerovanou odpověď do požadovaného formátu. - Zřetězený kód Přidejte krok pro ověření struktury a stylu výstupu a v případě potřeby vypište záložní odpověď. - Zřetězený config Použijte LLM, který je vyladěný k poskytování výstupů v určitém formátu nebo stylu. |
Další krok
Pokud jste také zjistili problémy s kvalitou načítání, pokračujte krokem 5 (načtení). Jak ladit kvalitu načítání
Pokud se domníváte, že jste vyřešili všechny zjištěné problémy, pokračujte krokem 6. Proveďte a vyhodnoťte opravy kvality u agenta AI.