Krok 5 (načtení) Ladění kvality načítání
Tato stránka popisuje, jak identifikovat původní příčinu problémů při načítání. Tuto stránku použijte, pokud analýza původní příčiny indikuje původní příčinu Improve Retrieval.
Kvalita načítání je pravděpodobně nejdůležitější komponentou aplikace RAG. Pokud se pro daný dotaz nevrátí nejrelevavantnější bloky dat, LLM nemá přístup k potřebným informacím pro vygenerování vysoce kvalitní odpovědi. Špatné načtení může vést k irelevantnímu, neúplném nebo hallukovanému výstupu. Tento krok vyžaduje ruční úsilí k analýze podkladových dat. Architekturu agenta AI pro architekturu s úzkou integrací mezi datovou platformou (včetně katalogu Unity a vektorového vyhledávání) a experimentování se sledováním pomocí MLflow (včetně vyhodnocení LLM a trasování MLflow) usnadňuje řešení potíží mnohem snadněji.
Pokyny
Při řešení problémů s kvalitou načítání postupujte takto:
- Otevřete poznámkový blok B_quality_iteration/01_root_cause_quality_issues.
- Pomocí dotazů načtěte trasování MLflow záznamů s problémy s kvalitou načítání.
- Pro každý záznam ručně zkontrolujte načtené bloky dat. Pokud jsou k dispozici, porovnejte je s podklady pro načítání pravdy.
- Hledejte vzory nebo běžné problémy mezi dotazy s nízkou kvalitou načítání. Příklad:
- V databázi vektorů chybí zcela relevantní informace.
- Pro načtení dotazu není dostatečný počet bloků dat nebo dokumentů vrácených.
- Bloky dat jsou příliš malé a nemají dostatečný kontext.
- Bloky dat jsou příliš velké a obsahují více nesouvisejících témat.
- Model vkládání nedokáže zachytit sémantickou podobnost pro termíny specifické pro doménu.
- Na základě zjištěného problému hypotézy potenciální původní příčiny a odpovídající opravy. Pokyny najdete v běžných příčinách nízké kvality načítání.
- Při implementaci a vyhodnocení změn proveďte a vyhodnoťte potenciální opravu. To může zahrnovat úpravu datového kanálu (například úpravu velikosti bloku dat nebo vyzkoušení jiného modelu vkládání) nebo úpravu řetězu RAG (například implementace hybridního vyhledávání nebo načítání dalších bloků dat).
- Pokud kvalita načítání stále není uspokojivá, opakujte kroky 4 a 5 pro další nejslibnější opravy, dokud nedosáhne požadovaného výkonu.
- Znovu spusťte analýzu původní příčiny, abyste zjistili, jestli má celkový řetězec další původní příčiny, které by se měly řešit.
Běžné důvody špatné kvality načítání
Následující tabulka uvádí kroky ladění a potenciální opravy běžných problémů s načítáním. Opravy jsou kategorizovány podle komponent:
- Datový kanál
- Konfigurace řetězu
- Řetězení kódu
Komponenta definuje kroky, které byste měli provést v kroku implementace a vyhodnocení změn .
| Problém s načtením | Postup ladění | Potenciální oprava |
|---|---|---|
| Bloky dat jsou příliš malé | – Prozkoumejte bloky dat, jestli nejsou úplné informace o výřezu. |
-
Datový kanál zvětšete velikost bloku dat nebo se překrývají. - Datový kanál zkuste použít jinou strategii vytváření bloků dat. |
| Bloky dat jsou příliš velké | – Zkontrolujte, jestli načtené bloky dat obsahují více nesouvisejících témat. |
-
Velikost datového kanálu zmenší velikost bloku dat. - Strategie vytváření bloků dat vylepšete, abyste se vyhnuli kombinaci nesouvisejících témat (například sémantického vytváření bloků dat). |
| Bloky dat nemají dostatek informací o textu, ze kterého byly převzaty. | - Vyhodnoťte, jestli nedostatek kontextu pro každý blok dat způsobuje nejasnost nebo nejednoznačnost v načtených výsledcích. |
-
Datový kanál zkuste přidat metadata a názvy do jednotlivých bloků dat (například názvy oddílů). - Zřetězte konfiguraci Načíst další bloky dat a použít LLM s větší velikostí kontextu. |
| Model vkládání přesně nerozumí doméně nebo klíčovým frázím v uživatelských dotazech. | – Zkontrolujte, jestli se pro stejný dotaz načítají séanticky podobné bloky dat. |
-
Datový kanál Zkuste různé modely vkládání. - Zřetězte konfiguraci try hybrid search. - Zřetězte výsledky načítání kódu přečítaných a znovu seřadíte. Do kontextu LLM se odsílají jenom nejlépe seřazené výsledky. - Model vložení do dat specifických pro doménu vylaďte vylaďovací model datového kanálu . |
| V vektorové databázi chybí relevantní informace | – Zkontrolujte, jestli v databázi vektorů chybí nějaké relevantní dokumenty nebo oddíly. |
-
Datový kanál přidá do vektorové databáze relevantnější dokumenty. - Datový kanál Vylepšuje analýzu dokumentů a extrakci metadat. |
| Dotazy na načítání jsou špatně formulované. | – Pokud se dotazy uživatelů používají přímo pro sémantické vyhledávání, analyzujte tyto dotazy a zkontrolujte nejednoznačnost nebo nedostatek specifikace. K tomu může dojít snadno v konverzacích s více kroky, kdy nezpracovaný uživatelský dotaz odkazuje na předchozí části konverzace, takže není vhodné použít přímo jako dotaz na načtení. – Zkontrolujte, jestli termíny dotazu odpovídají terminologii použité ve vyhledávacím korpusu. |
-
Zřetězte kód Přidání rozšiřujícího nebo transformačního přístupu dotazu (například při dotazu uživatele transformujte dotaz před sémantickým vyhledáváním). - Zřetězte kód Přidáním porozumění dotazu k identifikaci záměru a entit (například pomocí LLM extrahujte vlastnosti, které se mají použít při filtrování metadat). |
Další krok
Pokud jste také zjistili problémy s kvalitou generování, pokračujte krokem 5 (generování). Jak ladit kvalitu generování
Pokud se domníváte, že jste vyřešili všechny zjištěné problémy, pokračujte krokem 6. Proveďte a vyhodnoťte opravy kvality u agenta AI.
< Předchozí: Krok 5. Identifikace původních příčin problémů s kvalitou