Zlepšení kvality aplikace RAG
Tento článek obsahuje přehled o tom, jak můžete každou komponentu upřesnit, aby se zvýšila kvalita aplikace rozšířené generace načítání (RAG).
Existuje spousta "knobs" k ladění v každém bodě v offline datovém kanálu i online řetězu RAG. I když existuje mnoho dalších, článek se zaměřuje na nejdůležitější uzly, které mají největší dopad na kvalitu vaší aplikace RAG. Databricks doporučuje začít s těmito uzly.
Dva typy aspektů kvality
Z koncepčního hlediska je užitečné zobrazit kvalitní uzly RAG prostřednictvím objektivu dvou klíčových typů problémů s kvalitou:
Kvalita načítání: Načítáte nejrelevantní informace pro daný dotaz načítání?
Pokud kontext poskytnutý LLM neobsahuje důležité informace nebo obsahuje nadbytečné informace, je obtížné vygenerovat vysoce kvalitní výstup RAG.
Kvalita generování: Vzhledem k načteným informacím a původnímu dotazu uživatele generuje LLM nejpřesnější, koherentní a užitečnou odpověď?
Problémy se zde můžou projevit jako halucinace, nekonzistentní výstup nebo selhání pro přímou adresu uživatelského dotazu.
Aplikace RAG mají dvě komponenty, které je možné itestrovat, aby řešily problémy s kvalitou: datový kanál a řetěz. Je lákavé předpokládat čisté rozdělení mezi problémy s načítáním (jednoduše aktualizovat datový kanál) a problémy s generováním (aktualizace řetězu RAG). Realita je však více nuancí. Kvalitu načítání můžou ovlivnit datový kanál (například strategie analýzy/blokování dat, strategie metadat, model vkládání) a řetězec RAG (například transformace uživatelského dotazu, počet načtených bloků dat, opětovné řazení). Podobně bude kvalita generování vždy ovlivněna špatným načtením (například irelevantní nebo chybějící informace ovlivňující výstup modelu).
Tento překryvný podtržítko vyžaduje holistický přístup ke zlepšení kvality RAG. Když pochopíte, které komponenty se mají v datovém kanálu i řetězu RAG změnit, a zjistíte, jak tyto změny ovlivňují celkové řešení, můžete provádět cílené aktualizace za účelem zlepšení kvality výstupu RAG.
Důležité informace o kvalitě datového kanálu
Klíčové aspekty datového kanálu:
- Složení vstupního datového souboru.
- Jak se nezpracovaná data extrahují a transformují do použitelného formátu (například parsování dokumentu PDF).
- Jak jsou dokumenty rozdělené na menší bloky a jak jsou tyto bloky formátované (například strategie vytváření bloků dat a velikost bloků dat).
- Metadata (například název oddílu nebo název dokumentu) extrahovaná o každém dokumentu nebo bloku. Jak jsou tato metadata zahrnuta (nebo nejsou zahrnuta) do každého bloku dat.
- Model vkládání použitý k převodu textu na vektorové reprezentace pro vyhledávání podobnosti.
Řetězec RAG
- Volba LLM a jeho parametrů (například teplota a maximální počet tokenů).
- Parametry načítání (například počet načtených bloků dat nebo dokumentů).
- Přístup k načtení (například klíčové slovo vs. hybridní vs. sémantické vyhledávání, přepsání dotazu uživatele, transformace dotazu uživatele na filtry nebo opětovné řazení).
- Jak naformátovat výzvu s načteným kontextem pro vodítko LLM směrem k výstupu kvality.