Stap 5 (generatie). Foutopsporingskwaliteit
Op deze pagina wordt beschreven hoe u de hoofdoorzaak van generatieproblemen kunt identificeren. Gebruik deze pagina wanneer de hoofdoorzaakanalyse een hoofdoorzaak Improve Generationaangeeft.
Zelfs bij optimaal ophalen, als het LLM-onderdeel van een RAG-keten de opgehaalde context niet effectief kan gebruiken om nauwkeurige, coherente en relevante antwoorden te genereren, lijdt de uiteindelijke uitvoerkwaliteit. Een aantal van de manieren waarop problemen met de kwaliteit van de generatie kunnen worden weergegeven, zijn hallucinaties, inconsistenties of het niet beknopt oplossen van de query van de gebruiker.
Instructies
Volg deze stappen om problemen met de kwaliteit van de generatie op te lossen:
- Open het notitieblok B_quality_iteration/01_root_cause_quality_issues.
- Gebruik de query's om MLflow-traceringen te laden van de records die kwaliteitsproblemen hebben gegenereerd.
- Bekijk voor elke record handmatig het gegenereerde antwoord en vergelijk deze met de opgehaalde context en het antwoord op de grondwaar.
- Zoek naar patronen of veelvoorkomende problemen tussen de query's met een lage generatiekwaliteit. Bijvoorbeeld:
- Het genereren van informatie die niet aanwezig is in de opgehaalde context.
- Informatie genereren die niet consistent is met de opgehaalde context (hallucineren).
- Kan de query van de gebruiker niet rechtstreeks aanpakken op basis van de opgegeven opgehaalde context.
- Antwoorden genereren die te uitgebreid zijn, moeilijk te begrijpen of geen logische samenhang hebben.
- Op basis van het geïdentificeerde probleem hypotheseert u mogelijke hoofdoorzaken en bijbehorende oplossingen. Zie Veelvoorkomende redenen voor slechte generatiekwaliteit voor hulp.
- Volg de stappen in het implementeren en evalueren van wijzigingen om een mogelijke oplossing te implementeren en te evalueren. Dit kan betrekking hebben op het wijzigen van de RAG-keten (bijvoorbeeld het aanpassen van de promptsjabloon of het proberen van een andere LLM) of de gegevenspijplijn (bijvoorbeeld het aanpassen van de segmenteringsstrategie om meer context te bieden).
- Als de generatiekwaliteit nog steeds niet bevredigend is, herhaalt u stap 4 en 5 voor de volgende meest veelbelovende oplossing totdat de gewenste prestaties zijn bereikt.
- Voer de hoofdoorzaakanalyse opnieuw uit om te bepalen of de algehele keten aanvullende hoofdoorzaken heeft die moeten worden aangepakt.
Veelvoorkomende redenen voor slechte generatiekwaliteit
De volgende tabel bevat stappen voor foutopsporing en mogelijke oplossingen voor veelvoorkomende generatieproblemen. Oplossingen worden gecategoriseerd op onderdeel:
- Configuratie van keten
- Ketencode
Het onderdeel definieert welke stappen u moet volgen in de stap voor het implementeren en evalueren van wijzigingen .
Belangrijk
Databricks raadt u aan prompt engineering te gebruiken om de kwaliteit van de uitvoer van uw app te herhalen. In de meeste van de volgende stappen wordt prompt engineering gebruikt.
| Generatieprobleem | Stappen voor foutopsporing | Mogelijke oplossing |
|---|---|---|
| Gegenereerde informatie is niet aanwezig in de opgehaalde context (zoals halluucinaties). | - Vergelijk gegenereerde reacties op opgehaalde context om hallucineerde informatie te identificeren. - Beoordeel of bepaalde typen query's of opgehaalde context gevoeliger zijn voor halluïnaties. |
-
Sjabloon voor het bijwerken van ketenconfiguraties om de afhankelijkheid van opgehaalde context te benadrukken. - Ketenconfiguratie Gebruik een meer geschikte LLM. - Ketencode Implementeer een stap na het genereren van feitencontrole of verificatie. |
| Kan de query van de gebruiker niet rechtstreeks verhelpen of te veel algemene antwoorden geven | - Vergelijk gegenereerde antwoorden op gebruikersquery's om relevantie en specificiteit te beoordelen. - Controleer of bepaalde typen query's resulteren in de juiste context die wordt opgehaald, maar de LLM produceert uitvoer van lage kwaliteit. |
-
Sjabloon voor ketenconfiguratie : promptsjabloon verbeteren om directe, specifieke antwoorden aan te moedigen. - Ketenconfiguratie Haal meer gerichte context op door het ophaalproces te verbeteren. - Koppel code re-rank ophaalresultaten om eerst de meest relevante segmenten te plaatsen, geef deze alleen aan de LLM. - Ketenconfiguratie Gebruik een meer geschikte LLM. |
| Gegenereerde antwoorden zijn moeilijk te begrijpen of ontbreken logische stroom | - Uitvoer beoordelen voor logische stroom, grammaticale juistheid en begrijpelijkheid. - Analyseren of incoherentie vaker voorkomt bij bepaalde typen query's of wanneer bepaalde typen context worden opgehaald. |
-
Wijzigingspromptsjabloon voor ketenconfiguratie om coherente, goed gestructureerde reacties aan te moedigen. - Ketenconfiguratie Biedt meer context aan de LLM door extra relevante segmenten op te halen. - Ketenconfiguratie Gebruik een meer geschikte LLM. |
| Gegenereerde antwoorden hebben niet de gewenste indeling of stijl | - Uitvoer vergelijken met de richtlijnen voor de verwachte indeling en stijl. - Beoordelen of bepaalde typen query's of opgehaalde context waarschijnlijker leiden tot indelings- of stijldeviaties. |
-
Sjabloon voor het bijwerken van ketenconfiguraties om de gewenste uitvoerindeling en -stijl op te geven. - Ketencode Implementeer een stap na verwerking om het gegenereerde antwoord te converteren naar de gewenste indeling. - Ketencode Voeg een stap toe om de uitvoerstructuur en -stijl te valideren en voer zo nodig een terugvalantwoord uit. - Ketenconfiguratie Gebruik een LLM die is afgestemd op uitvoer in een specifieke indeling of stijl. |
Volgende stap
Als u ook problemen met de kwaliteit van het ophalen hebt geïdentificeerd, gaat u verder met stap 5 (ophalen). Foutopsporingskwaliteit voor ophalen.
Als u denkt dat u alle geïdentificeerde problemen hebt opgelost, gaat u verder met stap 6. Kwaliteitscorrecties maken en evalueren op de AI-agent.
< Vorige: Stap 5.1. De kwaliteit van het ophalen van fouten opsporen