Steg 5 (generation). Felsöka generationskvalitet
Den här sidan beskriver hur du identifierar rotorsaken till generationsproblem. Använd den här sidan när rotorsaksanalysen anger en rotorsak Improve Generation.
Även med optimal hämtning, om LLM-komponenten i en RAG-kedja inte effektivt kan använda den hämtade kontexten för att generera korrekta, sammanhängande och relevanta svar, blir den slutliga utdatakvaliteten lidande. Några av de sätt som problem med generationskvalitet kan uppstå på är hallucinationer, inkonsekvenser eller underlåtenhet att kortfattat åtgärda användarens fråga.
Instruktioner
Följ de här stegen för att åtgärda problem med genereringskvalitet:
- Öppna anteckningsboken B_quality_iteration/01_root_cause_quality_issues.
- Använd frågorna för att läsa in MLflow-spårningar av poster som hade problem med genereringskvaliteten.
- För varje post granskar du det genererade svaret manuellt och jämför det med den hämtade kontexten och svaret på grundsanningen.
- Leta efter mönster eller vanliga problem bland frågor med låg generationskvalitet. Till exempel:
- Genererar information som inte finns i den hämtade kontexten.
- Genererar information som inte är konsekvent med den hämtade kontexten (hallucinerande).
- Det gick inte att adressera användarens fråga direkt med tanke på den angivna hämtade kontexten.
- Genererar svar som är alltför utförliga, svåra att förstå eller saknar logisk konsekvens.
- Baserat på det identifierade problemet antar du potentiella rotorsaker och motsvarande korrigeringar. Vägledning finns i Vanliga orsaker till dålig generationskvalitet.
- Följ stegen i implementera och utvärdera ändringar för att implementera och utvärdera en potentiell korrigering. Detta kan innebära att du ändrar RAG-kedjan (till exempel att justera promptmallen eller prova en annan LLM) eller datapipelinen (till exempel justera segmenteringsstrategin för att ge mer kontext).
- Om generationskvaliteten fortfarande inte är tillfredsställande upprepar du steg 4 och 5 för nästa mest lovande korrigering tills önskad prestanda uppnås.
- Kör rotorsaksanalysen igen för att avgöra om den övergripande kedjan har några ytterligare rotorsaker som ska åtgärdas.
Vanliga orsaker till dålig generationskvalitet
I följande tabell visas felsökningssteg och potentiella korrigeringar för vanliga generationsproblem. Korrigeringar kategoriseras efter komponent:
- Kedjekonfiguration
- Kedjekod
Komponenten definierar vilka steg du ska följa i steget implementera och utvärdera ändringar .
Viktigt!
Databricks rekommenderar att du använder prompt-teknik för att iterera kvaliteten på appens utdata. De flesta av följande steg använder prompt engineering.
| Problem med generering | Felsökningssteg | Potentiell korrigering |
|---|---|---|
| Genererad information finns inte i den hämtade kontexten (till exempel hallucinationer). | – Jämför genererade svar med hämtad kontext för att identifiera hallucinerad information. – Utvärdera om vissa typer av frågor eller hämtade kontexter är mer benägna att hallucinationer. |
- Kedja konfiguration Uppdatera promptmall för att betona beroendet av hämtad kontext. - Kedjekonfiguration Använd en mer kompatibel LLM. - Kedjekod Implementera ett faktakontroll- eller verifieringssteg efter generation. |
| Det gick inte att direkt adressera användarens fråga eller tillhandahålla alltför allmänna svar | – Jämför genererade svar med användarfrågor för att bedöma relevans och specificitet. – Kontrollera om vissa typer av frågor resulterar i rätt kontext som hämtas, men LLM producerar utdata av låg kvalitet. |
- Kedjekonfiguration Förbättra promptmallen för att uppmuntra direkta, specifika svar. - Kedjekonfiguration Hämta mer målkontext genom att förbättra hämtningsprocessen. - Kedjekod Rangordna om hämtningsresultat för att placera de flesta relevanta segment först, ange endast dessa till LLM. - Kedjekonfiguration Använd en mer kompatibel LLM. |
| Genererade svar är svåra att förstå eller sakna logiskt flöde | – Utvärdera utdata för logiskt flöde, grammatisk korrekthet och förståelse. – Analysera om inkonsekvens inträffar oftare med vissa typer av frågor eller när vissa typer av kontext hämtas. |
- Mall för länkkonfiguration Ändringsprompt för att uppmuntra till sammanhängande, välstrukturerade svar. - Kedjekonfiguration Ge LLM mer kontext genom att hämta ytterligare relevanta segment. - Kedjekonfiguration Använd en mer kompatibel LLM. |
| Genererade svar har inte önskat format eller format | – Jämför utdata med förväntade riktlinjer för format och format. – Utvärdera om vissa typer av frågor eller hämtade kontexter är mer benägna att resultera i format- eller formatavvikelser. |
- Kedja konfiguration Uppdatera promptmall för att ange önskat utdataformat och format. - Kedjekod Implementera ett steg efter bearbetning för att konvertera det genererade svaret till önskat format. - Kedjekod Lägg till ett steg för att verifiera utdatastruktur och formatmall och skicka ett återställningssvar om det behövs. - Kedjekonfiguration Använd en LLM som är finjusterad för att tillhandahålla utdata i ett visst format eller format. |
Gå vidare
Om du också har identifierat problem med hämtningskvaliteten fortsätter du med steg 5 (hämtning). Felsöka hämtningskvalitet.
Om du tror att du har löst alla identifierade problem fortsätter du med steg 6. Gör och utvärdera kvalitetskorrigeringar för AI-agenten.