Dela via

Steg 5 (hämtning). Felsöka hämtningskvalitet

  • Artikel

Den här sidan beskriver hur du identifierar rotorsaken till hämtningsproblem. Använd den här sidan när rotorsaksanalysen anger en rotorsak Improve Retrieval.

Hämtningskvalitet är utan tvekan den viktigaste komponenten i ett RAG-program. Om de mest relevanta segmenten inte returneras för en viss fråga har LLM inte åtkomst till nödvändig information för att generera ett högkvalitativt svar. Dålig hämtning kan leda till irrelevanta, ofullständiga eller hallucinerade utdata. Det här steget kräver manuell ansträngning för att analysera underliggande data. Mosaic AI Agent Framework, med sin snäva integrering mellan dataplattformen (inklusive Unity Catalog och Vector Search) och experimentspårning med MLflow (inklusive LLM-utvärdering och MLflow Tracing) gör felsökningen mycket enklare.

Instruktioner

Följ dessa steg för att åtgärda problem med hämtningskvalitet:

  1. Öppna anteckningsboken B_quality_iteration/01_root_cause_quality_issues.
  2. Använd frågorna för att läsa in MLflow-spårningar av de poster som hade problem med hämtningskvaliteten.
  3. Granska de hämtade segmenten manuellt för varje post. Om det är tillgängligt kan du jämföra dem med de grundläggande sanningshämtningsdokumenten.
  4. Leta efter mönster eller vanliga problem bland frågor med låg hämtningskvalitet. Till exempel:
    • Relevant information saknas helt från vektordatabasen.
    • Otillräckligt antal segment eller dokument som returneras för en hämtningsfråga.
    • Segment är för små och saknar tillräcklig kontext.
    • Segment är för stora och innehåller flera orelaterade ämnen.
    • Inbäddningsmodellen kan inte avbilda semantisk likhet för domänspecifika termer.
  5. Baserat på det identifierade problemet antar du potentiella rotorsaker och motsvarande korrigeringar. Vägledning finns i Vanliga orsaker till dålig hämtningskvalitet.
  6. Följ stegen i implementera och utvärdera ändringar för att implementera och utvärdera en potentiell korrigering. Detta kan innebära att ändra datapipelinen (till exempel justera segmentstorleken eller prova en annan inbäddningsmodell) eller ändra RAG-kedjan (till exempel implementera hybridsökning eller hämta fler segment).
  7. Om hämtningskvaliteten fortfarande inte är tillfredsställande upprepar du steg 4 och 5 för de näst mest lovande korrigeringarna tills önskad prestanda uppnås.
  8. Kör rotorsaksanalysen igen för att avgöra om den övergripande kedjan har några ytterligare rotorsaker som ska åtgärdas.

Vanliga orsaker till dålig hämtningskvalitet

I följande tabell visas felsökningssteg och potentiella korrigeringar för vanliga hämtningsproblem. Korrigeringar kategoriseras efter komponent:

  • Datapipeline
  • Kedjekonfiguration
  • Kedjekod

Komponenten definierar vilka steg du ska följa i steget implementera och utvärdera ändringar .

Problem med hämtning Felsökningssteg Potentiell korrigering
Segment är för små - Granska segment för ofullständig brytinformation. - Datapipeline Öka segmentstorleken eller överlappningen.
- Datapipeline Prova en annan segmenteringsstrategi.
Segment är för stora – Kontrollera om hämtade segment innehåller flera orelaterade ämnen. - Datapipeline Minska segmentstorleken.
- Datapipeline Förbättra segmenteringsstrategin för att undvika blandning av orelaterade ämnen (till exempel semantisk segmentering).
Segment har inte tillräckligt med information om texten som de togs från – Utvärdera om bristen på kontext för varje segment orsakar förvirring eller tvetydighet i de hämtade resultaten. - Datapipeline Prova att lägga till metadata och rubriker i varje segment (till exempel avsnittsrubriker).
- Kedjekonfiguration Hämta fler segment och använd en LLM med större kontextstorlek.
Inbäddningsmodellen förstår inte domänen eller nyckelfraserna i användarfrågor korrekt – Kontrollera om semantiskt liknande segment hämtas för samma fråga. - Datapipeline Prova olika inbäddningsmodeller.
- Kedjekonfiguration Prova hybridsökning.
- Kedjekod Hämta hämtningsresultat och rangordna om. Mata endast in de bästa omrankade resultaten i LLM-kontexten.
- Finjustera inbäddningsmodellen för datapipelinen på domänspecifika data.
Relevant information saknas i vektordatabasen – Kontrollera om relevanta dokument eller avsnitt saknas i vektordatabasen. - Datapipeline Lägg till mer relevanta dokument i vektordatabasen.
- Datapipeline Förbättra dokumentparsing och extrahering av metadata.
Hämtningsfrågor är dåligt formulerade – Om användarfrågor används direkt för semantisk sökning analyserar du dessa frågor och söker efter tvetydighet eller brist på specificitet. Detta kan inträffa enkelt i konversationer med flera turer där den råa användarfrågan refererar till tidigare delar av konversationen, vilket gör det olämpligt att använda direkt som en hämtningsfråga.
– Kontrollera om frågetermerna matchar terminologin som används i sök corpus.		 - Kedjekod Lägg till metoder för frågeexpansion eller transformering (till exempel transformera frågan före semantisk sökning med en användarfråga).
- Kedjekod Lägg till frågetolkning för att identifiera avsikter och entiteter (till exempel använda en LLM för att extrahera egenskaper som ska användas i metadatafiltrering).

Gå vidare

Om du också har identifierat problem med generationskvaliteten fortsätter du med steg 5 (generation). Så här felsöker du generationskvalitet.

Om du tror att du har löst alla identifierade problem fortsätter du med steg 6. Gör och utvärdera kvalitetskorrigeringar för AI-agenten.

< Föregående: Steg 5. Identifiera de bakomliggande orsakerna till kvalitetsproblem

Nästa: Steg 5.2. Felsöka generationskvalitet >