Stap 6. Kwaliteitscorrecties maken en evalueren op de AI-agent

In dit artikel wordt u begeleid bij de stappen voor het doorlopen en evalueren van kwaliteitscorrecties in uw generatieve AI-agent op basis van hoofdoorzaakanalyse.

Voor meer informatie over het evalueren van een AI-agent raadpleegt u Wat is De evaluatie van De AI-agent van Mozaïek?

Vereisten

1. Op basis van uw hoofdoorzaakanalyse hebt u mogelijke oplossingen geïdentificeerd om te worden opgehaald of gegenereerd om te implementeren en evalueren.
2. Uw POC-toepassing (of een andere basislijnketen) wordt geregistreerd bij een MLflow-uitvoering met een evaluatie-evaluatie van agent die is opgeslagen in dezelfde uitvoering.

Zie de GitHub-opslagplaats voor de voorbeeldcode in deze sectie.

Verwacht resultaat in agentevaluatie

In de voorgaande afbeelding ziet u de uitvoer van de agentevaluatie in MLflow.

De AI-agent oplossen, evalueren en herhalen

Gebruik voor alle typen het notebook B_quality_iteration/02_evaluate_fixes om de resulterende keten te evalueren ten opzichte van uw basislijnconfiguratie, uw POC en kies een 'winnaar'. Met dit notebook kunt u het winnende experiment kiezen en implementeren in de beoordelings-app of een schaalbare REST API die gereed is voor productie.

1. Open in Azure Databricks het notebook B_quality_iteration/02_evaluate_fixes .
2. Op basis van het type oplossing dat u implementeert:
   • Voor oplossingen voor gegevenspijplijnen:
     • Volg stap 6 (pijplijnen). Implementeer gegevenspijplijnoplossingen om de nieuwe gegevenspijplijn te maken en get de naam van de resulterende MLflow-uitvoering.
     • Voeg de uitvoeringsnaam toe aan de DATA_PIPELINE_FIXES_RUN_NAMES variabele.
   • Voor configuratieoplossingen voor ketens:
     • Volg de instructies in de Chain configuration sectie van het 02_evaluate_fixes notebook om configuratieoplossingen voor ketens toe te voegen aan de CHAIN_CONFIG_FIXES variabele.
   • Voor oplossingen voor ketencode:
     • Maak een gewijzigd codebestand voor de keten en sla het op in de map B_quality_iteration/chain_code_fixes . Gebruik alternatieve select een van de meegeleverde ketencode-reparaties uit die map.
     • Volg de instructies in de Chain code sectie van het 02_evaluate_fixes notebook om het codebestand van de keten en eventuele aanvullende ketenconfiguraties toe te voegen die vereist zijn voor de CHAIN_CODE_FIXES variabele.
3. Het volgende gebeurt wanneer u het notebook vanuit de Run evaluation cel uitvoert:
   • Evalueer elke oplossing.
   • Bepaal de oplossing met de beste kwaliteit/kosten/latentiegegevens.
   • Implementeer de beste oplossing voor de beoordelingsapp en een productieklare REST API om feedback van belanghebbenden bij get te verzamelen.

Volgende stap

Ga verder met stap 6 (pijplijnen). Oplossingen voor gegevenspijplijnen implementeren.

< Vorige: Stap 5.2. Kwaliteit van generatie van foutopsporing

Volgende: Stap 6.1. De gegevenspijplijn herstellen >