Schritt 6. Erstellen und Bewerten von Qualitätsfixes auf dem KI-Agent

Dieser Artikel führt Sie durch die Schritte zum Durchlaufen und Bewerten von Qualitätskorrekturen in Ihrem generativen KI-Agent basierend auf der Ursachenanalyse.

Weitere Informationen zum Auswerten eines KI-Agents finden Sie unter Was ist Mosaik AI Agent Evaluation?.

Anforderungen

1. Basierend auf Ihrer Ursachenanalyse haben Sie eine potenzielle Korrektur für Abruf oder Generierung für Implementierung oder Auswertung identifiziert.
2. Ihre Proof of Concept-Anwendung (oder eine andere Basiskette) wird bei einer MLflow-Ausführung protokolliert, wobei eine Agent Evaluation-Auswertung in derselben Ausführung gespeichert wird.

Den Beispielcode aus diesem Abschnitt finden Sie in diesem GitHub-Repository.

Erwartetes Ergebnis in der Agentauswertung

Die vorangehende Abbildung zeigt die Ausgabe der Agentauswertung in MLflow.

Beheben, Auswerten und Iterieren des KI-Agents

Verwenden Sie für alle Typen das Notebook B_quality_iteration/02_evaluate_fixes, um die resultierende Kette im Vergleich zu Ihrer Basiskonfiguration, d. h. Ihrem Proof of Concept, zu bewerten und einen „Gewinner“ zu wählen. Dieses Notebook hilft Ihnen, das beste Experiment auszuwählen und in der Review-App oder einer produktionsfähigen, skalierbaren REST-API bereitzustellen.

1. Öffnen Sie in Azure Databricks das Notizbuch B_quality_iteration/02_evaluate_fixes .
2. Basierend auf dem Typ der Korrektur, die Sie implementieren:
   • Für Datenpipelinekorrekturen:
     • Folgen Sie Schritt 6 (Pipelines). Implementieren von Datenpipelinekorrekturen aus, um die neue Datenpipeline zu erstellen und den Namen der resultierenden MLflow-Ausführung abzurufen.
     • Fügen Sie der Variablen DATA_PIPELINE_FIXES_RUN_NAMES den Ausführungsnamen hinzu.
   • Für Kettenkonfigurationskorrekturen:
     • Befolgen Sie die Anweisungen im Abschnitt Chain configuration des Notebooks 02_evaluate_fixes, um der Variablen CHAIN_CONFIG_FIXES Kettenkonfigurationskorrekturen hinzuzufügen.
   • Für Kettencodekorrekturen:
     • Erstellen Sie eine geänderte Kettencodedatei, und speichern Sie sie im Ordner B_quality_iteration/chain_code_fixes. Wählen Sie alternativ eine der bereitgestellten Kettencodekorrekturen aus diesem Ordner aus.
     • Befolgen Sie die Anweisungen im Abschnitt Chain code des Notebooks 02_evaluate_fixes, um der Variablen CHAIN_CODE_FIXES Kettencodekorrekturen und alle weiteren erforderlichen Kettenkonfigurationen hinzuzufügen.
3. Folgendes geschieht, wenn Sie das Notebook aus der Zelle Run evaluation ausführen:
   • Auswerten der einzelnen Korrekturen
   • Ermitteln der Korrektur mit den besten Metriken für Qualität/Kosten/Wartezeit
   • Bereitstellen der besten Korrektur für die Review-App und einer produktionsbereiten REST-API, um Stakeholderfeedback zu erhalten

Nächster Schritt

Fahren Sie mit Schritt 6 (Pipelines) fort. Implementieren von Datenpipelinekorrekturen fort.

< Vorheriger Schritt: Schritt 5.2. Debuggenerierungsqualität

Weiter: Schritt 6.1. Korrigieren der Datenpipeline >