Freigeben über

Schritt 3. Zusammenstellen eines Auswertungssatzes aus Stakeholderfeedback

  • Artikel

Workflow mit hervorgehobenem Auswertungssatz

Den Beispielcode aus diesem Abschnitt finden Sie in diesem GitHub-Repository.

Erwartete Zeit: 10 bis 60 Minuten. Die Zeit variiert je nach Qualität der Antworten, die von Ihren Projektbeteiligten bereitgestellt werden. Wenn die Antworten unübersichtlich sind oder viele irrelevante Abfragen enthalten, müssen Sie mehr Zeit für das Filtern und Bereinigen der Daten aufwenden.

Übersicht und erwartetes Ergebnis

In diesem Schritt wird ein Bootstrap für einen Auswertungssatz mit dem Feedback ausgeführt, das die Beteiligten mithilfe der Review-App bereitgestellt haben. Beachten Sie, dass Sie ein Bootstrap für einen Auswertungssatz nur mit Fragen ausführen können. Auch wenn Ihre Projektbeteiligten nur mit der App gechattet und kein Feedback abgegeben haben, können Sie diesen Schritt ausführen.

Informationen zum Schema des Bewertungssatzes für die Agentauswertung finden Sie unter Agent Evaluation Input Schema. Auf die Felder in diesem Schema wird im restlichen Abschnitt verwiesen.

Am Ende dieses Schritts verfügen Sie über einen Auswertungssatz, der Folgendes enthält:

  • Anforderungen mit einem Daumen nach oben 👍:
    • request: Wie vom Benutzer eingegeben.
    • expected_response: Vom Benutzer bearbeitete Antwort. Wenn der Benutzer die Antwort nicht bearbeitet hat, die vom Modell generierte Antwort.
  • Anforderungen mit einem Daumen nach unten 👎:
    • request: Wie vom Benutzer eingegeben.
    • expected_response: Vom Benutzer bearbeitete Antwort. Wenn der Benutzer die Antwort nicht bearbeitet hat, ist die Antwort NULL.
  • Anfragen ohne Feedback (keine Daumen nach oben 👍 oder Daumen nach unten 👎)
    • request: Wie vom Benutzer eingegeben.

Für alle Anforderungen gilt Folgendes: Wenn der Benutzer für einen Block das Daumen-hoch-Symbol 👍 aus retrieved_context auswählt, wird doc_uri dieses Blocks in expected_retrieved_context für die Frage eingeschlossen.

Wichtig

Databricks empfiehlt, dass Ihr Auswertungssatz für den Einstieg mindestens 30 Fragen enthält. Lesen Sie die Ausführlichen Informationen zu Auswertungssätzen, um mehr darüber zu erfahren, was ein „guter“ Auswertungssatz ist.

Anforderungen

  • Projektbeteiligte haben Ihren Proof of Concept verwendet und Feedback abgegeben.
  • Alle erforderlichen Komponenten aus vorherigen Schritten

Anweisungen

  1. Öffnen Sie das Notebook „04_create_evaluation_set“, und klicken Sie auf Alle ausführen.
  2. Überprüfen Sie den Auswertungssatz, um die enthaltenen Daten zu verstehen. Sie müssen überprüfen, ob Ihr Auswertungssatz repräsentative und anspruchsvolle Fragen enthält. Passen Sie den Auswertungssatz nach Bedarf an.
  3. Ihr Auswertungssatz wird standardmäßig in der Delta-Tabelle gespeichert, die in EVALUATION_SET_FQN im Notebook „00_global_config“ konfiguriert wurde.

Nächster Schritt

Nachdem Sie nun über einen Auswertungssatz verfügen, werten Sie damit Qualität, Kosten und Wartezeit der Proof of Concept-App aus. Weitere Informationen finden Sie unter Schritt 4. Bewerten der Proof of Concept-Qualität.

< Vorheriger Schritt: Schritt 2. Bereitstellen von POC und Sammeln von Feedback

Weiter: Schritt 4. Bewerten der POC-Qualität >