Passaggio 3. Elaborare una valutazione Set dai feedback degli stakeholder.

Per il codice di esempio in questa sezione, vedere il repository GitHub.

Tempo previsto: 10-60 minuti. Il tempo varia in base alla qualità delle risposte fornite dagli stakeholder. Se le risposte sono disordinate o contengono molte query irrilevanti, sarà necessario dedicare più tempo a filtrare e ripulire i dati.

Panoramica e risultato previsto

Questo passaggio avvierà una valutazione set con il feedback fornito dai portatori di interesse tramite l'applicazione di revisione. Si noti che è possibile iniziare una valutazione set con sole domande, quindi anche se gli stakeholder hanno solo chattato con l'app invece di fornire feedback, è possibile seguire questo passaggio.

Per schema della valutazione dell'agente set, vedere l'input per la valutazione dell'agente schema. I campi in questa schema sono citati nella parte restante di questa sezione.

Al termine di questo passaggio, avrai una Valutazione Set che contiene quanto segue:

• Richieste con pollice in su 👍:
  • request: come inserito dall'utente.
  • expected_response: risposta modificata dall'utente. Se l'utente non ha modificato la risposta, la risposta generata dal modello.
• Richieste con pollice in giù 👎:
  • request: come inserito dall'utente.
  • expected_response: risposta modificata dall'utente. Se l'utente non ha modificato la risposta, la risposta è null.
• Richieste senza feedback (nessun pollice in su 👍 o in giù 👎)
  • request: come inserito dall'utente.

Per tutte le richieste, se l'utente seleziona pollice in su 👍 per un blocco da retrieved_context, il doc_uri di tale blocco viene incluso in expected_retrieved_context per la domanda.

Importante

Databricks consiglia che la vostra valutazione set contenga almeno 30 domande per get iniziare. Per altre informazioni sul set di set valutazione "buono" set, vedere l ' di valutazione approfondita.

Requisiti

• Gli stakeholder hanno usato il modello di verifica (PoC) e fornito feedback.
• Tutti i requisiti dei passaggi precedenti.

Istruzioni

1. Aprire il notebook 04_create_evaluation_set e fare clic su Esegui tutto.
2. Esaminare la valutazione set per comprendere i dati che sono inclusi. È necessario verificare che la tua valutazione set contenga un insieme di domande set rappresentativo e stimolante. Regolare la valutazione set in base alle esigenze.
3. Per impostazione predefinita, la valutazione set viene salvata nella Delta table configurata in EVALUATION_SET_FQN nel notebook 00_global_config.

Passaggio successivo

Dopo aver ottenuto una valutazione set, usarla per valutare la qualità, il costo e la latenza dell'app POC. Vedere Passaggio 4. Valutare la qualità del modello di verifica.

< Precedente: Passaggio 2. Distribuire poC e raccogliere commenti e suggerimenti

Successivo: Passaggio 4. Valutare la qualità del modello di verifica >