Passaggio 4. Valutare la qualità del modello di verifica

Per il codice di esempio in questa sezione, vedere il repository GitHub.

Tempo previsto: 5 - 60 minuti. Il tempo varia in base al numero di domande nel set di valutazione. Per 100 domande, la valutazione richiede circa 5 minuti.

Panoramica e risultato previsto

Questo passaggio usa il set di valutazione appena creato per valutare l'app POC e stabilire la qualità, i costi e la latenza di base. I risultati della valutazione vengono usati dal passaggio successivo per identificare la causa radice di eventuali problemi di qualità.

La valutazione viene eseguita usando di valutazione dell'agente di intelligenza artificiale Mosaic e esamina in modo completo tutti gli aspetti di qualità, costi e latenza descritti nella sezione metriche di questa esercitazione.

Le metriche aggregate e la valutazione di ogni domanda nel set di valutazione vengono registrate in MLflow. Per informazioni dettagliate, vedere Output di valutazione.

Requisiti

• Il pacchetto di valutazione è disponibile.
• Tutti i requisiti dei passaggi precedenti.

Istruzioni

1. Aprire il 05_evaluate_poc_quality notebook nella directory poC scelta e fare clic su Esegui tutto.
2. Esaminare i risultati della valutazione nel notebook o usando MLflow. Se i risultati soddisfano i requisiti di qualità, puoi passare direttamente a Distribuzione e monitoraggio. Poiché l'applicazione POC è basata su Databricks, è pronta per essere distribuita in un'API REST scalabile e pronta per la produzione.

Passaggio successivo

Usando questa valutazione di base della qualità del modello di verifica, identificare le cause radice di eventuali problemi di qualità e risolvere in modo iterativo tali problemi per migliorare l'app. Vedere Passaggio 5. Identificare la causa radice dei problemi di qualità.

< Precedente: Passaggio 3. Curare un set di valutazione

Successivo: Passaggio 5. Identificare le cause radice dei problemi di qualità >