Condividi tramite

Monitorare l'equità e la distorsione per i modelli di classificazione

  • Articolo

Con Databricks Lakehouse Monitoring è possibile monitorare le stime di un modello di classificazione per verificare se il modello esegue in modo analogo sui dati associati a gruppi diversi. Ad esempio, è possibile verificare se un classificatore predefinito del prestito genera lo stesso tasso di falsi positivi per i candidati provenienti da diversi dati demografici.

Usare le metriche di equità e distorsione

Per monitorare l'equità e la distorsione, creare un'espressione di sezione booleana. Il gruppo definito dall'espressione di sezione che valuta a True è considerato il gruppo protetto, ovvero il gruppo in cui si sta controllando la distorsione. Ad esempio, se si crea slicing_exprs=["age < 25"], la sezione identificata da slice_key = "age < 25" e slice_value = True viene considerata il gruppo protetto e la sezione identificata da slice_key = "age < 25" e slice_value = False viene considerata il gruppo non protetto.

Il monitoraggio calcola automaticamente le metriche che confrontano le prestazioni del modello di classificazione tra gruppi. Le metriche seguenti vengono segnalate nella tabella delle metriche del profilo:

  • predictive_parity, che confronta la precisione del modello tra i gruppi.
  • predictive_equality, che confronta i tassi di falsi positivi tra i gruppi.
  • equal_opportunity, che misura se un'etichetta viene stimata equamente per entrambi i gruppi.
  • statistical_parity, che misura la differenza nei risultati stimati tra i gruppi.

Queste metriche vengono calcolate solo se il tipo di analisi è InferenceLog e problem_type è classification.

Per le definizioni di queste metriche, vedere i riferimenti seguenti:

Output delle metriche di equità e distorsione

Vedere le informazioni di riferimento sulle API per informazioni dettagliate su queste metriche e su come visualizzarle nelle tabelle delle metriche. Tutte le metriche di equità e distorsione condividono lo stesso tipo di dati illustrato di seguito, mostrando i punteggi di equità calcolati in tutte le classi stimate in modo "one-vs-all" come coppie chiave-valore.

È possibile creare un avviso per queste metriche. Ad esempio, il proprietario del modello può configurare un avviso quando la metrica di equità supera una soglia e quindi instradare l'avviso a una persona o a un team su chiamata per l'indagine.