Supervisión de equidad y sesgo para los modelos de clasificación
Con la supervisión de Databricks Lakehouse, puede supervisar las predicciones de un modelo de clasificación para ver si el modelo funciona de forma similar en los datos asociados a distintos grupos. Por ejemplo, puede investigar si un clasificador predeterminado de préstamo genera la misma tasa de falsos positivos para los solicitantes de diferentes datos demográficos.
Trabajar con métricas de equidad y sesgo
Para supervisar la equidad y el sesgo, se crea una expresión de segmento booleano. El grupo definido por la expresión de segmento que se evalúa como True se considera el grupo protegido (es decir, el grupo en el que está comprobando el sesgo). Por ejemplo, si crea slicing_exprs=["age < 25"], el segmento identificado por slice_key = "age < 25" y slice_value = True se considera el grupo protegido, y el segmento identificado por slice_key = "age < 25" y slice_value = False se considera el grupo desprotegido.
El monitor calcula automáticamente las métricas que comparan el rendimiento del modelo de clasificación entre grupos. Las métricas siguientes se notifican en la tabla de métricas de perfil:
predictive_parity, que compara la precisión del modelo entre grupos.predictive_equality, que compara las tasas de falsos positivos entre grupos.equal_opportunity, que mide si una etiqueta se predice igualmente bien para ambos grupos.statistical_parity, que mide la diferencia en los resultados previstos entre grupos.
Estas métricas solo se calculan si el tipo de análisis es InferenceLog y problem_type es classification.
Para ver las definiciones de estas métricas, consulte las siguientes referencias:
- Artículo de Wikipedia sobre equidad en el aprendizaje automático:
https://en.wikipedia.org/wiki/Fairness_(machine_learning) - Definiciones de equidad explicadas, Verma y Rubin, 2018
Resultados de métricas de equidad y sesgo
Consulte la referencia de API para obtener más información sobre estas métricas y cómo verlas en las tablas de métricas. Todas las métricas de equidad y sesgo comparten el mismo tipo de datos que se muestra a continuación, mostrando las puntuaciones de equidad calculadas en todas las clases predichas de una manera "uno frente a todo" como pares clave-valor.
Puede crear una alerta sobre estas métricas. Por ejemplo, el propietario del modelo puede configurar una alerta cuando la métrica de equidad supera algún umbral y, a continuación, enruta esa alerta a una persona o equipo de llamada para su investigación.