Compartir vía

Rendimiento y equidad del modelo

  • Artículo

Este artículo describe los métodos que puede utilizar para comprender el rendimiento y la equidad de su modelo en Azure Machine Learning.

¿Qué es la equidad en el aprendizaje automático?

La inteligencia artificial y los sistemas de aprendizaje automático pueden mostrar un comportamiento parcial. Una manera de definir el comportamiento parcial es fijarse en el daño que hace o su impacto en las personas. Existen muchos tipos de daños que los sistemas de IA pueden ocasionar. Para más información, consulte la presentación de NeurIPS 2017 de Kate Crawford.

Estos son dos tipos comunes de daños que puede causar la IA:

  • Daño en la asignación: un sistema de inteligencia artificial extiende o retiene oportunidades, recursos o información para determinados grupos. Entre los ejemplos se incluyen la contratación, las admisiones escolares y los préstamos, donde un modelo podría ser mejor a la hora de seleccionar buenos candidatos entre un grupo específico de personas que entre otros grupos.

  • Daño en la calidad del servicio: un sistema de IA puede no funcionar tan bien para un grupo de personas como lo haría en otro. Por ejemplo, un sistema de reconocimiento de voz puede no funcionar correctamente para las mujeres, pero sí para los hombres.

Para reducir el comportamiento parcial de los sistemas de AI, tiene que evaluar y mitigar estos daños. El componente de información general del modelo del panel de inteligencia artificial responsable contribuye a la fase de identificación del ciclo de vida del modelo mediante la generación de métricas de rendimiento del modelo para todo el conjunto de datos y las cohortes de datos identificadas. Genera estas métricas entre subgrupos identificados en términos de características confidenciales o atributos confidenciales.

Nota

La imparcialidad es un desafío técnico y social. Muchos aspectos de la equidad, tales como la justicia y el proceso de vencimiento, no se capturan en las métricas cuantitativas de equidad. Asimismo, muchas métricas cuantitativas de imparcialidad no se pueden satisfacer simultáneamente.

El objetivo del paquete de código abierto de Fairlearn es permitir a los usuarios evaluar las estrategias de impacto y mitigación. En última instancia, corresponde a los usuarios crear modelos de inteligencia artificial y aprendizaje automático que se adapten adecuadamente a sus escenarios.

En este componente del panel de inteligencia artificial responsable, la equidad se conceptualiza a través de un enfoque conocido como equidad de grupo. Este enfoque pregunta: "¿qué grupos de usuarios están en riesgo de experimentar daños?" El término características confidenciales sugiere que el diseñador del sistema debe mantener la confidencialidad de estas características al evaluar la equidad del grupo.

Durante la fase de valoración, la equidad se cuantifica mediante las métricas de disparidad. Estas métricas pueden evaluar y comparar el comportamiento del modelo en los grupos, ya sea como proporciones o diferencias. El panel de inteligencia artificial responsable admite dos clases de métricas de disparidad:

  • Disparidad en el rendimiento del modelo: estos conjuntos de métricas calculan la disparidad (diferencia) en los valores de la métrica de rendimiento seleccionada en los subgrupos de datos. Estos son algunos ejemplos:

    • Disparidad en la tasa de precisión
    • Disparidad en la tasa de error
    • Disparidad en la precisión
    • Disparidad en la coincidencia
    • Disparidad en el error absoluto medio (MAE)

  • Disparidad en la tasa de selección: esta métrica contiene la diferencia de la tasa de selección (predicción favorable) entre los subgrupos. Un ejemplo de esto es la disparidad en la tasa de aprobación de préstamos. La tasa de selección indica la fracción de los puntos de referencia de cada clase clasificada como 1 (en la clasificación binaria) o la distribución de los valores de predicción (en la regresión).

Las funcionalidades de evaluación de equidad de este componente proceden del paquete Fairlearn. Fairlearn proporciona una colección de métricas de evaluación de la equidad del modelo y algoritmos de mitigación de la parcialidad.

Nota

Una evaluación de equidad no es un ejercicio puramente técnico. El paquete de código abierto de Fairlearn puede identificar métricas cuantitativas que le ayuden a evaluar la equidad de un modelo, pero no llevará a cabo la evaluación. Debe realizar un análisis cualitativo para evaluar la equidad de sus propios modelos. Las características confidenciales indicadas anteriormente son un ejemplo de este tipo de análisis cualitativo.

Restricciones de paridad para mitigar la imparcialidad

Una vez que conozca los problemas de equidad del modelo, puede usar los algoritmos de mitigación en el paquete de código abierto de Fairlearn para mitigar esos problemas. Estos algoritmos admiten un conjunto de restricciones en el comportamiento del predictor denominadas restricciones de paridad o criterios.

Las restricciones de paridad requieren que algunos aspectos del comportamiento de predicción sean comparables en los grupos que definen las características confidenciales (por ejemplo, razas diferentes). Los algoritmos de mitigación en el paquete de código abierto de Fairlearn usan estas restricciones de paridad para mitigar los problemas de equidad observados.

Nota

Los algoritmos de mitigación de la parcialidad en el paquete de código abierto de Fairlearn pueden proporcionar estrategias de mitigación sugeridas para reducir la parcialidad de un modelo de aprendizaje automático, pero tales estrategias no eliminan la parcialidad por completo. Es posible que los desarrolladores deban tener en cuenta otras restricciones de paridad o criterios de sus modelos de aprendizaje automático. Los desarrolladores que usan Azure Machine Learning deben determinar por sí mismos si la mitigación reduce suficientemente la parcialidad en el uso previsto y la implementación de los modelos de aprendizaje automático.

El paquete de Fairlearn admite los siguientes tipos de restricciones de paridad:

Restricción de paridad Propósito Tarea de Machine Learning
Paridad demográfica Mitigar los daños en la asignación Clasificación binaria, regresión
Probabilidades igualadas Diagnosticar los daños en la asignación y la calidad del servicio Clasificación binaria
Igualdad de oportunidades Diagnosticar los daños en la asignación y la calidad del servicio Clasificación binaria
Pérdida de grupos limitada Mitigar los daños en la calidad del servicio Regresión

Algoritmos de mitigación

El paquete de código abierto de Fairlearn proporciona dos tipos de algoritmos de mitigación de la parcialidad:

  • Reducción: estos algoritmos toman un estimador de aprendizaje automático estándar de caja negra (por ejemplo, un modelo de LightGBM) y generan un conjunto de modelos que se vuelven a entrenar mediante una secuencia de conjuntos de datos de entrenamiento que se han vuelto a ponderar.

    Por ejemplo, los solicitantes de un sexo determinado podrían estar ponderados en mayor o menor medida para volver a entrenar los modelos y reducir así las disparidades entre los sexos. A continuación, los usuarios pueden elegir un modelo que les ofrezca el mejor equilibrio entre la precisión (u otra métrica de rendimiento) y la disparidad, según sus reglas de negocios y cálculos de costos.

  • Posprocesamiento: estos algoritmos usan un clasificador existente y la característica confidencial como entrada. A continuación, derivan una transformación de la predicción del clasificador para aplicar las restricciones de equidad especificadas. La mayor ventaja de una optimización del umbral del algoritmo de posprocesamiento es su simplicidad y flexibilidad, ya que no es necesario volver a entrenar el modelo.

Algoritmo Descripción Tarea de Machine Learning Características confidenciales Restricciones de paridad admitidas Tipo de algoritmo
ExponentiatedGradient Enfoque de la caja negra para la clasificación equitativa descrita en Enfoque de reducción para la clasificación equitativa. Clasificación binaria Categorías Paridad demográfica, Probabilidades igualadas Reducción
GridSearch Enfoque de la caja descrita en Enfoque de reducción para la clasificación equitativa. Clasificación binaria Binary Paridad demográfica, Probabilidades igualadas Reducción
GridSearch Enfoque de la caja negra que implementa una variante de la búsqueda de cuadrícula de la regresión equitativa con el algoritmo para la pérdida de grupos limitada descrita en Regresión equitativa: Definiciones cuantitativas y algoritmos basados en la reducción. Regresión Binary Pérdida de grupos limitada Reducción
ThresholdOptimizer Algoritmo de posprocesamiento basado en el artículo La igualdad de oportunidades en el aprendizaje supervisado. Esta técnica toma como entrada un clasificador existente y una característica confidencial. A continuación, deriva una transformación monótona de la predicción del clasificador para aplicar las restricciones de paridad especificadas. Clasificación binaria Categorías Paridad demográfica, Probabilidades igualadas Posprocesamiento

Pasos siguientes