Evaluar el panel de IA responsable
Cuando se genere su panel de IA responsable, puede explorar su contenido en el estudio de Azure Machine Learning para evaluar su modelo.
Cuando abres el panel de IA responsable, el estudio intenta conectarlo automáticamente a una instancia de proceso. La instancia de proceso proporciona el proceso necesario para la exploración interactiva en el panel.
La salida de cada componente que agregó a la canalización se refleja en el panel. En función de los componentes seleccionados, puede encontrar la siguiente información en el panel de IA responsable:
- Análisis de errores
- Explicaciones
- Contrafactuales
- Análisis causal
Vamos a explorar lo que podemos revisar para cada una de estas conclusiones.
Explorar el análisis de errores
Se espera que un modelo realice predicciones falsas o errores. Con la característica de análisis de errores en el panel de IA responsable, puede revisar y comprender cómo se distribuyen los errores en el conjunto de datos. Por ejemplo, ¿hay subgrupos específicos, o cohortes, en su conjunto de datos para los que el modelo hace más predicciones falsas?
Al incluir el análisis de errores, hay dos tipos de objetos visuales que puede explorar en el panel de IA responsable:
- Mapa de árbol de errores: permite explorar qué combinación de subgrupos hace que el modelo realice más predicciones falsas.
- Mapa térmico de errores: presenta una visión general cuadriculada de los errores de un modelo a escala de una o dos características.
Exploración de explicaciones
Siempre que se utiliza un modelo para la toma de decisiones, se desea comprender cómo llega un modelo a una predicción determinada. Siempre que haya entrenado un modelo demasiado complejo para entenderlo, puede ejecutar explicadores de modelos para calcular la importancia de las características. En otras palabras, quiere comprender cómo cada una de las características de entrada influye en la predicción del modelo.
Existen varias técnicas estadísticas que se pueden utilizar para explicar los modelos. Lo más habitual es que el explicador mímico entrene un modelo interpretable simple con los mismos datos y la misma tarea. Como resultado, puede explorar dos tipos de importancia de las características:
- Importancia agregada de las características: Muestra cómo influye cada característica de los datos de prueba en las predicciones generales del modelo.
- Importancia de características individuales: muestra cómo afecta cada característica a una predicción individual.
Explorar contrafactuales
Las explicaciones pueden darle una conclusión de la importancia relativa de las características en las predicciones del modelo. A veces, es posible que desee ir un paso más allá y comprender si las predicciones del modelo cambiarían si la entrada fuera diferente. Para explorar cómo cambiaría la salida del modelo en función de un cambio en la entrada, puedes utilizar contrafactuales.
Puede elegir explorar ejemplos hipotéticos contrafactuales seleccionando un punto de datos y la predicción del modelo deseado para ese punto. Al crear un escenario hipotético, el panel abre una ventana para ayudarle a comprender qué entrada daría lugar a la predicción deseada.
Explorar el análisis causal
Las explicaciones y contrafactuales ayudan a comprender las predicciones del modelo y los efectos de las características en las predicciones. Aunque la interpretabilidad del modelo puede ser ya un objetivo en sí mismo, es posible que también necesite más información que le ayude a mejorar la toma de decisiones.
El Análisis causal usa técnicas estadísticas para estimar el efecto medio de una característica en una predicción deseada. Analiza cómo determinadas intervenciones o tratamientos pueden dar lugar a un mejor resultado, en el conjunto de una población o para un individuo concreto.
Hay tres pestañas disponibles en el panel de IA responsable al incluir el análisis causal:
- Efectos causales agregados: muestra los efectos causales medios para características de tratamiento predefinidas (las características que desea cambiar para optimizar las predicciones del modelo).
- Efectos causales individuales: muestra puntos de datos individuales y permite cambiar las características del tratamiento para explorar su influencia en la predicción.
- Directiva de tratamiento: muestra qué partes de sus puntos de datos se benefician más de un tratamiento.