Puesta en marcha de marcos de IA responsables
Como se ha explicado en la unidad anterior, Microsoft ha desarrollado y refinado su proceso interno para regular el uso de la IA de manera responsable. En esta unidad se explica cómo funciona este sistema de gobernanza en una situación real. Aunque cada organización necesitará sus propios marcos de gobernanza y procesos de revisión, creemos que nuestro marco de uso sensible puede servir como punto de partida útil. Uno de los primeros pasos de Microsoft en nuestro proceso de gobernanza de IA responsable era usar un desencadenador de revisión de usos sensibles. El marco permitió a nuestros equipos internos y orientados al cliente identificar cuándo los casos de uso específicos necesitan más directrices.
Marco de casos de uso delicados de Microsoft
Según nuestra documentación de gobernanza de IA responsable, un escenario de desarrollo o implementación de IA se considera un "uso sensible" si se encuadra dentro de una o varias de las categorías siguientes:
- Denegación de servicios consecuentes: El escenario implica el uso de la IA de tal manera que pueda conducir directamente a la denegación de servicios derivados o de asistencia a un individuo (por ejemplo, servicios financieros, de alojamiento, de seguros, de formación, de empleo, de atención sanitaria, etc.).
- Riesgo de daños: El escenario implica el uso de la IA de tal forma que pueda crear un riesgo importante de daño físico, emocional o psicológico a un individuo (por ejemplo, decisiones de vida o muerte en el entorno militar, entornos de fabricación críticos para la seguridad, entornos de atención sanitaria, prácticamente cualquier escenario que afecte a menores o a otras personas vulnerables, etc.).
- Vulneración de los derechos humanos: El escenario implica el uso de la IA de tal manera que pueda dar lugar a una limitación importante de la libertad personal, de opinión o expresión, de reunión o asociación, de la privacidad, etc. (por ejemplo, en cuanto a la aplicación de la ley el mantenimiento del orden).
Entrenamos a nuestros empleados para que usen este marco de trabajo para determinar si un caso de uso de IA debe marcarse para su posterior revisión, ya sean vendedores que trabajan con un cliente o alguien que trabaje en una solución interna de IA. También entrenamos a los asesores Responsible AI Champs en su papel como enlace entre los empleados y los equipos de gobernanza central.
Proceso de revisión de casos de uso delicados de Microsoft
El proceso de revisión de casos de uso sensibles tiene tres fases: identificación, evaluación y mitigación. Para ilustrar mejor este proceso, se añadirá un caso práctico real a la explicación de cada paso. En este caso práctico, un cliente acudió a nosotros para solicitar un sistema de reconocimiento facial.
Identificación
Si un empleado identifica que un caso de uso pertenece a una de las tres categorías (denegación de servicios consecuentes, riesgo de daño o vulneración de los derechos humanos), informará de ello. Los informes se realizan mediante una herramienta de envío central y, a continuación, se remiten a la persona encargada de IA responsable, que debe dar a conocer e impulsar las directivas, normas y directrices de IA responsable de la empresa.
En este caso, un cuerpo de seguridad contactó con nosotros para desarrollar un sistema de reconocimiento facial para ampliar los sistemas de verificación de identidad existentes. Los escenarios incluían el uso del reconocimiento facial para comprobar la identidad de los conductores en los controles de tráfico, acelerar el proceso de ingreso en prisión y comprobar la identidad de los reclusos en las instalaciones. Estos tres casos de uso se enviaron a través de la herramienta de admisión central para la revisión de la IA responsable.
Evaluación
La persona encargada de IA responsable, en colaboración con la Oficina de IA responsable y el equipo de Microsoft implicado en el caso de uso, investigará el caso para recopilar los hechos pertinentes, seguirá un proceso guiado para evaluar el impacto del sistema propuesto en las personas y en la sociedad, y revisará casos anteriores para determinar si ya hay directrices para un escenario similar. Si no hay directrices previas o el caso requiere conocimientos y análisis adicionales, la persona encargada de IA responsable presentará el caso al grupo de trabajo de usos sensibles del Comité Aether.
En este caso de reconocimiento facial, la persona encargada de la IA responsable colaboró estrechamente con la Oficina de IA responsable, los equipos de cuentas y los clientes para evaluar los riesgos. Se determinó que era necesario trasladar los tres casos al grupo de trabajo de usos sensibles de Aether, ya que implicaban uno o más usos sensibles de la IA.
Mitigación
El grupo de trabajo de usos delicados delibera junto a un grupo de distintos expertos para proporcionar información y recomendaciones sobre cómo abordar los riesgos asociados a ese caso de uso concreto. Si la situación requiere la notificación al siguiente nivel, los casos pueden llegar hasta el propio Comité Aether, que asesorará directamente al equipo de alta dirección de Microsoft. En última instancia, el equipo de alta dirección tomará decisiones sobre los casos nuevos y de gran impacto.
Nota
Al revisar los casos de uso delicados, se recomienda reunir un grupo diverso de personas con distintos conocimientos y experiencia. También es importante crear un espacio inclusivo en el que todo el mundo se sienta cómodo para compartir sus ideas y puntos de vista.
Una vez que se ha revisado el caso, el asesor Responsible AI Champ trabaja con la entidad Office of Responsible AI para aconsejar al equipo de proyecto estrategias de mitigación que se adapten a nuestros principios y procedimientos de inteligencia artificial responsable. Estas estrategias de mitigación pueden incluir enfoques técnicos, de gobernanza y aprendizaje de los empleados, o bien modificaciones del ámbito del proyecto. En ocasiones, se aconseja a los equipos no continuar con determinados proyectos porque no se han podido entregar de una forma que cumpla con nuestros principios.
En el caso de uso, el grupo de trabajo de usos sensibles de Aether tomó decisiones independientes para cada escenario. Después de considerarlo detenidamente, determinó que no era posible respaldar el escenario de vigilancia para identificar a "personas de interés" durante los controles de tráfico. Como el estado de la tecnología y del ecosistema más amplio no eran lo suficientemente maduros como para mitigar las consecuencias negativas de un mal funcionamiento de la tecnología, este escenario se consideró un caso de uso prematuro.
Explicamos los problemas al cliente y decidieron no seguir adelante con ese escenario.
Nota
Respaldado por investigaciones: Intentar identificar a personas en entornos no vigilados podría suponer una vulneración de los derechos humanos, lo que provocaría detenciones inadecuadas debido a un error de identificación. Algunos estudios han demostrado que es más probable que la IA cometa errores a la hora de identificar mujeres y minorías, lo que podría dar lugar a un aumento desproporcionado de las detenciones entre esos grupos.1
Para los casos de uso relacionados con las instalaciones, pudimos respaldar el diseño y desarrollo de una prueba de concepto (POC), con medidas de seguridad para garantizar el control humano adecuado para la solución y un proceso de retroalimentación bidireccional entre el cliente y Microsoft. También era importante que el cliente implementara un programa de aprendizaje para que el personal interactuara con las soluciones y que el cliente volviera a comprometerse con Microsoft para analizar implementaciones más allá de los escenarios admitidos.
Evolución de la gobernanza de IA responsable
Ahora que ha visto nuestro proceso en acción, hay un aspecto importante que nos gustaría reiterar: esto es solo el principio. Los procesos relativos a la IA evolucionan rápidamente. De cara al futuro, tenemos previsto refinar nuestras directivas de gobernanza a medida que invertimos más en IA y recomendamos a otras empresas que hagan lo mismo. Cada organización debe personalizar su proceso de revisión en función de sus necesidades y madurez con respecto a la IA, pero esperamos que nuestro proceso pueda servir como un punto de partida útil.
Ahora vamos a recapitular toda la información que se ha obtenido con una prueba de conocimientos.