Gobernanza de la inteligencia artificial: proceso para controlar la inteligencia artificial
En este artículo se describe el proceso organizativo para gobernar la inteligencia artificial. Sigue el Marco de administración de riesgos de inteligencia artificial (RFM de IA) del NIST y el manual AI RMF Playbook del NIST. También se alinea con el marco en CAF Govern.
El objetivo de esta guía es ayudarle a integrar la administración de riesgos de IA en estrategias de administración de riesgos más amplias. Esta integración proporciona un control más cohesivo de los riesgos de inteligencia artificial, ciberseguridad y privacidad para un enfoque de gobernanza unificado.
Evaluar los riesgos organizativos de la IA
La evaluación de riesgos de la IA identifica y aborda los riesgos potenciales introducidos por las tecnologías de IA. Este proceso genera confianza en los sistemas de IA y reduce las consecuencias imprevistas. Abordar los riesgos organizativos garantiza que las implementaciones de IA se alineen con los valores, la tolerancia al riesgo y los objetivos operativos de la organización.
Comprender las cargas de trabajo de la IA. Para mitigar los riesgos de la IA, debe comprender sus cargas de trabajo de IA. Si aclara el alcance y el propósito de cada carga de trabajo de IA, podrá asignar los riesgos asociados. Esta aclaración debe incluir todas las suposiciones y limitaciones relacionadas con la carga de trabajo de IA.
Utilice los principios de la IA responsable para identificar los riesgos. Estos principios proporcionan un marco para evaluar los riesgos de la IA. Utilice la siguiente tabla para identificar y mitigar los riesgos mediante una evaluación estructurada de los principios de la IA.
Principio de IA responsable Definición Pregunta sobre la evaluación de riesgos Privacidad y seguridad de la IA Las cargas de trabajo de IA deben respetar la privacidad y ser seguras. ¿Cómo pueden las cargas de trabajo de IA manejar datos sensibles o ser vulnerables a violaciones de la seguridad? Confiabilidad y seguridad Las cargas de trabajo de IA deben funcionar de forma segura y fiable. ¿En qué situaciones podrían las cargas de trabajo de IA no funcionar con seguridad o producir resultados poco fiables? Imparcialidad Las cargas de trabajo de IA deben tratar a las personas de forma equitativa. ¿Cómo podrían las cargas de trabajo de IA conducir a un trato desigual o a un sesgo involuntario en la toma de decisiones? Inclusión Las cargas de trabajo de la IA deben ser inclusivas y empoderantes. ¿Cómo podrían quedar excluidos o desfavorecidos determinados grupos en el diseño o implementación de las cargas de trabajo de la IA? Transparencia Las cargas de trabajo de la IA deben ser comprensibles. ¿Qué aspectos de la toma de decisiones con IA podrían ser difíciles de entender o explicar para los usuarios? Responsabilidad Las personas deben ser responsables de las cargas de trabajo de la IA. ¿En qué aspectos del desarrollo o el uso de la IA la responsabilidad podría ser confusa o difícil de establecer? Identificar riesgos de IA. Comience por evaluar los riesgos de seguridad de las cargas de trabajo de IA, incluidas las posibles violaciones de datos, el acceso no autorizado o el uso indebido. Consulte a las partes interesadas para descubrir riesgos menos visibles y evalúe los impactos cualitativos y cuantitativos, incluidos los riesgos para la reputación, para determinar la tolerancia al riesgo de la organización.
Identifique los riesgos derivados de las dependencias externas. Evalúe los riesgos relacionados con fuentes de datos, software e integraciones de terceros. Aborde problemas como las vulnerabilidades de seguridad, la parcialidad y los riesgos de propiedad intelectual mediante el establecimiento de políticas que garanticen la alineación con las normas de cumplimiento y privacidad de la organización.
Evaluar los riesgos de integración. Evalúe la integración de las cargas de trabajo de IA con las cargas de trabajo y procesos existentes. Documente los riesgos potenciales, como la dependencia de otras cargas de trabajo, el aumento de la complejidad o las incompatibilidades que podrían afectar a la funcionalidad.
Documentar las políticas de gobernanza de la IA
Las políticas de gobernanza de la IA proporcionan un marco estructurado para el uso responsable de la IA. Estas políticas alinean las actividades de IA con las normas éticas, los requisitos normativos y los objetivos empresariales. La documentación de políticas garantiza unas directrices claras para la administración de modelos, datos y operaciones de IA.
| Políticas de gobernanza de la IA | Recomendaciones de políticas de gobernanza de la IA |
|---|---|
| Definir políticas para la selección y la incorporación de modelos | ▪ Establezca políticas para la selección de modelos de IA. Las políticas deben delinear los criterios para elegir modelos que cumplan con los valores organizacionales, las capacidades y las restricciones de costes. Revise los modelos potenciales para la alineación con la tolerancia al riesgo y los requisitos de la tarea prevista. ▪ Incorpore nuevos modelos con políticas estructuradas. Un proceso formal de incorporación de modelos mantiene la coherencia en la justificación, validación y aprobación de modelos. Utilice entornos sandbox para los experimentos iniciales y, a continuación, valide y revise los modelos en el catálogo de producción para evitar duplicidades. |
| Defina políticas para el uso de herramientas y datos de terceros | ▪ Establezca controles para las herramientas de terceros. Un proceso de investigación para herramientas de terceros protege contra los riesgos de seguridad, cumplimiento y alineación. Las políticas deben incluir directrices sobre privacidad de datos, seguridad y normas éticas cuando se utilicen conjuntos de datos externos. ▪ Defina las normas de sensibilidad de los datos. Mantener separados los datos sensibles de los públicos es esencial para mitigar los riesgos de la IA. Crear políticas en torno al manejo y la separación de datos. ▪ Defina normas de calidad de los datos. Un "conjunto de datos de referencia" proporciona un indicador fiable para la prueba y evaluación de modelos de IA. Establezca políticas claras de coherencia y calidad de los datos para garantizar un alto rendimiento y unos resultados fiables. |
| Definir políticas de mantenimiento y supervisión de los modelos | ▪ Especifique la frecuencia de reentrenamiento según el caso práctico. El reentrenamiento frecuente favorece la precisión de las cargas de trabajo de IA de alto riesgo. Defina directrices que tengan en cuenta el caso práctico y el nivel de riesgo de cada modelo, especialmente para sectores como la sanidad y las finanzas. ▪ Supervise la degradación del rendimiento. Supervisar el rendimiento del modelo a lo largo del tiempo ayuda a detectar problemas antes de que afecten a los resultados. Documente los puntos de referencia y, si el rendimiento de un modelo disminuye, inicie un proceso de reciclaje o revisión. |
| Definir políticas para el cumplimiento de la normativa | ▪ Cumpla los requisitos legales regionales. Comprender las leyes regionales garantiza que las operaciones de IA sigan cumpliendo la normativa en todas las ubicaciones. Investigue las normativas aplicables para cada área de despliegue, como las leyes de privacidad de datos, las normas éticas y las normativas del sector. ▪ Desarrolle políticas específicas para cada región. Adaptar las políticas de IA a las consideraciones regionales favorece el cumplimiento de las normas locales. Las políticas podrían incluir apoyo lingüístico, protocolos de almacenamiento de datos y adaptaciones culturales. ▪ Adapte la IA a la variabilidad regional. La flexibilidad de las cargas de trabajo de IA permite realizar ajustes funcionales específicos de cada ubicación. Para operaciones globales, documente las adaptaciones específicas de cada región, como datos de entrenamiento localizados y restricciones de funciones. |
| Definir políticas para la conducta de los usuarios | ▪ Defina estrategias de mitigación de riesgos por uso indebido. Las políticas de prevención de usos indebidos ayudan a proteger contra daños intencionados o no intencionados. Esboce posibles escenarios de uso indebido e incorpore controles, como funcionalidades restringidas o características de detección de uso indebido. ▪ Establezca directrices de conducta para los usuarios. Los acuerdos de usuario aclaran los comportamientos aceptables al interactuar con la carga de trabajo de IA, reduciendo el riesgo de uso indebido. Redacte unas condiciones de uso claras para comunicar las normas y respaldar una interacción responsable con la IA. |
| Defina políticas para la integración y sustitución de la IA. | ▪ Esboce políticas de integración. Las directrices de integración garantizan que las cargas de trabajo de IA mantengan la integridad y la seguridad de los datos durante la interconexión de las cargas de trabajo. Especifique los requisitos técnicos, los protocolos de intercambio de datos y las medidas de seguridad. ▪ Planifique la transición y la sustitución. Las políticas de transición proporcionan estructura a la hora de sustituir procesos antiguos por cargas de trabajo de IA. Describa los pasos para eliminar gradualmente los procesos heredados, formar al personal y supervisar el rendimiento a lo largo del cambio. |
Aplicar las políticas de gobernanza de la IA
Haga cumplir las políticas de gobernanza de la IA garantiza prácticas de IA coherentes y éticas dentro de una organización. Las herramientas automatizadas y las intervenciones manuales favorecen el cumplimiento de las políticas en todas las implantaciones. Una aplicación adecuada ayuda a mantener el cumplimiento y minimiza los errores humanos.
Automatice la aplicación de políticas siempre que sea posible Utilice plataformas como Azure Policy y Microsoft Purview para aplicar políticas automáticamente en todas las implementaciones de IA, reduciendo el error humano. Evalúe periódicamente las áreas en las que la automatización puede mejorar el cumplimiento de las políticas.
Aplique manualmente las políticas de IA. Proporcione formación sobre riesgos y cumplimiento de la IA a los empleados para asegurarse de que comprenden su papel en la gobernanza de la IA. Los talleres regulares mantienen al personal al día sobre las políticas de IA, y las auditorías periódicas ayudan a supervisar el cumplimiento e identificar áreas de mejora.
Utilice directrices de gobernanza específicas para la carga de trabajo. Existen directrices de seguridad detalladas para las cargas de trabajo de IA en los servicios de plataforma Azure (PaaS) y la infraestructura Azure (IaaS). Utilice estas directrices para controlar los modelos, recursos y datos de IA dentro de estos tipos de cargas de trabajo.
Supervisar los riesgos organizativos de la IA
La supervisión de los riesgos de la IA permite a las organizaciones identificar los riesgos emergentes y abordarlos con prontitud. Las evaluaciones periódicas garantizan que las cargas de trabajo de IA funcionan según lo previsto. Una supervisión constante ayuda a las organizaciones a adaptarse a las condiciones cambiantes y a prevenir los impactos negativos de los sistemas de IA.
Establezca procedimientos para la evaluación continua de los riesgos. Establezca revisiones periódicas para identificar nuevos riesgos, implicando a las partes interesadas para evaluar los impactos más amplios de la IA. Desarrolle un plan de respuesta a los problemas que surjan para permitir la reevaluación del riesgo y los ajustes necesarios.
Desarrolle un plan de medición. Un plan de medición claro garantiza la coherencia de la recogida y el análisis de datos. Defina los métodos de recopilación de datos, como el registro automatizado para las métricas operativas y las encuestas para los comentarios cualitativos. Establezca la frecuencia y el alcance de las mediciones, centrándose en las áreas de alto riesgo, y cree bucles de retroalimentación para refinar las evaluaciones de riesgos basándose en las aportaciones de las partes interesadas.
Cuantificar y calificar los riesgos de la IA. Elegir métricas cuantitativas (tasas de error, precisión) e indicadores cualitativos (comentarios de los usuarios, preocupaciones éticas) que se ajusten al propósito de la carga de trabajo. Comparar el rendimiento con los estándares del sector para realizar un seguimiento de las repercusiones, la fiabilidad y el rendimiento de la IA.
Documente e informe de los resultados de las mediciones. La documentación y los informes periódicos aumentan la transparencia y la responsabilidad. Cree informes estandarizados que resuman las métricas, los resultados y cualquier anomalía para orientar la toma de decisiones. Comparta esta información con las partes interesadas y utilícela para perfeccionar las estrategias de mitigación de riesgos y mejorar futuras implantaciones.
Establezca procesos de revisión independientes. Las revisiones independientes periódicas proporcionan evaluaciones objetivas de los riesgos y el cumplimiento de la IA, utilizando revisores externos o internos no implicados. Utilice los resultados para reforzar las evaluaciones de riesgos y perfeccionar las políticas de gobernanza.
Paso siguiente
Ejemplos de mitigación de riesgos de IA
La siguiente tabla enumera algunos riesgos comunes de la IA y proporciona una estrategia de mitigación y un modelo de política para cada uno de ellos. La tabla no enumera un conjunto completo de riesgos.
| Id. de riesgo | Riesgo de IA | Mitigación | Directiva |
|---|---|---|---|
| R001 | Incumplimiento de las leyes de protección de datos | Utilice Administrador de cumplimiento de Microsoft Purview para evaluar el cumplimiento de los datos. | Se debe implementar el Ciclo de vida de desarrollo de seguridad para garantizar que todo el desarrollo e implementación de IA cumpla con las leyes de protección de datos. |
| R005 | Falta de transparencia en la toma de decisiones sobre IA | Aplicar un marco y un lenguaje estandarizados para mejorar la transparencia en los procesos de IA y la toma de decisiones. | Debe adoptarse el Marco de administración de Riesgos de IA del NIST y todos los modelos de IA deben documentarse exhaustivamente para mantener la transparencia de todos los modelos de IA. |
| R006 | Predicciones imprecisas | Utilice Azure API Management para realizar un seguimiento de las métricas del modelo de IA para garantizar la precisión y la fiabilidad. | Se debe utilizar la supervisión continua del rendimiento y la retroalimentación humana para garantizar que las predicciones del modelo de IA sean precisas. |
| R007 | Ataque adversario | Utilice PyRIT para probar las cargas de trabajo de IA en busca de vulnerabilidades y reforzar las defensas. | El Ciclo de vida de desarrollo de seguridad y las pruebas del equipo rojo de IA deben utilizarse para proteger las cargas de trabajo de IA contra ataques de adversarios. |
| R008 | Amenazas internas | Utilice Microsoft Entra ID para aplicar controles de acceso estrictos basados en funciones y pertenencia a grupos para limitar el acceso de personas con información privilegiada a datos confidenciales. | La administración estricta de identidades y accesos y la supervisión continua deben utilizarse para mitigar las amenazas internas. |
| R009 | Costes inesperados | Utilice Microsoft Cost Management para realizar un seguimiento del uso de la CPU, la GPU, la memoria y el almacenamiento para garantizar una utilización eficiente de los recursos y evitar picos de costes. | La supervisión y optimización del uso de recursos y la detección automatizada de sobrecostes deben utilizarse para administrar los costes imprevistos. |
| R010 | Infrautilización de los recursos de IA | Supervise las métricas del servicio de IA, como las tasas de solicitud y los tiempos de respuesta, para optimizar el uso. | Deben utilizarse métricas de rendimiento y escalabilidad automatizada para optimizar la utilización de los recursos de IA. |