Seguridad de la inteligencia artificial para Microsoft 365 Copilot
La inteligencia artificial ha revolucionado muchos sectores, proporcionando capacidades y eficiencias sin precedentes. Por ejemplo, Microsoft 365 Copilot, nuestra herramienta de productividad con tecnología de inteligencia artificial, coordina modelos de lenguaje grande (LLM), contenido en Microsoft Graphs y las aplicaciones de productividad de Microsoft 365, como Word, Excel, PowerPoint, Outlook, Teams, SharePoint y otros. Esta integración proporciona asistencia inteligente en tiempo real, lo que permite a los usuarios mejorar su creatividad, productividad y capacidades.
Los clientes están interesados en explorar estas oportunidades y están considerando cuidadosamente los aspectos importantes de la seguridad que vienen con ellas. En función de nuestras interacciones con los clientes que están en su recorrido de transformación de inteligencia artificial, entendemos que temas como la seguridad de los datos, la privacidad, la solidez del modelo y los ciberataques son lo más importante.
Microsoft entiende lo críticas que son estas consideraciones, por lo que empleamos una sólida estrategia de defensa en profundidad para ayudar a proteger herramientas de productividad como Microsoft 365 Copilot frente a riesgos de seguridad. Este enfoque multicapa implica una combinación de inteligencia avanzada sobre amenazas, prácticas de seguridad rigurosas y medidas de seguridad proactivas. Por ejemplo, además de nuestros propios ejercicios de formación de equipos rojos para probar Microsoft 365 Copilot, hemos contratado a Casaba Security para probar nueve implementaciones de Copilot en el conjunto de productos de Microsoft 365. Abordamos y resolvimos rápidamente los resultados de sus pruebas, que se centraban en identificar los 10 primeros 10 del proyecto de seguridad de aplicaciones de open worldwide (OWASP) para LLM, así como las vulnerabilidades de seguridad tradicionales en la infraestructura de aplicaciones de soporte técnico.
Microsoft realiza amplios pasos para garantizar que Microsoft 365 Copilot cumpla con nuestros compromisos de privacidad, seguridad y cumplimiento existentes con nuestros clientes. Y a medida que las tecnologías de inteligencia artificial y los casos de uso continúan evolucionando, nuestro trabajo nunca se realiza: Microsoft se compromete a avanzar continuamente en las protecciones para Copilot, a aprender de nuestra propia supervisión y pruebas de nuestros sistemas, así como a trabajar con clientes, asociados y el sector de seguridad más amplio.
En este artículo se proporciona información general sobre la posición de seguridad general de Microsoft para la inteligencia artificial y cómo funcionan juntas las diferentes soluciones de seguridad de Microsoft para ayudar a proteger los datos y las interacciones en Microsoft 365 Copilot y otras aplicaciones de inteligencia artificial. Actualizaremos este artículo con información nueva sobre los riesgos emergentes y las innovaciones en las soluciones a medida que estén disponibles.
Protección de Microsoft 365 Copilot
En Microsoft, la seguridad no es solo una prioridad; es la base de todo lo que hacemos. Este compromiso se extiende a la inteligencia artificial: no solo la Microsoft Office of Responsible AI guía la seguridad y la seguridad en nuestro recorrido de inteligencia artificial, sino que nuestra recientemente expandida Iniciativa de Futuro Seguro refleja aún más nuestra dedicación para crear un panorama digital más seguro para todos.
Nuestra posición de seguridad completa para la inteligencia artificial tiene los siguientes pilares:
- Desarrollo de inteligencia artificial responsable: Los expertos de Microsoft se encargan de los principios de inteligencia artificial. Estos principios enfatizan la equidad, la confiabilidad y la seguridad, la privacidad y la seguridad, la inclusión, la transparencia y la responsabilidad a lo largo del ciclo de vida de la inteligencia artificial.
- Procedimientos recomendados de seguridad: proporcionamos recursos personalizados y procedimientos recomendados para desarrolladores, ingenieros y profesionales de seguridad que trabajan con productos de inteligencia artificial de Microsoft. Estos recursos ayudan a las organizaciones a comprender e implementar medidas de seguridad durante la implementación.
- Ciclo de vida de desarrollo de seguridad (SDL): nuestro riguroso SDL integra consideraciones de seguridad a lo largo de todo el proceso de desarrollo de IA. Este enfoque proactivo garantiza que las vulnerabilidades se identifiquen y mitiguen desde el principio.
- Investigación, detección y mitigación de amenazas: invertimos activamente en estrategias para detectar y mitigar amenazas en nuestros modelos de inteligencia artificial. Esto incluye la supervisión continua de vulnerabilidades y el desarrollo de contramedidas contra posibles ataques. Microsoft Threat Intelligence, nuestra red global de investigadores, también supervisa el panorama de amenazas para los actores de amenazas y los ciberataques que podrían aprovechar las aplicaciones de inteligencia artificial.
Microsoft protege la privacidad, la seguridad y la confiabilidad de las características de inteligencia artificial de Microsoft 365 Copilot, desde la fase de entrada del usuario hasta la fase de salida del sistema. Microsoft 365 Copilot cumple con nuestros compromisos existentes de privacidad, seguridad y cumplimiento, incluidos el Reglamento general de protección de datos (RGPD) y el límite de datos de la Unión Europea (UE). De acuerdo con estos compromisos, Microsoft controla la información en los avisos especificados mediante Copilot, y los datos recuperados y las respuestas generadas permanecen protegidos como datos de cliente y sujetos a nuestros requisitos contractuales de control de datos.
En las secciones siguientes se explica cómo Microsoft aborda diversos aspectos de privacidad, seguridad y cumplimiento que son consideraciones importantes para los clientes para adoptar Microsoft 365 Copilot.
Administración de permisos y control de acceso
Microsoft 365 Copilot accede a los recursos en nombre del usuario, por lo que solo puede acceder a los recursos a los que el usuario ya tiene permiso de acceso. Si el usuario no tiene acceso a un documento por ejemplo, Microsoft 365 Copilot trabajar en nombre del usuario tampoco tendrá acceso.
Microsoft procesa los datos que usa para generar respuestas de acuerdo con los requisitos contractuales de control de datos, incluido el cifrado en tránsito, lo que ayuda a proteger la privacidad y a evitar la pérdida de datos. Además, los datos de Microsoft 365, incluidos los datos de Microsoft Graph y SharePoint, se adhieren a los mecanismos de control de acceso y auditoría.
Microsoft 365 Copilot respeta las directivas de Microsoft 365, Microsoft Entra y Microsoft Purview que limitan aún más el acceso y los permisos de los usuarios, como las barreras de información, el acceso condicional y las etiquetas de confidencialidad.
Microsoft 365 Copilot hereda directivas de prevención de pérdida de datos (DLP) para evitar la filtración de datos de las respuestas generadas por Copilot. Además, mejora la seguridad de los datos mediante la aplicación de etiquetas de confidencialidad a estas respuestas.
Protección de datos durante el entrenamiento del modelo
Microsoft 365 Copilot usa modelos LLM previamente entrenados hospedados por Microsoft; no usa datos de cliente para entrenar estos modelos. Además, los datos de solicitud y puesta a tierra no se usan para entrenar modelos de inteligencia artificial y nunca se comparten con OpenAI u otros terceros.
Cumplir los requisitos de residencia de datos
Microsoft respeta los compromisos de residencia de datos como se describe en los Términos de producto de Microsoft y el Anexo de protección de datos. Las ofertas de Residencia avanzada de datos (ADR) y Multi-Geo Capabilities de Microsoft incluyen compromisos de residencia de datos para clientes de Microsoft 365 Copilot a partir del 1 de marzo de 2024. Para los usuarios de la Unión Europea (UE), Microsoft tiene medidas de seguridad adicionales para cumplir con los límites de datos de la UE. El tráfico de la UE permanece dentro de Límite de datos de la UE, mientras que el tráfico mundial se puede enviar a la UE y a otras regiones geográficas para el procesamiento de LLM.
Todos los datos enviados para el procesamiento de inteligencia artificial se cifran tanto en tránsito como en reposo. Para garantizar que los datos permanezcan seguros durante todo el ciclo de vida de procesamiento, Microsoft 365 usa tecnologías de servicio compatibles con FIPS 140-2 que cifran el contenido del cliente en reposo y en tránsito, incluido BitLocker, cifrado por archivo, Seguridad de la capa de transporte (TLS) 1.2 y Seguridad del protocolo de Internet (IPsec).
Protección contra inyecciones rápidas
Microsoft usa una combinación de aprendizaje automático avanzado para el filtrado de contenido en varias capas, protocolos de seguridad rigurosos y supervisión continua. Los clasificadores de inyección indirectos o multi prompt detectan y bloquean la inyección de mensajes en varias capas. Mientras tanto, las defensas, como las siguientes, también ayudan a minimizar el impacto en la seguridad de los ataques de inyección de mensajes cruzados (XPIA):
Los clasificadores XPIA se usan para detectar y reducir instancias de XPIA
Requisito de acciones humanas en bucle (iniciadas por el usuario o aprobadas) para acciones con privilegios y acciones que podrían alterar o salir contenido, como enviar un mensaje de correo electrónico
Se quitan los mecanismos de salida de datos innecesarios para evitar la filtración de datos
Además, en el contexto de un ataque por inyección de mensajes, el atacante solo puede acceder a los datos en la medida en que el usuario tenga acceso a ellos. Esto significa que el atacante se limita a los permisos y datos que el usuario tiene dentro del sistema. Esta limitación ayuda a contener el posible daño de un ataque por inyección de mensajes en el ámbito de los permisos del usuario.
Cumplimiento de los principios de inteligencia artificial responsable
Los principios de inteligencia artificial responsable de Microsoft guían el desarrollo y el uso de Microsoft 365 Copilot. Por ejemplo, Microsoft 365 Copilot implementa clasificadores, como los disponibles en Seguridad del contenido de Azure AI, y metaprompting para ayudar a reducir el riesgo de contenido dañino, ofensivo o violento. Microsoft 365 Copilot usa clasificadores basados en inteligencia artificial y filtros de contenido para marcar diferentes tipos de contenido potencialmente dañino en las solicitudes del usuario o las respuestas generadas. Mientras tanto, la metaprompting guía el comportamiento del modelo, lo que incluye asegurarse de que el sistema se comporta de acuerdo con los principios de inteligencia artificial de Microsoft y las expectativas del usuario.
Microsoft también aplica filtros de contenido y tecnología de inspección rápida para evitar el uso de Microsoft 365 Copilot para ransomware y otros ataques basados en malware. Además, el ciclo de vida de desarrollo de seguridad (SDL) ayuda a proteger Microsoft 365 Copilot frente a la ejecución remota de código. Una manera de hacerlo implica impedir que Copilot ejecute código sin restricciones y sin bandeja de seguridad.
Para ayudar a evitar contenido sin conexión, Microsoft 365 Copilot implementa la generación aumentada de recuperación (RAG) mediante una base de datos semántica dedicada que puede proporcionar información sobre el contenido de los clientes del inquilino de Microsoft 365. Microsoft revisa continua y cuidadosamente los cambios en el nivel de puesta a tierra de la respuesta. Para los cambios realizados en Microsoft 365 Copilot (incluidos los mensajes, el modelo o la orquestación), detectamos regresiones que podrían afectar negativamente al usuario.
Hay nuevas herramientas en Azure AI que ayudan a mejorar aún más estas medidas de seguridad al ayudar a los desarrolladores de aplicaciones de inteligencia artificial a crear aplicaciones de inteligencia artificial más seguras.
Protección del derecho de autor y la propiedad intelectual
Microsoft tiene protecciones integradas contra la generación de contenido protegido, que incluye el primer programa de compromiso de derechos de autor del cliente del sector para defender a los clientes y compensar cualquier juicio adverso, en caso de una demanda por infracción de derechos de autor.
Cumplimiento de los requisitos normativos
Microsoft 365 Copilot cumple los requisitos normativos de eDiscovery, registro de auditoría y retención a través de varios mecanismos:
Directivas de retención: los mensajes de Microsoft 365 Copilot se incluyen automáticamente en la ubicación de la directiva de retención denominada Chats de Teams e interacciones de Copilot. Esto significa que las solicitudes del usuario y las respuestas de Copilot se pueden conservar y eliminar por motivos de cumplimiento. Los datos de los mensajes de Copilot se almacenan en una carpeta oculta en el buzón del usuario que ejecuta Copilot, que los administradores de cumplimiento pueden buscar con herramientas de eDiscovery.
Registro de auditoría: los registros de auditoría generados por Microsoft 365 Copilot se pueden conservar durante un máximo de 180 días para los clientes de auditoría (Standard) y hasta un año para los titulares de licencias de Auditoría (Premium), con la opción de ampliar hasta 10 años.
Cumplimiento con Microsoft Purview: Microsoft Purview proporciona protección de cumplimiento y seguridad de datos para aplicaciones de inteligencia artificial generativas como Copilot. La administración de posturas de seguridad de datos de Microsoft Purview para IA, actualmente en versión preliminar, proporciona herramientas gráficas e informes fáciles de usar para obtener rápidamente información sobre el uso de la inteligencia artificial dentro de la organización. Las directivas con un solo clic ayudan a proteger los datos y a cumplir los requisitos normativos.
Administración controles: los administradores pueden usar Microsoft Purview para ver y administrar datos almacenados, establecer directivas de retención y realizar búsquedas de exhibición de documentos electrónicos. Las opciones de eliminación iniciada por el usuario y por el administrador están disponibles a través de Purview.
Preguntas frecuentes
¿Los resultados de Microsoft 365 Copilot son fiables?
Aunque las medidas de seguridad de Microsoft proporcionan una fuerte mitigación de amenazas contra la desinformación y el riesgo, como con cualquier aplicación de inteligencia artificial, es posible que las respuestas de Microsoft 365 Copilot no siempre sean precisas. Debe seguir aplicando el juicio humano para comprobar estas respuestas.
¿Cómo trata Microsoft mis mensajes y respuestas?
Microsoft trata los mensajes y respuestas a medida que tratamos otras formas más tradicionales de contenido, como correos electrónicos, documentos y chats, y nuestros compromisos contractuales son los mismos.
¿Microsoft 365 Copilot usan mis datos para entrenar modelos de inteligencia artificial?
Consultas, las respuestas y los datos de cliente a los que se accede a través de Microsoft Graph no se usan para entrenar los LLM básicos, incluidos los usados por Microsoft 365 Copilot. Las mejoras del producto se impulsan a través de técnicas como incidentes notificados por el cliente y generación de mensajes sintéticos.
¿Qué debo hacer si veo contenido inesperado o ofensivo?
Para informar de cualquier contenido perturbador o sospechoso inmediatamente, seleccione el botón de desactivación (pulgar hacia abajo) situado junto a la respuesta del aviso.
¿Cómo puedo acceder al informe de evaluación de vulnerabilidades de Microsoft 365 Copilot?
La evaluación de vulnerabilidades de terceros de Microsoft 365 Copilot se puede descargar desde el Portal de confianza de servicios.
¿Puede Microsoft ayudarme a encontrar riesgos en mis aplicaciones de inteligencia artificial?
Microsoft ha publicado Python Risk Identification Toolkit for generative AI (PyRIT), un marco de automatización de acceso abierto que tiene como objetivo capacitar a los profesionales de seguridad y a los ingenieros de aprendizaje automático para que encuentren riesgos de forma proactiva en sus propios sistemas de inteligencia artificial generativa.
¿Microsoft 365 Copilot tiene acceso a los datos que no tengo al poner en tierra el contenido?
Microsoft 365 Copilot accede a los recursos en nombre del usuario, por lo que solo puede acceder a los recursos a los que ya tiene permiso de acceso.
La conexión a tierra se produce en el contexto de la identidad y las consultas semánticas de índice y grafo se "recortan en seguridad" en función de los permisos para el contenido subyacente. Este proceso garantiza que solo se incluya contenido autorizado en el proceso de puesta a tierra.
¿Cómo puedo limitar los datos que Microsoft 365 Copilot pueden usar?
Los pasos siguientes pueden ayudar a los administradores a controlar el acceso de los usuarios y, por tanto, a limitar los datos que Microsoft 365 Copilot pueden usar:
- Restrinja el acceso al sitio de SharePoint y el acceso de contenido de OneDrive a grupos específicos, incluso después de que el contenido se haya compartido en exceso.
- Use Restricted SharePoint Search para limitar los sitios web desde los que se permite a Microsoft 365 Copilot hacer referencia al contenido.
- Use Microsoft SharePoint Premium - Administración avanzada de SharePoint, que ofrece informes y herramientas para analizar y administrar listas de control de acceso excesivamente permisivas y vínculos de uso compartido en todo el entorno.
- Revise las consideraciones de protección de la información para Copilot. Microsoft 365 Copilot respeta los permisos EXTRACT y hereda automáticamente las etiquetas de confidencialidad del contenido al que se hace referencia a los archivos y respuestas generados por Copilot.
- Aplique etiquetas de confidencialidad a los archivos y el correo electrónico de Microsoft 365. Para los clientes de Microsoft Purview, los administradores pueden crear y configurar etiquetas de confidencialidad que quieran poner a disposición de aplicaciones y otros servicios.
- Use Microsoft Purview Data Security Posture Management for AI (actualmente en versión preliminar) para detectar datos confidenciales compartidos con Copilot, ver los archivos a los que se hace referencia en las respuestas de Copilot y detectar los archivos no etiquetados a los que hace referencia Copilot y los sitios de SharePoint asociados, lo que le permite identificar y proteger los archivos en riesgo de sobreexposición.
- Configure directivas que quiten datos antiguos y no utilizados y limiten la expansión de datos debido al uso compartido excesivo de datos con Administración del ciclo de vida de Microsoft Purview.
¿Cómo puedo usar soluciones de seguridad de Microsoft para proteger los datos y las interacciones de aplicaciones de inteligencia artificial?
Microsoft siempre recomienda crear una base de seguridad sólida para su empresa. La estrategia de seguridad Confianza cero proporciona orientación para tal base, ya que trata cada conexión y solicitud de recursos como si se originase en una red no controlada y un actor de amenaza. Independientemente de dónde se origine la solicitud o del recurso al que acceda, use Confianza cero principios.
Nuestras soluciones de seguridad completas, incluidos Microsoft Defender, Entra, Purview y Intune, trabajan conjuntamente para ayudar a proteger sus datos e interacciones en Microsoft 365 Copilot y otras aplicaciones de inteligencia artificial. Estos productos tienen funcionalidades que le permiten a usted y a sus equipos:
Identificar posibles riesgos relacionados con el uso de IA, como pérdidas de datos confidenciales y acceso no autorizado a aplicaciones de alto riesgo
Proteger las aplicaciones de inteligencia artificial y los datos confidenciales que procesan o generan, incluidas las solicitudes y respuestas
Controlar el uso de la inteligencia artificial de forma responsable mediante la retención y el registro de interacciones, la detección de infracciones de directivas y la investigación de incidentes
Por ejemplo, recientemente presentamos nuevas funcionalidades de Microsoft Defender y Purview que proporcionan herramientas diseñadas específicamente para una sólida seguridad y gobernanza de las aplicaciones de inteligencia artificial generativas y sus datos. Además, la integración perfecta de Microsoft Security Copilot en nuestros productos simplifica el proceso general y la experiencia de los analistas de seguridad. Al priorizar la seguridad y ofrecer estas características avanzadas, Microsoft permite a las organizaciones aplicar con confianza las ventajas y oportunidades que proporcionan las aplicaciones de inteligencia artificial.
¿Dónde debo notificar vulnerabilidades en Microsoft 365 Copilot y otras aplicaciones de inteligencia artificial?
Si detecta nuevas vulnerabilidades en cualquier plataforma de inteligencia artificial, le recomendamos que siga las prácticas de divulgación responsables para el propietario de la plataforma. El propio procedimiento de Microsoft (para Copilot) se explica en esta página: Programa de recompensas de IA de Microsoft.