Alertas para cargas de trabajo de IA (versión preliminar)
En este artículo se enumeran las alertas de seguridad que puede obtener para las cargas de trabajo de inteligencia artificial de Microsoft Defender for Cloud y los planes de Microsoft Defender que ha habilitado. Las alertas que se muestran en el entorno dependen de los recursos y servicios que va a proteger, y de la configuración personalizada.
Nota:
Algunas de las alertas agregadas recientemente con tecnología de Inteligencia contra amenazas de Microsoft Defender y Microsoft Defender para punto de conexión podrían no estar documentadas.
Aprenda a responder a estas alertas.
Nota
Las alertas de orígenes diferentes pueden tardar un tiempo distinto en aparecer. Por ejemplo, las alertas que requieren un análisis del tráfico de red pueden tardar más en aparecer que las alertas relacionadas con procesos sospechosos que se ejecutan en máquinas virtuales.
Alertas de carga de trabajo de IA
Intentos de robo de credenciales detectados en una implementación de modelos de Azure AI
(IA. Azure_CredentialTheftAttempt)
Descripción: la alerta de robo de credenciales está diseñada para notificar al SOC cuando las credenciales se detectan en las respuestas del modelo de GenAI a un mensaje de usuario, lo que indica una posible infracción. Esta alerta es fundamental para detectar casos de pérdida o robo de credenciales, que son exclusivos de la inteligencia artificial generativa y pueden tener consecuencias graves si se realizan correctamente.
Tácticas de MITRE: Acceso a credenciales, Movimiento lateral, Filtración
Gravedad: media
Un intento de Jailbreak en una implementación de modelos de Azure AI fue bloqueado por Azure AI Content Prompt Shields
(IA. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descripción: La alerta de Jailbreak, realizada mediante una técnica de inyección de mensajes directos, está diseñada para notificar al SOC que se ha intentado manipular la solicitud del sistema para omitir las medidas de seguridad de la inteligencia artificial generativa, el acceso potencialmente a datos confidenciales o funciones con privilegios. Indicó que estos intentos fueron bloqueados por la seguridad del contenido de Ia responsable de Azure (también conocido como Prompt Shields), lo que garantiza la integridad de los recursos de inteligencia artificial y la seguridad de los datos.
Tácticas de MITRE: Elevación de privilegios, evasión de defensa
Gravedad: media
Azure AI Content Prompt Shields detectó un intento de Jailbreak en una implementación de modelo de Azure AI
(IA. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descripción: La alerta de Jailbreak, realizada mediante una técnica de inyección de mensajes directos, está diseñada para notificar al SOC que se ha intentado manipular la solicitud del sistema para omitir las medidas de seguridad de la inteligencia artificial generativa, el acceso potencialmente a datos confidenciales o funciones con privilegios. Indicó que estos intentos fueron detectados por la seguridad del contenido de Ia responsable de Azure (también conocido como Prompt Shields), pero no se bloquearon debido a la configuración de filtrado de contenido o debido a una confianza baja.
Tácticas de MITRE: Elevación de privilegios, evasión de defensa
Gravedad: media
Exposición de datos confidenciales detectada en la implementación del modelo de Azure AI
(IA. Azure_DataLeakInModelResponse.Sensitive)
Descripción: la alerta de pérdida de datos confidenciales está diseñada para notificar al SOC que un modelo de GenAI respondió a una petición de usuario con información confidencial, posiblemente debido a un usuario malintencionado que intenta omitir las medidas de seguridad de la inteligencia artificial generativa para acceder a datos confidenciales no autorizados.
Tácticas de MITRE: Colección
Gravedad: baja
La aplicación/modelo/datos de IA dañados dirigieron un intento de suplantación de identidad (phishing) a un usuario
(IA. Azure_PhishingContentInModelResponse)
Descripción: esta alerta indica un daño de una aplicación de inteligencia artificial desarrollada por la organización, ya que ha compartido activamente una dirección URL malintencionada conocida que se usa para la suplantación de identidad (phishing) con un usuario. La dirección URL originada en la propia aplicación, el modelo de IA o los datos a los que puede acceder la aplicación.
Tácticas de MITRE: Impacto (desfase)
Gravedad: alta
Dirección URL de suplantación de identidad compartida en una aplicación de IA
(IA. Azure_PhishingContentInAIApplication)
Descripción: esta alerta indica un posible daño de una aplicación de inteligencia artificial o un intento de suplantación de identidad (phishing) por parte de uno de los usuarios finales. La alerta determina que una dirección URL malintencionada usada para la suplantación de identidad (phishing) se pasó durante una conversación a través de la aplicación de IA, pero el origen de la dirección URL (usuario o aplicación) no está claro.
Tácticas de MITRE: Impacto (desfase), Colección
Gravedad: alta
Intento de suplantación de identidad detectado en una aplicación de IA
(IA. Azure_PhishingContentInUserPrompt)
Descripción: esta alerta indica que un usuario envió una dirección URL usada para el ataque de suplantación de identidad (phishing) a una aplicación de IA. Normalmente, el contenido empuja a los visitantes a introducir sus credenciales corporativas o información financiera en un sitio web de aspecto legítimo. Enviar esto a una aplicación de inteligencia artificial puede ser para dañarlo, envenenar los orígenes de datos a los que tiene acceso o obtener acceso a los empleados u otros clientes a través de las herramientas de la aplicación.
Tácticas de MITRE: Colección
Gravedad: alta
Se detectó un agente de usuario sospechoso
(IA. Azure_AccessFromSuspiciousUserAgent)
Descripción: el agente de usuario de una solicitud que accede a uno de los recursos de Azure AI contenía valores anómalos que indican un intento de abuso o manipulación del recurso. La inteligencia sobre amenazas de Microsoft ha asignado el agente de usuario sospechoso en cuestión como sospecha de intención malintencionada y, por tanto, es probable que los recursos se vean comprometidos.
Tácticas de MITRE: Ejecución, Reconocimiento, Acceso inicial
Gravedad: media
Se detectó la inyección de mensajes de contrabanding ASCII
(IA. Azure_ASCIISmuggling)
Descripción: la técnica de contrabandamiento ASCII permite a un atacante enviar instrucciones invisibles a un modelo de IA. Estos ataques se atribuyen normalmente a inyecciones de mensajes indirectos, donde el actor de amenazas malintencionado pasa instrucciones ocultas para omitir las barreras de protección de la aplicación y del modelo. Estos ataques se suelen aplicar sin el conocimiento del usuario debido a su falta de visibilidad en el texto y pueden poner en peligro las herramientas de aplicación o los conjuntos de datos conectados.
Tácticas de MITRE: Impacto
Gravedad: alta
Nota:
En el caso de las alertas que están en versión preliminar: los Términos de uso complementarios para las versiones preliminares de Azure incluyen los términos legales adicionales que se aplican a las características de Azure que se encuentran en la versión beta, en versión preliminar o que todavía no se han publicado con disponibilidad general.