Alertas para cargas de trabalho de IA (versão prévia)
Este artigo lista os alertas de segurança que você pode receber para cargas de trabalho de IA do Microsoft Defender para Nuvem e todos os planos do Microsoft Defender habilitados. Os alertas mostrados em seu ambiente dependem dos recursos e serviços que você está protegendo, bem como a configuração personalizada.
Observação
Alguns dos alertas adicionados recentemente com a plataforma Microsoft Defender Threat Intelligence e Microsoft Defender para Ponto de Extremidade podem não estar documentados.
Saiba como responder a esses alertas.
Observação
Alertas de fontes diferentes podem levar diferentes quantidades de tempo para serem exibidos. Por exemplo, alertas que exigem análise de tráfego de rede podem levar mais tempo para aparecer do que alertas relacionados a processos suspeitos em execução em máquinas virtuais.
Alertas de carga de trabalho de IA
Tentativas de roubo de credenciais detectadas em uma implantação de modelo de IA do Azure
(AI. Azure_CredentialTheftAttempt)
Descrição: o alerta de roubo de credenciais foi projetado para notificar o SOC quando as credenciais são detectadas nas respostas do modelo GenAI a um prompt do usuário, indicando uma possível violação. Esse alerta é crucial para detectar casos de vazamento ou roubo de credenciais, que são exclusivos da IA generativa e podem ter consequências graves se forem bem-sucedidos.
Táticas MITRE: Acesso a Credenciais, Movimento Lateral, Exfiltração
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo de IA do Azure foi bloqueada pelos Módulos de Prompt de Segurança de Conteúdo de IA do Azure
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descrição: o alerta de jailbreak, realizado usando uma técnica de injeção de prompt direto, foi projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as proteções da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram bloqueadas pelo Azure Responsible AI Content Safety (também conhecido como Prompt Shields), garantindo a integridade dos recursos de IA e a segurança dos dados.
Táticas MITRA: Escalonamento de Privilégios, Evasão de Defesa
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo de IA do Azure foi detectada pelos Módulos de Prompt de Segurança de Conteúdo de IA do Azure
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descrição: o alerta de jailbreak, realizado usando uma técnica de injeção de prompt direto, foi projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as proteções da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram detectadas pela Segurança de Conteúdo de IA Responsável do Azure (também conhecida como Módulos de Prompt), mas não foram bloqueadas devido às configurações de filtragem de conteúdo ou devido à baixa confiança.
Táticas MITRA: Escalonamento de Privilégios, Evasão de Defesa
Gravidade: Média
Exposição de dados confidenciais detectada na implantação do modelo de IA do Azure
(AI. Azure_DataLeakInModelResponse. Sensível)
Descrição: o alerta de vazamento de dados confidenciais foi projetado para notificar o SOC de que um modelo GenAI respondeu a um prompt do usuário com informações confidenciais, potencialmente devido a um usuário mal-intencionado tentando contornar as proteções da IA generativa para acessar dados confidenciais não autorizados.
Táticas MITRE: Coleção
Gravidade: Baixa
Aplicativo de IA corrompido\modelo\dados direcionou uma tentativa de phishing a um usuário
(AI. Azure_PhishingContentInModelResponse)
Descrição: esse alerta indica uma corrupção de um aplicativo de IA desenvolvido pela organização, pois ele compartilhou ativamente um URL mal-intencionado conhecido usado para phishing com um usuário. A URL originada no próprio aplicativo, no modelo de IA ou nos dados que o aplicativo pode acessar.
Táticas do MITRA: Impacto (Desfiguração)
Gravidade: Alta
URL de phishing compartilhada em um aplicativo de IA
(AI. Azure_PhishingContentInAIApplication)
Descrição: esse alerta indica uma possível corrupção de um aplicativo de IA ou uma tentativa de phishing por um dos usuários finais. O alerta determina que uma URL maliciosa usada para phishing foi passada durante uma conversa por meio do aplicativo de IA, no entanto, a origem da URL (usuário ou aplicativo) não é clara.
Táticas MITRE: Impacto (Desfiguração), Coleta
Gravidade: Alta
Tentativa de phishing detectada em um aplicativo de IA
(AI. Azure_PhishingContentInUserPrompt)
Descrição: esse alerta indica que um URL usado para ataque de phishing foi enviado por um usuário para um aplicativo de IA. O conteúdo normalmente atrai os visitantes para inserir as credenciais corporativas ou informações financeiras em um site de aparência legítima. Enviá-lo para um aplicativo de IA pode ter o objetivo de corrompê-lo, envenenar as fontes de dados às quais ele tem acesso ou obter acesso a funcionários ou outros clientes por meio das ferramentas do aplicativo.
Táticas MITRE: Coleção
Gravidade: Alta
Agente de usuário suspeito detectado
(AI. Azure_AccessFromSuspiciousUserAgent)
Descrição: o agente de usuário de uma solicitação que acessa um dos recursos de IA do Azure continha valores anômalos indicativos de uma tentativa de abuso ou manipulação do recurso. O agente de usuário suspeito em questão foi mapeado pela inteligência contra ameaças da Microsoft como suspeito de intenção mal-intencionada e, portanto, seus recursos provavelmente foram comprometidos.
Táticas MITRE: Execução, Reconhecimento, Acesso inicial
Gravidade: Média
Injeção de prompt Indesejado de ASCII detectada
(AI. Azure_ASCIISmuggling)
Descrição: a técnica de contrabando ASCII permite que um invasor envie instruções invisíveis para um modelo de IA. Esses ataques são comumente atribuídos a injeções indiretas de prompt, em que o agente da ameaça mal-intencionada está passando instruções ocultas para ignorar as proteções do aplicativo e do modelo. Esses ataques geralmente são aplicados sem o conhecimento do usuário, dada a falta de visibilidade no texto e podem comprometer as ferramentas do aplicativo ou os conjuntos de dados conectados.
Táticas do MITRE: Impacto
Gravidade: Alta
Acesso a partir de um IP Tor
(AI. Azure_AccessFromAnonymizedIP)
Descrição: um endereço IP da rede Tor acessou um dos recursos de IA. O Tor é uma rede que permite que as pessoas acessem a Internet mantendo seu IP real oculto. Embora haja usos legítimos, ele é frequentemente usado por invasores para ocultar sua identidade quando eles têm como alvo os sistemas das pessoas online.
Táticas do MITRE: Execução
Gravidade: Alta
Observação
Para obter alertas que estão em versão prévia: os termos suplementares de versão prévia do Azure incluem termos legais adicionais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.