Alertas para cargas de trabalho de IA (visualização)
Este artigo lista os alertas de segurança que você pode receber para cargas de trabalho de IA do Microsoft Defender for Cloud e de qualquer plano do Microsoft Defender habilitado. Os alertas mostrados em seu ambiente dependem dos recursos e serviços que você está protegendo e da sua configuração personalizada.
Nota
Alguns dos alertas adicionados recentemente com o Microsoft Defender Threat Intelligence e o Microsoft Defender for Endpoint podem não estar documentados.
Saiba como responder a esses alertas.
Nota
Alertas de fontes diferentes podem levar diferentes quantidades de tempo para aparecer. Por exemplo, alertas que exigem análise do tráfego de rede podem levar mais tempo para aparecer do que alertas relacionados a processos suspeitos em execução em máquinas virtuais.
Alertas de carga de trabalho de IA
Tentativas de roubo de credenciais detetadas em uma implantação de modelo de IA do Azure
(AI. Azure_CredentialTheftAttempt)
Descrição: O alerta de roubo de credenciais foi projetado para notificar o SOC quando as credenciais são detetadas nas respostas do modelo GenAI a um prompt do usuário, indicando uma possível violação. Esse alerta é crucial para detetar casos de vazamento ou roubo de credenciais, que são exclusivos da IA generativa e podem ter consequências graves se forem bem-sucedidos.
Táticas MITRE: Acesso a Credenciais, Movimento Lateral, Exfiltração
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo de IA do Azure foi bloqueada pelos Escudos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descrição: O alerta de Jailbreak, realizado usando uma técnica de injeção direta de prompt, é projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as salvaguardas da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que tais tentativas foram bloqueadas pelo Azure Responsible AI Content Safety (também conhecido como Prompt Shields), garantindo a integridade dos recursos de IA e a segurança dos dados.
Táticas MITRE: Escalada de Privilégios, Evasão de Defesa
Gravidade: Média
Uma tentativa de jailbreak em uma implantação de modelo de IA do Azure foi detetada pelos Escudos de Prompt de Segurança de Conteúdo do Azure AI
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descrição: O alerta de Jailbreak, realizado usando uma técnica de injeção direta de prompt, é projetado para notificar o SOC de que houve uma tentativa de manipular o prompt do sistema para contornar as salvaguardas da IA generativa, potencialmente acessando dados confidenciais ou funções privilegiadas. Ele indicou que essas tentativas foram detetadas pelo Azure Responsible AI Content Safety (também conhecido como Prompt Shields), mas não foram bloqueadas devido a configurações de filtragem de conteúdo ou devido à baixa confiança.
Táticas MITRE: Escalada de Privilégios, Evasão de Defesa
Gravidade: Média
Exposição de dados confidenciais detetada na implantação do modelo de IA do Azure
(AI. Azure_DataLeakInModelResponse.Sensível)
Descrição: O alerta de vazamento de dados confidenciais foi projetado para notificar o SOC de que um modelo GenAI respondeu a uma solicitação do usuário com informações confidenciais, potencialmente devido a um usuário mal-intencionado tentando contornar as proteções da IA generativa para acessar dados confidenciais não autorizados.
Táticas MITRE: Coleção
Gravidade: Baixa
Aplicativo de IA corrompido\modelo\dados direcionou uma tentativa de phishing a um usuário
(AI. Azure_PhishingContentInModelResponse)
Descrição: Este alerta indica uma corrupção de um aplicativo de IA desenvolvido pela organização, pois compartilhou ativamente um URL malicioso conhecido usado para phishing com um usuário. A URL originou-se dentro do próprio aplicativo, o modelo de IA ou os dados que o aplicativo pode acessar.
Táticas MITRE: Impacto (Defacement)
Gravidade: Alta
URL de phishing compartilhado em um aplicativo de IA
(AI. Azure_PhishingContentInAIApplication)
Descrição: este alerta indica uma potencial corrupção de uma aplicação de IA ou uma tentativa de phishing por parte de um dos utilizadores finais. O alerta determina que um URL malicioso usado para phishing foi passado durante uma conversa através do aplicativo de IA, no entanto, a origem do URL (usuário ou aplicativo) não é clara.
Táticas MITRE: Impacto (Defacement), Coleção
Gravidade: Alta
Tentativa de phishing detetada em um aplicativo de IA
(AI. Azure_PhishingContentInUserPrompt)
Descrição: este alerta indica que um URL utilizado para um ataque de phishing foi enviado por um utilizador para uma aplicação de IA. O conteúdo normalmente atrai os visitantes a inserir suas credenciais corporativas ou informações financeiras em um site de aparência legítima. Enviar isso para um aplicativo de IA pode ter o objetivo de corrompê-lo, envenenar as fontes de dados às quais ele tem acesso ou obter acesso a funcionários ou outros clientes por meio das ferramentas do aplicativo.
Táticas MITRE: Coleção
Gravidade: Alta
Agente de usuário suspeito detetado
(AI. Azure_AccessFromSuspiciousUserAgent)
Descrição: O agente de usuário de uma solicitação que acessa um dos seus recursos de IA do Azure continha valores anômalos indicativos de uma tentativa de abuso ou manipulação do recurso. O agente de usuário suspeito em questão foi mapeado pela inteligência de ameaças da Microsoft como suspeito de intenção maliciosa e, portanto, seus recursos provavelmente foram comprometidos.
Táticas MITRE: Execução, Reconhecimento, Acesso inicial
Gravidade: Média
ASCII Contrabando injeção imediata detetada
(AI. Azure_ASCIISmuggling)
Descrição: A técnica de contrabando ASCII permite que um invasor envie instruções invisíveis para um modelo de IA. Esses ataques são comumente atribuídos a injeções de prompt indireto, onde o agente de ameaça mal-intencionado está passando instruções ocultas para ignorar o aplicativo e modelar guarda-corpos. Esses ataques geralmente são aplicados sem o conhecimento do usuário, dada a sua falta de visibilidade no texto e podem comprometer as ferramentas do aplicativo ou conjuntos de dados conectados.
Táticas MITRE: Impacto
Gravidade: Alta
Acesso a partir de um IP Tor
(AI. Azure_AccessFromAnonymizedIP)
Descrição: Um endereço IP da rede Tor acessou um dos recursos de IA. Tor é uma rede que permite que as pessoas acessem a Internet, mantendo seu IP real escondido. Embora existam usos legítimos, é frequentemente usado por atacantes para ocultar a sua identidade quando visam os sistemas das pessoas online.
Táticas MITRE: Execução
Gravidade: Alta
Acesso a partir de IP suspeito
(AI. Azure_AccessFromSuspiciousIP)
Descrição: Um endereço IP que acede a um dos seus serviços de IA foi identificado pela Microsoft Threat Intelligence como tendo uma elevada probabilidade de ser uma ameaça. Ao observar o tráfego malicioso da Internet, este IP surgiu como envolvido no ataque a outros alvos online.
Táticas MITRE: Execução
Gravidade: Alta
Suspeita de ataque à carteira - pedidos recorrentes
(AI. Azure_DOWDuplicateRequests)
Descrição: Os ataques de carteira são uma família de ataques comuns para recursos de IA que consistem em agentes de ameaças que se envolvem excessivamente com um recurso de IA diretamente ou através de um aplicativo na esperança de causar grandes danos financeiros à organização. Essa deteção rastreia grandes volumes de solicitações idênticas direcionadas ao mesmo recurso de IA que podem ser causadas devido a um ataque contínuo.
Táticas MITRE: Impacto
Gravidade: Média
Suspeita de ataque à carteira - anomalia de volume
(AI. Azure_DOWVolumeAnomaly)
Descrição: Os ataques de carteira são uma família de ataques comuns para recursos de IA que consistem em agentes de ameaças que se envolvem excessivamente com um recurso de IA diretamente ou através de um aplicativo na esperança de causar grandes danos financeiros à organização. Essa deteção rastreia grandes volumes de solicitações e respostas do recurso que são inconsistentes com seus padrões históricos de uso.
Táticas MITRE: Impacto
Gravidade: Média
Anomalia de acesso no recurso de IA
(AI. Azure_AccessAnomaly)
Descrição: Este alerta rastreia anomalias nos padrões de acesso a um recurso de IA. Alterações nos parâmetros de solicitação por usuários ou aplicativos, como agentes de usuário, intervalos de IP, métodos de autenticação, etc., podem indicar um recurso comprometido que agora está sendo acessado por atores mal-intencionados. Esse alerta pode ser acionado quando as solicitações são válidas se representarem alterações significativas no padrão de acesso anterior a um determinado recurso.
Táticas MITRE: Execução, Reconhecimento, Acesso inicial
Gravidade: Média
Nota
Para alertas que estão em pré-visualização: Os Termos Suplementares do Azure Preview incluem termos legais adicionais que se aplicam a funcionalidades do Azure que estão em versão beta, pré-visualização ou que ainda não foram disponibilizadas para disponibilidade geral.