Avvisi per i carichi di lavoro di intelligenza artificiale (anteprima)
Questo articolo elenca gli avvisi di sicurezza che è possibile ottenere per i carichi di lavoro di intelligenza artificiale da Microsoft Defender per il cloud ed eventuali piani di Microsoft Defender abilitati. Gli avvisi visualizzati nell'ambiente dipendono dalle risorse e dai servizi protetti e dalla configurazione personalizzata.
Nota
Alcuni degli avvisi aggiunti di recente basati su Microsoft Defender Threat Intelligence e Microsoft Defender per endpoint potrebbero non essere documentati.
Informazioni su come rispondere a questi avvisi.
Informazioni su come esportare gli avvisi.
Nota
Gli avvisi provenienti da origini diverse potrebbero comparire in tempi diversi. Ad esempio, la visualizzazione degli avvisi che richiedono l'analisi del traffico di rete potrebbe richiedere più tempo rispetto agli avvisi correlati a processi sospetti in esecuzione sulle macchine virtuali.
Avvisi del carico di lavoro di intelligenza artificiale
Rilevati tentativi di furto di credenziali in una distribuzione del modello di intelligenza artificiale di Azure
(intelligenza artificiale. Azure_CredentialTheftAttempt)
Descrizione: l'avviso di furto delle credenziali è progettato per notificare al SOC quando le credenziali vengono rilevate all'interno delle risposte del modello GenAI a una richiesta dell'utente, che indica una potenziale violazione. Questo avviso è fondamentale per rilevare i casi di perdita o furto delle credenziali, che sono univoci per generare l'intelligenza artificiale e possono avere gravi conseguenze in caso di esito positivo.
Tattiche MITRE: Accesso alle credenziali, Spostamento laterale, Esfiltrazione
Gravità: medio
Un tentativo di jailbreak su una distribuzione del modello di intelligenza artificiale di Azure è stato bloccato da Schermate di richiesta di sicurezza dei contenuti di Azure AI
(intelligenza artificiale. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Descrizione: l'avviso Jailbreak, eseguito usando una tecnica di inserimento prompt diretto, è progettato per notificare al SOC c'è stato un tentativo di manipolare la richiesta di sistema di ignorare le misure di sicurezza generative dell'IA, potenzialmente accedere a dati sensibili o funzioni privilegiate. Ha indicato che tali tentativi sono stati bloccati da Azure Responsible AI Content Safety (noto anche come Prompt Shields), garantendo l'integrità delle risorse di intelligenza artificiale e la sicurezza dei dati.
Tattiche MITRE: Escalation dei privilegi, Evasione della difesa
Gravità: medio
Un tentativo di jailbreak su una distribuzione del modello di intelligenza artificiale di Azure è stato rilevato da Azure AI Content Safety Prompt Shields
(intelligenza artificiale. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Descrizione: l'avviso Jailbreak, eseguito usando una tecnica di inserimento prompt diretto, è progettato per notificare al SOC c'è stato un tentativo di manipolare la richiesta di sistema di ignorare le misure di sicurezza generative dell'IA, potenzialmente accedere a dati sensibili o funzioni privilegiate. Ha indicato che tali tentativi sono stati rilevati da Azure Responsible AI Content Safety (noto anche come Prompt Shields), ma non sono stati bloccati a causa delle impostazioni di filtro del contenuto o a causa di bassa confidenza.
Tattiche MITRE: Escalation dei privilegi, Evasione della difesa
Gravità: medio
Esposizione dei dati sensibili rilevata nella distribuzione del modello di intelligenza artificiale di Azure
(intelligenza artificiale. Azure_DataLeakInModelResponse.Sensitive)
Descrizione: l'avviso di perdita di dati sensibili è progettato per notificare al SOC che un modello GenAI ha risposto a una richiesta dell'utente con informazioni riservate, potenzialmente a causa di un utente malintenzionato che tenta di ignorare le misure di sicurezza dell'intelligenza artificiale generative per accedere a dati sensibili non autorizzati.
Tattiche MITRE: Raccolta
Gravità: Bassa
Un'applicazione\modello\dati di intelligenza artificiale corrotta ha diretto un tentativo di phishing verso un utente
(intelligenza artificiale. Azure_PhishingContentInModelResponse)
Descrizione: questo avviso indica un danneggiamento di un'applicazione di intelligenza artificiale sviluppata dall'organizzazione, perché ha condiviso attivamente un URL dannoso noto usato per il phishing con un utente. L'URL ha avuto origine all'interno dell'applicazione stessa, il modello di intelligenza artificiale o i dati a cui l'applicazione può accedere.
Tattiche MITRE: Impatto (Defacement)
Gravità: alta
URL di phishing condiviso in un'applicazione di intelligenza artificiale
(intelligenza artificiale. Azure_PhishingContentInAIApplication)
Descrizione: questo avviso indica un potenziale danneggiamento di un'applicazione di intelligenza artificiale o un tentativo di phishing da parte di uno degli utenti finali. L'avviso determina che un URL dannoso usato per il phishing è stato passato durante una conversazione tramite l'applicazione di intelligenza artificiale, ma l'origine dell'URL (utente o applicazione) non è chiara.
Tattiche MITRE: Impact (Defacement), Collection
Gravità: alta
Tentativo di phishing rilevato in un'applicazione di intelligenza artificiale
(intelligenza artificiale. Azure_PhishingContentInUserPrompt)
Descrizione: questo avviso indica un URL usato per l'attacco di phishing inviato da un utente a un'applicazione di intelligenza artificiale. Il contenuto induce in genere i visitatori a immettere le proprie credenziali aziendali o informazioni finanziarie in un sito Web che sembra legittimo. L'invio a un'applicazione di intelligenza artificiale potrebbe essere destinato allo scopo di danneggiarlo, avvelenare le origini dati a cui ha accesso o ottenere l'accesso ai dipendenti o ad altri clienti tramite gli strumenti dell'applicazione.
Tattiche MITRE: Raccolta
Gravità: alta
Rilevato agente utente sospetto
(intelligenza artificiale. Azure_AccessFromSuspiciousUserAgent)
Descrizione: l'agente utente di una richiesta che accede a una delle risorse di Intelligenza artificiale di Azure contiene valori anomali indicativi di un tentativo di abuso o manipolazione della risorsa. L'agente utente sospetto in questione è stato mappato da Microsoft Threat Intelligence come sospetto di finalità dannose e quindi le risorse sono state probabilmente compromesse.
Tattiche MITRE: esecuzione, ricognizione, accesso iniziale
Gravità: medio
Rilevato inserimento di richieste di contrabbando ASCII
(intelligenza artificiale. Azure_ASCIISmuggling)
Descrizione: la tecnica di contrabbando ASCII consente a un utente malintenzionato di inviare istruzioni invisibili a un modello di intelligenza artificiale. Questi attacchi vengono comunemente attribuiti agli attacchi di prompt injection indiretti, in cui l'attore malintenzionato sta passando istruzioni nascoste per ignorare l'applicazione e i guardrail del modello. Questi attacchi vengono in genere applicati senza la conoscenza dell'utente, data la mancanza di visibilità nel testo e possono compromettere gli strumenti dell'applicazione o i set di dati connessi.
Tattiche MITRE: Impatto
Gravità: alta
Nota
Per gli avvisi in anteprima: le condizioni supplementari di anteprima di Azure includono condizioni legali aggiuntive applicabili alle funzionalità di Azure in versione beta, in anteprima o non ancora rilasciate nella disponibilità generale.