Warnungen für KI-Workloads (Vorschau)
In diesem Artikel werden die Sicherheitswarnungen aufgeführt, die Sie möglicherweise für KI-Workloads von Microsoft Defender für Cloud und alle von Ihnen aktivierten Microsoft Defender-Pläne erhalten. Welche Warnungen in Ihrer Umgebung angezeigt werden, hängt von den Ressourcen und Diensten, die Sie schützen, sowie von Ihrer angepassten Konfiguration ab.
Hinweis
Einige der kürzlich hinzugefügten Warnungen, die von Microsoft Defender Threat Intelligence und Microsoft Defender für Endpunkt unterstützt werden, sind möglicherweise nicht dokumentiert.
Informationen zur Reaktion auf diese Warnungen
Informationen zum Exportieren von Warnungen
Hinweis
Warnungen aus unterschiedlichen Quellen erfordern möglicherweise unterschiedlich lange Zeit, bis sie angezeigt werden. Beispielsweise kann es länger dauern, bis Warnungen, die eine Analyse des Netzwerkdatenverkehrs erfordern, angezeigt werden, als das Anzeigen von Warnungen im Zusammenhang mit verdächtigen Prozessen auf virtuellen Computern.
KI-Workloadwarnungen
Erkannter Diebstahl von Anmeldeinformationen bei einer Azure AI-Modellbereitstellung
(KI. Azure_CredentialTheftAttempt)
Beschreibung: Die Warnung zum Diebstahl von Anmeldeinformationen ist so konzipiert, dass die SOC benachrichtigt wird, wenn Anmeldeinformationen in GenAI-Modellantworten auf eine Benutzeraufforderung erkannt werden, was auf eine potenzielle Verletzung hinweist. Diese Warnung ist entscheidend für die Erkennung von Fällen des Verlusts oder Diebstahls von Anmeldeinformationen, die für generative KI einzigartig sind und schwerwiegende Folgen haben können, wenn dies erfolgreich ist.
MITRE-Taktiken: Zugriff auf Anmeldeinformationen, Laterale Bewegung, Exfiltration
Schweregrad: Mittel
Ein Jailbreak-Versuch bei einer Azure AI-Modellbereitstellung wurde durch Azure AI Content Safety Prompt Shields blockiert.
(KI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Beschreibung: Die Jailbreak-Warnung, die mit einer direkten Eingabeaufforderungseinfügungsmethode durchgeführt wird, wurde entwickelt, um die SOC zu benachrichtigen, es gab einen Versuch, die Systemaufforderung zu manipulieren, um die Sicherheitsmaßnahmen der generativen KI zu umgehen, potenziell auf vertrauliche Daten oder privilegierte Funktionen zugreifen. Es hat darauf hingewiesen, dass solche Versuche von Azure Responsible AI Content Safety (auch als Prompt Shields bezeichnet) blockiert wurden, um die Integrität der KI-Ressourcen und der Datensicherheit sicherzustellen.
MITRE-Taktiken: Berechtigungseskalation, Verteidigungshinterziehung
Schweregrad: Mittel
Ein Jailbreak-Versuch bei einer Azure AI-Modellbereitstellung wurde von Azure AI Content Safety Shields erkannt.
(KI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Beschreibung: Die Jailbreak-Warnung, die mit einer direkten Eingabeaufforderungseinfügungsmethode durchgeführt wird, wurde entwickelt, um die SOC zu benachrichtigen, es gab einen Versuch, die Systemaufforderung zu manipulieren, um die Sicherheitsmaßnahmen der generativen KI zu umgehen, potenziell auf vertrauliche Daten oder privilegierte Funktionen zugreifen. Es hat gezeigt, dass solche Versuche von Azure Responsible AI Content Safety (auch als Prompt Shields bezeichnet) erkannt wurden, aufgrund von Inhaltsfiltereinstellungen oder aufgrund geringer Vertrauenswürdigkeit nicht blockiert wurden.
MITRE-Taktiken: Berechtigungseskalation, Verteidigungshinterziehung
Schweregrad: Mittel
Vertrauliche Datenexposition in der Azure AI-Modellbereitstellung erkannt
(KI. Azure_DataLeakInModelResponse.Sensitive)
Beschreibung: Die Warnung über vertrauliche Datenlecks wurde soC benachrichtigt, dass ein GenAI-Modell auf eine Benutzeraufforderung mit vertraulichen Informationen reagierte, was möglicherweise auf einen böswilligen Benutzer zurückzuführen ist, der versucht, die Sicherheit der generativen KI für den Zugriff auf nicht autorisierte vertrauliche Daten zu umgehen.
MITRE-Taktiken: Sammlung
Schweregrad: Niedrig
Beschädigte KI-Anwendung\beschädigtes Modell\beschädigte Daten steuerten einen Phishingversuch bei einem Benutzer
(KI. Azure_PhishingContentInModelResponse)
Beschreibung: Diese Warnung weist auf eine Beschädigung einer VON der Organisation entwickelten KI-Anwendung hin, da sie aktiv eine bekannte schädliche URL für Phishing für einen Benutzer freigegeben hat. Die URL stammt aus der Anwendung selbst, dem KI-Modell oder den Daten, auf die die Anwendung zugreifen kann.
MITRE-Taktiken: Auswirkung (Enttäuserung)
Schweregrad: hoch
Phishing-URL in einer KI-Anwendung freigegeben
(KI. Azure_PhishingContentInAIApplication)
Beschreibung: Diese Warnung weist auf eine potenzielle Beschädigung einer KI-Anwendung oder einen Phishingversuch eines der Endbenutzer hin. Die Warnung bestimmt, dass eine schädliche URL, die für Phishing verwendet wird, während einer Unterhaltung über die KI-Anwendung übergeben wurde, der Ursprung der URL (Benutzer oder Anwendung) jedoch unklar ist.
MITRE-Taktiken: Impact (Defacement), Sammlung
Schweregrad: hoch
Phishingversuch in einer KI-Anwendung erkannt
(KI. Azure_PhishingContentInUserPrompt)
Beschreibung: Diese Warnung gibt an, dass eine URL, die für Phishingangriffe verwendet wird, von einem Benutzer an eine KI-Anwendung gesendet wurde. Der Inhalt spioniert typischerweise Unternehmensanmeldeinformationen oder Finanzdaten aus, die von Besuchern in eine legitime aussehende Website eingegeben werden. Das Senden an eine KI-Anwendung kann dazu dienen, sie zu beschädigen, die Datenquellen zu vergiften, auf die sie Zugriff hat, oder Zugriff auf Mitarbeiter oder andere Kunden über die Tools der Anwendung zu erhalten.
MITRE-Taktiken: Sammlung
Schweregrad: hoch
Verdächtiger Benutzer-Agent erkannt
(KI. Azure_AccessFromSuspiciousUserAgent)
Beschreibung: Der Benutzer-Agent einer Anforderung, die auf eine Ihrer Azure AI-Ressourcen zugreift, enthielt anomale Werte für einen Versuch, die Ressource zu missbrauchen oder zu manipulieren. Der fragliche verdächtige Benutzer-Agent wurde von der Microsoft-Bedrohungserkennung als verdächtigt von böswilligen Absichten zugeordnet und daher wurden Ihre Ressourcen wahrscheinlich kompromittiert.
MITRE-Taktiken: Ausführung, Aufklärung, Erstzugriff
Schweregrad: Mittel
ASCII Smuggling-Prompteinfügung erkannt
(KI. Azure_ASCIISmuggling)
Beschreibung: Die ASCII-Schmuggeltechnik ermöglicht es einem Angreifer, unsichtbare Anweisungen an ein KI-Modell zu senden. Diese Angriffe werden häufig indirekten Einfügungen von Eingabeaufforderungen zugeordnet, bei denen der Bösartige Bedrohungsakteur ausgeblendete Anweisungen übergibt, um die Anwendung und die Modellschutzschienen zu umgehen. Diese Angriffe werden in der Regel ohne das Wissen des Benutzers angewendet, da der Text nicht sichtbar ist und die Anwendungstools oder verbundenen Datasets kompromittiert werden kann.
MITRE-Taktiken: Auswirkung
Schweregrad: hoch
Zugriff von einer Tor-IP
(KI. Azure_AccessFromAnonymizedIP)
Beschreibung: Eine IP-Adresse aus dem Tor-Netzwerk hat auf eine der KI-Ressourcen zugegriffen. Tor ist ein Netzwerk, mit dem Personen auf das Internet zugreifen können, während ihre echte IP-Adresse verborgen bleibt. Obwohl es legitime Verwendungen dafür gibt, wird Tor häufig von Angreifern verwendet, um ihre Identität beim Angriff auf Online-Systeme zu verbergen.
MITRE-Taktiken: Ausführung
Schweregrad: hoch
Zugriff von verdächtiger IP
(KI. Azure_AccessFromSuspiciousIP)
Beschreibung: Eine IP-Adresse, die auf einen Ihrer KI-Dienste zugreift, wurde von Microsoft Threat Intelligence als eine hohe Wahrscheinlichkeit für eine Bedrohung identifiziert. Bei der Beobachtung von schädlichem Internetdatenverkehr wurde festgestellt, dass diese IP-Adresse an dem Angriff auf andere Onlineziele beteiligt ist.
MITRE-Taktiken: Ausführung
Schweregrad: hoch
Verdächtiger Brieftaschenangriff – wiederkehrende Anforderungen
(KI. Azure_DOWDuplicateRequests)
Beschreibung: Brieftaschenangriffe sind eine Familie von Angriffen, die für KI-Ressourcen üblich sind, die aus Bedrohungsakteuren bestehen, die übermäßige Interaktion mit einer KI-Ressource direkt oder durch eine Anwendung in der Hoffnung haben, dass die Organisation große finanzielle Schäden verursacht. Diese Erkennung verfolgt hohe Mengen identischer Anforderungen, die auf dieselbe KI-Ressource abzielen, die aufgrund eines laufenden Angriffs verursacht werden kann.
MITRE-Taktiken: Auswirkung
Schweregrad: Mittel
Hinweis
Für Warnungen, die sich in der Vorschau befinden: Die ergänzenden Bestimmungen für Azure-Vorschauen enthalten zusätzliche rechtliche Bedingungen, die für Azure-Features gelten, die sich in der Beta- oder Vorschauversion befinden bzw. anderweitig noch nicht zur allgemeinen Verfügbarkeit freigegeben sind.