你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
AI 工作负载警报(预览版)
本文列出了从 Microsoft Defender for Cloud 获取的 AI 工作负载以及启用的任何Microsoft Defender 计划的安全警报。 环境中显示的警报取决于要保护的资源和服务以及自定义的配置。
注意
某些最近添加的、由 Microsoft Defender 威胁智能和 Microsoft Defender for Endpoint 提供支持的警报可能未记录。
注意
来自不同源的警报可能在不同的时间后出现。 例如,需要分析网络流量的警报的出现时间,可能比虚拟机上运行的可疑进程的相关警报要晚一些。
AI 工作负荷警报
检测到 Azure AI 模型部署上的凭据被盗尝试
(AI.Azure_CredentialTheftAttempt)
说明:凭据盗窃警报旨在当 GenAI 模型内检测到凭据时通知 SOC,以响应用户提示,指示潜在的泄露。 此警报对于检测凭据泄漏或盗窃案例至关重要,这对于生成 AI 来说是唯一的,如果成功,可能会产生严重后果。
MITRE 策略:凭据访问、横向移动、外泄
严重性:中等
Azure AI 内容安全提示防护阻止了对 Azure AI 模型部署的越狱尝试
(AI.Azure_Jailbreak.ContentFiltering.BlockedAttempt)
说明:使用直接提示注入技术执行的越狱警报旨在通知 SOC,试图操纵系统提示以绕过生成 AI 的安全措施,可能访问敏感数据或特权功能。 它表示,Azure 负责任的 AI 内容安全(也称为“提示盾牌”)阻止了此类尝试,确保 AI 资源和数据安全的完整性。
MITRE 策略:特权提升、防御规避
严重性:中等
Azure AI 内容安全提示防护检测到对 Azure AI 模型部署的越狱尝试
(AI.Azure_Jailbreak.ContentFiltering.DetectedAttempt)
说明:使用直接提示注入技术执行的越狱警报旨在通知 SOC,试图操纵系统提示以绕过生成 AI 的安全措施,可能访问敏感数据或特权功能。 它表示,Azure 负责任的 AI 内容安全(也称为提示防护)检测到此类尝试,但由于内容筛选设置或置信度低而未阻止。
MITRE 策略:特权提升、防御规避
严重性:中等
Azure AI 模型部署中检测到的敏感数据暴露
(AI.Azure_DataLeakInModelResponse.Sensitive)
说明:敏感数据泄露警报旨在通知 SOC,GenAI 模型使用敏感信息响应用户提示,这可能是由于恶意用户试图绕过生成 AI 的安全措施来访问未经授权的敏感数据。
MITRE 策略:集合
严重性:低
损坏的 AI 应用程序\模型\数据将钓鱼企图指向用户
(AI.Azure_PhishingContentInModelResponse)
说明:此警报表示组织开发的 AI 应用程序损坏,因为它主动共享了用于与用户进行钓鱼的已知恶意 URL。 URL 源自应用程序本身、AI 模型或应用程序可以访问的数据。
MITRE 策略:影响(污点)
严重性:高
AI 应用程序中共享的网络钓鱼 URL
(AI.Azure_PhishingContentInAIApplication)
说明:此警报指示某个最终用户可能损坏 AI 应用程序或网络钓鱼尝试。 警报确定用于网络钓鱼的恶意 URL 是通过 AI 应用程序传递的,但 URL(用户或应用程序)的来源尚不清楚。
MITRE 策略:影响(污点),集合
严重性:高
AI 应用程序中检测到的网络钓鱼尝试
(AI.Azure_PhishingContentInUserPrompt)
说明:此警报指示用户向 AI 应用程序发送了用于钓鱼攻击的 URL。 相关内容通常引诱访问者在看似合法的网站中输入其企业凭据或财务信息。 将其发送到 AI 应用程序可能是为了损坏它、毒害其有权访问的数据源,或通过应用程序的工具获取对员工或其他客户的访问权限。
MITRE 策略:集合
严重性:高
检测到可疑的用户代理
(AI.Azure_AccessFromSuspiciousUserAgent)
说明:访问其中一个 Azure AI 资源的请求的用户代理包含异常值,指示尝试滥用或操作资源。 可疑的用户代理已被Microsoft威胁情报映射为恶意意图,因此你的资源可能遭到入侵。
MITRE 策略:执行、侦查、初始访问
严重性:中等
检测到 ASCII Smuggling 提示语注入
(AI.Azure_ASCIISmuggling)
说明:ASCII 走私技术允许攻击者向 AI 模型发送不可见指令。 这些攻击通常归因于间接提示注入,其中恶意威胁参与者正在传递隐藏指令来绕过应用程序和模型防护措施。 鉴于用户在文本中缺乏可见性,并且可能会损害应用程序工具或连接的数据集,这些攻击通常无需用户了解。
MITRE 策略:影响
严重性:高
从 Tor IP 访问
(AI.Azure_AccessFromAnonymizedIP)
说明:Tor 网络的 IP 地址访问了其中一个 AI 资源。 Tor 是一个允许用户访问 Internet 同时隐藏其真实 IP 的网络。 尽管有合法用途,但攻击者经常在联机攻击用户的系统时使用它来隐藏其身份。
MITRE 策略:执行
严重性:高
注意
对于处于预览状态的警报:Azure 预览版补充条款包含适用于 beta 版、预览版或其他尚未正式发布的 Azure 功能的其他法律条款。