Upozornění pro úlohy AI (Preview)
Tento článek obsahuje seznam výstrah zabezpečení, které můžete získat pro úlohy AI z Programu Microsoft Defender pro cloud a všech plánů Microsoft Defenderu, které jste povolili. Výstrahy zobrazené ve vašem prostředí závisí na prostředcích a službách, které chráníte, a na vlastní konfiguraci.
Poznámka:
Některé nedávno přidané výstrahy využívající Analýza hrozeb v programu Microsoft Defender a Microsoft Defender for Endpoint můžou být nezdokumentované.
Přečtěte si, jak na tato upozornění reagovat.
Zjistěte, jak exportovat upozornění.
Poznámka:
Zobrazení výstrah z různých zdrojů může trvat různě dlouho. Například výstrahy, které vyžadují analýzu síťového provozu, můžou trvat déle, než se zobrazí výstrahy související s podezřelými procesy spuštěnými na virtuálních počítačích.
Upozornění na úlohy AI
Zjištěné pokusy o krádež přihlašovacích údajů v nasazení modelu Azure AI
(AI. Azure_CredentialTheftAttempt)
Popis: Výstraha krádeže přihlašovacích údajů je navržená tak, aby upozorňovala SOC, když se v rámci odpovědí modelu GenAI na výzvu uživatele zjistí přihlašovací údaje, které značí potenciální porušení zabezpečení. Tato výstraha je zásadní pro detekci případů úniku nebo krádeže přihlašovacích údajů, které jsou jedinečné pro generování umělé inteligence a můžou mít závažné důsledky v případě úspěchu.
Taktika MITRE: Přístup k přihlašovacím údajům, laterální pohyb, exfiltrace
Závažnost: Střední
Pokus o jailbreak v nasazení modelu Azure AI zablokoval stínění azure AI Content Safety Shields
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Popis: Výstraha jailbreaku prováděná pomocí techniky přímé injektáže výzvy je navržena tak, aby oznámila SOC, že došlo k pokusu o manipulaci se systémem výzvy k obejití ochranných opatření generující umělé inteligence, potenciálně přístup k citlivým datům nebo privilegovaným funkcím. Ukázalo se, že takové pokusy zablokovaly zabezpečení obsahu AI v Azure (označované také jako rychlé štíty), aby se zajistila integrita prostředků AI a zabezpečení dat.
Taktika MITRE: Eskalace oprávnění, únik obrany
Závažnost: Střední
Při pokusu o jailbreak v nasazení modelu Azure AI se zjistilo zabezpečení obsahu Azure AI Štíty
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Popis: Výstraha jailbreaku prováděná pomocí techniky přímé injektáže výzvy je navržena tak, aby oznámila SOC, že došlo k pokusu o manipulaci se systémem výzvy k obejití ochranných opatření generující umělé inteligence, potenciálně přístup k citlivým datům nebo privilegovaným funkcím. Ukázalo se, že tyto pokusy byly zjištěny službou Azure Responsible AI Content Safety (označované také jako Rychlé štíty), ale nebyly zablokovány kvůli nastavení filtrování obsahu nebo kvůli nízké spolehlivosti.
Taktika MITRE: Eskalace oprávnění, únik obrany
Závažnost: Střední
Zjištění ohrožení citlivých dat v nasazení modelu Azure AI
(AI. Azure_DataLeakInModelResponse.Sensitive)
Popis: Výstraha o úniku citlivých dat je navržená tak, aby upozorňovala soc, že model GenAI reagoval na výzvu uživatele s citlivými informacemi, což může způsobit, že se uživatel se zlými úmysly pokusí obejít bezpečnostní opatření generující umělé inteligence pro přístup k neoprávněným citlivým datům.
Taktika MITRE: Kolekce
Závažnost: Nízká
Poškozená aplikace AI\model\data směrovala pokus o útok phishing na uživatele
(AI. Azure_PhishingContentInModelResponse)
Popis: Tato výstraha indikuje poškození aplikace umělé inteligence vyvinuté organizací, protože aktivně sdílela známou škodlivou adresu URL použitou pro útok phishing s uživatelem. Adresa URL vzniklá v samotné aplikaci, modelu AI nebo dat, ke které má aplikace přístup.
Taktika MITRE: Dopad (defacement)
Závažnost: Vysoká
Adresa URL útoku phishing sdílená v aplikaci AI
(AI. Azure_PhishingContentInAIApplication)
Popis: Tato výstraha označuje potenciální poškození aplikace umělé inteligence nebo útok phishing některým z koncových uživatelů. Výstraha určuje, že během konverzace prostřednictvím aplikace AI byla předána škodlivá adresa URL použitá pro útok phishing, ale původ adresy URL (uživatele nebo aplikace) není jasné.
Taktika MITRE: Impact (Defacement), Collection
Závažnost: Vysoká
Pokus o útok phishing zjištěný v aplikaci AI
(AI. Azure_PhishingContentInUserPrompt)
Popis: Tato výstraha indikuje adresu URL použitou k útoku phishing uživatelem do aplikace AI. Obsah obvykle láká návštěvníky k zadávání firemních přihlašovacích údajů nebo finančních informací na legitimní web. Odeslání této aplikace do aplikace AI může být pro účely poškození, otravování zdrojů dat, ke které má přístup, nebo získání přístupu zaměstnancům nebo jiným zákazníkům prostřednictvím nástrojů aplikace.
Taktika MITRE: Kolekce
Závažnost: Vysoká
Zjistili jsme podezřelého uživatelského agenta.
(AI. Azure_AccessFromSuspiciousUserAgent)
Popis: Uživatelský agent požadavku, který přistupuje k některému z prostředků Azure AI, obsahoval neobvyklé hodnoty indikující pokus o zneužití nebo manipulaci s prostředkem. Podezřelý uživatelský agent byl namapován analýzou hrozeb Microsoftu jako podezřelý ze škodlivého záměru, a proto byly vaše prostředky pravděpodobně ohroženy.
Taktika MITRE: Provádění, rekognoskace, počáteční přístup
Závažnost: Střední
Zjistilo se injektáž pašování ASCII
(AI. Azure_ASCIISmuggling)
Popis: Technika pašování ASCII umožňuje útočníkovi posílat neviditelné instrukce do modelu AI. Tyto útoky se běžně připisují nepřímým injektážím výzvy, kdy herec škodlivých hrozeb předává skryté instrukce pro obejití aplikace a mantinely modelu. Tyto útoky se obvykle použijí bez znalostí uživatele vzhledem k nedostatku viditelnosti textu a můžou ohrozit aplikační nástroje nebo připojené datové sady.
Taktika MITRE: Dopad
Závažnost: Vysoká
Přístup z IP adresy toru
(AI. Azure_AccessFromAnonymizedIP)
Popis: IP adresa ze sítě Tor přistupovala k jednomu z prostředků AI. Tor je síť, která umožňuje uživatelům přistupovat k internetu a přitom zachovat jejich skutečnou IP adresu skrytou. I když existují legitimní použití, útočníci ji často používají ke skrytí identity, když cílí na systémy lidí online.
Taktika MITRE: Provádění
Závažnost: Vysoká
Poznámka:
Upozornění, která jsou ve verzi Preview: Doplňkové podmínky Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, preview nebo které ještě nejsou vydány v obecné dostupnosti.