Оповещения для рабочих нагрузок ИИ (предварительная версия)
В этой статье перечислены оповещения системы безопасности, которые можно получить для рабочих нагрузок ИИ из Microsoft Defender для облака и всех включенных планов Microsoft Defender. Оповещения, отображаемые в вашей среде, зависят от защищаемых ресурсов, служб и настроенной конфигурации.
Примечание.
Некоторые из недавно добавленных оповещений, созданных Аналитика угроз Microsoft Defender и Microsoft Defender для конечной точки, могут быть незадокументированы.
Узнайте, как реагировать на эти оповещения.
Узнайте, как экспортировать оповещения.
Примечание.
Время, требуемое для отображения оповещений из разных источников, может отличаться. Например, для отображения оповещений, требующих анализа сетевого трафика, может потребоваться больше времени, чем для оповещений, связанных с выполнением подозрительных процессов на виртуальных машинах.
Оповещения рабочей нагрузки ИИ
Обнаруженные попытки кражи учетных данных при развертывании модели искусственного интеллекта Azure
(ИИ. Azure_CredentialTheftAttempt)
Описание. Оповещение о краже учетных данных предназначено для уведомления SOC о обнаружении учетных данных в ответах модели GenAI на запрос пользователя, указывающее на потенциальную нарушение. Это оповещение имеет решающее значение для обнаружения случаев утечки учетных данных или кражи, которые являются уникальными для создания искусственного интеллекта и могут иметь серьезные последствия при успешном выполнении.
Тактика MITRE: доступ к учетным данным, боковое движение, эксфильтрация
Серьезность: средний
Попытка взлома в развертывании модели искусственного интеллекта Azure была заблокирована экранами запросов безопасности содержимого Azure.
(ИИ. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Описание. Оповещение о тюрьме, выполняемое с помощью метода прямого внедрения запросов, предназначено для уведомления SOC о попытке управлять системным запросом для обхода гарантий генерированного ИИ, потенциально доступ к конфиденциальным данным или привилегированным функциям. Он указал, что такие попытки были заблокированы безопасностью содержимого ИИ Azure (также известной как экраны запросов), обеспечивая целостность ресурсов ИИ и безопасность данных.
Тактика MITRE: Эскалация привилегий, Оборона Evasion
Серьезность: средний
Обнаружена попытка взлома в развертывании модели искусственного интеллекта Azure с помощью Экранов запросов безопасности содержимого Azure
(ИИ. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Описание. Оповещение о тюрьме, выполняемое с помощью метода прямого внедрения запросов, предназначено для уведомления SOC о попытке управлять системным запросом для обхода гарантий генерированного ИИ, потенциально доступ к конфиденциальным данным или привилегированным функциям. Он указал, что такие попытки были обнаружены Службой безопасности содержимого ИИ Azure (также известные как экраны запросов), но не были заблокированы из-за параметров фильтрации содержимого или из-за низкой достоверности.
Тактика MITRE: Эскалация привилегий, Оборона Evasion
Серьезность: средний
Обнаружена уязвимость конфиденциальных данных в развертывании модели искусственного интеллекта Azure
(ИИ. Azure_DataLeakInModelResponse.Sensitive)
Описание. Оповещение об утечке конфиденциальных данных предназначено для уведомления SOC о том, что модель GenAI ответила на запрос пользователя с конфиденциальной информацией, потенциально из-за того, что злоумышленник пытается обойти гарантии создания ИИ для доступа к несанкционированным конфиденциальным данным.
Тактика MITRE: Коллекция
Серьезность: низкая
Поврежденное приложение ИИ\model\data направило фишинговую попытку пользователя
(ИИ. Azure_PhishingContentInModelResponse)
Описание. Это оповещение указывает на повреждение приложения ИИ, разработанного организацией, так как он активно предоставил известный вредоносный URL-адрес, используемый для фишинга с пользователем. URL-адрес, связанный с приложением, моделью ИИ или данными, к которой может получить доступ приложение.
Тактика MITRE: Влияние (размыкание)
Серьезность: высокий уровень
URL-адрес фишинга, общий доступ к приложению ИИ
(ИИ. Azure_PhishingContentInAIApplication)
Описание. Это оповещение указывает на потенциальное повреждение приложения ИИ или попытку фишинга одним из конечных пользователей. Оповещение определяет, что вредоносный URL-адрес, используемый для фишинга, был передан во время беседы через приложение ИИ, однако происхождение URL-адреса (пользователя или приложения) неясно.
Тактика MITRE: влияние (разложение), коллекция
Серьезность: высокий уровень
Попытка фишинга, обнаруженная в приложении ИИ
(ИИ. Azure_PhishingContentInUserPrompt)
Описание. Это оповещение указывает URL-адрес, используемый для фишинга, отправлен пользователем в приложение ИИ. Содержимое, как правило, вынуждает посетителей вводить свои корпоративные учетные данные или финансовую информацию на поддельном веб-сайте. Отправка этого в приложение ИИ может быть целью повреждения, отравлением источников данных, к которому он имеет доступ, или получением доступа к сотрудникам или другим клиентам с помощью средств приложения.
Тактика MITRE: Коллекция
Серьезность: высокий уровень
Обнаружен подозрительный агент пользователя
(ИИ. Azure_AccessFromSuspiciousUserAgent)
Описание. Агент пользователя запроса, обращающемся к одному из ресурсов ИИ Azure, содержит аномальные значения, указывающие на попытку злоупотребления или управления ресурсом. Подозрительный агент пользователя, который под вопросом, сопоставлен с аналитикой угроз Майкрософт, как подозреваемый в злонамеренном намерении, поэтому ваши ресурсы, скорее всего, были скомпрометированы.
Тактика MITRE: Выполнение, разведка, начальный доступ
Серьезность: средний
Обнаружена внедрение запроса на контрабанду ASCII
(ИИ. Azure_ASCIISmuggling)
Описание: метод контрабанды ASCII позволяет злоумышленнику отправлять невидимые инструкции в модель ИИ. Эти атаки обычно относятся к непрямым внедрениям запросов, где злоумышленник передает скрытые инструкции по обходу приложений и моделей guardrail. Эти атаки обычно применяются без знаний пользователя, учитывая отсутствие видимости в тексте и может скомпрометирует средства приложения или подключенные наборы данных.
Тактика MITRE: влияние
Серьезность: высокий уровень
Доступ из IP-адреса tor
(ИИ. Azure_AccessFromAnonymizedIP)
Описание: IP-адрес из сети Tor обращается к одному из ресурсов ИИ. Tor — это сеть, которая позволяет людям получать доступ к Интернету, сохраняя их реальный IP-адрес скрытым. Хотя существует законное использование, он часто используется злоумышленниками, чтобы скрыть свое удостоверение, когда они нацелены на системы людей в Интернете.
Тактика MITRE: Выполнение
Серьезность: высокий уровень
Доступ из подозрительного IP-адреса
(ИИ. Azure_AccessFromSuspiciousIP)
Описание. IP-адрес, обращаюющийся к одной из служб ИИ, был определен Microsoft Threat Intelligence как имеющий высокую вероятность возникновения угрозы. Наблюдая за вредоносным интернет-трафиком, этот IP-адрес появился как участвующий в атаке других целевых объектов в Интернете.
Тактика MITRE: Выполнение
Серьезность: высокий уровень
Подозреваемая атака кошелька — повторяющиеся запросы
(ИИ. Azure_DOWDuplicateRequests)
Описание. Атаки на кошельки являются семейством атак, распространенных для ресурсов ИИ, которые состоят из субъектов угроз чрезмерно взаимодействуют с ресурсом искусственного интеллекта напрямую или через приложение в надежде на причинение организации большого финансового ущерба. Это обнаружение отслеживает большие объемы идентичных запросов, предназначенных для того же ресурса ИИ, который может быть вызван из-за текущей атаки.
Тактика MITRE: влияние
Серьезность: средний
Примечание.
Для предварительных версий оповещений: предварительная версия дополнительных условий использования Azure включает дополнительные юридические условия, применимые к функциям Azure, которые находятся в бета-версии, предварительной версии или еще не являются общедоступными по другим причинам.