Alerty dotyczące obciążeń sztucznej inteligencji (wersja zapoznawcza)
W tym artykule wymieniono alerty zabezpieczeń, które można uzyskać dla obciążeń sztucznej inteligencji z Microsoft Defender dla Chmury i wszystkich planów usługi Microsoft Defender, które są włączone. Alerty wyświetlane w środowisku zależą od chronionych zasobów i usług oraz dostosowanej konfiguracji.
Uwaga
Niektóre ostatnio dodane alerty obsługiwane przez usługę Microsoft Defender Threat Intelligence i Ochrona punktu końcowego w usłudze Microsoft Defender mogą być nieudokumentowane.
Dowiedz się, jak reagować na te alerty.
Dowiedz się, jak eksportować alerty.
Uwaga
Alerty z różnych źródeł mogą zająć różne czasy. Na przykład alerty wymagające analizy ruchu sieciowego mogą być wyświetlane dłużej niż alerty związane z podejrzanymi procesami uruchomionymi na maszynach wirtualnych.
Alerty obciążeń sztucznej inteligencji
Wykryte próby kradzieży poświadczeń we wdrożeniu modelu AI platformy Azure
(AI. Azure_CredentialTheftAttempt)
Opis: Alert dotyczący kradzieży poświadczeń jest przeznaczony do powiadamiania SOC o wykryciu poświadczeń w odpowiedziach modelu GenAI na monit użytkownika wskazujący potencjalne naruszenie. Ten alert ma kluczowe znaczenie dla wykrywania przypadków wycieku poświadczeń lub kradzieży, które są unikatowe dla generowania sztucznej inteligencji i mogą mieć poważne konsekwencje w przypadku powodzenia.
Taktyka MITRE: dostęp poświadczeń, ruch boczny, eksfiltracja
Ważność: średni rozmiar
Próba jailbreaku wdrożenia modelu AI platformy Azure została zablokowana przez osłony zabezpieczeń zawartości usługi Azure AI
(AI. Azure_Jailbreak.ContentFiltering.BlockedAttempt)
Opis: Alert jailbreak, przeprowadzony przy użyciu techniki wstrzyknięcia bezpośredniego monitu, jest przeznaczony do powiadamiania SOC, że nastąpiła próba manipulowania monitem systemu o obejście zabezpieczeń generacyjnych sztucznej inteligencji, potencjalnie uzyskiwanie dostępu do poufnych danych lub uprzywilejowanych funkcji. Wskazano, że takie próby zostały zablokowane przez bezpieczeństwo zawartości odpowiedzialnej sztucznej inteligencji platformy Azure (nazywane również osłonami monitów), zapewniając integralność zasobów sztucznej inteligencji i bezpieczeństwa danych.
TAKTYKA MITRE: Eskalacja uprawnień, Uchylanie się od obrony
Ważność: średni rozmiar
Próba jailbreaku wdrożenia modelu sztucznej inteligencji platformy Azure została wykryta przez osłony zabezpieczeń zawartości usługi Azure AI
(AI. Azure_Jailbreak.ContentFiltering.DetectedAttempt)
Opis: Alert jailbreak, przeprowadzony przy użyciu techniki wstrzyknięcia bezpośredniego monitu, jest przeznaczony do powiadamiania SOC, że nastąpiła próba manipulowania monitem systemu o obejście zabezpieczeń generacyjnych sztucznej inteligencji, potencjalnie uzyskiwanie dostępu do poufnych danych lub uprzywilejowanych funkcji. Wskazano, że takie próby zostały wykryte przez bezpieczeństwo zawartości odpowiedzialnej sztucznej inteligencji platformy Azure (nazywane również osłonami monitów), ale nie zostały zablokowane z powodu ustawień filtrowania zawartości lub z powodu niskiej pewności.
TAKTYKA MITRE: Eskalacja uprawnień, Uchylanie się od obrony
Ważność: średni rozmiar
Wykryto ujawnienie poufnych danych we wdrożeniu modelu sztucznej inteligencji platformy Azure
(AI. Azure_DataLeakInModelResponse.Sensitive)
Opis: Alert dotyczący wycieku poufnych danych jest przeznaczony do powiadamiania soC, że model GenAI odpowiedział na monit użytkownika z poufnymi informacjami, potencjalnie ze względu na złośliwego użytkownika próbującego pominąć zabezpieczenia generowania sztucznej inteligencji w celu uzyskania dostępu do nieautoryzowanych danych poufnych.
Taktyka MITRE: Kolekcja
Ważność: Niska
Uszkodzona aplikacja sztucznej inteligencji\model\dane skierowały próbę wyłudzenia informacji dla użytkownika
(AI. Azure_PhishingContentInModelResponse)
Opis: Ten alert wskazuje uszkodzenie aplikacji sztucznej inteligencji opracowanej przez organizację, ponieważ aktywnie udostępnił znany złośliwy adres URL używany do wyłudzania informacji z użytkownikiem. Adres URL pochodzi z samej aplikacji, modelu sztucznej inteligencji lub danych, do których aplikacja może uzyskać dostęp.
Taktyka MITRE: Wpływ (defacement)
Ważność: Wysoka
Adres URL wyłudzania informacji udostępniony w aplikacji sztucznej inteligencji
(AI. Azure_PhishingContentInAIApplication)
Opis: Ten alert wskazuje potencjalne uszkodzenie aplikacji sztucznej inteligencji lub próbę wyłudzenia informacji przez jednego z użytkowników końcowych. Alert określa, że złośliwy adres URL używany do wyłudzania informacji został przekazany podczas konwersacji za pośrednictwem aplikacji sztucznej inteligencji, jednak pochodzenie adresu URL (użytkownika lub aplikacji) jest niejasne.
Taktyka MITRE: Wpływ (defacement), Kolekcja
Ważność: Wysoka
Wykryto próbę wyłudzenia informacji w aplikacji sztucznej inteligencji
(AI. Azure_PhishingContentInUserPrompt)
Opis: ten alert wskazuje adres URL używany do ataku wyłudzania informacji wysłany przez użytkownika do aplikacji sztucznej inteligencji. Zawartość zwykle przyciąga odwiedzających do wprowadzania poświadczeń firmowych lub informacji finansowych w legalnej witrynie internetowej. Wysłanie tego do aplikacji sztucznej inteligencji może być przeznaczone do uszkodzenia, zatrucie źródeł danych, do których ma dostęp, lub uzyskanie dostępu do pracowników lub innych klientów za pośrednictwem narzędzi aplikacji.
Taktyka MITRE: Kolekcja
Ważność: Wysoka
Wykryto podejrzanego agenta użytkownika
(AI. Azure_AccessFromSuspiciousUserAgent)
Opis: Agent użytkownika żądania dostępu do jednego z zasobów sztucznej inteligencji platformy Azure zawiera nietypowe wartości wskazujące na próbę nadużyć lub manipulowanie zasobem. Podejrzany agent użytkownika, o których mowa, został zamapowany przez analizę zagrożeń firmy Microsoft jako podejrzany o złośliwą intencję, a tym samym zasoby zostały prawdopodobnie naruszone.
Taktyka MITRE: wykonywanie, rekonesans, dostęp początkowy
Ważność: średni rozmiar
Wykryto wstrzyknięcie monitu ASCII Smuggling
(AI. Azure_ASCIISmuggling)
Opis: Technika przemytu ASCII umożliwia atakującemu wysyłanie niewidocznych instrukcji do modelu sztucznej inteligencji. Te ataki są często przypisywane wstrzyknięciom monitów pośrednich, w których złośliwy aktor zagrożeń przekazuje ukryte instrukcje pomijania barier ochrony aplikacji i modelu. Te ataki są zwykle stosowane bez wiedzy użytkownika, biorąc pod uwagę ich brak widoczności w tekście i mogą naruszyć bezpieczeństwo narzędzi aplikacji lub połączonych zestawów danych.
Taktyka MITRE: wpływ
Ważność: Wysoka
Uwaga
W przypadku alertów w wersji zapoznawczej: Dodatkowe postanowienia dotyczące wersji zapoznawczej platformy Azure obejmują dodatkowe postanowienia prawne dotyczące funkcji platformy Azure, które są dostępne w wersji beta, wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej.