Dela via

Ta med din egen Maskininlärning (ML) till Microsoft Sentinel

  • Artikel

Anteckning

Information om funktionstillgänglighet i US Government-moln finns i Microsoft Sentinel-tabeller i molnfunktionstillgänglighet för amerikanska myndighetskunder.

Machine Learning (ML) är en av de viktigaste grunderna i Microsoft Sentinel och ett av de viktigaste attributen som skiljer den åt. Microsoft Sentinel erbjuder ML på flera olika sätt: inbyggd i Fusion-korrelationsmotorn och Jupyter Notebooks och den nyligen tillgängliga BYO ML-plattformen (Build-Your-Own ML).

ML-identifieringsmodeller kan anpassas till enskilda miljöer och till ändringar i användarbeteendet, för att minska falska positiva identifieringar och identifiera hot som inte skulle hittas med en traditionell metod. Många säkerhetsorganisationer förstår värdet av ML för säkerhet, men inte många av dem har lyxen av proffs som har expertis inom både säkerhet och ML. Vi har utformat det ramverk som presenteras här för säkerhetsorganisationer och experter att växa med oss under deras ML-resa. Organisationer som är nya för ML, eller utan nödvändig expertis, kan få ett betydande skyddsvärde av Microsoft Sentinels inbyggda ML-funktioner.

ramverk för maskininlärning

Vad är BYO-ML-plattformen (Bring Your Own Machine Learning)?

För organisationer som har ML-resurser och vill skapa anpassade ML-modeller för sina unika affärsbehov erbjuder vi BYO-ML-plattformen. Plattformen använder Azure Databricks/Apache Spark-miljön och Jupyter Notebooks för att skapa ML-miljön. Den innehåller följande komponenter:

  • ett BYO-ML-paket, som innehåller bibliotek som hjälper dig att komma åt data och skicka tillbaka resultaten till Log Analytics (LA), så att du kan integrera resultaten med din identifiering, undersökning och jakt.

  • ML-algoritmmallar som du kan anpassa för att passa specifika säkerhetsproblem i din organisation.

  • exempel på notebook-filer för att träna modellen och schemalägga modellbedömningen.

Förutom allt detta kan du använda dina egna ML-modeller, och/eller din egen Spark-miljö, för att integrera med Microsoft Sentinel.

Med BYO-ML-plattformen kan du komma igång med att skapa egna ML-modeller:

  • Notebook-filen med exempeldata hjälper dig att få praktisk upplevelse från slutpunkt till slutpunkt, utan att behöva bekymra dig om att hantera produktionsdata.

  • Paketet som är integrerat med Spark-miljön minskar utmaningarna och friktionen i hanteringen av infrastrukturen.

  • Biblioteken stöder dataförflyttningar. Utbildnings- och bedömningsanteckningsböcker visar upplevelsen från slutpunkt till slutpunkt och fungerar som en mall för dig att anpassa dig till din miljö.

Användningsfall

BYO-ML-plattformen och paketet minskar avsevärt den tid och det arbete du behöver för att skapa dina egna ML-identifieringar, och de släpper lös möjligheten att åtgärda specifika säkerhetsproblem i Microsoft Sentinel. Plattformen stöder följande användningsfall:

Träna en ML-algoritm för att få en anpassad modell: Du kan använda en befintlig ML-algoritm (som delas av Microsoft eller av användarcommunityn) och enkelt träna den på dina egna data för att få en anpassad ML-modell som bättre passar dina data och din miljö.

Ändra en ML-algoritmmall för att få en anpassad modell: Du kan ändra en ML-algoritmmall (som delas av Microsoft eller av användarcommunityn) och träna den ändrade algoritmen på dina egna data för att härleda en anpassad modell så att den passar ditt specifika problem.

Skapa en egen modell: Skapa en egen modell från grunden med hjälp av Microsoft Sentinels BYO-ML-plattform och verktyg.

Integrera Din Databricks/Spark-miljö: Integrera din befintliga Databricks/Spark-miljö i Microsoft Sentinel och använd BYO-ML-bibliotek och mallar för att skapa ML-modeller för deras unika situationer.

Importera din egen ML-modell: Du kan importera dina egna ML-modeller och använda BYO-ML-plattformen och verktygen för att integrera dem med Microsoft Sentinel.

Dela en ML-algoritm: Dela en ML-algoritm som communityn kan använda och anpassa.

Använd ML för att ge SecOps: använd din egen anpassade ML-modell och resultat för jakt, identifieringar, undersökning och svar.

Den här artikeln visar komponenterna i BYO-ML-plattformen och hur du använder plattformen och algoritmen för avvikande resursåtkomst för att leverera en anpassad ML-identifiering med Microsoft Sentinel.

Azure Databricks/Spark-miljö

Apache Spark tog ett steg framåt när det gäller att förenkla stordata genom att tillhandahålla ett enhetligt ramverk för att skapa datapipelines. Azure Databricks tar detta vidare genom att tillhandahålla en molnplattform för nollhantering som bygger på Spark. Vi rekommenderar att du använder Databricks för din BYO-ML-plattform, så att du kan fokusera på att hitta svar som omedelbart påverkar din verksamhet i stället för att ta itu med datapipelines och plattformsproblem.

Om du redan har Databricks eller någon annan Spark-miljö och föredrar att använda den befintliga installationen fungerar ÄVEN BYO-ML-paketet bra för dem.

BYO-ML-paket

BYO ML-paketet innehåller metodtips och forskning från Microsoft i klientdelen av ML för säkerhet. I det här paketet tillhandahåller vi följande lista över verktyg, notebook-filer och algoritmmallar för säkerhetsproblem.

Filnamn Beskrivning
azure_sentinel_utilities.whl Innehåller verktyg för att läsa blobar från Azure och skriva till Log Analytics.
AnomalousRASampleData Notebook visar användningen av modellen för avvikande resursåtkomst i Microsoft Sentinel med genererade tränings- och testningsexempeldata.
AnomalousRATraining.ipynb Notebook-fil för att träna algoritmen, skapa och spara modellerna.
AnomalousRAScoring.ipynb Notebook-fil för att schemalägga modellen att köras, visualisera resultatet och skriva poäng tillbaka till Microsoft Sentinel.

Den första ML-algoritmmallen som vi erbjuder är för identifiering av avvikande resursåtkomst. Den baseras på en algoritm för samarbetsfiltrering och tränas med åtkomstloggar för Windows-filresurser (säkerhetshändelser med händelse-ID 5140). Den viktigaste informationen som du behöver för den här modellen i loggen är parkopplingen av användare och resurser som används.

Exempelgenomgång: Avvikande åtkomstidentifiering för filresurs

Nu när du är bekant med huvudkomponenterna i BYO-ML-plattformen, här är ett exempel som visar hur du använder plattformen och komponenterna för att leverera en anpassad ML-identifiering.

Konfigurera Databricks/Spark-miljön

Du måste konfigurera din egen Databricks-miljö om du inte redan har en. Instruktioner finns i databricks-snabbstartsdokumentet .

Autoexportinstruktion

Om du vill skapa anpassade ML-modeller baserat på dina egna data i Microsoft Sentinel måste du exportera dina data från Log Analytics till en Blob Storage- eller Event Hub-resurs, så att ML-modellen kan komma åt dem från Databricks. Lär dig hur du matar in data i Microsoft Sentinel.

I det här exemplet måste du ha dina träningsdata för filresursåtkomstloggen i Azure Blob Storage. Dataformatet dokumenteras i notebook-filen och biblioteken.

Du kan automatiskt exportera dina data från Log Analytics med hjälp av Azure CLI.

Du måste ha tilldelats rollen Deltagare i Log Analytics-arbetsytan, ditt lagringskonto och din EventHub-resurs för att kunna köra kommandona.

Här är en exempeluppsättning kommandon för att konfigurera automatisk export:


az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

Exportera anpassade data

För anpassade data som inte stöds av automatisk export av Log Analytics kan du använda Logikapp eller andra lösningar för att flytta dina data. Du kan läsa bloggen och skriptet exportera Log Analytics-data till Blob Store .

Korrelera med data utanför Microsoft Sentinel

Du kan också hämta data utanför Microsoft Sentinel till bloblagringen eller händelsehubben och korrelera dem med Microsoft Sentinel-data för att skapa dina ML-modeller.

Kopiera BYO-ML-paketet från GitHub-lagringsplatsen för Microsoft Sentinel som nämnts tidigare till Din Databricks-miljö. Öppna sedan notebook-filerna och följ anvisningarna i notebook-filen för att installera de bibliotek som krävs på dina kluster.

Modellträning och bedömning

Följ anvisningarna i de två notebook-filerna för att ändra konfigurationerna enligt din egen miljö och dina resurser, följ stegen för att träna och skapa din modell och schemalägg sedan modellen för att bedöma inkommande filresursåtkomstloggar.

Skriva resultat till Log Analytics

När du har schemalagt poängsättningen kan du använda modulen i bedömningsanteckningsboken för att skriva resultat till Log Analytics-arbetsytan som är associerad med din Microsoft Sentinel-instans.

Kontrollera resultaten i Microsoft Sentinel

Om du vill se dina poängsatta resultat tillsammans med relaterad logginformation går du tillbaka till Microsoft Sentinel-portalen. I Loggar> anpassade loggar visas resultatet i tabellen AnomalousResourceAccessResult_CL (eller ditt eget anpassade tabellnamn). Du kan använda dessa resultat för att förbättra dina undersöknings- och jaktupplevelser.

avvikande resursåtkomstloggar

Skapa en anpassad analysregel med ML-resultat

När du har bekräftat att ML-resultaten finns i tabellen med anpassade loggar och du är nöjd med resultatets återgivning kan du skapa en identifiering baserat på resultaten. Gå till Analys från Microsoft Sentinel-portalen och skapa en ny identifieringsregel. Nedan visas ett exempel som visar frågan som används för att skapa identifieringen.

skapa en anpassad analysregel för B Y O M L-identifieringar

Visa och svara på incidenter

När du har konfigurerat analysregeln baserat på ML-resultaten genereras en incident på sidan Incidenter i Microsoft Sentinel om det finns resultat över tröskelvärdet som du anger i frågan.

Nästa steg

I det här dokumentet har du lärt dig hur du använder Microsoft Sentinels BYO-ML-plattform för att skapa eller importera egna maskininlärningsalgoritmer för att analysera data och identifiera hot.