Inserimento e trasformazione dei dati personalizzati in Microsoft Sentinel
Log Analytics di Monitoraggio di Azure funge da piattaforma dietro l'area di lavoro di Microsoft Sentinel. Per impostazione predefinita, tutti i log inseriti in Microsoft Sentinel vengono archiviati in Log Analytics. Da Microsoft Sentinel è possibile accedere ai log archiviati ed eseguire query KQL (Kusto Query Language) per rilevare minacce e monitorare l'attività di rete.
Il processo di inserimento dati personalizzato di Log Analytics offre un elevato livello di controllo sui dati inseriti. Usa regole di raccolta dati (DCR) per raccogliere i dati e modificarli anche prima che vengano archiviati nell'area di lavoro. Ciò consente di filtrare e arricchire tabelle standard e creare tabelle altamente personalizzabili per l'archiviazione di dati da origini che producono formati di log univoci.
Microsoft Sentinel offre due strumenti per controllare questo processo:
API di inserimento log consente di inviare log in formato personalizzato da qualsiasi origine dati all'area di lavoro Log Analytics e quindi archiviare tali log in determinate tabelle standard specifiche o in tabelle in formato personalizzato create dall'utente. È possibile avere il controllo completo sulla creazione di queste tabelle personalizzate, fino a specificare i nomi e i tipi di colonna. È possibile creare controller di dominio per definire, configurare e applicare trasformazioni a questi flussi di dati.
La trasformazione di raccolta dati usa DCR per applicare query KQL di base ai log standard in ingresso (e determinati tipi di log personalizzati) prima che vengano archiviati nell'area di lavoro. Queste trasformazioni possono escludere dati non pertinenti, arricchire i dati esistenti con dati esterni o analisi oppure mascherare informazioni sensibili o personali.
Questi due strumenti verranno illustrati in modo più dettagliato di seguito.
Casi d'uso e scenari di esempio
Filtri
La trasformazione in fase di inserimento consente di escludere dati non pertinenti anche prima che vengano archiviati nell'area di lavoro.
È possibile filtrare a livello di record (riga) specificando i criteri per i record da includere oppure a livello di campo (colonna) rimuovendo il contenuto per campi specifici. L'esclusione di dati non pertinenti può:
- Contribuire a ridurre i costi, riducendo i requisiti di archiviazione
- Migliorare le prestazioni, in quanto sono necessarie meno modifiche in fase di query
La trasformazione dei dati in fase di inserimento supporta scenari con più aree di lavoro.
Normalizzazione
La trasformazione in fase di inserimento consente anche di normalizzare i log quando vengono inseriti in tabelle predefinite o normalizzate dal cliente con Advanced Security Information Model (ASIM). L'uso della normalizzazione in fase di inserimento migliora le prestazioni delle query normalizzate.
Per altre informazioni, vedere Normalizzazione in fase di inserimento.
Arricchimento e assegnazione di tag
La trasformazione in fase di inserimento consente anche di migliorare l'analisi arricchendo i dati con colonne aggiuntive aggiunte alla trasformazione KQL configurata. Le colonne aggiuntive possono includere dati analizzati o calcolati da colonne esistenti oppure dati acquisiti da strutture di dati create al volo.
Ad esempio, è possibile aggiungere informazioni aggiuntive, ad esempio dati HR esterni, una descrizione dell'evento espansa oppure classificazioni che dipendono dall'utente, dalla posizione o dal tipo di attività.
Mascheramento
Le trasformazioni in fase di inserimento possono essere usate anche per mascherare o rimuovere informazioni personali. Ad esempio, è possibile usare la trasformazione dei dati per mascherare tutte le cifre tranne le ultime di un codice fiscale o di una carta di credito oppure sostituire altri tipi di dati personali con dati fittizi, testo standard o senza senso. La mascheratura delle informazioni personali in fase di inserimento aumenta la sicurezza nella rete.
Flusso di inserimento dati in Microsoft Sentinel
L'immagine seguente mostra dove la trasformazione dei dati in fase di inserimento entra nel flusso di inserimento dati in Microsoft Sentinel.
Microsoft Sentinel raccoglie i dati nell'area di lavoro Log Analytics da più origini.
- I dati dei connettori dati predefiniti vengono elaborati in Log Analytics usando una combinazione di flussi di lavoro hardcoded e trasformazioni in fase di inserimento nella DCR dell'area di lavoro. Questi dati possono essere archiviati in tabelle standard o in un set specifico di tabelle personalizzate.
- I dati inseriti direttamente nell'endpoint dell'API di inserimento log vengono elaborati da una DCR standard che può includere una trasformazione in fase di inserimento. Questi dati possono quindi essere archiviati in tabelle standard o personalizzate di qualsiasi tipo.
Supporto DCR in Microsoft Sentinel
In Log Analytics le regole di raccolta dati (DCR) determinano il flusso di dati per flussi di input diversi. Un flusso di dati include: il flusso di dati da trasformare (standard o personalizzato), l'area di lavoro di destinazione, la trasformazione KQL e la tabella di output. Per i flussi di input standard, la tabella di output corrisponde al flusso di input.
Il supporto per le DCR in Microsoft Sentinel include:
Controller di dominio standard, attualmente supportati solo per i connettori e i flussi di lavoro basati su AMA tramite l'API di inserimento dei log.
Ogni flusso di lavoro di origine log o connettore può avere una propria DCR standard dedicata, anche se più origini o connettori possono condividere anche una DCR standard comune.
DCR di trasformazione dell'area di lavoro, per i flussi di lavoro che attualmente non supportano DCR.
Una singola DCR di trasformazione dell'area di lavoro gestisce tutti i flussi di lavoro supportati in un'area di lavoro che non sono gestiti da DCR standard. Un'area di lavoro può avere una sola DCR di trasformazione dell'area di lavoro, ma tale DCR contiene trasformazioni separate per ogni flusso di input. Inoltre, le DCR di trasformazione dell'area di lavoro sono supportate solo per un set specifico di tabelle.
Il supporto di Microsoft Sentinel per la trasformazione in fase di inserimento dipende dal tipo di connettore dati in uso. Per informazioni più approfondite su log personalizzati, trasformazione in fase di inserimento e regole di raccolta dati, vedere gli articoli collegati nella sezione Contenuto correlato alla fine di questo articolo.
Supporto DCR per connettori dati di Microsoft Sentinel
La tabella seguente descrive il supporto DCR per i tipi di connettore dati di Microsoft Sentinel:
| Tipo di connettore dati | Supporto DCR |
|---|---|
| Inserimento diretto tramite API di inserimento log | DCR standard |
| Log standard AMA, ad esempio: |
DCR standard |
| Connessioni basate su impostazioni di diagnostica | DCR di trasformazione dell'area di lavoro, basate sulle tabelle di output supportate per connettori dati specifici |
| Connettori dati da servizio a servizio, predefiniti, ad esempio: |
DCR di trasformazione dell'area di lavoro, basate sulle tabelle di output supportate per connettori dati specifici |
| Connettore dati basato su API, predefinito, ad esempio: |
DCR standard |
| Connettori dati basati su API, predefiniti, ad esempio: |
Non è al momento supportato |
Supporto della trasformazione dati per connettori dati personalizzati
Se sono stati creati connettori dati personalizzati per Microsoft Sentinel, è possibile usare DCR per configurare come verranno analizzati e archiviati i dati in Log Analytics nell'area di lavoro.
Per l'inserimento log personalizzato attualmente sono supportate solo le tabelle seguenti:
- WindowsEvent
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Per altre informazioni, vedere Tabelle che supportano trasformazioni in fase di inserimento.
Limiti
La trasformazione dei dati in fase di inserimento attualmente presenta i problemi noti seguenti per i connettori dati di Microsoft Sentinel:
Le trasformazioni dei dati che usano DCR di trasformazione dell'area di lavoro sono supportate solo per tabella e non per connettore.
Per un'intera area di lavoro può esistere solo una DCR di trasformazione dell'area di lavoro. All'interno di tale DCR, ogni tabella può usare un flusso di input separato con la propria trasformazione. Non è possibile suddividere i dati in più destinazioni (aree di lavoro Log Analytics) con una DCR di trasformazione dell'area di lavoro. I connettori dati basati su AMA usano la configurazione definita nel DCR associato per flussi di input e output e trasformazioni e ignorare la trasformazione dell'area di lavoro DCR.
Le configurazioni seguenti sono supportate solo tramite API:
DCR standard per connettori basati su AMA come eventi di Sicurezza di Windows ed eventi inoltrati di Windows.
DCR standard per l'inserimento log personalizzato in una tabella standard.
L'applicazione delle configurazioni della trasformazione dei dati può richiedere fino a 60 minuti.
Sintassi KQL: non sono supportati tutti gli operatori. Per altre informazioni, vedere Limitazioni KQL e Funzionalità KQL supportate nella documentazione di Monitoraggio di Azure.
È possibile inviare log solo da un'origine dati specifica a un'area di lavoro. Per inviare dati da una singola origine dati a più aree di lavoro (destinazioni) con una DCR standard, creare una DCR per ogni area di lavoro.
Contenuto correlato
Per altre informazioni, vedi:
- Trasformare o personalizzare i dati in fase di inserimento in Microsoft Sentinel (anteprima)
- Connettori dati di Microsoft Sentinel
- Trovare il connettore dati di Microsoft Sentinel
Per informazioni più approfondite sulla trasformazione in fase di inserimento, sull'API Custom Logs e sulle regole di raccolta dati, vedere gli articoli seguenti nella documentazione di Monitoraggio di Azure: