Ingestão e transformação de dados personalizados no Microsoft Sentinel
O Log Analytics do Azure Monitor serve como a plataforma por trás do espaço de trabalho do Microsoft Sentinel. Todos os logs ingeridos no Microsoft Sentinel são armazenados no Log Analytics por padrão. No Microsoft Sentinel, você pode acessar os logs armazenados e executar consultas KQL (Kusto Query Language) para detetar ameaças e monitorar sua atividade de rede.
O processo de ingestão de dados personalizado do Log Analytics oferece um alto nível de controle sobre os dados que são ingeridos. Ele usa regras de coleta de dados (DCRs) para coletar seus dados e manipulá-los antes mesmo de serem armazenados em seu espaço de trabalho. Isso permite filtrar e enriquecer tabelas padrão e criar tabelas altamente personalizáveis para armazenar dados de fontes que produzem formatos de log exclusivos.
O Microsoft Sentinel oferece duas ferramentas para controlar esse processo:
A API de ingestão de logs permite que você envie logs de formato personalizado de qualquer fonte de dados para seu espaço de trabalho do Log Analytics e armazene esses logs em determinadas tabelas padrão específicas ou em tabelas personalizadas que você criar. Você tem controle total sobre a criação dessas tabelas personalizadas, até especificar os nomes e tipos de coluna. Você cria DCRs para definir, configurar e aplicar transformações a esses fluxos de dados.
A transformação da coleta de dados usa DCRs para aplicar consultas KQL básicas a logs padrão de entrada (e certos tipos de logs personalizados) antes de serem armazenados em seu espaço de trabalho. Essas transformações podem filtrar dados irrelevantes, enriquecer dados existentes com análises ou dados externos ou mascarar informações confidenciais ou pessoais.
Estas duas ferramentas serão explicadas mais pormenorizadamente a seguir.
Casos de uso e cenários de exemplo
Filtragem
A transformação em tempo de ingestão oferece a capacidade de filtrar dados irrelevantes antes mesmo de serem armazenados pela primeira vez em seu espaço de trabalho.
Você pode filtrar no nível do registro (linha), especificando critérios para quais registros incluir, ou no nível do campo (coluna), removendo o conteúdo de campos específicos. A filtragem de dados irrelevantes pode:
- Ajude a reduzir custos, à medida que reduz os requisitos de armazenamento
- Melhore o desempenho, pois são necessários menos ajustes no tempo de consulta
A transformação de dados em tempo de ingestão oferece suporte a cenários de vários espaços de trabalho.
Normalização
A transformação em tempo de ingestão também permite normalizar logs quando eles são ingeridos em tabelas internas ou normalizadas pelo cliente com o ASIM (Advanced Security Information Model). O uso da normalização de tempo de ingestão melhora o desempenho de consultas normalizadas.
Para obter mais informações, consulte Normalização em tempo de ingestão.
Enriquecimento e marcação
A transformação em tempo de ingestão também permite melhorar a análise, enriquecendo seus dados com colunas extras adicionadas à transformação KQL configurada. As colunas extras podem incluir dados analisados ou calculados de colunas existentes ou dados retirados de estruturas de dados criadas instantaneamente.
Por exemplo, você pode adicionar informações extras, como dados externos de RH, uma descrição de evento expandida ou classificações que dependem do usuário, local ou tipo de atividade.
Mascaramento
As transformações no tempo de ingestão também podem ser usadas para mascarar ou remover informações pessoais. Por exemplo, você pode usar a transformação de dados para mascarar todos, exceto os últimos dígitos de um número de segurança social ou número de cartão de crédito, ou pode substituir outros tipos de dados pessoais por dados absurdos, texto padrão ou fictícios. Mascare suas informações pessoais no momento da ingestão para aumentar a segurança em toda a sua rede.
Fluxo de ingestão de dados no Microsoft Sentinel
A imagem a seguir mostra onde a transformação de dados em tempo de ingestão entra no fluxo de ingestão de dados no Microsoft Sentinel.
O Microsoft Sentinel coleta dados no espaço de trabalho do Log Analytics de várias fontes.
- Os dados de conectores de dados internos são processados no Log Analytics usando alguma combinação de fluxos de trabalho codificados e transformações de tempo de ingestão no DCR do espaço de trabalho. Esses dados podem ser armazenados em tabelas padrão ou em um conjunto específico de tabelas personalizadas.
- Os dados ingeridos diretamente no ponto de extremidade da API de ingestão de logs são processados por um DCR padrão que pode incluir uma transformação de tempo de ingestão. Esses dados podem ser armazenados em tabelas padrão ou personalizadas de qualquer tipo.
Suporte a DCR no Microsoft Sentinel
No Log Analytics, as regras de coleta de dados (DCRs) determinam o fluxo de dados para diferentes fluxos de entrada. Um fluxo de dados inclui: o fluxo de dados a ser transformado (padrão ou personalizado), o espaço de trabalho de destino, a transformação KQL e a tabela de saída. Para fluxos de entrada padrão, a tabela de saída é a mesma que o fluxo de entrada.
O suporte para DCRs no Microsoft Sentinel inclui:
DCRs padrão, atualmente suportados apenas para conectores baseados em AMA e fluxos de trabalho usando a API de ingestão de logs.
Cada fluxo de trabalho de conector ou fonte de log pode ter seu próprio DCR padrão dedicado, embora vários conectores ou fontes também possam compartilhar um DCR padrão comum.
DCRs de transformação de espaço de trabalho, para fluxos de trabalho que atualmente não suportam DCRs padrão.
Um único DCR de transformação de espaço de trabalho serve todos os fluxos de trabalho suportados em um espaço de trabalho que não são atendidos por DCRs padrão. Um espaço de trabalho pode ter apenas um DCR de transformação de espaço de trabalho, mas esse DCR contém transformações separadas para cada fluxo de entrada. Além disso, os DCRs de transformação do espaço de trabalho são suportados apenas para um conjunto específico de tabelas.
O suporte do Microsoft Sentinel para transformação de tempo de ingestão depende do tipo de conector de dados que você está usando. Para obter informações mais detalhadas sobre logs personalizados, transformação em tempo de ingestão e regras de coleta de dados, consulte os artigos vinculados na seção Conteúdo relacionado no final deste artigo.
Suporte DCR para conectores de dados Microsoft Sentinel
A tabela a seguir descreve o suporte DCR para tipos de conector de dados do Microsoft Sentinel:
| Tipo de conector de dados | Suporte DCR |
|---|---|
| Ingestão direta via API de ingestão de logs | DCRs padrão |
| Logs padrão AMA, como: |
DCRs padrão |
| Conexões baseadas em configurações de diagnóstico | DCRs de transformação de espaço de trabalho, com base nas tabelas de saída suportadas para conectores de dados específicos |
| Conectores de dados internos de serviço para serviço, como: |
DCRs de transformação de espaço de trabalho, com base nas tabelas de saída suportadas para conectores de dados específicos |
| Conector de dados integrado baseado em API, como: |
DCRs padrão |
| Conectores de dados internos baseados em API, como: |
Não é suportado atualmente |
Suporte à transformação de dados para conectores de dados personalizados
Se você criou conectores de dados personalizados para o Microsoft Sentinel, pode usar DCRs para configurar como os dados serão analisados e armazenados no Log Analytics em seu espaço de trabalho.
Atualmente, apenas as tabelas a seguir são suportadas para ingestão de log personalizado:
- WindowsEvento
- SecurityEvent
- CommonSecurityLog
- Syslog
- ASimAuditEventLogs
- ASimAuthenticationEventLogs
- ASimDnsActivityLogs
- ASimFileEventLogs
- ASimNetworkSessionLogs
- ASimWebSessionLogs
Para obter mais informações, consulte Tabelas que suportam transformações de tempo de ingestão.
Limitações
Atualmente, a transformação de dados em tempo de ingestão tem os seguintes problemas conhecidos para conectores de dados do Microsoft Sentinel:
As transformações de dados usando DCRs de transformação de espaço de trabalho são suportadas apenas por tabela e não por conector.
Só pode haver um DCR de transformação de espaço de trabalho para um espaço de trabalho inteiro. Dentro desse DCR, cada tabela pode usar um fluxo de entrada separado com sua própria transformação. Não é possível dividir dados em vários destinos (espaços de trabalho do Log Analytics) com um DCR de transformação de espaço de trabalho. Os conectores de dados baseados em AMA usam a configuração definida no DCR associado para fluxos e transformações de entrada e saída e ignoram o DCR de transformação do espaço de trabalho.
As seguintes configurações são suportadas apenas via API:
DCRs padrão para conectores baseados em AMA, como Eventos de Segurança do Windows e Eventos Encaminhados do Windows.
DCRs padrão para ingestão de log personalizado em uma tabela padrão.
Pode levar até 60 minutos para que as configurações de transformação de dados sejam aplicadas.
Sintaxe KQL: Nem todos os operadores são suportados. Para obter mais informações, consulte Limitações do KQL e Recursos KQL suportados na documentação do Azure Monitor.
Você só pode enviar logs de uma fonte de dados específica para um espaço de trabalho. Para enviar dados de uma única fonte de dados para vários espaços de trabalho (destinos) com um DCR padrão, crie um DCR por espaço de trabalho.
Conteúdos relacionados
Para obter mais informações, consulte:
- Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (visualização)
- Conectores de dados do Microsoft Sentinel
- Encontrar o seu conector de dados do Microsoft Sentinel
Para obter informações mais detalhadas sobre a transformação em tempo de ingestão, a API de Logs Personalizados e as regras de coleta de dados, consulte os seguintes artigos na documentação do Azure Monitor: