Transformar ou personalizar dados no momento da ingestão no Microsoft Sentinel (versão prévia)

Este artigo descreve como configurar a transformação de dados em tempo de ingestão e a ingestão de log personalizada para uso no Microsoft Sentinel.

A transformação de dados em tempo de ingestão fornece aos clientes mais controle sobre os dados ingeridos. Complementando os fluxos de trabalho pré-configurados e embutido em código que criam tabelas padronizadas, a transformação em tempo de ingestão adiciona a capacidade de filtrar e enriquecer as tabelas de saída, mesmo antes de executar qualquer consulta. A ingestão de log personalizada usa a API de Log Personalizada para normalizar logs de formato personalizado para que eles possam ser ingeridos em determinadas tabelas padrão ou, como alternativa, para criar tabelas de saída personalizadas com esquemas definidos pelo usuário para ingerir esses logs personalizados.

Esses dois mecanismos são configurados usando-se DCRs (Regras de Coleta de Dados), no portal do Log Analytics ou por meio de API ou modelo do ARM. Este artigo ajudará você a escolher qual tipo de DCR você precisa para seu conector de dados específico e direcionará você para as instruções para cada cenário.

Pré-requisitos

Antes de começar a configurar DCRs para a transformação de dados:

• Saiba mais sobre a transformação de dados e as DCRs no Azure Monitor e no Microsoft Sentinel. Para obter mais informações, consulte:

  • Regras de coleta de dados do Azure Monitor
  • API de ingestão de logs nos logs do Azure Monitor (versão prévia)
  • Transformações nos logs do Azure Monitor (versão prévia)
  • Transformação de dados no Microsoft Sentinel (versão prévia)

• Verifique o suporte ao conector de dados. Certifique-se de que os conectores de dados tenham suporte para a transformação de dados.

  Em nosso artigo de referência do conector de dados, verifique a seção do conector de dados para entender quais tipos de DCRs têm suporte. Continue neste artigo para entender como o tipo de DCR selecionado afeta o restante do processo de ingestão e transformação.

Determinar seus requisitos

Se você estiver ingerindo	Transformações em tempo de ingestão é...	Usar esse tipo de DCR
Dados personalizados por meio de a API de Ingestão de Logs	Obrigatório Incluído na DCR que define o modelo de dados	DCR Standard
Tipos de dados internos (Syslog, CommonSecurityLog, WindowsEvent, SecurityEvent) uso do Agente do Azure Monitor	Opcional Se desejado, adicionado ao DCR que configura como esses dados estão sendo ingeridos	DCR Standard
Tipos de dados internos da maioria das outras fontes	Opcional Se desejado, adicionado à DCR anexado ao Workspace no qual esses dados estão sendo ingeridos	DCR de transformação do workspace

Configurar sua transformação de dados

Use os seguintes procedimentos da documentação do Log Analytics e do Azure Monitor para configurar as DCRs de transformação de dados:

Ingestão direta por meio da API de Ingestão de Logs:

• Leia um tutorial sobre como ingerir logs usando o portal do Azure.
• Leia um tutorial sobre como ingerir logs usando modelos do Azure Resource Manager (ARM) e da API REST.

Transformações do espaço de trabalho:

• Leia um tutorial sobre como configurar a transformação do espaço de trabalho usando o portal do Azure.
• Veja um tutorial para configurar a transformação do espaço de trabalho usando modelos do ARM (Azure Resource Manager) e a API REST.-

Mais sobre regras de coleta de dados:

• Estrutura de uma regra de coleta de dados no Azure Monitor (versão prévia)
• Transformações de coleta de dados no Azure Monitor (versão prévia)

Quando terminar, volte ao Microsoft Sentinel para verificar se os dados estão sendo ingeridos com base na transformação recém-configurada. Pode levar até 60 minutos para que as configurações de transformação de dados se apliquem.

Migrar para a transformação de dados em tempo de ingestão

Se você tiver atualmente conectores de dados personalizados do Microsoft Sentinel ou conectores de dados integrados baseados em API, talvez você queira migrar para o uso de transformação de dados em tempo de ingestão.

Use um dos métodos a seguir:

• Configure uma DCR para definir, do zero, a ingestão personalizada de sua fonte de dados para uma nova tabela. Você pode usar essa opção se quiser usar um novo esquema que não tenha os sufixos de coluna atuais e não exija funções KQL no tempo de consulta para padronizar seus dados.

  Depois de verificar se os dados foram ingeridos corretamente na nova tabela, você pode excluir a tabela herdada, bem como seu conector de dados herdado e personalizado.

• Continue usando a tabela personalizada criada pelo conector de dados personalizado. Você poderá usar essa opção se tiver muito conteúdo de segurança personalizado criado para sua tabela existente. Nesses casos, consulte Migrar da API do Coletor de Dados e de tabelas habilitadas para campos personalizados para logs personalizados baseados em DCR na documentação do Azure Monitor.

Próximas etapas

Para obter mais informações sobre a transformação de dados e DCRs, consulte:

• Transformação e ingestão de dados personalizados no Microsoft Sentinel (versão prévia)
• Transformações de coleta de dados nos logs do Azure Monitor (versão prévia)
• API de ingestão de logs nos logs do Azure Monitor (versão prévia)
• Estrutura de uma regra de coleta de dados no Azure Monitor (versão prévia)
• Configurar a coleta de dados para o Agente do Azure Monitor