Colete logs de arquivos de texto com o Azure Monitor Agent e ingira ao Microsoft Sentinel

• Aplica-se a:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Este artigo descreve como usar os logs personalizados via conector AMA para filtrar e ingerir rapidamente logs em formato de arquivo de texto de aplicativos de rede ou segurança instalados em máquinas Windows ou Linux.

Muitos aplicativos registram dados em arquivos de texto em vez de serviços de log padrão, como o log de eventos do Windows ou o Syslog. Você pode usar o Azure Monitor Agent (AMA) para coletar dados em arquivos de texto de formatos não padrão de computadores Windows e Linux. O AMA também pode efetuar transformações nos dados no momento da coleta, para analisá-los em diferentes campos.

Para obter mais informações sobre os aplicativos para os quais o Microsoft Sentinel tem soluções para dar suporte à coleta de logs, consulte Logs personalizados via conector de dados AMA - Configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos.

Para obter mais informações gerais sobre como ingerir logs personalizados de arquivos de texto, consulte Coletar logs de um arquivo de texto com o Azure Monitor Agent.

Importante

• Os logs personalizados via conector de dados AMA estão atualmente em visualização. Consulte os Termos de Utilização Suplementares das Pré-visualizações do Microsoft Azure para obter os termos legais adicionais que se aplicam às funcionalidades do Azure que estão em versão beta, pré-visualização ou ainda não disponibilizadas para disponibilidade geral.

• O Microsoft Sentinel está geralmente disponível na plataforma unificada de operações de segurança da Microsoft no portal Microsoft Defender. Para visualização, o Microsoft Sentinel está disponível no portal do Defender sem o Microsoft Defender XDR ou uma licença E5. Para obter mais informações, consulte Microsoft Sentinel no portal do Microsoft Defender.

Pré-requisitos

Antes de começar, você deve ter os recursos configurados e as permissões apropriadas atribuídas, conforme descrito nesta seção.

Pré-requisitos do Microsoft Sentinel

• Instale a solução Microsoft Sentinel que corresponde à sua aplicação e certifique-se de que tem as permissões para concluir os passos neste artigo. Você pode encontrar essas soluções no hub de conteúdo no Microsoft Sentinel, e todas elas incluem os logs personalizados via conector AMA .

  Para obter a lista de aplicativos que têm soluções no hub de conteúdo, consulte Instruções específicas por aplicativo. Se não houver uma solução disponível para seu aplicativo, instale os logs personalizados via solução AMA .

  Para obter mais informações, consulte Descobrir e gerenciar conteúdo pronto para uso do Microsoft Sentinel.

• Tenha uma conta do Azure com as seguintes funções de controle de acesso baseado em função do Azure (Azure RBAC):

  Função incorporada	Âmbito	Razão
  - Contribuidor de Máquina Virtual - Azure Connected Machine    Administrador de Recursos	Máquinas virtuais (VM) Conjuntos de Dimensionamento de Máquinas Virtuais Servidores compatíveis com o Azure Arc	Para implantar o agente
  Qualquer função que inclua a ação Microsoft.Recursos/implantações/*	Subscrição Grupo de recursos Regra de recolha de dados existente	Para implantar modelos do Azure Resource Manager
  Contribuidor de Monitorização	Subscrição Grupo de recursos Regra de recolha de dados existente	Para criar ou editar regras de coleta de dados

Pré-requisitos do encaminhador de log

Certos aplicativos personalizados são hospedados em dispositivos fechados que exigem o envio de seus logs para um coletor/encaminhador de logs externo. Nesse cenário, os seguintes pré-requisitos se aplicam ao encaminhador de log:

• Você deve ter uma VM Linux designada como um encaminhador de log para coletar logs.

  • Crie uma VM Linux no portal do Azure.
  • Sistemas operacionais Linux com suporte para o Azure Monitor Agent.

• Se o encaminhador de log não for uma máquina virtual do Azure, ele deverá ter o agente Azure Arc Connected Machine instalado nele.

• A VM do encaminhador de log do Linux deve ter o Python 2.7 ou 3 instalado. Use o python --version comando ou python3 --version para verificar. Se você estiver usando Python 3, certifique-se de que ele esteja definido como o comando padrão na máquina ou execute scripts com o comando 'python3' em vez de 'python'.

• O encaminhador de log deve ter o ou rsyslog daemon syslog-ng habilitado.

• Para obter os requisitos de espaço para seu encaminhador de log, consulte o Benchmark de Desempenho do Agente do Azure Monitor. Você também pode revisar esta postagem do blog, que inclui designs para ingestão escalável.

• Suas fontes de log, dispositivos de segurança e dispositivos devem ser configurados para enviar suas mensagens de log para o daemon syslog do encaminhador de log em vez de para o daemon syslog local.

Pré-requisitos de segurança da máquina

Configure a segurança da máquina do encaminhador de log de acordo com a política de segurança da sua organização. Por exemplo, configure sua rede para se alinhar com sua política de segurança de rede corporativa e altere as portas e protocolos no daemon para alinhar com seus requisitos. Para melhorar a configuração de segurança da sua máquina, proteja a sua VM no Azure ou reveja estas práticas recomendadas para a segurança da rede.

Se seus dispositivos estiverem enviando logs por TLS porque, por exemplo, seu encaminhador de log está na nuvem, você precisará configurar o daemon syslog (rsyslog ou syslog-ng) para se comunicar em TLS. Para obter mais informações, consulte:

• Criptografar tráfego Syslog com TLS – rsyslog
• Criptografar mensagens de log com TLS – syslog-ng

Configurar o conector de dados

O processo de configuração para os logs personalizados via conector de dados AMA inclui as seguintes etapas:

1. Crie a tabela de destino no Log Analytics (ou Advanced Hunting se estiver no portal do Defender).

   O nome da tabela deve terminar com e deve consistir apenas _CL nos dois campos seguintes:

   • TimeGenerated (do tipo DateTime): o carimbo de data/hora da criação da mensagem de log.
   • RawData (do tipo String): a mensagem de log em sua totalidade.
     (Se você estiver coletando logs de um encaminhador de log e não diretamente do dispositivo que hospeda o aplicativo, nomeie este campo Mensagem em vez de RawData.)

2. Instale o Azure Monitor Agent e crie uma Regra de Coleta de Dados (DCR) usando um dos seguintes métodos:

   • Portal do Azure ou do Defender
   • Modelo Azure Resource Manager

3. Se você estiver coletando logs usando um encaminhador de log, configure o daemon syslog nessa máquina para ouvir mensagens de outras fontes e abra as portas locais necessárias. Para obter detalhes, consulte Configurar o encaminhador de log para aceitar logs.

Selecione a guia apropriada para obter instruções.

Portal do Azure ou do Defender

Criar regra de coleta de dados (DCR)

Para começar, abra os Logs Personalizados via conector de dados AMA no Microsoft Sentinel e crie uma regra de coleta de dados (DCR).

1. Para o Microsoft Sentinel no portal do Azure, em Configuração, selecione Conectores de dados.
   Para Microsoft Sentinel no portal do Defender, selecione Conectores de dados de configuração>do Microsoft Sentinel>.

2. Digite personalizado na caixa Pesquisar . Nos resultados, selecione os Logs personalizados via conector AMA .

3. Selecione Abrir página do conector no painel de detalhes.

   

4. Na área Configuração, selecione +Criar regra de coleta de dados.

   

5. Na guia Básico:

   • Digite um nome DCR.
   • Selecione a sua subscrição.
   • Selecione o grupo de recursos onde você deseja localizar seu DCR.

   

6. Selecione Next: Recursos >.

Definir recursos de VM

Na guia Recursos, selecione as máquinas das quais você deseja coletar os logs. Estas são as máquinas nas quais seu aplicativo está instalado ou suas máquinas de encaminhador de log. Se a máquina que você está procurando não aparecer na lista, talvez não seja uma VM do Azure com o agente do Azure Connected Machine instalado.

1. Use os filtros disponíveis ou a caixa de pesquisa para encontrar a máquina que você está procurando. Expanda uma assinatura na lista para ver seus grupos de recursos e um grupo de recursos para ver suas VMs.

2. Selecione a máquina da qual você deseja coletar logs. A caixa de seleção aparece ao lado do nome da VM quando você passa o mouse sobre ela.

   

   Se as máquinas selecionadas ainda não tiverem o Agente do Azure Monitor instalado, o agente será instalado quando o DCR for criado e implantado.

3. Reveja as alterações e selecione Seguinte: Recolher >.

Configurar o DCR para seu aplicativo

1. Na guia Coletar, selecione seu aplicativo ou tipo de dispositivo na caixa suspensa Selecionar tipo de dispositivo (opcional) ou deixe-a como Nova tabela personalizada se seu aplicativo ou dispositivo não estiver listado.

2. Se você escolher um dos aplicativos ou dispositivos listados, o campo Nome da tabela será preenchido automaticamente com o nome da tabela correto. Se você escolher Nova tabela personalizada, insira um nome de tabela em Nome da tabela. O nome deve terminar com o sufixo _CL .

3. No campo Padrão de arquivo, insira o caminho e o nome do arquivo dos arquivos de log de texto a serem coletados. Para localizar os nomes de arquivo e caminhos padrão para cada aplicativo ou tipo de dispositivo, consulte Instruções específicas por tipo de aplicativo. Você não precisa usar os nomes de arquivo ou caminhos padrão e pode usar curingas no nome do arquivo.

4. No campo Transformar, se você escolher uma nova tabela personalizada na etapa 1, insira uma consulta Kusto que aplique uma transformação de sua escolha aos dados.

   Se você escolher um dos aplicativos ou dispositivos listados na etapa 1, esse campo será preenchido automaticamente com a transformação adequada. NÃO edite a transformação que aparece lá. Dependendo do tipo escolhido, esse valor deve ser um dos seguintes:

   • source (o padrão — sem transformação)
   • source | project-rename Message=RawData (para dispositivos que enviam logs para um encaminhador)

5. Reveja as suas seleções e selecione Seguinte: Rever + criar.

Rever e criar a regra

Depois de concluir todas as guias, revise o que você inseriu e crie a regra de coleta de dados.

1. Na guia Revisar e criar, selecione Criar.

   

   O conector instala o Agente do Azure Monitor nas máquinas selecionadas ao criar seu DCR.

2. Verifique as notificações no portal do Azure ou no portal do Microsoft Defender para ver quando o DCR é criado e o agente está instalado.

3. Selecione Atualizar na página do conector para ver o DCR exibido na lista.

Modelo do Resource Manager

Instalar o Agente do Azure Monitor

Siga as instruções apropriadas da documentação do Azure Monitor para instalar o Azure Monitor Agent na máquina que hospeda seu aplicativo ou no encaminhador de log. Use as instruções para Windows ou Linux, conforme apropriado.

• Instalar o AMA usando o PowerShell
• Instalar o AMA usando a CLI do Azure
• Instalar o AMA usando um modelo do Azure Resource Manager

Crie Regras de Coleta de Dados (DCRs) usando a API de Ingestão de Logs do Azure Monitor. Para obter mais informações, consulte Regras de coleta de dados no Azure Monitor.

Criar a regra de coleta de dados

Use o seguinte modelo ARM para criar ou modificar um DCR para coletar arquivos de log de texto:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Substitua os valores {PLACE_HOLDER} pelos seguintes valores:

Marcador de Posição	Value
{DCR_NAME}	O nome escolhido para a Regra de Coleta de Dados. Deve ser único dentro do seu espaço de trabalho.
{DCR_LOCATION}	A região onde o grupo de recursos que contém o DCR está localizado.
{TABLE_NAME}	O nome da tabela de destino no Log Analytics. Deve terminar com _CL.
{LOCAL_PATH_FILE_1} (obrigatório), {LOCAL_PATH_FILE_2} (facultativo)	Caminhos e nomes de arquivo dos arquivos de texto que contêm os logs que você deseja coletar. Eles devem estar na máquina onde o Azure Monitor Agent está instalado.
{WORKSPACE_RESOURCE_PATH}	O caminho do recurso do Azure do seu espaço de trabalho do Microsoft Sentinel.
{WORKSPACE_ID}	O GUID do seu espaço de trabalho do Microsoft Sentinel.

Associar o DCR ao Agente do Azure Monitor

Se você criar o DCR usando um modelo ARM, ainda deverá associá-lo aos agentes que o usarão. Você pode editar o DCR no portal do Azure e selecionar os agentes conforme descrito em Definir recursos de VM.

Configurar o encaminhador de log para aceitar logs

Se você estiver coletando logs de um dispositivo usando um encaminhador de log, configure o daemon syslog no encaminhador de log para ouvir mensagens de outras máquinas e abra as portas locais necessárias.

1. Copie a seguinte linha de comando:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Entre na máquina de encaminhamento de log onde você acabou de instalar o AMA.

3. Cole o comando copiado na última etapa para iniciar o script de instalação.
   O script configura o rsyslog syslog-ng ou daemon para usar o protocolo necessário e reinicia o daemon. O script abre a porta 514 para ouvir mensagens recebidas nos protocolos UDP e TCP. Para alterar essa configuração, consulte o arquivo de configuração do daemon syslog de acordo com o tipo de daemon em execução na máquina:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Se você estiver usando o Python 3 e ele não estiver definido como o comando padrão na máquina, substitua python3 python o comando colado. Consulte Pré-requisitos do encaminhador de log.

   Nota

   Para evitar cenários de disco completo em que o agente não pode funcionar, recomendamos que você defina a syslog-ng configuração ou rsyslog para não armazenar logs desnecessários. Um cenário de disco completo interrompe a função da AMA instalada. Para obter mais informações, consulte RSyslog ou Syslog-ng.

Configurar o dispositivo ou dispositivo de segurança

Para obter instruções específicas para configurar seu aplicativo ou dispositivo de segurança, consulte Logs personalizados via conector de dados AMA - Configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos

Entre em contato com o provedor de soluções para obter mais informações ou quando as informações não estiverem disponíveis para o aparelho ou dispositivo.

Conteúdos relacionados

• Regras de coleta de dados no Azure Monitor
• Coletar logs de um arquivo de texto com o Azure Monitor Agent