Coletar logs de arquivos de texto com o agente do Azure Monitor e ingerir no Microsoft Sentinel

• Aplica-se a:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Este artigo mostra como usar o conector Logs Personalizados via AMA para filtrar e ingerir rapidamente logs em formato de arquivo de texto de aplicativos de rede ou segurança instalados em computadores Windows ou Linux.

Muitos aplicativos registram dados em arquivos de texto em vez de serviços padrão de registro em log, como o log de eventos do Windows ou o Syslog. Você pode usar o agente do Azure Monitor (AMA) para coletar dados em arquivos de texto, mesmo que esses dados não estejam em formatos padronizados, tanto em computadores Windows quanto Linux. O AMA também pode realizar transformações nos dados durante a coleta, organizando-os em diferentes campos.

Para mais informações sobre os aplicativos para os quais o Microsoft Sentinel possui soluções compatíveis com a coleta de logs, confira o artigo Conector de dados Logs Personalizados via AMA: configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos.

Para uma visão geral sobre como ingerir logs personalizados de arquivos de texto, confira o artigo Coletar logs de um arquivo de texto com o Agente do Azure Monitor.

Importante

• No momento, o conector de dados Logs Personalizados via AMA está em VERSÃO PRÉVIA. Veja os Termos de Uso Complementares para Versões Prévias do Microsoft Azure para termos legais adicionais que se aplicam aos recursos do Azure que estão em versão beta, versão prévia ou que, de outra forma, ainda não foram lançados em disponibilidade geral.

• O Microsoft Sentinel agora está disponível para todos na plataforma de operações de segurança unificada da Microsoft no portal Microsoft Defender. Para saber mais, confira Microsoft Sentinel no portal do Microsoft Defender.

Pré-requisitos

Antes de iniciar, você precisa ter os recursos configurados e as permissões adequadas atribuídas, conforme descrito nesta seção.

Pré-requisitos do Microsoft Sentinel

• Instale a solução do Microsoft Sentinel correspondente ao seu aplicativo e verifique se você tem as permissões para concluir as etapas neste artigo. Você pode encontrar essas soluções no Hub de conteúdos no Microsoft Sentinel, e todas elas incluem o conector Logs Personalizados via AMA.

  Para ver a lista de aplicativos com soluções no hub de conteúdos, acesse Instruções específicas por aplicativo. Caso não haja uma solução disponível para o seu aplicativo, instale a solução Logs Personalizados via AMA.

  Para obter mais informações, consulte Descobrir e gerenciar o conteúdo pronto para uso do Microsoft Sentinel.

• Tenha uma conta do Azure com as seguintes funções de controle de acesso baseado em função do Azure (RBAC do Azure):

  Função interna	Escopo	Motivo
  - Colaborador de Máquina Virtual - Azure Connected Machine    Administrador de recursos	VM (máquinas virtuais) Conjuntos de Escala de Máquina Virtual Servidores habilitados para Azure Arc	Para implantar o agente
  Qualquer função que inclua a ação Microsoft.Resources/deployments/*	Subscription Grupo de recursos Regra de coleta de dados existente	Para implantar os modelos do Azure Resource Manager
  Colaborador de monitoramento	Subscription Grupo de recursos Regra de coleta de dados existente	Criar ou editar regras de coleta de dados

Pré-requisitos do encaminhador de log

Alguns aplicativos personalizados estão hospedados em dispositivos fechados e precisam enviar seus logs para um coletor/encaminhador de logs externo. Nesse caso, os seguintes pré-requisitos se aplicam ao encaminhador de logs:

• Você precisa ter uma VM do Linux designada como um encaminhador de log para coletar logs.

  • Crie uma VM do Linux no portal do Azure.
  • Sistemas operacionais Linux com suporte para o Agente do Azure Monitor.

• Se o encaminhador de log não for uma máquina virtual do Azure, ele deverá ter o agente do Connected Machine do Azure Arc instalado nele.

• A VM do encaminhador de log do Linux deve ter o Python 2.7 ou 3 instalado. Use o comando python --version ou python3 --version para verificar. Se estiver usando o Python 3, garanta que ele está definido como o comando padrão no computador ou execute scripts com o comando 'python3' em vez de 'python'.

• O encaminhador de log deve ter o daemon syslog-ng ou rsyslog habilitado.

• Para obter requisitos de espaço para o encaminhador de log, confira o Parâmetro de comparação de desempenho do agente do Azure Monitor. Você também pode ler essa postagem no blog, que inclui designs para uma ingestão escalável.

• Configurar suas fontes de log, dispositivos e dispositivos de segurança para enviar as mensagens de log para o daemon syslog do encaminhador de logs, em vez de encaminhar para o daemon syslog local.

Pré-requisitos de segurança do computador

Configurar a segurança do computador do encaminhador de logs de acordo com a política de segurança da sua organização. Por exemplo, configure a rede para ser alinhada à política de segurança de rede corporativa e altere as portas e os protocolos do daemon para que sejam alinhados aos requisitos. Para melhorar a configuração de segurança do computador, proteja sua VM no Azure ou examine estas melhores práticas para segurança de rede.

Se seus dispositivos estiverem enviando logs via protocolo TLS (por exemplo, se o encaminhador de logs estiver na nuvem), você precisará configurar o daemon syslog (rsyslog ou syslog-ng) para se comunicar no TLS. Para saber mais, veja:

• Criptografar tráfego do Syslog com TLS – rsyslog
• Criptografar mensagens de log com TLS – syslog-ng

Configurar o conector de dados

O processo de instalação do conectados de dados Logs Personalizados via AMA envolve as seguintes etapas:

1. Crie a tabela de destino no Log Analytics (ou Busca Avançada de Ameaças se estiver no portal do Defender).

   O nome da tabela deve terminar com _CL e deve ter apenas dois campos:

   • TimeGenerated (do tipo DateTime): o carimbo de data/hora da criação da mensagem de log.
   • RawData (do tipo String): a mensagem de log completa.
     (Se estiver coletando logs de um encaminhador de logs e não diretamente do dispositivo que hospeda o aplicativo, nomeie este campo como Message em vez de RawData.)

2. Instale o Agente do Azure Monitor e crie uma DCR (Regra de Coleta de Dados) usando um dos seguintes métodos:

   • Portal do Azure ou do Defender
   • Modelo do Azure Resource Manager

3. Se você estiver coletando logs através de um encaminhador de logs, configure o daemon syslog nesse computador para escutar mensagens de outras fontes e abra as portas locais necessárias. Para mais detalhes, confira o artigo Configurar o encaminhador de logs para aceitar logs.

Selecione a guia apropriada para obter instruções.

Portal do Azure ou do Defender

Crie uma DCR (regra de coleta de dados)

Para começar, abra o conector de dados Logs Personalizados via AMA no Microsoft Sentinel e crie uma DCR (regra de coleta de dados).

1. Para o Microsoft Sentinel no portal do Azure, em Configuração, selecione Conectores de dados.
   Para o Microsoft Sentinel no portal do Defender, selecione Microsoft Sentinel>Configurações>Conectores de dados.

2. Digite personalizado na caixa Pesquisar. Nos resultados, selecione o conector Logs Personalizados via AMA.

3. Selecione Abrir página do conector no painel de detalhes.

   

4. Na área Configuração, selecione +Criar regra de coleta de dados.

   

5. Na guia Básico:

   • Digite um nome para a DCR.
   • Selecione sua assinatura.
   • Selecione o grupo de recursos em que deseja localizar a DCR.

   

6. Selecione Avançar: Recursos>.

Definir recursos de VM

Na guia Recursos, escolha os computadores dos quais você deseja coletar os logs. Esses podem ser os computadores com seu aplicativo instalado ou seus computadores de encaminhamento de logs. Se o computador que você procura não estiver na lista, pode ser que ele não seja uma VM do Azure com o Azure Connected Machine Agent instalado.

1. Use os filtros disponíveis ou a caixa de pesquisa para localizar o computador desejado e selecione-o. Você pode expandir uma assinatura na lista para ver os grupos de recursos dela, e um grupo de recursos para ver as VMs dela.

2. Selecione o computador do qual você deseja coletar logs. A caixa de seleção será exibida ao lado do nome da VM quando você passar o mouse sobre ela.

   

   Se os computadores selecionados ainda não tiverem o agente do Azure Monitor instalado, o agente será instalado quando a DCR for criada e implantada.

3. Examine suas alterações e selecione Avançar: Coletar >.

Configurar a DCR no aplicativo

1. Na guia Coletar, selecione seu aplicativo ou tipo de dispositivo na caixa de seleção Selecione o tipo de dispositivo (opcional), ou deixe como Nova tabela personalizada se seu aplicativo ou dispositivo não estiver listado.

2. Se você escolheu um dos aplicativos ou dispositivos listados, o campo Nome da tabela será preenchido automaticamente com o nome da tabela correto. Se optou por Nova tabela personalizada, insira um nome de tabela no campo Nome da tabela. O nome deve terminar com o sufixo _CL.

3. No campo Padrão de arquivo, insira o caminho e o nome do arquivo dos logs de texto a serem coletados. Para encontrar os nomes e caminhos de arquivos padrão para cada tipo ou dispositivo ou aplicativo, confira o artigo Instruções específicas por tipo de aplicativo. Não é obrigatório usar os nomes ou caminhos de arquivos padrão; você pode utilizar curingas no nome do arquivo.

4. No campo Transformar, se você escolheu uma nova tabela personalizada na etapa 1, insira uma consulta Kusto que aplique uma transformação desejada aos dados.

   Se escolheu um dos aplicativos ou dispositivos listados na etapa 1, este campo será preenchido automaticamente com a transformação adequada. NÃO edite a transformação que aparece lá. Dependendo do tipo escolhido, esse valor deve ser um dos seguintes:

   • source (o padrão, sem transformação)
   • source | project-rename Message=RawData (para dispositivos que enviam logs para um encaminhador)

5. Examine suas seleções e selecione Avançar: Examinar + criar.

Examinar e criar a regra

Depois de concluir todas as guias, examine o que você inseriu e crie a regra de coleta de dados.

1. Na guia Examinar e criar, selecione Criar.

   

   O conector instalará o agente do Azure Monitor nos computadores selecionados ao criar a DCR.

2. Verifique as notificações no portal do Azure ou no portal do Microsoft Defender para ver quando a DCR é criada e se o agente está instalado.

3. Selecione Atualizar na página do conector para ver a DCR exibida na lista.

Modelo do Resource Manager

Instalar o Agente do Azure Monitor

Siga as instruções apropriadas, contidas na documentação do Azure Monitor, para instalar o Agente do Azure Monitor no computador que hospeda seu aplicativo ou no seu encaminhador de logs. Use as instruções para Windows ou para Linux, dependendo do seu caso.

• Instalar o AMA usando o PowerShell
• Instalar o AMA usando a CLI do Azure
• Instalar o AMA usando um modelo do Azure Resource Manager

Criar regras de coleta de dados (DCRs) usando a API de ingestão de logs do Azure Monitor. Para obter mais informações, consulte Regras de coleta de dados no Azure Monitor.

Criar a regra de coleta de dados

Para criar ou modificar uma DCR para coletar arquivos de log de texto, use o seguinte modelo do ARM:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Substitua os valores {PLACE_HOLDER} pelos seguintes:

Espaço reservado	Valor
{DCR_NAME}	O nome escolhido para sua Regra de Coleta de Dados. Deve ser único dentro do workspace.
{DCR_LOCATION}	A região em que o grupo de recursos que contém a DCR está localizado.
{TABLE_NAME}	O nome da tabela de destino no Log Analytics. Precisa terminar com _CL.
{LOCAL_PATH_FILE_1} (obrigatório), {LOCAL_PATH_FILE_2} (opcional)	Caminhos e nomes dos arquivos de texto que contêm os logs que você deseja coletar. Esses arquivos devem estar no computador onde o Azure Monitor agente do Azure Monitor está instalado.
{WORKSPACE_RESOURCE_PATH}	O caminho do recurso do Azure do seu workspace do Microsoft Sentinel.
{WORKSPACE_ID}	O GUID do seu workspace do Microsoft Sentinel.

Associar a DCR ao agente do Azure Monitor

Se você criar a DCR usando um modelo do ARM, ainda deverá associar a DCR aos agentes que a usarão. Você pode editar o DCR no portal do Azure e selecionar os agentes conforme descrito em Definir recursos da VM.

Configurar o encaminhador de logs para aceitar logs

Se você estiver coletando logs de um dispositivo através de um encaminhador de logs, configure o daemon syslog no encaminhador para escutar mensagens de outros computadores e abra as portas locais necessárias.

1. Copie a seguinte linha de comando:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Faça logon no computador do encaminhador de log no qual você acabou de instalar o AMA.

3. Cole o comando copiado na última etapa para iniciar o script de instalação.
   O script configura o daemon rsyslog ou syslog-ng para usar o protocolo necessário e reinicia o daemon. O script abre a porta 514 para ouvir mensagens de entrada em protocolos UDP e TCP. Para alterar essa configuração, consulte o arquivo de configuração de daemon syslog de acordo com o tipo daemon em execução no computador:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Se você estiver usando o Python 3 e ele não estiver definido como o comando padrão no computador, substitua python3 por python no comando colado. Confira Pré-requisitos do encaminhador de log.

   Observação

   Para evitar cenários de Disco Completo em que o agente não pode funcionar, recomendamos que você defina a configuração syslog-ng ou rsyslog para não armazenar logs desnecessários. Um cenário de Disco Completo interrompe a função do AMA instalado. Para obter mais informações, consulte RSyslog ou Syslog-ng.

Configurar o dispositivo de segurança

Para instruções específicas sobre como configurar seu aplicativo ou dispositivo de segurança, confira o artigo Conector de dados Logs Personalizados via AMA: configurar a ingestão de dados para o Microsoft Sentinel a partir de aplicativos específicos

Entre em contato com o provedor de soluções para obter mais informações ou quando as informações não estiverem disponíveis para o dispositivo.

Conteúdo relacionado

• Regras de coleta de dados do Azure Monitor
• Coletar logs de um arquivo de texto com o Agente do Azure Monitor