Прием сообщений системного журнала и CEF в Microsoft Sentinel с помощью агента Azure Monitor

• Применяется к:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

В этой статье описывается, как использовать системный журнал с помощью AMA и общего формата событий (CEF) через соединители AMA для быстрого фильтрации и приема сообщений системного журнала, включая сообщения в формате common Event Format (CEF), с компьютеров Linux и из сетевых устройств и устройств безопасности. Дополнительные сведения об этих соединителях данных см. в статье Syslog и Common Event Format (CEF) через соединители AMA для Microsoft Sentinel.

Примечание.

Служба Container Insights теперь поддерживает автоматическую коллекцию событий Системного журнала с узлов Linux в кластерах AKS. Дополнительные сведения см . в коллекции системных журналов с помощью Container Insights.

Необходимые компоненты

Перед началом работы необходимо настроить ресурсы и соответствующие разрешения, как описано в этом разделе.

Предварительные требования для Microsoft Sentinel

Установите соответствующее решение Microsoft Sentinel и убедитесь, что у вас есть разрешения на выполнение действий, описанных в этой статье.

• Установите соответствующее решение из центра содержимого в Microsoft Sentinel. Дополнительные сведения см. в статье "Обнаружение и управление содержимым Microsoft Sentinel вне поля".

• Определите, какой соединитель данных требуется для решения Microsoft Sentinel— syslog через AMA или общий формат событий (CEF) через AMA и необходимо ли установить решение syslog или Common Event Format. Чтобы выполнить это требование,

  • В центре контента выберите "Управление" в установленном решении и просмотрите указанный соединитель данных.

  • Если системный журнал с помощью AMA или Common Event Format (CEF) через AMA не установлен с решением, определите, нужно ли установить решение syslog или Common Event Format, найдя устройство или устройство из одной из следующих статей:

    • CEF через соединитель данных AMA — настройка конкретного устройства или устройства для приема данных Microsoft Sentinel
    • Системный журнал с помощью соединителя данных AMA — настройка конкретного устройства или устройства для приема данных Microsoft Sentinel

    Затем установите решение syslog или Common Event Format из концентратора содержимого, чтобы получить соответствующий соединитель данных AMA.

• У вас есть учетная запись Azure со следующими ролями управления доступом на основе ролей Azure (Azure RBAC):

  Встроенная роль	Область	Причина
  - Участник виртуальной машины - Подключенный компьютер Azure    Администратор ресурсов	Виртуальные машины Масштабируемые наборы виртуальных машин Серверы с поддержкой Azure Arc	Развертывание агента
  Любая роль, которая включает действие Microsoft.Resources/deployments/*	Подписка Группа ресурсов Существующее правило сбора данных	Развертывание шаблонов Azure Resource Manager
  Monitoring Contributor (Участник мониторинга)	Подписка Группа ресурсов Существующее правило сбора данных	Создание или изменение правил сбора данных

Предварительные требования для пересылки журналов

Если вы собираете сообщения из средства пересылки журналов, применяются следующие предварительные требования:

• Для сбора журналов необходимо назначить виртуальную машину Linux в качестве средства пересылки журналов.

  • Создайте виртуальную машину Linux в портал Azure.
  • Поддерживаемые операционные системы Linux для агента Azure Monitor.

• Если сервер пересылки журналов не является виртуальной машиной Azure, он должен установить на него агент подключенной машины Azure Arc.

• Виртуальная машина пересылки журналов Linux должна быть установлена на Python 2.7 или 3. Для проверки используйте команду python --version или python3 --version. Если вы используете Python 3, убедитесь, что оно задано в качестве команды по умолчанию на компьютере или запустите скрипты с помощью команды Python3 вместо python.

• Средство пересылки журналов должно включать syslog-ng управляющая программа или rsyslog управляющая программа.

• Сведения о требованиях к пространству для сервера пересылки журналов см. в справочнике по производительности агента Azure Monitor. Вы также можете просмотреть эту запись блога, включающую проекты для масштабируемого приема.

• Источники журналов, устройства безопасности и устройства должны быть настроены для отправки сообщений журнала в управляющая программа syslog средства пересылки журналов вместо управляющей программы локального системного журнала.

Примечание.

При развертывании AMA в масштабируемом наборе виртуальных машин (VMSS) настоятельно рекомендуется использовать подсистему балансировки нагрузки, которая поддерживает метод циклического перебора для обеспечения распределения нагрузки во всех развернутых экземплярах.

Предварительные требования для обеспечения безопасности компьютера

Настройте безопасность компьютера в соответствии с политикой безопасности вашей организации. Например, настройте сеть в соответствии с политикой безопасности корпоративной сети и измените порты и протоколы в управляющей программе, чтобы соответствовать вашим требованиям. Чтобы улучшить конфигурацию безопасности компьютера, защитить виртуальную машину в Azure или ознакомьтесь с этими рекомендациями по обеспечению безопасности сети.

Если устройства отправляют журналы системного журнала и CEF по протоколу TLS, так как, например, сервер пересылки журналов находится в облаке, необходимо настроить управляющая программа системного журнала (rsyslog или syslog-ng) для обмена данными в TLS. Дополнительные сведения см. в разделе:

• Шифрование трафика системного журнала с помощью TLS — rsyslog
• Шифрование сообщений журнала с помощью TLS — syslog-ng

Настройка соединителя данных

Процесс установки системного журнала с помощью AMA или common Event Format (CEF) через соединители данных AMA включает следующие действия.

1. Установите агент Azure Monitor и создайте правило сбора данных (DCR) с помощью любого из следующих методов:
   • Портал Azure или Defender
   • API приема журналов Azure Monitor
2. Если вы собираете журналы с других компьютеров с помощью средства пересылки журналов, запустите сценарий установки в средстве пересылки журналов, чтобы настроить управляющей программе системного журнала прослушивание сообщений с других компьютеров и открыть необходимые локальные порты.

Выберите соответствующую вкладку для инструкций.

Портал Azure или Defender

Создание правила сбора данных (DCR)

Чтобы приступить к работе, откройте системный журнал с помощью AMA или Common Event Format (CEF) через соединитель данных AMA в Microsoft Sentinel и создайте правило сбора данных (DCR).

1. Для Microsoft Sentinel в портал Azure в разделе "Конфигурация" выберите соединители данных.
   Для Microsoft Sentinel на портале Defender выберите соединители данных конфигурации>Microsoft Sentinel>.

2. Для системного журнала введите Syslog в поле поиска . В результатах выберите системный журнал через соединитель AMA .
   Для CEF введите CEF в поле поиска . В результатах выберите общий формат событий (CEF) через соединитель AMA .

3. На панели сведений выберите страницу "Открыть соединитель".

4. В области конфигурации выберите пункт +Создать правило сбора данных.

   

   

5. На вкладке "Базовый " :

   • Введите имя DCR.
   • Выберите свою подписку.
   • Выберите группу ресурсов, в которой нужно найти DCR.

   

6. Выберите Далее: Ресурс >.

Определение ресурсов виртуальной машины

На вкладке "Ресурсы" выберите компьютеры, на которых требуется установить AMA, в этом случае компьютер пересылки журналов. Если средство пересылки журналов не отображается в списке, он может не установить агент подключенного компьютера Azure.

1. Используйте доступные фильтры или поле поиска, чтобы найти виртуальную машину пересылки журналов. Разверните подписку в списке, чтобы просмотреть ее группы ресурсов и группу ресурсов, чтобы просмотреть свои виртуальные машины.

2. Выберите виртуальную машину пересылки журналов, на которую вы хотите установить AMA. Флажок отображается рядом с именем виртуальной машины при наведении на него указателя мыши.

   

3. Просмотрите изменения и нажмите кнопку "Далее: Собрать >".

Выбор объектов и серьезности

Помните, что использование одного и того же объекта для сообщений системного журнала и CEF может привести к дублированию данных. Дополнительные сведения см. в разделе "Предотвращение дублирования данных".

1. На вкладке "Сбор" выберите минимальный уровень журнала для каждого объекта. При выборе уровня журнала Microsoft Sentinel собирает журналы для выбранного уровня и других уровней с более высоким уровнем серьезности. Например, если выбрать LOG_ERR, Microsoft Sentinel собирает журналы для уровней LOG_ERR, LOG_CRIT, LOG_ALERT и LOG_EMERG.

   

2. Просмотрите выбранные варианты и нажмите кнопку "Далее: просмотр и создание".

Проверка и создание правила

После завершения всех вкладок просмотрите введенные и создайте правило сбора данных.

1. На вкладке "Рецензирование" и "Создать " нажмите кнопку "Создать".

   

   Соединитель устанавливает агент Azure Monitor на компьютерах, выбранных при создании DCR.

2. Проверьте уведомления на портале портал Azure или Microsoft Defender, чтобы узнать, когда создается DCR и установлен агент.

3. Выберите "Обновить" на странице соединителя, чтобы увидеть DCR, отображаемый в списке.

API приема журналов

Установка агента Azure Monitor

Следуйте соответствующим инструкциям из документации по Azure Monitor, чтобы установить агент Azure Monitor на сервере пересылки журналов. Не забудьте использовать инструкции для Linux, а не для Windows.

• Установка AMA с помощью PowerShell
• Установка AMA с помощью Azure CLI
• Установка AMA с помощью шаблона Azure Resource Manager

Правила сбора данных (DCR) можно создать с помощью API приема журналов Azure Monitor. Дополнительные сведения см. в разделе "Правила сбора данных" в Azure Monitor.

Создание правила сбора данных

Создайте JSON-файл для правила сбора данных, создайте запрос API и отправьте запрос.

1. Подготовка файла DCR в формате JSON. Содержимое этого файла — это текст запроса в запросе API.

   Пример см. в тексте запроса на создание syslog/CEF DCR. Сведения о сборе сообщений системного журнала и CEF в одном правиле сбора данных см. в примерах потоков Syslog и CEF в одном DCR.

   • Убедитесь, что streams поле задано Microsoft-Syslog для сообщений системного журнала или Microsoft-CommonSecurityLog для сообщений CEF.
   • Добавьте уровни журнала фильтра и объекта в facilityNames параметры.logLevels См . примеры разделов объектов и уровней журналов.

2. Создайте запрос API в клиенте REST API выбранного объекта.

   1. Для URL-адреса запроса и заголовка скопируйте следующий URL-адрес запроса и заголовок.

      PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}?api-version=2022-06-01
      

      • Замените соответствующие значения для {subscriptionId} заполнителей и {resourceGroupName} заполнителей.
      • Введите имя выбранного {dataCollectionRuleName} объекта DCR вместо заполнителя.

   2. Для текста запроса скопируйте и вставьте содержимое созданного JSON-файла DCR (на шаге 1 выше) в текст запроса.

3. Отправьте запрос.

   Пример ответа, который необходимо получить, см . в ответе на создание syslog/CEF DCR.

Связывание DCR с сервером пересылки журналов

Теперь необходимо создать ассоциацию DCR (DCRA), которая связывает DCR с ресурсом виртуальной машины, на котором размещен сервер пересылки журналов.

1. Создайте запрос API в клиенте REST API выбранного объекта.

2. Для URL-адреса запроса и заголовка скопируйте следующий URL-адрес запроса и заголовок.

   PUT 
   https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Compute/virtualMachines/{virtualMachineName}/providers/Microsoft.Insights/dataCollectionRuleAssociations/{dataCollectionRuleAssociationName}?api-version=2022-06-01
   

   • Замените соответствующие значения для {subscriptionId}{resourceGroupName}заполнителей и {virtualMachineName} заполнителей.
   • Введите имя выбранного {dataCollectionRuleAssociationName} объекта DCR вместо заполнителя.

3. Для текста запроса скопируйте следующий текст запроса.

   {
     "properties": {
       "dataCollectionRuleId": "/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.Insights/dataCollectionRules/{dataCollectionRuleName}"
     }
   }
   

   • Замените соответствующие значения для {subscriptionId} заполнителей и {resourceGroupName} заполнителей.
   • Введите имя выбранного {dataCollectionRuleName} объекта DCR вместо заполнителя.

4. Отправьте запрос.

Примеры разделов объектов и уровней журналов

Просмотрите эти примеры параметров объектов и уровней журналов. Поле name содержит имя фильтра.

Для приема сообщений CEF значение "streams" должно быть "Microsoft-CommonSecurityLog" вместо "Microsoft-Syslog".

В этом примере собираются события из cronобъектов , local0daemonlocal3 и uucp объектов с AlertWarningErrorCriticalEmergency уровнями журнала , а также уровнями журналов:

    "dataSources": {
      "syslog": [
        {
        "name": "SyslogStream0",
        "streams": [
          "Microsoft-Syslog"
        ],
        "facilityNames": [ 
          "cron",
          "daemon",
          "local0",
          "local3", 
          "uucp"
        ],
        "logLevels": [ 
          "Warning", 
          "Error", 
          "Critical", 
          "Alert", 
          "Emergency"
        ]
      }
    ]
  }

Потоки системного журнала и CEF в одном DCR

В этом примере показано, как собирать сообщения системного журнала и CEF в одном DCR.

DCR собирает сообщения о событиях CEF для:

• И authpriv объекты с Infoуровнями журнала , WarningEmergencyNoticeErrorCriticalAlertmark
• Объект daemon с уровнями журналов, а ErrorEmergencyAlertCriticalтакже уровнями журнала Warning

Он собирает сообщения о событиях системного журнала для:

• kern, local0local5и news объекты с CriticalAlertуровнями журнала и Emergency
• Объекты mail и uucp объекты с Emergency уровнем журнала

    "dataSources": {
      "syslog": [
        {
          "name": "CEFStream1",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "authpriv", 
            "mark"
          ],
          "logLevels": [
            "Info",
            "Notice", 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "CEFStream2",
          "streams": [ 
            "Microsoft-CommonSecurityLog"
          ],
          "facilityNames": [ 
            "daemon"
          ],
          "logLevels": [ 
            "Warning", 
            "Error", 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream3",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "kern",
            "local0",
            "local5", 
            "news"
          ],
          "logLevels": [ 
            "Critical", 
            "Alert", 
            "Emergency"
          ]
        },
        {
          "name": "SyslogStream4",
          "streams": [ 
            "Microsoft-Syslog"
          ],
          "facilityNames": [ 
            "mail",
            "uucp"
          ],
          "logLevels": [ 
            "Emergency"
          ]
        }
      ]
    }

Запуск скрипта "установка"

Если вы используете средство пересылки журналов, настройте управляющая программа системного журнала для прослушивания сообщений с других компьютеров и откройте необходимые локальные порты.

1. На странице соединителя скопируйте командную строку, которая отображается в разделе Выполнить следующую команду, чтобы установить и применить сборщик CEF:

   

   Или скопируйте его здесь:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Войдите на компьютер пересылки журналов, где вы только что установили AMA.

3. Вставьте команду, скопированную на последнем шаге, чтобы запустить скрипт установки.
   Скрипт настраивает rsyslog управляющая syslog-ng программа для использования требуемого протокола и перезапускает управляющая программа. Скрипт открывает порт 514 для прослушивания входящих сообщений в протоколах UDP и TCP. Чтобы изменить этот параметр, обратитесь к файлу конфигурации управляющей программы системного журнала в соответствии с типом управляющей программы, запущенным на компьютере:

   • rsyslog: /etc/rsyslog.conf;
   • syslog-ng: /etc/syslog-ng/syslog-ng.conf.

   Если вы используете Python 3, и оно не задано как команда по умолчанию на компьютере, замените python3python в вставленной команде. См . предварительные требования для пересылки журналов.

   Примечание.

   Чтобы избежать сценариев полного диска, в которых агент не может функционировать, рекомендуется установить или rsyslog настроить syslog-ng конфигурацию, чтобы не хранить ненужные журналы. Сценарий полного диска нарушает функцию установленной AMA. Дополнительные сведения см. в статье RSyslog или Syslog-ng.

Настройка устройства безопасности или устройства

Получите конкретные инструкции по настройке устройства безопасности или устройства, перейдя в одну из следующих статей:

• CEF через соединитель данных AMA — настройка конкретных устройств и устройств для приема данных Microsoft Sentinel
• Системный журнал с помощью соединителя данных AMA — настройка конкретных устройств и устройств для приема данных Microsoft Sentinel

Обратитесь к поставщику решений, чтобы получить дополнительные сведения или где информация недоступна для устройства или устройства.

Тестирование соединителя

Убедитесь, что журналы сообщений с компьютера Linux или устройств безопасности передаются в Microsoft Sentinel.

1. Чтобы проверить, запущена ли управляющая программа системного журнала на порту UDP и прослушивается ли AMA, выполните следующую команду:

   netstat -lnptv
   

   Вы увидите rsyslog управляющую программу, syslog-ng прослушивающую порт 514.

2. Чтобы записать сообщения, отправленные из средства ведения журнала или подключенного устройства, выполните следующую команду в фоновом режиме:

   tcpdump -i any port 514 -A -vv &
   

3. После завершения проверки рекомендуется остановить tcpdump: введите fg и нажмите клавиши CTRL+C.

4. Чтобы отправить демонстрационные сообщения, выполните следующие действия:

   • Используйте служебную программу netcat. В этом примере служебная программа считывает данные, размещенные по команде echo , с отключенным параметром новой строки. Затем программа записывает данные в порт 514 UDP в localhost без времени ожидания. Чтобы выполнить служебную программу netcat, может потребоваться установить другой пакет.

     echo -n "<164>CEF:0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time" | nc -u -w0 localhost 514
     

   • Используйте средство ведения журнала. В этом примере сообщение записывается в local 4 объект на уровне Warningсерьезности, в порт 514на локальном узле в формате RFC CEF. --rfc3164 Флаги -t используются для соответствия ожидаемому формату RFC.

     logger -p local4.warn -P 514 -n 127.0.0.1 --rfc3164 -t CEF "0|Mock-test|MOCK|common=event-format-test|end|TRAFFIC|1|rt=$common=event-formatted-receive_time"
     

5. Чтобы убедиться, что соединитель установлен правильно, запустите скрипт устранения неполадок с помощью одной из следующих команд:

   • Для журналов CEF выполните следующую команду:

      sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --cef
     

   • Для журналов адаптивного устройства безопасности Cisco (ASA) выполните следующую команду:

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --asa
     

   • Для журналов Cisco Firepower Threat Defense (FTD) выполните следующую команду:

     sudo wget -O Sentinel_AMA_troubleshoot.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Sentinel_AMA_troubleshoot.py&&sudo python Sentinel_AMA_troubleshoot.py --ftd
     

Связанный контент

• Системный журнал и общий формат событий (CEF) через соединители AMA для Microsoft Sentinel
• Правила сбора данных в Azure Monitor
• CEF через соединитель данных AMA — настройка конкретного устройства или устройства для приема данных Microsoft Sentinel
• Системный журнал с помощью соединителя данных AMA — настройка конкретного устройства или устройства для приема данных Microsoft Sentinel