Настройка автоматической отправки журналов с помощью Docker в Azure

В этой статье описывается настройка автоматической отправки журналов для непрерывных отчетов в Defender for Cloud Apps с помощью Docker в Ubuntu или CentOS в Azure.

Предварительные условия

Перед началом работы убедитесь, что ваша среда соответствует следующим требованиям:

Требования	Описание
ОС	Один из следующих продуктов: — Ubuntu 14.04, 16.04, 18.04 и 20.04 — CentOS 7.2 или более поздней версии
Место на диске	250 ГБ
Ядра ЦП	2
Архитектура ЦП	Intel 64 и AMD 64
ОЗУ	4 ГБ
Конфигурация брандмауэра	Как определено в разделе Требования к сети

Планирование сборщиков журналов по производительности

Каждый сборщик журналов может успешно обрабатывать емкость журнала до 50 ГБ в час, состоящую из 10 источников данных. Ниже перечислены main узкие места в процессе сбора журналов.

• Пропускная способность сети. Скорость передачи журнала определяется пропускной способностью сети.

• Производительность ввода-вывода виртуальной машины определяет скорость записи журналов на диск сборщика журналов. Сборщик журналов имеет встроенный механизм безопасности, который отслеживает скорость поступления журналов и сравнивает ее со скоростью отправки. В случаях перегрузки сборщик журналов начинает удалять файлы журналов. Если настройка обычно превышает 50 ГБ в час, рекомендуется разделить трафик между несколькими сборщиками журналов.

Если требуется более 10 источников данных, рекомендуется разделить источники данных между несколькими сборщиками журналов.

Определение источников данных

1. На портале Microsoft Defender выберите Параметры Облачные > приложения > Cloud Discovery > Автоматическая отправка журнала.

2. На вкладке Источники данных создайте соответствующий источник данных для каждого брандмауэра или прокси-сервера, из которого требуется отправить журналы:

   1. Выберите Добавить источник данных.

   2. В диалоговом окне Добавление источника данных введите имя источника данных, а затем выберите тип источника и получателя.

      Перед выбором источника выберите Просмотреть пример ожидаемого файла журнала и сравните журнал с ожидаемым форматом. Если формат файла журнала не соответствует этому примеру, добавьте источник данных в значение Другое.

      Чтобы работать с сетевым (модуль), который не указан в списке, выберите Другой > формат журнала клиента или Другое (только вручную). Дополнительные сведения см. в статье Работа с пользовательским анализатором журналов.

   Примечание.

   Для интеграции с протоколами безопасной передачи (FTPS и Syslog — TLS) часто требуются дополнительные параметры брандмауэра или прокси-сервера. Дополнительные сведения см. в разделе Расширенное управление сборщиком журналов.

Повторите этот процесс для каждого брандмауэра и прокси-сервера, журналы которых можно использовать для обнаружения трафика в сети.

Рекомендуется настроить выделенный источник данных на каждое сетевое устройство, что позволяет отслеживать состояние каждого устройства отдельно для целей исследования и просматривать обнаружение теневых ИТ-ресурсов для каждого устройства, если каждое устройство используется в разных сегментах пользователей.

Создание сборщика журналов

1. На портале Microsoft Defender выберите Параметры Облачные > приложения > Cloud Discovery > Автоматическая отправка журнала.

2. На вкладке Сборщики журналов выберите Добавить сборщик журналов.

3. В диалоговом окне Создание сборщика журналов введите следующие сведения:

   • Имя сборщика журналов
   • IP-адрес узла, который является частным IP-адресом компьютера, который будет использоваться для развертывания Docker. IP-адрес узла также можно заменить именем компьютера при наличии DNS-сервера или эквивалента для разрешения имени узла.

   Затем выберите поле Источники данных , чтобы выбрать источники данных, которые нужно подключить к сборщику, и нажмите кнопку Обновить , чтобы сохранить изменения. Каждый сборщик журналов может обрабатывать несколько источников данных.

   В диалоговом окне Создание сборщика журналов отображаются дополнительные сведения о развертывании, включая команду для импорта конфигурации сборщика. Например:

   

4. Щелкните Копировать значок рядом с командой, чтобы скопировать его в буфер обмена.

   Сведения, отображаемые в диалоговом окне Создание сборщика журналов , отличаются в зависимости от выбранного типа источника и получателя. Например, если вы выбрали Системный журнал, в диалоговом окне содержатся сведения о том, какой порт прослушивает прослушиватель системного журнала.

   Скопируйте содержимое экрана и сохраните его локально, так как они потребуются при настройке сборщика журналов для связи с Defender for Cloud Apps.

5. Выберите Экспорт , чтобы экспортировать исходную конфигурацию в .CSV файл, в котором описывается настройка экспорта журналов в устройствах.

Совет

Для пользователей, отправляющих данные журнала через FTP в первый раз, рекомендуется изменить пароль для пользователя FTP. Дополнительные сведения см. в разделе Изменение пароля FTP.

Развертывание компьютера в Azure

В этой процедуре описывается развертывание компьютера с помощью Ubuntu. Шаги развертывания для других платформ немного отличаются.

1. Создайте компьютер Ubuntu в среде Azure.

2. После того как компьютер будет включен, откройте порты:

   1. В представлении компьютера перейдите в раздел Сеть , выберите соответствующий интерфейс, дважды щелкнув его.

   2. Перейдите в раздел Группа безопасности сети и выберите соответствующую группу безопасности сети.

   3. Перейдите в раздел Правила безопасности для входящего трафика и нажмите кнопку Добавить.

   4. Добавьте следующие правила (в расширенном режиме):

      Имя	Диапазоны портов назначения	Протокол	Source	Цель
      caslogcollector_ftp	21	TCP	Your appliance's IP address's subnet	Любой
      caslogcollector_ftp_passive	20000-20099	TCP	Your appliance's IP address's subnet	Любой
      caslogcollector_syslogs_tcp	601-700	TCP	Your appliance's IP address's subnet	Любой
      caslogcollector_syslogs_udp	514-600	UDP	Your appliance's IP address's subnet	Любой

   Дополнительные сведения см. в статье Работа с правилами безопасности.

3. Назад на компьютер и нажмите кнопку Подключить, чтобы открыть терминал на компьютере.

4. Измените права на привилегированные с помощью sudo -i.

5. Если вы принимаете условия лицензионного соглашения на программное обеспечение, удалите старые версии и установите Docker CE, выполнив команды, соответствующие вашей среде:

   CentOS

   1. Удалите старые версии Docker: yum erase docker docker-engine docker.io

   2. Необходимые компоненты для установки подсистемы Docker: yum install -y yum-utils

   3. Добавьте репозиторий Docker:

      yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
      yum makecache
      

   4. Установите подсистему Docker: yum -y install docker-ce

   5. Запуск Docker

      systemctl start docker
      systemctl enable docker
      

   6. Проверка установки Docker: docker run hello-world

   Ubuntu

   1. Удалите старые версии Docker: apt-get remove docker docker-engine docker.io

   2. Если вы устанавливаете в Ubuntu 14.04, установите пакет linux-image-extra.

      apt-get update -y
      apt-get install -y linux-image-extra-$(uname -r) linux-image-extra-virtual
      

   3. Необходимые компоненты для установки подсистемы Docker:

      apt-get update -y
      (apt-get install -y apt-transport-https ca-certificates curl software-properties-common && curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add - )
      

   4. Убедитесь, что идентификатор пользовательского идентификатора apt-отпечаток ключа имеет значение docker@docker.com:apt-key fingerprint | grep uid

   5. Установите подсистему Docker:

      add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
      apt-get update -y
      apt-get install -y docker-ce
      

   6. Проверка установки Docker: docker run hello-world

6. Выполните команду, скопированную ранее из диалогового окна Создание сборщика журналов . Например:

   (echo db3a7c73eb7e91a0db53566c50bab7ed3a755607d90bb348c875825a7d1b2fce) | docker run --name MyLogCollector -p 21:21 -p 20000-20099:20000-20099 -e "PUBLICIP='192.168.1.1'" -e "PROXY=192.168.10.1:8080" -e "CONSOLE=mod244533.us.portal.cloudappsecurity.com" -e "COLLECTOR=MyLogCollector" --security-opt apparmor:unconfined --cap-add=SYS_ADMIN --restart unless-stopped -a stdin -i mcr.microsoft.com/mcas/logcollector starter
   

7. Чтобы убедиться, что сборщик журналов работает правильно, выполните следующую команду: Docker logs <collector_name>. Вы должны получить результаты: успешно завершено!

Настройка сетевых (модуль) локальных параметров

Настройте сетевые брандмауэры и прокси-серверы для периодического экспорта журналов в выделенный порт syslog каталога FTP в соответствии с инструкциями в диалоговом окне. Например:

BlueCoat_HQ - Destination path: \<<machine_name>>\BlueCoat_HQ\

Проверка развертывания в Defender for Cloud Apps

Проверьте состояние сборщика в таблице Сборщик журналов и убедитесь, что состояние подключено. Если он создан, возможно, подключение к сборщику журналов и синтаксический анализ не завершены.

Например:

Вы также можете перейти к журналу управления и убедиться, что журналы периодически отправляются на портал.

Кроме того, можно проверка состояние сборщика журналов из контейнера Docker с помощью следующих команд:

1. Войдите в контейнер с помощью следующей команды: docker exec -it <Container Name> bash
2. Проверьте состояние сборщика журналов с помощью следующей команды: collector_status -p

Если во время развертывания возникли проблемы, см. статью Устранение неполадок с обнаружением облака.

Необязательно. Создание пользовательских непрерывных отчетов

Убедитесь, что журналы отправляются в Defender for Cloud Apps и что создаются отчеты. После проверки создайте настраиваемые отчеты. Вы можете создавать настраиваемые отчеты об обнаружении на основе Microsoft Entra групп пользователей. Например, если вы хотите просмотреть использование облачных технологий отдела маркетинга, импортируйте маркетинговую группу с помощью функции импорта группы пользователей. Затем создайте пользовательский отчет для этой группы. Вы также можете настроить отчет на основе тега IP-адреса или диапазонов IP-адресов.

1. На портале Microsoft Defender выберите Параметры. Затем выберите Облачные приложения.

2. В разделе Cloud Discovery выберите Непрерывные отчеты.

3. Нажмите кнопку Создать отчет и заполните поля.

4. В разделе Фильтры можно фильтровать данные по источнику данных, импортированной группе пользователей или по тегам и диапазонам IP-адресов.

   Примечание.

   При применении фильтров к непрерывным отчетам выбор будет включен, а не исключен. Например, если применить фильтр к определенной группе пользователей, в отчет будет включена только эта группа пользователей.

   

Удаление сборщика журналов

Если у вас есть сборщик журналов и вы хотите удалить его перед его развертыванием снова или просто удалить его, выполните следующие команды:

docker stop <collector_name>
docker rm <collector_name>

Дальнейшие действия

Изменение конфигурации FTP сборщика журналов

Если у вас возникнут какие-либо проблемы, мы здесь, чтобы помочь. Чтобы получить помощь или поддержку по проблеме с продуктом, отправьте запрос в службу поддержки.