Поделиться через

Прием и преобразование пользовательских данных в Microsoft Sentinel

  • Статья

Log Analytics в Azure Monitor выступает в качестве платформы рабочей области Microsoft Sentinel. Все журналы, принимаемые в Microsoft Sentinel, по умолчанию сохраняются в Log Analytics. С помощью Microsoft Sentinel можно получать доступ к сохраненным журналам и выполнять запросы на языке запросов Kusto (KQL) для обнаружения угроз и отслеживания сетевой активности.

Процесс приема пользовательских данных Log Analytics обеспечивает высокий уровень контроля над получаемыми данными. Правила сбора данных (DCR) используются для сбора данных и управления ими даже перед их сохранением в рабочей области. Это позволяет фильтровать и расширять стандартные таблицы, а также создавать таблицы с широкими возможностями настройки для хранения данных из источников, создающих уникальные форматы журналов.

Microsoft Sentinel предоставляет два средства для управления этим процессом:

  • API приема журналов позволяет отправлять журналы пользовательского формата из любого источника данных в рабочую область Log Analytics и хранить эти журналы в определенных стандартных таблицах или в создаваемых вами таблицах с пользовательским форматированием. Вы полностью контролируете создание этих пользовательских таблиц, а также указываете имена и типы столбцов. Вы создаете контроллеры домена для определения, настройки и применения преобразований к этим потокам данных.

  • Сбор данных. С помощью правил DCR базовые запросов KQL применяются ко входящим стандартным журналам (и определенным типам пользовательских журналов), прежде чем они будут сохранены в рабочей области. В рамках этих преобразований можно отфильтровывать ненужные данные, обогащать существующие данные с помощью аналитики или внешних данных, а также маскировать конфиденциальные или персональные данные.

Эти два средства более подробно описаны ниже.

Варианты использования и примеры сценариев

Фильтрация

Преобразование во время приема позволяет отфильтровать ненужные данные, даже прежде чем они будут сохранены в рабочей области.

Можно выполнить фильтрацию на уровне записей (строк), указав условия для включения записей, или на уровне полей (столбцов), удалив содержимое для конкретных полей. Отфильтровав ненужные данные, можно:

  • сократить затраты, так как уменьшается объем требований к хранилищу;
  • повысить производительность, так как требуется меньше корректировок времени выполнения запросов.

Преобразование данных во время приема поддерживает сценарии с несколькими рабочими областями.

нормализация

Преобразование времени приема также позволяет нормализовать журналы при приеме в встроенные или нормализованные клиентом таблицы с расширенной информационной моделью безопасности (ASIM). Использование нормализации времени приема повышает производительность нормализованных запросов.

Дополнительные сведения см. в разделе нормализации времени приема.

Обогащение данных и добавление тегов

Кроме того, преобразование во время приема позволяет улучшить аналитику, обогащая данные дополнительными столбцами, которые добавляются в настроенное преобразование KQL. Дополнительные столбцы могут включать проанализированные либо вычисленные данные из существующих столбцов или данные из структур данных, созданных в режиме реального времени.

Например, можно добавить дополнительные сведения, такие как внешние данные отдела кадров, расширенное описание события или классификации, зависящие от пользователя, расположения либо типа действия.

Маскирование

Кроме того, с помощью преобразования во время приема можно маскировать или удалять персональные данные. Например, преобразование данных можно использовать для маскирования всех цифр номера социального страхования или номера кредитной карты, кроме последних, или замены других типов персональных данных незначимыми либо фиктивными данными или стандартным текстом. Маскируйте персональные данные во время приема, чтобы повысить уровень безопасности в сети.

Поток приема данных в Microsoft Sentinel

На следующем рисунке показано, где преобразование данных приема во время приема вводит поток приема данных в Microsoft Sentinel.

Microsoft Sentinel собирает данные в рабочую область Log Analytics из нескольких источников.

  • Данные из встроенных соединителей данных обрабатываются в Log Analytics с помощью некоторых сочетаний жестко закодированных рабочих процессов и преобразований во время приема в рабочей области DCR. Эти данные можно хранить в стандартных таблицах или в определенном наборе пользовательских таблиц.
  • Данные, принятые непосредственно в конечную точку API приема журналов, обрабатываются стандартным DCR, который может включать преобразование времени приема. Затем эти данные можно хранить в стандартных или пользовательских таблицах любого типа.

Схема архитектуры преобразования данных Microsoft Sentinel.

Поддержка DCR в Microsoft Sentinel

В Log Analytics правила сбора данных (DCR) определяют поток данных для различных входных потоков. Поток данных включает следующее: поток данных для преобразования (стандартный или пользовательский), целевую рабочую область, преобразование KQL и выходную таблицу. Для стандартных входных потоков выходная таблица совпадает со входным потоком.

Поддержка правил DCR в Microsoft Sentinel включает следующее:

  • Стандартные контроллеры домена, которые в настоящее время поддерживаются только для соединителей и рабочих процессов на основе AMA с помощью API приема журналов.

    Каждый рабочий процесс соединителя или источника журналов может иметь собственное выделенное стандартное правило DCR, но несколько соединителей или источников также могут совместно использовать общее стандартное правило DCR.

  • Правила DCR преобразования рабочей области для рабочих процессов, которые сейчас не поддерживают стандартные правила DCR.

    Одно правило DCR преобразования рабочей области обслуживает все поддерживаемые рабочие процессы в рабочей области, которые не обслуживаются стандартным правилом DCR. Рабочая область может использовать только одно правило DCR преобразования рабочей области, но DCR содержит отдельные преобразования для каждого входного потока. Кроме того, правила DCR преобразования рабочей области поддерживаются только для определенного набора таблиц.

Поддержка Microsoft Sentinel преобразования во время приема зависит от типа используемого соединителя данных. Дополнительные сведения о пользовательских журналах, преобразовании во время приема и правилах сбора данных см. в статьях, связанных с разделом "Связанное содержимое" в конце этой статьи.

Поддержка DCR для соединителей данных Microsoft Sentinel

В следующей таблице описана поддержка DCR для типов соединителей данных Microsoft Sentinel:

Тип соединителя данных Поддержка DCR
Прямой прием через API приема журналов Стандартные правила DCR
Стандартные журналы AMA, такие как:
  • события безопасности Windows, использующие AMA;
  • перенаправленные события Windows;
  • данные CEF;
  • Данные системного журнала
    		•  Стандартные правила DCR
    Подключения на основе диагностических настроек Правила DCR преобразования рабочей области на основе поддерживаемых выходных таблиц для конкретных соединителей данных
    Встроенные соединители данных между службами, такие как:
  • Microsoft Office 365
  • Microsoft Entra ID
  • Amazon S3
    		•  Правила DCR преобразования рабочей области на основе поддерживаемых выходных таблиц для конкретных соединителей данных
    Встроенный соединитель данных на основе API, например:
  • соединители данных без кода;
    		•  Стандартные правила DCR
    Встроенные соединители данных на основе API, такие как:
  • Устаревшие соединители данных без кода
  • соединители данных Azure на основе Функций Azure.
    		•  В настоящий момент не поддерживается

    Поддержка преобразования данных для пользовательских соединителей данных

    Если вы создали пользовательские соединители данных для Microsoft Sentinel, с помощью правил DCR можно настроить анализ данных и их сохранение в рабочей области Log Analytics.

    Сейчас для приема пользовательских журналов поддерживаются только следующие таблицы:

    Дополнительные сведения см. в таблицах, поддерживающих преобразования времени приема.

    Ограничения

    Сейчас для соединителей данных Microsoft Sentinel известны следующие проблемы с преобразованием данных во время приема:

    • Преобразования данных с использованием правил DCR преобразований рабочей области поддерживаются только для каждой таблицы, а не для каждого соединителя.

      Для всей рабочей области можно использовать только одно правило DCR преобразования рабочей области. В рамках этого правила DCR каждая таблица может использовать отдельный входной поток с собственным преобразованием. Разделение данных на несколько назначений (рабочие области Log Analytics) с преобразованием рабочей области DCR невозможно. Соединители данных на основе AMA используют конфигурацию, определяемую в связанном DCR для входных и выходных потоков и преобразований, и игнорируйте преобразование преобразования рабочей области DCR.

    • Следующие конфигурации поддерживаются только при использовании API:

    • Для применения конфигураций преобразования данных может потребоваться до 60 минут.

    • Синтаксис KQL: поддерживаются не все операторы. Дополнительные сведения см. в разделах Ограничения KQL и Поддерживаемые функции KQL документации по Azure Monitor.

    • Журналы можно отправлять только из одного источника данных в одну рабочую область. Чтобы отправить данные из одного источника данных в несколько рабочих областей (назначения) с помощью стандартного DCR, создайте один DCR для каждой рабочей области.

    Связанный контент

    Дополнительные сведения см. в разделе:

    Более подробные сведения о преобразовании во время приема, API пользовательских журналов и правилах сбора данных см. в следующих статьях документации по Azure Monitor: