Поделиться через

Прием данных из Splunk Universal Forwarder в Azure Data Explorer

  • Статья

Внимание

Этот соединитель можно использовать в аналитике в режиме реального времени в Microsoft Fabric. Используйте инструкции в этой статье со следующими исключениями:

Splunk Universal Forwarder — это упрощенная версия программного обеспечения Splunk Enterprise , которая позволяет одновременно получать данные из многих источников. Он предназначен для сбора и пересылки данных журнала и данных компьютера из различных источников на центральный сервер Splunk Enterprise или развертывание Splunk Cloud. Splunk Universal Forwarder служит агентом, упрощающим процесс сбора и пересылки данных, что делает его важным компонентом в развертывании Splunk. Azure Data Explorer — это быстрая и высокомасштабируемая служба для изучения данных журналов и телеметрии.

Из этой статьи вы узнаете, как использовать соединитель универсального пересылки Kusto Splunk для отправки данных в таблицу в кластере. Сначала вы создаете сопоставление таблиц и данных, а затем направляете Splunk для отправки данных в таблицу, а затем проверяете результаты.

Необходимые компоненты

Создание таблицы Azure Data Explorer

Создайте таблицу для получения данных из Splunk Universal Forwarder и предоставьте субъекту-службе доступ к этой таблице.

На следующих шагах вы создадите таблицу SplunkUFLogs с одним столбцом (RawText). Это связано с тем, что Splunk Universal Forwarder отправляет данные в необработанном текстовом формате по умолчанию. В редакторе запросов веб-интерфейса можно выполнять следующие команды.

  1. Создайте таблицу:

    .create table SplunkUFLogs (RawText: string)

  2. Убедитесь, что таблица SplunkUFLogs создана и пуста:

    SplunkUFLogs
| count

  3. Используйте субъект-службу из необходимых компонентов, чтобы предоставить разрешение на работу с базой данных, содержащей таблицу.

    .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'

Настройка универсального средства пересылки Splunk

При скачивании Splunk Universal Forwarder откроется мастер настройки средства пересылки.

  1. В мастере задайте индексатору получения указатель на систему, на котором размещен соединитель Универсального пересылки Kusto Splunk. Введите 127.0.0.1 имя узла или IP-адрес и 9997 порт. Оставьте конечный индексатор пустым.

    Дополнительные сведения см. в разделе "Включение приемника для Splunk Enterprise".

  2. Перейдите в папку, в которой установлен универсальный сервер пересылки Splunk, а затем в папку /etc/system/local . Создайте или измените файл inputs.conf , чтобы разрешить пересылке читать журналы:

    [default]
index = default
disabled = false

[monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
sourcetype = modinput_eventgen

    Дополнительные сведения см. в разделе "Мониторинг файлов и каталогов с помощью inputs.conf".

  3. Перейдите в папку, в которой установлен универсальный сервер пересылки Splunk, а затем в папку /etc/system/local . Создайте или измените файл outputs.conf , чтобы определить расположение для журналов, которое является именем узла и портом системы, в которой размещен соединитель Универсального пересылки Kusto Splunk:

    [tcpout]
defaultGroup = default-autolb-group
sendCookedData = false

[tcpout:default-autolb-group]
server = 127.0.0.1:9997

[tcpout-server://127.0.0.1:9997]

    Дополнительные сведения см. в разделе "Настройка пересылки с помощью outputs.conf".

  4. Перезапустите универсальный сервер пересылки Splunk.

Настройка универсального соединителя Kusto Splunk

Чтобы настроить универсальный соединитель Kusto Splunk для отправки журналов в таблицу Azure Data Explorer:

  1. Скачайте или клонируйте соединитель из репозитория GitHub.

  2. Перейдите в базовый каталог соединителя:

    cd .\SplunkADXForwarder\

  3. Измените config.yml , чтобы содержать следующие свойства:

    ingest_url: <ingest_url>
client_id: <ms_entra_app_client_id>
client_secret: <ms_entra_app_client_secret>
authority: <ms_entra_authority>
database_name: <database_name>
table_name: <table_name>
table_mapping_name: <table_mapping_name>
data_format: csv
    Поле Description
    ingest_url URL-адрес приема для кластера Azure Data Explorer. Его можно найти в портал Azure в URI приема данных на вкладке "Обзор" кластера. Ее необходимо указать в формате https://ingest-<clusterName>.<region>.kusto.windows.net.
    client_id Идентификатор клиента регистрации приложения Microsoft Entra, созданного в разделе предварительных требований.
    client_secret Секрет клиента регистрации приложения Microsoft Entra, созданный в разделе предварительных требований.
    authority Идентификатор клиента, который содержит регистрацию приложения Microsoft Entra, созданного в разделе предварительных требований.
    database_name Имя базы данных Azure Data Explorer.
    table_name Имя целевой таблицы Azure Data Explorer.
    table_mapping_name Имя сопоставления данных приема для таблицы. Если у вас нет сопоставления, это свойство можно опустить из файла конфигурации. Вы всегда можете анализировать данные в различных столбцах позже.
    data_format Ожидаемый формат данных для входящих данных. Входящие данные в формате необработанного текста, поэтому рекомендуемый формат — csvэто формат, который сопоставляет необработанный текст с нулевым индексом по умолчанию.

  4. Создайте образ Docker:

    docker build -t splunk-forwarder-listener

  5. Запустите контейнер Docker:

    docker run -p 9997:9997 splunk-forwarder-listener

Проверка приема данных в Azure Data Explorer

После запуска docker данные отправляются в таблицу Azure Data Explorer. Вы можете убедиться, что данные приемуются, выполнив запрос в редакторе запросов веб-интерфейса.

  1. Выполните следующий запрос, чтобы проверить прием данных в таблицу:

    SplunkUFLogs
| count

  2. Выполните следующий запрос, чтобы просмотреть данные:

    SplunkUFLogs
| take 100

Связанный контент