Freigeben über

Erfassen von Daten aus Splunk Universal Forwarder in Azure Data Explorer

  • Artikel

Wichtig

Dieser Connector kann in Echtzeitintelligenz in Microsoft Fabric verwendet werden. Verwenden Sie die Anweisungen in diesem Artikel mit den folgenden Ausnahmen:

Splunk Universal Forwarder ist eine einfache Version der Splunk Enterprise-Software, die das Erfassen von Daten aus vielen Quellen gleichzeitig ermöglicht. Sie wurde für das Sammeln und Weiterleiten von Protokolldaten und Computerdaten aus verschiedenen Quellen an einen zentralen Splunk Enterprise-Server oder eine Splunk Cloud-Bereitstellung entwickelt. Splunk Universal Forwarder dient als Agent, der den Prozess der Datensammlung und -weiterleitung vereinfacht und so zu einer wesentlichen Komponente in einer Splunk-Bereitstellung macht. Azure-Daten-Explorer ist ein schneller und hochgradig skalierbarer Dienst zur Untersuchung von Daten (Protokoll- und Telemetriedaten).

In diesem Artikel erfahren Sie, wie Sie mit dem Kusto Splunk Universal Forwarder-Connector Daten an eine Tabelle in Ihrem Cluster senden. Sie erstellen zunächst eine Tabellen- und Datenzuordnung, leiten Splunk dann an, Daten in die Tabelle zu senden, und anschließend überprüfen Sie die Ergebnisse.

Voraussetzungen

Erstellen einer Azure Data Explorer-Tabelle

Erstellen Sie eine Tabelle, um die Daten von Splunk Universal Forwarder zu empfangen, und gewähren Sie dann dem Dienstprinzipal Zugriff auf diese Tabelle.

In den folgenden Schritten erstellen Sie eine Tabelle namens SplunkUFLogs mit einer einzelnen Spalte (RawText). Dies liegt daran, dass Splunk Universal Forwarder standardmäßig Daten in einem unformatierten Textformat sendet. Die folgenden Befehle können im Webbenutzeroberflächen-Abfrage-Editor ausgeführt werden.

  1. Erstellen einer Tabelle:

    .create table SplunkUFLogs (RawText: string)

  2. Überprüfen Sie, ob die Tabelle SplunkUFLogs erstellt wurde und leer ist:

    SplunkUFLogs
| count

  3. Verwenden Sie den Dienstprinzipal aus dem Abschnitt für die Voraussetzungen, um die Berechtigung zum Arbeiten mit der Datenbank zu erteilen, die Ihre Tabelle enthält.

    .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'

Konfigurieren von Splunk Universal Forwarder

Wenn Sie Splunk Universal Forwarder herunterladen, wird ein Assistent geöffnet, um die Weiterleitung zu konfigurieren.

  1. Legen Sie im Assistenten den Empfangsindexer so fest, dass er auf das System zeigt, das den Kusto Splunk Universal Forwarder-Connector hostet. Geben Sie 127.0.0.1 für Hostname oder IP und 9997 für den Port ein. Lassen Sie die Option Zielindexer leer.

    Weitere Informationen finden Sie unter Aktivieren eines Empfängers für Splunk Enterprise.

  2. Navigieren Sie zu dem Ordner, in dem Splunk Universal Forwarder installiert ist, und wechseln Sie dann zum Ordner /etc/system/local. Erstellen oder ändern Sie die Datei inputs.conf, damit der Splunk Universal Forwarder Protokolle lesen kann:

    [default]
index = default
disabled = false

[monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
sourcetype = modinput_eventgen

    Weitere Informationen finden Sie unter Überwachen von Dateien und Verzeichnissen mit „inputs.conf“.

  3. Navigieren Sie zu dem Ordner, in dem Splunk Universal Forwarder installiert ist, und wechseln Sie dann zum Ordner /etc/system/local. Erstellen oder ändern Sie die Datei outputs.conf, um den Zielspeicherort für die Protokolle festzulegen, bei dem es sich um den Hostnamen und den Port des Systems handelt, das den Kusto Splunk Universal Forwarder-Connector hostet:

    [tcpout]
defaultGroup = default-autolb-group
sendCookedData = false

[tcpout:default-autolb-group]
server = 127.0.0.1:9997

[tcpout-server://127.0.0.1:9997]

    Weitere Informationen finden Sie unter Konfigurieren der Weiterleitung mit „outputs.conf“.

  4. Starten Sie Splunk Universal Forwarder neu.

Konfigurieren des Kusto Splunk Universal Forwarder-Connectors

Führen Sie die folgenden Schritte aus, um den Kusto Splunk Universal Forwarder-Connector zu konfigurieren und Protokolle an Ihre Azure Data Explorer-Tabelle zu senden:

  1. Laden Sie den Connector aus dem GitHub-Repositoryherunter, oder klonen Sie den Connector.

  2. Wechseln Sie zum Basisverzeichnis des Connectors:

    cd .\SplunkADXForwarder\

  3. Bearbeiten Sie die Datei config.yml so, dass sie die folgenden Eigenschaften enthält:

    ingest_url: <ingest_url>
client_id: <ms_entra_app_client_id>
client_secret: <ms_entra_app_client_secret>
authority: <ms_entra_authority>
database_name: <database_name>
table_name: <table_name>
table_mapping_name: <table_mapping_name>
data_format: csv
    Feld Beschreibung
    ingest_url Dies ist die Erfassungs-URL für Ihren Azure Data Explorer-Cluster. Sie finden sie im Azure-Portal unter Datenerfassungs-URI auf der Registerkarte Übersicht Ihres Clusters. Sie sollte folgendes Format aufweisen: https://ingest-<clusterName>.<region>.kusto.windows.net.
    client_id Dies ist die Client-ID Ihrer Microsoft Entra-Anwendungsregistrierung, die im Abschnitt Voraussetzungen erstellt wurde.
    client_secret Dies ist der geheime Clientschlüssel Ihrer Microsoft Entra-Anwendungsregistrierung, die im Abschnitt Voraussetzungen erstellt wurde.
    authority Dies ist die ID des Mandanten, der Ihre Microsoft Entra-Anwendungsregistrierung enthält, die im Abschnitt Voraussetzungen erstellt wurde.
    database_name Dies ist der Name Ihrer Azure Data Explorer-Datenbank.
    table_name Dies ist der Name Ihrer Azure Data Explorer-Zieltabelle.
    table_mapping_name Dies ist der Name der Erfassungsdatenzuordnung für die Tabelle. Wenn Sie nicht über eine Zuordnung verfügen, müssen Sie diese Eigenschaft aus der Konfigurationsdatei nicht berücksichtigen. Sie können Daten jederzeit später in verschiedene Spalten parsen.
    data_format Dies ist das erwartete Datenformat für eingehende Daten. Die eingehenden Daten weisen ein unformatiertes Textformat auf, weshalb csv das empfohlene Format ist, das den unformatierten Text standardmäßig dem Nullindex zuordnet.

  4. Erstellen Sie das Docker-Image:

    docker build -t splunk-forwarder-listener

  5. Führen Sie den Docker-Container aus:

    docker run -p 9997:9997 splunk-forwarder-listener

Überprüfen, ob Daten in Azure Data Explorer erfasst werden

Sobald der Docker ausgeführt wird, werden Daten an Ihre Azure Data Explorer-Tabelle gesendet. Sie können überprüfen, ob die Daten erfasst werden, indem Sie eine Abfrage im Webbenutzeroberflächen-Abfrage-Editor ausführen.

  1. Führen Sie die folgende Abfrage aus, um zu überprüfen, ob Daten in die Tabelle aufgenommen werden:

    SplunkUFLogs
| count

  2. Führen Sie die folgende Abfrage aus, um die Daten anzuzeigen:

    SplunkUFLogs
| take 100

Zugehöriger Inhalt