Erfassen von Daten aus Splunk in Azure Data Explorer

Wichtig

Dieser Connector kann in Echtzeitintelligenz in Microsoft Fabric verwendet werden. Verwenden Sie die Anweisungen in diesem Artikel mit den folgenden Ausnahmen:

• Erstellen Sie bei Bedarf Datenbanken mithilfe der Anweisungen in Erstellen einer KQL-Datenbank.
• Erstellen Sie bei Bedarf Tabellen mithilfe der Anweisungen in Erstellen einer leeren Tabelle.
• Abrufen von Abfrage- oder Erfassungs-URIs mithilfe der Anweisungen in URI kopieren.
• Führen Sie Abfragen in einem KQL-Abfrageset aus.

Splunk Enterprise ist eine Softwareplattform, mit der Sie Daten aus vielen Quellen gleichzeitig erfassen können. Der Splunk-Indexer verarbeitet die Daten und speichert sie standardmäßig im Hauptindex oder einem angegebenen benutzerdefinierten Index. Bei der Suche in Splunk werden die indizierten Daten zum Erstellen von Metriken, Dashboards und Benachrichtigungen verwendet. Azure-Daten-Explorer ist ein schneller und hochgradig skalierbarer Dienst zur Untersuchung von Daten (Protokoll- und Telemetriedaten).

In diesem Artikel erfahren Sie, wie Sie das Azure Data Explorer-Splunk-Add-On verwenden, um Daten von Splunk an eine Tabelle in Ihrem Cluster zu senden. Sie erstellen zunächst eine Tabellen- und Datenzuordnung, leiten Splunk dann an, Daten in die Tabelle zu senden, und anschließend überprüfen Sie die Ergebnisse.

Die folgenden Szenarios eignen sich am besten für das Erfassen von Daten in Azure Data Explorer:

• Daten mit hohem Volumen: Azure Data Explorer ist für die effiziente Verarbeitung großer Datenmengen konzipiert. Wenn Ihre Organisation eine erhebliche Menge an Daten generiert, die eine Echtzeitanalysen erfordern, ist Azure Data Explorer eine geeignete Wahl.
• Zeitreihendaten: Azure Data Explorer eignet sich für die Verarbeitung von Zeitreihendaten (z. B. Protokolle, Telemetriedaten und Sensormesswerte). Der Dienst organisiert Daten in zeitbasierten Partitionen und erleichtert die Durchführung zeitbasierter Analysen und Aggregationen.
• Echtzeitanalysen: Wenn Ihre Organisation Echtzeiteinblicke zu den eingehenden Daten erfordert, können die Quasi-Echtzeit-Funktionen von Azure Data Explorer von Vorteil sein.

Voraussetzungen

• Ein Microsoft-Konto oder eine Microsoft Entra-Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Splunk Enterprise 9 oder höher
• Ein Microsoft Entra-Dienstprinzipal. Erstellen Sie einen Microsoft Entra-Dienstprinzipal.

Erstellen einer Tabelle und eines Zuordnungsobjekts

Nachdem Sie über einen Cluster und eine Datenbank verfügen, erstellen Sie eine Tabelle mit einem Schema, das Ihren Splunk-Daten entspricht. Erstellen Sie zudem ein Zuordnungsobjekt, das zum Transformieren der eingehenden Daten in das Zieltabellenschema verwendet wird.

Im folgenden Beispiel erstellen Sie eine Tabelle namens WeatherAlert mit vier Spalten: Timestamp, Temperature, Humidity und Weather. Erstellen Sie auch eine neue Zuordnung namens WeatherAlert_Json_Mapping, die Eigenschaften wie von path angegeben aus den eingehenden JSON-Daten extrahiert und an die angegebene column ausgibt.

Führen Sie im Webbenutzeroberflächen-Abfrage-Editor die folgenden Befehle aus, um die Tabelle und die Zuordnung zu erstellen:

1. Erstellen einer Tabelle:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Überprüfen Sie, ob die Tabelle WeatherAlert erstellt wurde und leer ist:

   WeatherAlert
   | count
   

3. Erstellen Sie ein Zuordnungsobjekt:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Verwenden Sie den Dienstprinzipal aus dem Abschnitt für die Voraussetzungen, um die Berechtigung zum Arbeiten mit der Datenbank zu erteilen.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Installieren des Splunk-Azure Data Explorer-Add-Ons

Das Splunk-Add-On kommuniziert mit Azure Data Explorer und sendet die Daten an die angegebene Tabelle.

1. Laden Sie das Azure Data Explorer-Add-On herunter.

2. Melden Sie sich als Administrator bei Ihrer Splunk-Instanz an.

3. Navigieren Sie zu Apps>Apps verwalten.

4. Klicken Sie auf die Option App über Datei installieren, und wählen Sie dann die heruntergeladene Datei für das Azure Data Explorer-Add-On aus.

5. Folge den Bildschirmanweisungen, um die Installation abzuschließen.

6. Klicken Sie auf Jetzt neu starten.

7. Überprüfen Sie, ob das Add-On installiert ist, indem Sie zu Dashboard>Benachrichtigungsaktionen navigieren und nach dem Azure Data Explorer-Add-On suchen.

   

Erstellen eines neuen Indexes in Splunk

Erstellen Sie einen Index in Splunk, der die Kriterien für die Daten angibt, die Sie an Azure Data Explorer senden möchten.

1. Melden Sie sich als Administrator bei Ihrer Splunk-Instanz an.
2. Navigieren Sie zu Einstellungen>Indizes.
3. Geben Sie einen Namen für den Index an, und konfigurieren Sie die Kriterien für die Daten, die Sie an Azure Data Explorer senden möchten.
4. Konfigurieren Sie die verbleibenden Eigenschaften nach Bedarf, und speichern Sie dann den Index.

Konfigurieren des Splunk-Add-Ons zum Senden von Daten an Azure Data Explorer

1. Melden Sie sich als Administrator bei Ihrer Splunk-Instanz an.

2. Wechseln Sie zum Dashboard, und verwenden Sie den zuvor erstellten Index für die Suche. Wenn Sie beispielsweise einen Index namens WeatherAlerts erstellt haben, suchen Sie nach index="WeatherAlerts".

3. Wählen Sie Speichern unter>Benachrichtigung aus.

4. Geben Sie den Namen, das Intervall und die Bedingungen an, die für die Benachrichtigung erforderlich sind.

   

5. Wählen Sie unter Triggeraktionen die Optionen Aktionen hinzufügen>An Microsoft Azure Data Explorer senden aus.

   

6. Konfigurieren Sie die Verbindungsdetails wie folgt:

   Einstellung	Beschreibung
   Clustererfassungs-URL	Geben Sie die Erfassungs-URL Ihres Azure Data Explorer-Clusters an. Beispiel: https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Client ID	Geben Sie die Client-ID der Zuvor erstellten Microsoft Entra-Anwendung an.
   Geheimer Clientschlüssel	Geben Sie den geheimen Clientschlüssel der zuvor erstellten Microsoft Entra-Anwendung an.
   Mandanten-ID	Geben Sie die Mandanten-ID der zuvor erstellten Microsoft Entra-Anwendung an.
   Datenbank	Geben Sie den Namen der Datenbank an, an die die Daten gesendet werden sollen.
   Tabelle	Geben Sie den Namen der Tabelle an, an die die Daten gesendet werden sollen.
   Zuordnung	Geben Sie den Namen des zuvor erstellten Zuordnungsobjekts an.
   Zusätzliche Felder entfernen	Wählen Sie diese Option aus, um alle leeren Felder aus den an Ihren Cluster gesendeten Daten zu entfernen.
   Permanenter Modus	Aktivieren Sie diese Option, um den permanenten Modus während der Erfassung zu aktivieren. Bei Festlegung auf „true“ wird der Erfassungsdurchsatz beeinträchtigt.

   

7. Wählen Sie Speichern aus, um die Benachrichtigung zu speichern.

8. Navigieren Sie zur Seite Benachrichtigungen, und stellen Sie sicher, dass Ihre Benachrichtigung in der Liste der Benachrichtigungen angezeigt wird.

   

Überprüfen, ob Daten in Azure Data Explorer erfasst werden

Sobald die Benachrichtigung ausgelöst wurde, werden Daten an Ihre Azure Data Explorer-Tabelle gesendet. Sie können überprüfen, ob die Daten erfasst werden, indem Sie eine Abfrage im Webbenutzeroberflächen-Abfrage-Editor ausführen.

1. Führen Sie die folgende Abfrage aus, um zu überprüfen, ob Daten in die Tabelle aufgenommen werden:

   WeatherAlert
   | count
   

2. Führen Sie die folgende Abfrage aus, um die Daten anzuzeigen:

   WeatherAlert
   | take 100
   

   

Zugehöriger Inhalt

• Write queries (Schreiben von Abfragen)