Pozyskiwanie danych z rozwiązania Splunk do usługi Azure Data Explorer

Ważne

Ten łącznik może być używany w analizie czasu rzeczywistego w usłudze Microsoft Fabric. Skorzystaj z instrukcji w tym artykule z następującymi wyjątkami:

• W razie potrzeby utwórz bazy danych, korzystając z instrukcji w temacie Tworzenie bazy danych KQL.
• W razie potrzeby utwórz tabele, korzystając z instrukcji w temacie Tworzenie pustej tabeli.
• Pobierz identyfikatory URI zapytań lub pozyskiwania, korzystając z instrukcji w temacie Copy URI (Kopiowanie identyfikatora URI).
• Uruchamianie zapytań w zestawie zapytań języka KQL.

Splunk Enterprise to platforma oprogramowania, która umożliwia pozyskiwanie danych z wielu źródeł jednocześnie. Indeksator Splunk przetwarza dane i przechowuje je domyślnie w indeksie głównym lub określonym indeksie niestandardowym. Wyszukiwanie w narzędziu Splunk używa indeksowanych danych do tworzenia metryk, pulpitów nawigacyjnych i alertów. Azure Data Explorer to szybka i wysoce skalowalna usługa eksploracji danych na potrzeby danych dziennika i telemetrycznych.

Z tego artykułu dowiesz się, jak dodatek Splunk usługi Azure Data Explorer wysyłać dane z rozwiązania Splunk do tabeli w klastrze. Początkowo utworzysz tabelę i mapowanie danych, a następnie przekierowujesz splunk w celu wysłania danych do tabeli, a następnie zweryfikuj wyniki.

Poniższe scenariusze są najbardziej odpowiednie do pozyskiwania danych do usługi Azure Data Explorer:

• Duże ilości danych: Usługa Azure Data Explorer została utworzona w celu wydajnego obsługi ogromnych ilości danych. Jeśli Organizacja generuje znaczną ilość danych, które wymagają analizy w czasie rzeczywistym, usługa Azure Data Explorer jest odpowiednim wyborem.
• Dane szeregów czasowych: usługa Azure Data Explorer wyróżnia się w obsłudze danych szeregów czasowych, takich jak dzienniki, dane telemetryczne i odczyty czujników. Organizuje dane w partycjach opartych na czasie, co ułatwia przeprowadzanie analizy i agregacji opartych na czasie.
• Analiza w czasie rzeczywistym: jeśli Twoja organizacja wymaga szczegółowych informacji w czasie rzeczywistym z danych przepływanych w czasie rzeczywistym, możliwości usługi Azure Data Explorer niemal w czasie rzeczywistym mogą być korzystne.

Wymagania wstępne

• Konto Microsoft lub tożsamość użytkownika Microsoft Entra. Subskrypcja platformy Azure nie jest wymagana.
• Baza danych i klaster usługi Azure Data Explorer. Utwórz klaster i bazę danych.
• Splunk Enterprise 9 lub nowszy.
• Jednostka usługi Firmy Microsoft Entra. Utwórz jednostkę usługi Entra firmy Microsoft.

Tworzenie tabeli i obiektu mapowania

Po utworzeniu klastra i bazy danych utwórz tabelę ze schematem zgodnym z danymi Splunk. Utworzysz również obiekt mapowania, który jest używany do przekształcania danych przychodzących w schemat tabeli docelowej.

W poniższym przykładzie utworzysz tabelę o nazwie z WeatherAlert czterema kolumnami: Timestamp, Temperature, Humidityi Weather. Utworzysz również nowe mapowanie o nazwie WeatherAlert_Json_Mapping , które wyodrębnia właściwości z przychodzącego pliku json, jak zanotowano w path pliku i wyprowadza je do określonego columnelementu .

W edytorze zapytań internetowego interfejsu użytkownika uruchom następujące polecenia, aby utworzyć tabelę i mapowanie:

1. Utwórz tabelę:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Sprawdź, czy tabela WeatherAlert została utworzona i jest pusta:

   WeatherAlert
   | count
   

3. Utwórz obiekt mapowania:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Użyj jednostki usługi z sekcji Wymagania wstępne , aby udzielić uprawnień do pracy z bazą danych.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalowanie dodatku Splunk Azure Data Explorer

Dodatek Splunk komunikuje się z usługą Azure Data Explorer i wysyła dane do określonej tabeli.

1. Pobierz dodatek usługi Azure Data Explorer.

2. Zaloguj się do wystąpienia rozwiązania Splunk jako administrator.

3. Przejdź do pozycji Aplikacje>zarządzaj aplikacjami.

4. Wybierz pozycję Zainstaluj aplikację z pliku , a następnie pobrany plik dodatku usługi Azure Data Explorer.

5. Postępuj zgodnie z monitami, aby ukończyć instalację.

6. Wybierz pozycję Uruchom ponownie teraz.

7. Sprawdź, czy dodatek jest zainstalowany, przechodząc do sekcji Akcje alertów pulpitu nawigacyjnego>i wyszukując dodatek Usługi Azure Data Explorer.

   

Tworzenie nowego indeksu w narzędziu Splunk

Utwórz indeks w narzędziu Splunk określający kryteria danych, które chcesz wysłać do usługi Azure Data Explorer.

1. Zaloguj się do wystąpienia rozwiązania Splunk jako administrator.
2. Przejdź do pozycji Indeksy ustawień>.
3. Określ nazwę indeksu i skonfiguruj kryteria dotyczące danych, które chcesz wysłać do usługi Azure Data Explorer.
4. Skonfiguruj pozostałe właściwości zgodnie z wymaganiami, a następnie zapisz indeks.

Konfigurowanie dodatku Splunk w celu wysyłania danych do usługi Azure Data Explorer

1. Zaloguj się do wystąpienia rozwiązania Splunk jako administrator.

2. Przejdź do pulpitu nawigacyjnego i wyszukaj przy użyciu utworzonego wcześniej indeksu. Jeśli na przykład utworzono indeks o nazwie WeatherAlerts, wyszukaj ciąg index="WeatherAlerts".

3. Wybierz pozycję Zapisz jako>alert.

4. Określ nazwę, interwał i warunki zgodnie z wymaganiami alertu.

   

5. W obszarze Akcje wyzwalacza wybierz pozycję Dodaj akcje>wysyłane do usługi Microsoft Azure Data Explorer.

   

6. Skonfiguruj szczegóły połączeń w następujący sposób:

   Ustawienie	opis
   Adres URL pozyskiwania klastra	Określ adres URL pozyskiwania klastra usługi Azure Data Explorer. Na przykład https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   Client ID	Określ identyfikator klienta utworzonej wcześniej aplikacji Microsoft Entra.
   Client Secret (Wpis tajny klienta)	Określ wpis tajny klienta utworzonej wcześniej aplikacji Microsoft Entra.
   Identyfikator dzierżawy	Określ identyfikator dzierżawy utworzonej wcześniej aplikacji Microsoft Entra.
   Baza danych	Określ nazwę bazy danych, do której chcesz wysłać dane.
   Tabela	Określ nazwę tabeli, do której chcesz wysłać dane.
   Mapowanie	Określ nazwę utworzonego wcześniej obiektu mapowania.
   Usuń dodatkowe pola	Wybierz tę opcję, aby usunąć wszystkie puste pola z danych wysyłanych do klastra.
   Tryb trwały	Wybierz tę opcję, aby włączyć tryb trwałości podczas pozyskiwania. Po ustawieniu wartości true ma to wpływ na przepływność pozyskiwania.

   

7. Wybierz pozycję Zapisz , aby zapisać alert.

8. Przejdź do strony Alerty i sprawdź, czy alert jest wyświetlany na liście alertów.

   

Sprawdź, czy dane są pozyskiwane do usługi Azure Data Explorer

Po wyzwoleniu alertu dane są wysyłane do tabeli usługi Azure Data Explorer. Możesz sprawdzić, czy dane są pozyskiwane, uruchamiając zapytanie w edytorze zapytań internetowego interfejsu użytkownika.

1. Uruchom następujące zapytanie, aby sprawdzić, czy dane są pozyskiwane do tabeli:

   WeatherAlert
   | count
   

2. Uruchom następujące zapytanie, aby wyświetlić dane:

   WeatherAlert
   | take 100
   

   

Powiązana zawartość

• Pisanie zapytań