Ingestování dat ze Splunku do Azure Data Exploreru

Důležité

Tento konektor se dá použít v sadě Microsoft Fabric v reálném čase. Postupujte podle pokynů v tomto článku s následujícími výjimkami:

• V případě potřeby vytvořte databáze pomocí pokynů v části Vytvoření databáze KQL.
• V případě potřeby vytvořte tabulky podle pokynů v části Vytvoření prázdné tabulky.
• Pomocí pokynů v identifikátoru URI pro kopírování získejte identifikátory URI pro dotazy nebo příjem dat.
• Spouštění dotazů v sadě dotazů KQL

Splunk Enterprise je softwarová platforma, která umožňuje ingestovat data z mnoha zdrojů současně. Indexer Splunk zpracovává data a ukládá je ve výchozím nastavení v hlavním indexu nebo v zadaném vlastním indexu. Vyhledávání v splunku používá indexovaná data k vytváření metrik, řídicích panelů a upozornění. Azure Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie.

V tomto článku se dozvíte, jak doplněk Splunk v Azure Data Exploreru odesílat data z Splunku do tabulky ve vašem clusteru. Nejprve vytvoříte tabulku a mapování dat, pak nasměrujete Splunk na odeslání dat do tabulky a pak ověříte výsledky.

Následující scénáře jsou nejvhodnější pro příjem dat do Azure Data Exploreru:

• Vysokoobjemová data: Azure Data Explorer je vytvořený tak, aby efektivně zpracovával obrovské objemy dat. Pokud vaše organizace generuje velký objem dat, která potřebují analýzu v reálném čase, je Azure Data Explorer vhodnou volbou.
• Data časových řad: Azure Data Explorer exceluje při zpracování dat časových řad, jako jsou protokoly, telemetrická data a čtení ze senzorů. Uspořádá data v časových oddílech, což usnadňuje provádění časově založených analýz a agregací.
• Analýza v reálném čase: Pokud vaše organizace vyžaduje přehledy z toku dat v reálném čase, mohou být možnosti Azure Data Exploreru téměř v reálném čase užitečné.

Požadavky

• Účet Microsoft nebo identita uživatele Microsoft Entra. Předplatné Azure není povinné.
• Cluster a databáze Azure Data Exploreru. Vytvořte cluster a databázi.
• Splunk Enterprise 9 nebo novější.
• Instanční objekt Microsoft Entra. Vytvořte instanční objekt Microsoft Entra.

Vytvoření tabulky a objektu mapování

Po vytvoření clusteru a databáze vytvořte tabulku se schématem, které odpovídá vašim datům Splunk. Vytvoříte také objekt mapování, který slouží k transformaci příchozích dat do schématu cílové tabulky.

V následujícím příkladu vytvoříte tabulku s názvem WeatherAlert čtyři sloupce: Timestamp, Temperature, Humiditya Weather. Vytvoříte také nové mapování s názvem WeatherAlert_Json_Mapping , které extrahuje vlastnosti z příchozího kódu JSON, jak je poznamenal path a vypíše je do zadaného columnkódu .

V editoru dotazů webového uživatelského rozhraní spusťte následující příkazy, které vytvoří tabulku a mapování:

1. Vytvoření tabulky:

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. Ověřte, že byla tabulka WeatherAlert vytvořená a je prázdná:

   WeatherAlert
   | count
   

3. Vytvoření objektu mapování:

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. Pomocí instančního objektu z předpokladů udělte oprávnění pro práci s databází.

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Instalace doplňku Splunk Azure Data Explorer

Doplněk Splunk komunikuje s Azure Data Explorerem a odesílá data do zadané tabulky.

1. Stáhněte si doplněk Azure Data Explorer.

2. Přihlaste se ke své instanci Splunk jako správce.

3. Přejděte na Správa aplikací>.

4. Vyberte Nainstalovat aplikaci ze souboru a pak stažený doplněk Azure Data Exploreru.

5. Dokončete instalaci podle pokynů.

6. Vyberte Restartovat hned.

7. Přejděte do části Akce upozornění řídicího panelu>a vyhledejte doplněk Azure Data Explorer.

   

Vytvoření nového indexu v Splunku

Ve Splunku vytvořte index určující kritéria pro data, která chcete odeslat do Azure Data Exploreru.

1. Přihlaste se ke své instanci Splunk jako správce.
2. Přejděte na Indexy nastavení>.
3. Zadejte název indexu a nakonfigurujte kritéria pro data, která chcete odeslat do Azure Data Exploreru.
4. Podle potřeby nakonfigurujte zbývající vlastnosti a pak index uložte.

Konfigurace doplňku Splunk pro odesílání dat do Azure Data Exploreru

1. Přihlaste se ke své instanci Splunk jako správce.

2. Přejděte na řídicí panel a vyhledejte index, který jste vytvořili dříve. Pokud jste například vytvořili index s názvem WeatherAlerts, vyhledejte index="WeatherAlerts".

3. Vyberte Uložit jako>upozornění.

4. Zadejte název, interval a podmínky požadované pro výstrahu.

   

5. V části Akce triggeru vyberte Přidat akce>odeslat do Microsoft Azure Data Exploreru.

   

6. Podrobnosti o připojení nakonfigurujte následujícím způsobem:

   Nastavení	Popis
   Adresa URL příjmu clusteru	Zadejte adresu URL příjmu dat clusteru Azure Data Exploreru. Například https://ingest-<mycluster>.<myregion>.kusto.windows.net.
   ID klienta	Zadejte ID klienta aplikace Microsoft Entra, kterou jste vytvořili dříve.
   Tajný klíč klienta	Zadejte tajný klíč klienta aplikace Microsoft Entra, kterou jste vytvořili dříve.
   ID klientu	Zadejte ID tenanta aplikace Microsoft Entra, kterou jste vytvořili dříve.
   Databáze	Zadejte název databáze, do které chcete data odeslat.
   Tabulka	Zadejte název tabulky, do které chcete data odeslat.
   Mapující	Zadejte název objektu mapování, který jste vytvořili dříve.
   Odebrat nadbytečná pole	Tuto možnost vyberte, pokud chcete z dat odesílaných do clusteru odebrat všechna prázdná pole.
   Trvalý režim	Tuto možnost vyberte, pokud chcete povolit režim stálosti během příjmu dat. Pokud je nastavená hodnota true, bude ovlivněna propustnost příjmu dat.

   

7. Výběrem možnosti Uložit výstrahu uložte.

8. Přejděte na stránku Upozornění a ověřte, že se výstraha zobrazí v seznamu výstrah.

   

Ověření, že se data ingestují do Azure Data Exploreru

Po aktivaci upozornění se data odesílají do tabulky Azure Data Exploreru. Spuštěním dotazu v editoru dotazů webového uživatelského rozhraní můžete ověřit, že se data ingestují.

1. Spuštěním následujícího dotazu ověřte, že se data ingestují do tabulky:

   WeatherAlert
   | count
   

2. Spuštěním následujícího dotazu zobrazte data:

   WeatherAlert
   | take 100
   

   

Související obsah

• Zápis dotazů