Sdílet prostřednictvím

Ingestování dat z nástroje Splunk Universal Forwarder do Azure Data Exploreru

  • Článek

Důležité

Tento konektor se dá použít v sadě Microsoft Fabric v reálném čase. Postupujte podle pokynů v tomto článku s následujícími výjimkami:

Splunk Universal Forwarder je zjednodušená verze softwaru Splunk Enterprise , která umožňuje ingestovat data z mnoha zdrojů současně. Je určená pro shromažďování a předávání dat protokolů a dat počítačů z různých zdrojů na centrální server Splunk Enterprise nebo nasazení cloudu Splunk. Splunk Universal Forwarder slouží jako agent, který zjednodušuje proces shromažďování a předávání dat, což z něj dělá základní komponentu v nasazení Splunk. Azure Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie.

V tomto článku se dozvíte, jak pomocí konektoru Kusto Splunk Universal Forwarder odesílat data do tabulky v clusteru. Nejprve vytvoříte tabulku a mapování dat, pak nasměrujete Splunk na odeslání dat do tabulky a pak ověříte výsledky.

Požadavky

Vytvoření tabulky Azure Data Exploreru

Vytvořte tabulku pro příjem dat z nástroje Splunk Universal Forwarder a pak udělte instančnímu objektu přístup k této tabulce.

V následujících krocích vytvoříte tabulku s názvem SplunkUFLogs s jedním sloupcem (RawText). Důvodem je to, že Univerzální forwarder Splunk ve výchozím nastavení odesílá data v nezpracovaném textovém formátu. Následující příkazy je možné spustit v editoru dotazů webového uživatelského rozhraní.

  1. Vytvoření tabulky:

    .create table SplunkUFLogs (RawText: string)

  2. Ověřte, že byla tabulka SplunkUFLogs vytvořená a je prázdná:

    SplunkUFLogs
| count

  3. Pomocí instančního objektu z předpokladů udělte oprávnění pro práci s databází obsahující vaši tabulku.

    .add database YOUR_DATABASE_NAME admins ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra service principal: Splunk UF'

Konfigurace univerzálního forwarderu Splunk

Když stáhnete Nástroj pro předávání Splunk Universal Forwarder, otevře se průvodce, který nakonfiguruje službu předávání.

  1. V průvodci nastavte přijímající indexer tak, aby odkazovat na systém, který je hostitelem konektoru Kusto Splunk Universal Forwarder. Zadejte 127.0.0.1 název hostitele nebo IP adresu a 9997 port. Cílový indexer ponechte prázdný.

    Další informace najdete v tématu Povolení příjemce pro Splunk Enterprise.

  2. Přejděte do složky, ve které je nainstalován program Splunk Universal Forwarder, a pak přejděte do místní složky /etc/system/local . Vytvořte nebo upravte soubor inputs.conf , aby předávač mohl číst protokoly:

    [default]
index = default
disabled = false

[monitor://C:\Program Files\Splunk\var\log\splunk\modinput_eventgen.log*]
sourcetype = modinput_eventgen

    Další informace naleznete v tématu Monitorování souborů a adresářů pomocí inputs.conf.

  3. Přejděte do složky, ve které je nainstalován program Splunk Universal Forwarder, a pak přejděte do místní složky /etc/system/local . Vytvořte nebo upravte soubor outputs.conf a určete cílové umístění protokolů, což je název hostitele a port systému hostujícího konektor Kusto Splunk Universal Forwarder:

    [tcpout]
defaultGroup = default-autolb-group
sendCookedData = false

[tcpout:default-autolb-group]
server = 127.0.0.1:9997

[tcpout-server://127.0.0.1:9997]

    Další informace naleznete v tématu Konfigurace předávání pomocí outputs.conf.

  4. Restartujte splunk Universal Forwarder.

Konfigurace univerzálního konektoru Kusto Splunk

Konfigurace univerzálního konektoru Kusto Splunk pro odesílání protokolů do tabulky Azure Data Exploreru:

  1. Stáhněte nebo naklonujte konektor z úložiště GitHub.

  2. Přejděte do základního adresáře konektoru:

    cd .\SplunkADXForwarder\

  3. Upravte config.yml tak, aby obsahoval následující vlastnosti:

    ingest_url: <ingest_url>
client_id: <ms_entra_app_client_id>
client_secret: <ms_entra_app_client_secret>
authority: <ms_entra_authority>
database_name: <database_name>
table_name: <table_name>
table_mapping_name: <table_mapping_name>
data_format: csv
    Pole Popis
    ingest_url Adresa URL příjmu dat clusteru Azure Data Exploreru Najdete ho na webu Azure Portal pod identifikátorem URI příjmu dat na kartě Přehled vašeho clusteru. Měla by mít formát https://ingest-<clusterName>.<region>.kusto.windows.net.
    client_id ID klienta registrace vaší aplikace Microsoft Entra vytvořené v části Požadavky .
    client_secret Tajný klíč klienta vaší registrace aplikace Microsoft Entra vytvořený v části Požadavky .
    authority ID tenanta, který obsahuje vaši registraci aplikace Microsoft Entra vytvořenou v části Požadavky .
    database_name Název databáze Azure Data Exploreru
    table_name Název cílové tabulky Azure Data Exploreru
    table_mapping_name Název mapování dat příjmu dat pro vaši tabulku. Pokud mapování nemáte, můžete tuto vlastnost vynechat z konfiguračního souboru. Později můžete data parsovat do různých sloupců.
    data_format Očekávaný formát dat pro příchozí data. Příchozí data jsou ve formátu nezpracovaného textu, takže doporučený formát je csv, který mapuje nezpracovaný text na nulový index ve výchozím nastavení.

  4. Sestavte image Dockeru:

    docker build -t splunk-forwarder-listener

  5. Spusťte kontejner Dockeru:

    docker run -p 9997:9997 splunk-forwarder-listener

Ověření, že se data ingestují do Azure Data Exploreru

Po spuštění Dockeru se data odesílají do tabulky Azure Data Exploreru. Spuštěním dotazu v editoru dotazů webového uživatelského rozhraní můžete ověřit, že se data ingestují.

  1. Spuštěním následujícího dotazu ověřte, že se data ingestují do tabulky:

    SplunkUFLogs
| count

  2. Spuštěním následujícího dotazu zobrazte data:

    SplunkUFLogs
| take 100

Související obsah