Shromažďování protokolů z textových souborů pomocí agenta služby Azure Monitor a ingestování do Služby Microsoft Sentinel

• Platí pro:

  Microsoft Sentinel in the Azure portal, Microsoft Sentinel in the Microsoft Defender portal

Tento článek popisuje, jak pomocí vlastních protokolů prostřednictvím konektoru AMA rychle filtrovat a ingestovat protokoly ve formátu textového souboru ze síťových nebo bezpečnostních aplikací nainstalovaných na počítačích s Windows nebo Linuxem.

Mnoho aplikací protokoluje data do textových souborů místo standardních služeb protokolování, jako je protokol událostí systému Windows nebo Syslog. Pomocí agenta služby Azure Monitor (AMA) můžete shromažďovat data v textových souborech nestandardních formátů z počítačů s Windows i Linuxem. AMA může také ovlivnit transformace dat v době shromažďování, aby je parsovat do různých polí.

Další informace o aplikacích, pro které má Microsoft Sentinel řešení pro podporu shromažďování protokolů, najdete v tématu Vlastní protokoly prostřednictvím datového konektoru AMA – Konfigurace příjmu dat do Microsoft Sentinelu z konkrétních aplikací.

Další obecné informace o ingestování vlastních protokolů z textových souborů najdete v tématu Shromažďování protokolů z textového souboru pomocí agenta služby Azure Monitor.

Důležité

• Vlastní protokoly prostřednictvím datového konektoru AMA jsou aktuálně ve verzi PREVIEW. Další právní podmínky týkající se funkcí Azure, které jsou v beta verzi, preview nebo jinak ještě nejsou vydané v obecné dostupnosti, najdete v dodatečných podmínkách použití pro Microsoft Azure Preview.

• Microsoft Sentinel je obecně dostupný na portálu Microsoft Defenderu na sjednocené platformě operací zabezpečení Microsoftu. Ve verzi Preview je Microsoft Sentinel k dispozici na portálu Defender bez licence XDR v programu Microsoft Defender nebo licence E5. Další informace najdete v tématu Microsoft Sentinel na portálu Microsoft Defender.

Požadavky

Než začnete, musíte mít nakonfigurované prostředky a příslušná oprávnění, jak je popsáno v této části.

Požadavky služby Microsoft Sentinel

• Nainstalujte řešení Microsoft Sentinel, které odpovídá vaší aplikaci, a ujistěte se, že máte oprávnění k dokončení kroků v tomto článku. Tato řešení najdete v centru obsahu v Microsoft Sentinelu a všechny zahrnují vlastní protokoly prostřednictvím konektoru AMA .

  Seznam aplikací, které mají řešení v centru obsahu, najdete v konkrétních pokynech pro jednotlivé aplikace. Pokud pro vaši aplikaci není k dispozici řešení, nainstalujte vlastní protokoly prostřednictvím řešení AMA .

  Další informace najdete v tématu Zjišťování a správa obsahu od verze Microsoft Sentinelu.

• Mít účet Azure s následujícími rolemi řízení přístupu na základě role v Azure (Azure RBAC):

  Předdefinovaná role	Obor	Důvod
  - Přispěvatel virtuálních počítačů - Připojený počítač Azure    Správce prostředků	Virtuální počítače Virtual Machine Scale Sets Servery s podporou služby Azure Arc	Nasazení agenta
  Libovolná role, která zahrnuje akci Microsoft.Resources/deployments/*	Předplatné Skupina prostředků Existující pravidlo shromažďování dat	Nasazení šablon Azure Resource Manageru
  Přispěvatel monitorování	Předplatné Skupina prostředků Existující pravidlo shromažďování dat	Vytvoření nebo úprava pravidel shromažďování dat

Požadavky pro předávání protokolů

Některé vlastní aplikace jsou hostované na uzavřených zařízeních, která vyžadují odesílání protokolů externímu kolektoru nebo předávání protokolů. V takovém scénáři platí pro službu předávání protokolů následující požadavky:

• Abyste mohli shromažďovat protokoly, musíte mít určený virtuální počítač s Linuxem jako předávač protokolů.

  • Vytvořte virtuální počítač s Linuxem na webu Azure Portal.
  • Podporované operační systémy Linux pro agenta Azure Monitoru

• Pokud váš nástroj pro předávání protokolů není virtuální počítač Azure, musí mít na něm nainstalovaného agenta Azure Arc Connected Machine.

• Virtuální počítač pro předávání protokolů s Linuxem musí mít nainstalovaný Python 2.7 nebo 3. python --version Pomocí příkazu nebo python3 --version příkazu zkontrolujte. Pokud používáte Python 3, ujistěte se, že je nastavený jako výchozí příkaz na počítači, nebo spusťte skripty pomocí příkazu python3 místo pythonu.

• Služba předávání protokolů musí mít povolenou syslog-ng funkci démon nebo rsyslog démon.

• Informace o požadavcích na místo pro váš nástroj pro předávání protokolů najdete na srovnávacím testu výkonu agenta služby Azure Monitor. Můžete si také projít tento blogový příspěvek, který obsahuje návrhy pro škálovatelný příjem dat.

• Zdroje protokolů, zabezpečovací zařízení a zařízení musí být nakonfigurované tak, aby odesílaly zprávy protokolu do démona syslogu syslogu, nikoli do místního démona syslogu.

Požadavky na zabezpečení počítače

Nakonfigurujte zabezpečení počítače pro předávání protokolů podle zásad zabezpečení vaší organizace. Nakonfigurujte například síť tak, aby odpovídala zásadám zabezpečení podnikové sítě, a změňte porty a protokoly v procesu démon tak, aby odpovídaly vašim požadavkům. Pokud chcete zlepšit konfiguraci zabezpečení počítače, zabezpečte virtuální počítač v Azure nebo si projděte tyto osvědčené postupy pro zabezpečení sítě.

Pokud vaše zařízení odesílají protokoly přes protokol TLS, protože například váš nástroj pro předávání protokolů je v cloudu, musíte nakonfigurovat proces démon syslog (rsyslog nebo syslog-ng) pro komunikaci v protokolu TLS. Další informace naleznete v tématu:

• Šifrování provozu Syslog pomocí protokolu TLS – rsyslog
• Šifrování zpráv protokolu pomocí protokolu TLS – syslog-ng

Konfigurace datového konektoru

Proces nastavení pro vlastní protokoly prostřednictvím datového konektoru AMA zahrnuje následující kroky:

1. Vytvořte cílovou tabulku v Log Analytics (nebo rozšířené proaktivní vyhledávání, pokud jste na portálu Defender).

   Název tabulky musí končit _CL a musí se skládat pouze z následujících dvou polí:

   • TimeGenerated (typu DateTime): časové razítko vytvoření zprávy protokolu.
   • RawData (typu String): zpráva protokolu v plném rozsahu.
     (Pokud shromažďujete protokoly z nástroje pro předávání protokolů, a ne přímo ze zařízení, které je hostitelem aplikace, pojmenujte toto pole .Zpráva místo RawData.)

2. Nainstalujte agenta Služby Azure Monitor a vytvořte pravidlo shromažďování dat (DCR) pomocí některé z následujících metod:

   • Portál Azure nebo Defender
   • Šablona Azure Resource Manageru

3. Pokud shromažďujete protokoly pomocí nástroje pro předávání protokolů, nakonfigurujte na daném počítači démon syslog tak, aby naslouchal zprávám z jiných zdrojů, a otevřete požadované místní porty. Podrobnosti najdete v tématu Konfigurace služby předávání protokolů pro příjem protokolů.

Vyberte příslušnou kartu pro pokyny.

Portál Azure nebo Defender

Vytvoření pravidla shromažďování dat (DCR)

Začněte tím, že otevřete vlastní protokoly prostřednictvím datového konektoru AMA v Microsoft Sentinelu a vytvoříte pravidlo shromažďování dat (DCR).

1. Pro Microsoft Sentinel na webu Azure Portal v části Konfigurace vyberte Datové konektory.
   Pro Microsoft Sentinel na portálu Defender vyberte konektory konfiguračních dat Microsoft Sentinelu>>.

2. Do vyhledávacího pole zadejte vlastní. Ve výsledcích vyberte vlastní protokoly prostřednictvím konektoru AMA .

3. V podokně podrobností vyberte Otevřít stránku konektoru.

   

4. V oblasti Konfigurace vyberte +Vytvořit pravidlo shromažďování dat.

   

5. Na kartě Základní :

   • Zadejte název DCR.
   • Vyberte své předplatné.
   • Vyberte skupinu prostředků, ve které chcete najít řadič domény.

   

6. Vyberte Další: Prostředky >.

Definování prostředků virtuálního počítače

Na kartě Prostředky vyberte počítače, ze kterých chcete shromažďovat protokoly. Jedná se o počítače, na kterých je vaše aplikace nainstalovaná, nebo počítače pro předávání protokolů. Pokud se počítač, který hledáte, nezobrazuje v seznamu, nemusí se jednat o virtuální počítač Azure s nainstalovaným agentem Azure Connected Machine.

1. Pomocí dostupných filtrů nebo vyhledávacího pole najděte hledaný počítač. Rozbalením předplatného v seznamu zobrazíte jeho skupiny prostředků a skupinu prostředků, aby se zobrazily její virtuální počítače.

2. Vyberte počítač, ze kterého chcete shromažďovat protokoly. Zaškrtávací políčko se zobrazí vedle názvu virtuálního počítače, když na něj najedete myší.

   

   Pokud na vybraných počítačích ještě není nainstalovaný agent Služby Azure Monitor, agent se nainstaluje při vytvoření a nasazení dcR.

3. Zkontrolujte změny a vyberte Další: Shromáždit >.

Konfigurace DCR pro vaši aplikaci

1. Na kartě Shromáždit vyberte aplikaci nebo typ zařízení z rozevíracího seznamu Vybrat typ zařízení (volitelné) nebo ji ponechte jako Vlastní novou tabulku, pokud vaše aplikace nebo zařízení nejsou uvedené.

2. Pokud jste zvolili jednu z uvedených aplikací nebo zařízení, pole Název tabulky se automaticky vyplní správným názvem tabulky. Pokud jste vybrali možnost Vlastní nová tabulka, zadejte název tabulky pod názvem tabulky. Název musí končit příponou _CL .

3. Do pole Vzor souboru zadejte cestu a název souboru textových souborů protokolu, které se mají shromažďovat. Pokud chcete najít výchozí názvy souborů a cesty pro každou aplikaci nebo typ zařízení, přečtěte si konkrétní pokyny pro jednotlivé typy aplikací. Nemusíte používat výchozí názvy souborů ani cesty a v názvu souboru můžete použít zástupné cardy.

4. Pokud jste v kroku 1 vybrali vlastní novou tabulku, zadejte dotaz Kusto, který na data použije transformaci podle vašeho výběru.

   Pokud jste v kroku 1 zvolili jednu z uvedených aplikací nebo zařízení, toto pole se automaticky vyplní správnou transformací. NEUpravUJTE transformaci, která se tam zobrazí. V závislosti na zvoleném typu by tato hodnota měla být jedna z následujících možností:

   • source (výchozí – bez transformace)
   • source | project-rename Message=RawData (pro zařízení, která odesílají protokoly do služby předávání)

5. Zkontrolujte výběry a vyberte Další: Zkontrolovat a vytvořit.

Kontrola a vytvoření pravidla

Po dokončení všech karet zkontrolujte, co jste zadali, a vytvořte pravidlo shromažďování dat.

1. Na kartě Revize a vytvoření vyberte Vytvořit.

   

   Konektor nainstaluje agenta Azure Monitoru na počítače, které jste vybrali při vytváření DCR.

2. Zkontrolujte oznámení na webu Azure Portal nebo na portálu Microsoft Defender a podívejte se, kdy se řadič domény vytvoří a jestli je agent nainstalovaný.

3. Výběrem možnosti Aktualizovat na stránce konektoru zobrazíte řadič domény zobrazený v seznamu.

Šablona Resource Manageru

Instalace agenta služby Azure Monitor

Podle příslušných pokynů z dokumentace ke službě Azure Monitor nainstalujte agenta Azure Monitoru na počítač, který je hostitelem vaší aplikace, nebo v nástroji pro předávání protokolů. Podle potřeby postupujte podle pokynů pro Windows nebo Linux.

• Instalace AMA pomocí PowerShellu
• Instalace AMA pomocí Azure CLI
• Instalace AMA pomocí šablony Azure Resource Manageru

Vytvořte pravidla shromažďování dat (DCR) pomocí rozhraní API pro příjem protokolů služby Azure Monitor. Další informace najdete v tématu Pravidla shromažďování dat ve službě Azure Monitor.

Vytvoření pravidla shromažďování dat

Pomocí následující šablony ARM vytvořte nebo upravte DCR pro shromažďování souborů textového protokolu:

{
    "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "resources": [
        {
            "type": "Microsoft.Insights/dataCollectionRules",
            "name": "{DCR_NAME}",
            "location": "{DCR_LOCATION}",
            "apiVersion": "2022-06-01",
            "properties": {
                "streamDeclarations": {
                    "Custom-Text-{TABLE_NAME}": {
                        "columns": [
                            {
                                "name": "TimeGenerated",
                                "type": "datetime"
                            },
                            {
                                "name": "RawData",
                                "type": "string"
                            },
                        ]
                    }
                },
                "dataSources": {
                    "logFiles": [
                        {
                            "streams": [
                                "Custom-Text-{TABLE_NAME}"
                            ],
                            "filePatterns": [
                                "{LOCAL_PATH_FILE_1}","{LOCAL_PATH_FILE_2}"
                            ],
                            "format": "text",
                            "name": "Custom-Text-{TABLE_NAME}"
                        }
                    ]
                },
                "destinations": {
                    "logAnalytics": [
                        {
                            "workspaceResourceId": "{WORKSPACE_RESOURCE_PATH}",
                            "workspaceId": "{WORKSPACE_ID}",
                            "name": "workspace"
                        }
                    ]
                },
                "dataFlows": [
                    {
                        "streams": [
                            "Custom-Text-{TABLE_NAME}"
                        ],
                        "destinations": [
                            "DataCollectionEvent"
                        ],
                        "transformKql": "source",
                        "outputStream": "Custom-{TABLE_NAME}"
                    }
                ]
            }
        }
    ]
}

Nahraďte hodnoty {PLACE_HOLDER} následujícími hodnotami:

Zástupný symbol	Hodnota
{DCR_NAME}	Název, který zvolíte pro pravidlo shromažďování dat. Musí být jedinečný v rámci vašeho pracovního prostoru.
{DCR_LOCATION}	Oblast, ve které se nachází skupina prostředků obsahující řadič domény.
{TABLE_NAME}	Název cílové tabulky v Log Analytics Musí končit ._CL
{LOCAL_PATH_FILE_1} (povinné), {LOCAL_PATH_FILE_2} (volitelné)	Cesty a názvy souborů textových souborů obsahujících protokoly, které chcete shromáždit. Musí se nacházet na počítači, na kterém je nainstalovaný agent Azure Monitoru.
{WORKSPACE_RESOURCE_PATH}	Cesta prostředku Azure pracovního prostoru Microsoft Sentinelu.
{WORKSPACE_ID}	Identifikátor GUID vašeho pracovního prostoru Služby Microsoft Sentinel.

Přidružení DCR k agentu Služby Azure Monitor

Pokud vytvoříte dcR pomocí šablony ARM, musíte řadič domény přidružit k agentům, kteří ho budou používat. Řadič domény můžete upravit na webu Azure Portal a vybrat agenty, jak je popsáno v tématu Definování prostředků virtuálního počítače.

Nakonfigurujte nástroj pro předávání protokolů tak, aby přijímal protokoly.

Pokud shromažďujete protokoly ze zařízení pomocí nástroje pro předávání protokolů, nakonfigurujte proces démon syslogu v nástroji pro předávání protokolů tak, aby naslouchal zprávám z jiných počítačů, a otevřete potřebné místní porty.

1. Zkopírujte následující příkazový řádek:

   sudo wget -O Forwarder_AMA_installer.py https://raw.githubusercontent.com/Azure/Azure-Sentinel/master/DataConnectors/Syslog/Forwarder_AMA_installer.py&&sudo python Forwarder_AMA_installer.py
   

2. Přihlaste se k počítači pro předávání protokolů, na kterém jste právě nainstalovali AMA.

3. Vložte příkaz, který jste zkopírovali v posledním kroku, a spusťte instalační skript.
   Skript nakonfiguruje proces démon syslog-ng takrsyslog, aby používal požadovaný protokol a restartoval proces démon. Skript otevře port 514 pro naslouchání příchozím zprávům v protokolech UDP i TCP. Pokud chcete toto nastavení změnit, projděte si konfigurační soubor démona syslog podle typu démona spuštěného na počítači:

   • Rsyslog: /etc/rsyslog.conf
   • Syslog-ng: /etc/syslog-ng/syslog-ng.conf

   Pokud používáte Python 3 a není nastavený jako výchozí příkaz na počítači, nahraďte python3 python ho vloženým příkazem. Viz požadavky pro předávání protokolů.

   Poznámka:

   Pokud se chcete vyhnout scénářům plného disku, ve kterých agent nemůže fungovat, doporučujeme nastavit syslog-ng nebo rsyslog nakonfigurovat, aby neukládaly nepotřebné protokoly. Scénář Full Disk naruší funkci nainstalovaného AMA. Další informace najdete v tématu RSyslog nebo Syslog-ng.

Konfigurace zabezpečovacího zařízení nebo zařízení

Konkrétní pokyny ke konfiguraci aplikace nebo zařízení zabezpečení najdete v tématu Vlastní protokoly prostřednictvím datového konektoru AMA – Konfigurace příjmu dat do Služby Microsoft Sentinel z konkrétních aplikací.

Obraťte se na poskytovatele řešení a požádejte o další informace nebo informace o nedostupnosti zařízení nebo zařízení.

Související obsah

• Pravidla shromažďování dat ve službě Azure Monitor
• Shromažďování protokolů z textového souboru pomocí agenta služby Azure Monitor