Sdílet prostřednictvím

Výběr nástroje pro příjem dat

  • Článek

Po výběru cílové platformy pro historická data je dalším krokem výběr nástroje pro přenos dat.

Tento článek popisuje sadu různých nástrojů používaných k přenosu historických dat do vybrané cílové platformy. Tato tabulka obsahuje seznam nástrojů dostupných pro každou cílovou platformu a obecné nástroje, které vám pomůžou s procesem příjmu dat.

Základní protokoly/archiv služby Azure Monitor Průzkumník dat Azure Azure Blob Storage Obecné nástroje
• Vlastní nástroj pro příjem protokolů služby Azure Monitor
• Přímé rozhraní API		 • Nejsvětlejší
• Logstash		 • Azure Data Factory nebo Azure Synapse
• AzCopy		 • Azure Data Box
• Akcelerátor migrace dat SIEM

Základní protokoly/archiv služby Azure Monitor

Před příjmem dat do základních protokolů nebo archivu služby Azure Monitor za účelem nižších cen příjmu dat se ujistěte, že je tabulka, do které píšete, nakonfigurovaná jako základní protokoly. Projděte si vlastní nástroj pro příjem protokolů služby Azure Monitor a přímou metodu rozhraní API pro základní protokoly služby Azure Monitor.

Nástroj pro příjem vlastních protokolů služby Azure Monitor

Vlastní nástroj pro příjem protokolů je skript PowerShellu, který odesílá vlastní data do pracovního prostoru protokolů služby Azure Monitor. Skript můžete nasměrovat do složky, kde se nacházejí všechny soubory protokolu, a skript do této složky nasdílí soubory. Skript přijímá pro soubory protokolu formát CSV nebo JSON.

Přímé rozhraní API

Pomocí této možnosti ingestujete vlastní protokoly do protokolů služby Azure Monitor. Protokoly ingestujete pomocí skriptu PowerShellu, který používá rozhraní REST API. Případně můžete k příjmu dat použít jakýkoli jiný programovací jazyk a k abstrakci výpočetní vrstvy, jako jsou Azure Functions nebo Azure Logic Apps, můžete použít jiné služby Azure.

Průzkumník dat Azure

Data můžete ingestovat do Azure Data Exploreru (ADX) několika způsoby.

Metody příjmu dat, které adX přijímá, jsou založené na různých komponentách:

  • Sady SDK pro různé jazyky, jako jsou .NET, Go, Python, Java, NodeJS a rozhraní API.
  • Spravované kanály, jako jsou Event Grid nebo Storage Blob Event Hubs a Azure Data Factory.
  • Konektory nebo moduly plug-in, jako jsou Logstash, Kafka, Power Automate a Apache Spark.

Projděte si LightIngest a Logstash, dvě metody, které jsou lépe přizpůsobené případu použití migrace dat.

LightIngest

ADX vyvinul lightingest nástroj speciálně pro historický případ použití migrace dat. LightIngest můžete použít ke kopírování dat z místního systému souborů nebo služby Azure Blob Storage do ADX.

Tady je několik hlavních výhod a možností LightIngestu:

  • Vzhledem k tomu, že doba trvání příjmu dat není nijak omezená, je nejužitečnější, když chcete ingestovat velké objemy dat.
  • LightIngest je užitečný, když chcete dotazovat záznamy podle času, kdy byly vytvořeny, a ne v době, kdy byly ingestovány.
  • Nemusíte řešit složitou velikost pro LightIngest, protože nástroj neprovádí skutečnou kopii. LightIngest informuje ADX o objektech blob, které je potřeba zkopírovat, a ADX zkopíruje data.

Pokud zvolíte LightIngest, projděte si tyto tipy a osvědčené postupy.

  • Pokud chcete urychlit migraci a snížit náklady, zvyšte velikost clusteru ADX, abyste vytvořili více dostupných uzlů pro příjem dat. Po dokončení migrace zmenšíte velikost.
  • Pro efektivnější dotazy po ingestování dat do ADX se ujistěte, že kopírovaná data používají časové razítko pro původní události. Data by neměla používat časové razítko při kopírování dat do ADX. Časové razítko pro LightIngest zadáte jako cestu k názvu souboru jako součást Vlastnosti CreationTime.
  • Pokud vaše cesta nebo názvy souborů neobsahují časové razítko, můžete službě ADX dát pokyn, aby data uspořádala pomocí zásad dělení.

Logstash

Logstash je opensourcový kanál pro zpracování dat na straně serveru, který ingestuje data z mnoha zdrojů současně, transformuje data a pak odesílá data do oblíbeného "stash". Zjistěte, jak ingestovat data z Logstash do Azure Data Exploreru. Logstash běží na počítačích s Windows, Linuxem a macOS.

Pokud chcete optimalizovat výkon, nakonfigurujte velikost vrstvy Logstash podle událostí za sekundu. Doporučujeme používat LightIngest všude, kde je to možné, protože Funkce LightIngest spoléhá na výpočetní prostředí clusteru ADX k provedení kopírování.

Azure Blob Storage

Data můžete ingestovat do služby Azure Blob Storage několika způsoby.

Projděte si metody Azure Data Factory (ADF) a Azure Synapse, které jsou lépe přizpůsobené případu použití migrace dat.

Azure Data Factory nebo Azure Synapse

Použití aktivita Copy v kanálech Azure Data Factory (ADF) nebo Synapse:

  1. Vytvoření a konfigurace místního prostředí Integration Runtime Tato komponenta zodpovídá za kopírování dat z místního hostitele.
  2. Vytvořte propojené služby pro zdrojové úložiště dat (systém souborů a úložiště objektů blob úložiště dat jímky).
  3. Pokud chcete data zkopírovat, použijte nástroj pro kopírování dat. Alternativně můžete použít metodu, jako je PowerShell, Azure Portal, sada .NET SDK atd.

AzCopy

AzCopy je jednoduchý nástroj příkazového řádku, který kopíruje soubory do nebo z účtů úložiště. AzCopy je k dispozici pro Windows, Linux a macOS. Naučte se kopírovat místní data do úložiště objektů blob v Azure pomocí Nástroje AzCopy.

Data můžete zkopírovat také pomocí těchto možností:

Azure Data Box

Ve scénáři, kdy zdrojový SIEM nemá dobré připojení k Azure, může být příjem dat pomocí nástrojů probraných v této části pomalý nebo dokonce nemožné. Tento scénář vyřešíte tak, že pomocí Azure Data Boxu zkopírujete data místně z datového centra zákazníka do zařízení a pak toto zařízení odešlete do datového centra Azure. I když Azure Data Box není náhradou za AzCopy nebo LightIngest, můžete tento nástroj použít ke zrychlení přenosu dat mezi zákaznickým datacentrem a Azure.

Azure Data Box nabízí tři různé skladové položky v závislosti na množství dat, která se mají migrovat:

Po dokončení migrace jsou data k dispozici v účtu úložiště v rámci jednoho z vašich předplatných Azure. K příjmu dat z účtu úložiště pak můžete použít AzCopy, LightIngest nebo ADF .

Akcelerátor migrace dat SIEM

Kromě výběru nástroje pro příjem dat musí váš tým investovat čas do nastavení základního prostředí. K usnadnění tohoto procesu můžete použít akcelerátor migrace dat SIEM, který automatizuje následující úlohy:

  • Nasadí virtuální počítač s Windows, který se použije k přesunu protokolů ze zdroje na cílovou platformu.
  • Stáhne a extrahuje do plochy virtuálního počítače následující nástroje:
    • LightIngest: Používá se k migraci dat do ADX.
    • Nástroj pro příjem vlastních protokolů služby Azure Monitor: Používá se k migraci dat do Log Analytics.
    • AzCopy: Používá se k migraci dat do služby Azure Blob Storage
  • Nasadí cílovou platformu, která bude hostovat vaše historické protokoly:
    • Účet služby Azure Storage (Azure Blob Storage)
    • Cluster a databáze Azure Data Exploreru
    • Pracovní prostor protokolů služby Azure Monitor (základní protokoly, povolené v Microsoft Sentinelu)

Použití akcelerátoru migrace dat SIEM:

  1. Na stránce akcelerátoru migrace dat SIEM klikněte v dolní části stránky na Nasadit do Azure a ověřte se.
  2. Vyberte Základy, vyberte skupinu prostředků a umístění a pak vyberte Další.
  3. Vyberte virtuální počítač migrace a udělejte toto:
    • Zadejte název virtuálního počítače, uživatelské jméno a heslo.
    • Vyberte existující virtuální síť nebo vytvořte novou virtuální síť pro připojení virtuálního počítače.
    • Vyberte velikost virtuálního počítače.
  4. Vyberte cílovou platformu a proveďte jednu z následujících věcí:
    • Tento krok přeskočte.
    • Zadejte název clusteru a databáze ADX, skladovou položku a počet uzlů.
    • Pro účty Azure Blob Storage vyberte existující účet. Pokud účet nemáte, zadejte nový název, typ a redundanci.
    • V případě protokolů služby Azure Monitor zadejte název nového pracovního prostoru.

Další kroky

V tomto článku jste se dozvěděli, jak vybrat nástroj pro příjem dat do cílové platformy.

Ingestování dat