Dela via

Välj ett datainmatningsverktyg

  • Artikel

När du har valt en målplattform för dina historiska data är nästa steg att välja ett verktyg för att överföra dina data.

Den här artikeln beskriver en uppsättning olika verktyg som används för att överföra historiska data till den valda målplattformen. Den här tabellen visar de verktyg som är tillgängliga för varje målplattform och allmänna verktyg som hjälper dig med inmatningsprocessen.

Grundläggande loggar/arkiv för Azure Monitor Öppna Azure-datautforskaren Azure Blob Storage Allmänna verktyg
• Verktyg för anpassad logginmatning i Azure Monitor
• Direkt-API		 • Ljusaste
• Logstash		 • Azure Data Factory eller Azure Synapse
• AzCopy		 • Azure Data Box
• SIEM-datamigreringsaccelerator

Grundläggande loggar/arkiv för Azure Monitor

Innan du matar in data till Azure Monitor Basic Logs eller Archive kontrollerar du att tabellen som du skriver till är konfigurerad som Grundläggande loggar för lägre inmatningspriser. Granska verktyget för anpassad logginmatning i Azure Monitor och den direkta API-metoden för Azure Monitor Basic Logs.

Verktyg för anpassad logginmatning i Azure Monitor

Det anpassade logginmatningsverktyget är ett PowerShell-skript som skickar anpassade data till en Azure Monitor Logs-arbetsyta. Du kan peka skriptet till mappen där alla dina loggfiler finns och skriptet skickar filerna till den mappen. Skriptet accepterar ett CSV- eller JSON-format för loggfiler.

Direkt-API

Med det här alternativet matar du in dina anpassade loggar i Azure Monitor-loggar. Du matar in loggarna med ett PowerShell-skript som använder ett REST-API. Du kan också använda andra programmeringsspråk för att utföra inmatningen, och du kan använda andra Azure-tjänster för att abstrahera beräkningsskiktet, till exempel Azure Functions eller Azure Logic Apps.

Öppna Azure-datautforskaren

Du kan mata in data till Azure Data Explorer (ADX) på flera sätt.

Inmatningsmetoderna som ADX accepterar baseras på olika komponenter:

  • SDK:er för olika språk, till exempel .NET, Go, Python, Java, NodeJS och API:er.
  • Hanterade pipelines, till exempel Event Grid eller Storage Blob Event Hubs och Azure Data Factory.
  • Anslutningsappar eller plugin-program, till exempel Logstash, Kafka, Power Automate och Apache Spark.

Granska LightIngest och Logstash, två metoder som är bättre anpassade till användningsfallet för datamigrering.

LightIngest

ADX har utvecklat LightIngest-verktyget specifikt för användningsfallet för historisk datamigrering. Du kan använda LightIngest för att kopiera data från ett lokalt filsystem eller Azure Blob Storage till ADX.

Här är några av de viktigaste fördelarna och funktionerna i LightIngest:

  • Eftersom det inte finns någon tidsbegränsning för inmatningstiden är LightIngest mest användbart när du vill mata in stora mängder data.
  • LightIngest är användbart när du vill fråga efter poster efter den tidpunkt då de skapades och inte när de matades in.
  • Du behöver inte hantera komplex storleksändring för LightIngest eftersom verktyget inte utför den faktiska kopian. LightIngest informerar ADX om de blobar som måste kopieras och ADX kopierar data.

Om du väljer LightIngest läser du de här tipsen och metodtipsen.

  • Om du vill påskynda migreringen och minska kostnaderna ökar du storleken på ditt ADX-kluster för att skapa fler tillgängliga noder för inmatning. Minska storleken när migreringen är över.
  • Om du vill ha effektivare frågor när du har matat in data till ADX kontrollerar du att de kopierade data använder tidsstämpeln för de ursprungliga händelserna. Data ska inte använda tidsstämpeln från när data kopieras till ADX. Du anger tidsstämpeln för LightIngest som sökväg till filnamnet som en del av egenskapen CreationTime.
  • Om sökvägen eller filnamnen inte innehåller en tidsstämpel kan du ändå instruera ADX att organisera data med hjälp av en partitioneringsprincip.

Logstash

Logstash är en databearbetningspipeline för serversidan med öppen källkod som matar in data från många källor samtidigt, transformerar data och sedan skickar data till din favoritlagring. Lär dig hur du matar in data från Logstash till Azure Data Explorer. Logstash körs på Windows-, Linux- och macOS-datorer.

För att optimera prestanda konfigurerar du Logstash-nivåstorleken enligt händelserna per sekund. Vi rekommenderar att du använder LightIngest där det är möjligt, eftersom LightIngest förlitar sig på ADX-klusterberäkning för att utföra kopian.

Azure Blob Storage

Du kan mata in data till Azure Blob Storage på flera sätt.

Granska metoderna Azure Data Factory (ADF) och Azure Synapse, som är bättre anpassade till användningsfallet för datamigrering.

Azure Data Factory eller Azure Synapse

Så här använder du aktiviteten Kopiera i Azure Data Factory (ADF) eller Synapse-pipelines:

  1. Skapa och konfigurera en lokalt installerad integrationskörning. Den här komponenten ansvarar för att kopiera data från den lokala värden.
  2. Skapa länkade tjänster för källdatalagret (filsystem och bloblagring för mottagardatalager.
  3. Om du vill kopiera data använder du verktyget Kopiera data. Du kan också använda metoder som PowerShell, Azure Portal, .NET SDK och så vidare.

AzCopy

AzCopy är ett enkelt kommandoradsverktyg som kopierar filer till eller från lagringskonton. AzCopy är tillgängligt för Windows, Linux och macOS. Lär dig hur du kopierar lokala data till Azure Blob Storage med AzCopy.

Du kan också använda de här alternativen för att kopiera data:

Azure Data Box

I ett scenario där käll-SIEM inte har någon bra anslutning till Azure kan det vara långsamt eller till och med omöjligt att mata in data med hjälp av verktygen som granskas i det här avsnittet. För att hantera det här scenariot kan du använda Azure Data Box för att kopiera data lokalt från kundens datacenter till en installation och sedan skicka den installationen till ett Azure-datacenter. Även om Azure Data Box inte ersätter AzCopy eller LightIngest kan du använda det här verktyget för att påskynda dataöverföringen mellan kundens datacenter och Azure.

Azure Data Box erbjuder tre olika SKU:er, beroende på mängden data som ska migreras:

När du har slutfört migreringen är data tillgängliga i ett lagringskonto under en av dina Azure-prenumerationer. Du kan sedan använda AzCopy, LightIngest eller ADF för att mata in data från lagringskontot.

SIEM-datamigreringsaccelerator

Förutom att välja ett inmatningsverktyg måste ditt team investera tid i att konfigurera grundmiljön. För att underlätta den här processen kan du använda SIEM-datamigreringsacceleratorn, som automatiserar följande uppgifter:

  • Distribuerar en virtuell Windows-dator som ska användas för att flytta loggarna från källan till målplattformen
  • Laddar ned och extraherar följande verktyg till den virtuella datorns skrivbord:
  • Distribuerar målplattformen som ska vara värd för dina historiska loggar:
    • Azure Storage-konto (Azure Blob Storage)
    • Azure Data Explorer-kluster och databas
    • Arbetsytan Azure Monitor-loggar (grundläggande loggar, aktiverade med Microsoft Sentinel)

Så här använder du SIEM-datamigreringsacceleratorn:

  1. På sidan SIEM-datamigreringsaccelerator klickar du på Distribuera till Azure längst ned på sidan och autentiserar.
  2. Välj Grundläggande, välj resursgrupp och plats och välj sedan Nästa.
  3. Välj Den virtuella migreringsdatorn och gör följande:
    • Ange namn, användarnamn och lösenord för den virtuella datorn.
    • Välj ett befintligt vNet eller skapa ett nytt vNet för den virtuella datoranslutningen.
    • Välj storleken på den virtuella datorn.
  4. Välj Målplattform och gör något av följande:
    • Hoppa över det här steget.
    • Ange ADX-klustret och databasnamnet, SKU:n och antalet noder.
    • För Azure Blob Storage-konton väljer du ett befintligt konto. Om du inte har något konto anger du ett nytt kontonamn, typ och redundans.
    • För Azure Monitor-loggar skriver du namnet på den nya arbetsytan.

Nästa steg

I den här artikeln har du lärt dig hur du väljer ett verktyg för att mata in dina data på målplattformen.

Mata in dina data