Wybieranie narzędzia do pozyskiwania danych

Po wybraniu platformy docelowej dla danych historycznych następnym krokiem jest wybranie narzędzia do transferu danych.

W tym artykule opisano zestaw różnych narzędzi używanych do transferu danych historycznych na wybraną platformę docelową. W tej tabeli wymieniono narzędzia dostępne dla każdej platformy docelowej oraz ogólne narzędzia ułatwiające proces pozyskiwania.

Dzienniki podstawowe/archiwum usługi Azure Monitor	Azure Data Explorer	Azure Blob Storage	Narzędzia ogólne
• Niestandardowe narzędzie do pozyskiwania dzienników w usłudze Azure Monitor • Bezpośredni interfejs API	• Najaśniejsze światło • Usługa Logstash	• Azure Data Factory lub Azure Synapse • AzCopy	• Azure Data Box • Akcelerator migracji danych SIEM

Dzienniki podstawowe/archiwum usługi Azure Monitor

Przed pozyskaniem danych do dzienników podstawowych lub archiwum usługi Azure Monitor w celu uzyskania niższych cen pozyskiwania upewnij się, że zapisywana tabela jest skonfigurowana jako dzienniki podstawowe. Przejrzyj narzędzie do pozyskiwania dzienników niestandardowych usługi Azure Monitor i metodę bezpośredniego interfejsu API dla dzienników podstawowych usługi Azure Monitor.

Niestandardowe narzędzie do pozyskiwania dzienników w usłudze Azure Monitor

Niestandardowe narzędzie do pozyskiwania dzienników to skrypt programu PowerShell, który wysyła dane niestandardowe do obszaru roboczego dzienników usługi Azure Monitor. Skrypt można wskazać folderowi, w którym znajdują się wszystkie pliki dziennika, a skrypt wypycha pliki do tego folderu. Skrypt akceptuje format CSV lub JSON dla plików dziennika.

Bezpośredni interfejs API

Ta opcja umożliwia pozyskiwanie dzienników niestandardowych do dzienników usługi Azure Monitor. Dzienniki są pozyskiwane za pomocą skryptu programu PowerShell, który używa interfejsu API REST. Alternatywnie możesz użyć dowolnego innego języka programowania do wykonania pozyskiwania i użyć innych usług platformy Azure do abstrakcji warstwy obliczeniowej, takiej jak Azure Functions lub Azure Logic Apps.

Azure Data Explorer

Dane można pozyskiwać do usługi Azure Data Explorer (ADX) na kilka sposobów.

Metody pozyskiwania akceptowane przez usługę ADX są oparte na różnych składnikach:

• Zestawy SDK dla różnych języków, takich jak .NET, Go, Python, Java, NodeJS i INTERFEJSy API.
• Zarządzane potoki, takie jak Event Grid lub Storage Blob Event Hubs i Azure Data Factory.
• Łączniki lub wtyczki, takie jak Logstash, Kafka, Power Automate i Apache Spark.

Przejrzyj metodę LightIngest i Logstash, dwie metody, które są lepiej dostosowane do przypadku użycia migracji danych.

LightIngest

Usługa ADX opracowała narzędzie LightIngest specjalnie dla historycznego przypadku użycia migracji danych. Możesz użyć narzędzia LightIngest, aby skopiować dane z lokalnego systemu plików lub usługi Azure Blob Storage do usługi ADX.

Oto kilka głównych korzyści i możliwości lightingest:

• Ponieważ nie ma ograniczeń czasowych dotyczących czasu trwania pozyskiwania, lightIngest jest najbardziej przydatne, gdy chcesz pozyskiwać duże ilości danych.
• LightIngest przydaje się, gdy chcesz wykonywać zapytania o rekordy zgodnie z czasem ich utworzenia, a nie czasem pozyskiwania.
• Nie musisz zajmować się złożonym ustalaniem rozmiaru dla lightIngest, ponieważ narzędzie nie wykonuje rzeczywistej kopii. LightIngest informuje ADX o obiektach blob, które należy skopiować, a ADX kopiuje dane.

Jeśli wybierzesz opcję LightIngest, zapoznaj się z tymi wskazówkami i najlepszymi rozwiązaniami.

• Aby przyspieszyć migrację i zmniejszyć koszty, zwiększ rozmiar klastra ADX, aby utworzyć więcej dostępnych węzłów do pozyskiwania. Zmniejsz rozmiar po zakończeniu migracji.
• Aby uzyskać bardziej wydajne zapytania po pozyskiwaniu danych do usługi ADX, upewnij się, że skopiowane dane używają znacznika czasu dla oryginalnych zdarzeń. Dane nie powinny używać znacznika czasu podczas kopiowania danych do usługi ADX. Znacznik czasu należy podać jako ścieżkę nazwy pliku jako część właściwości CreationTime.
• Jeśli ścieżka lub nazwy plików nie zawierają znacznika czasu, nadal możesz poinstruować usługę ADX o zorganizowaniu danych przy użyciu zasad partycjonowania.

Logstash

Logstash to potok przetwarzania danych po stronie serwera typu open source, który pozyskuje dane z wielu źródeł jednocześnie, przekształca dane, a następnie wysyła dane do Twojej ulubionej „przechowalni”. Dowiedz się, jak pozyskiwać dane z usługi Logstash do usługi Azure Data Explorer. Usługa Logstash działa na maszynach z systemami Windows, Linux i macOS.

Aby zoptymalizować wydajność, skonfiguruj rozmiar warstwy usługi Logstash zgodnie ze zdarzeniami na sekundę. Zalecamy używanie technologii LightIngest wszędzie tam, gdzie to możliwe, ponieważ narzędzie LightIngest opiera się na przetwarzaniu klastra ADX w celu wykonania kopii.

Azure Blob Storage

Dane można pozyskiwać do usługi Azure Blob Storage na kilka sposobów.

• Azure Data Factory lub Azure Synapse
• AzCopy
• Eksplorator usługi Azure Storage
• Python
• SSIS

Przejrzyj metody usługi Azure Data Factory (ADF) i Azure Synapse, które są lepiej dostosowane do przypadku użycia migracji danych.

Azure Data Factory lub Azure Synapse

Aby użyć działanie Kopiuj w potokach usługi Azure Data Factory (ADF) lub Synapse:

1. Tworzenie i konfigurowanie własnego środowiska Integration Runtime. Ten składnik jest odpowiedzialny za kopiowanie danych z hosta lokalnego.
2. Utwórz połączone usługi dla źródłowego magazynu danych (system plików i magazyn obiektów blob magazynu danych ujścia).
3. Aby skopiować dane, użyj narzędzia do kopiowania danych. Alternatywnie możesz użyć metody, takiej jak program PowerShell, witryna Azure Portal, zestaw SDK platformy .NET itd.

AzCopy

AzCopy to proste narzędzie wiersza polecenia, które kopiuje pliki do lub z kont magazynu. Narzędzie AzCopy jest dostępne dla systemów Windows, Linux i macOS. Dowiedz się, jak kopiować dane lokalne do usługi Azure Blob Storage za pomocą narzędzia AzCopy.

Możesz również użyć tych opcji, aby skopiować dane:

• Dowiedz się, jak zoptymalizować wydajność narzędzia AzCopy.
• Dowiedz się, jak skonfigurować narzędzie AzCopy.
• Dowiedz się, jak używać polecenia copy.

Azure Data Box

W scenariuszu, w którym źródłowa usługa SIEM nie ma dobrej łączności z platformą Azure, pozyskiwanie danych przy użyciu narzędzi przeglądanych w tej sekcji może być powolne lub nawet niemożliwe. Aby rozwiązać ten scenariusz, możesz użyć usługi Azure Data Box , aby skopiować dane lokalnie z centrum danych klienta do urządzenia, a następnie wysłać to urządzenie do centrum danych platformy Azure. Chociaż usługa Azure Data Box nie zastępuje narzędzia AzCopy ani LightIngest, możesz użyć tego narzędzia, aby przyspieszyć transfer danych między centrum danych klienta a platformą Azure.

Usługa Azure Data Box oferuje trzy różne jednostki SKU, w zależności od ilości danych do migracji:

• Data Box Disk
• Data Box
• Data Box Heavy

Po zakończeniu migracji dane są dostępne na koncie magazynu w ramach jednej z subskrypcji platformy Azure. Następnie możesz użyć narzędzia AzCopy, lightIngest lub usługi ADF do pozyskiwania danych z konta magazynu.

Akcelerator migracji danych SIEM

Oprócz wybrania narzędzia do pozyskiwania, zespół musi poświęcić czas na skonfigurowanie środowiska podstawowego. Aby ułatwić ten proces, możesz użyć akceleratora migracji danych SIEM, który automatyzuje następujące zadania:

• Wdraża maszynę wirtualną z systemem Windows, która będzie używana do przenoszenia dzienników ze źródła do platformy docelowej
• Pobiera i wyodrębnia następujące narzędzia do pulpitu maszyny wirtualnej:
  • LightIngest: służy do migrowania danych do usługi ADX
  • Narzędzie do pozyskiwania dzienników niestandardowych usługi Azure Monitor: służy do migrowania danych do usługi Log Analytics
  • AzCopy: służy do migrowania danych do usługi Azure Blob Storage
• Wdraża platformę docelową, która będzie hostować dzienniki historyczne:
  • Konto usługi Azure Storage (Azure Blob Storage)
  • Klaster i baza danych usługi Azure Data Explorer
  • Obszar roboczy dzienników usługi Azure Monitor (dzienniki podstawowe; włączone w usłudze Microsoft Sentinel)

Aby użyć akceleratora migracji danych SIEM:

1. Na stronie akceleratora migracji danych SIEM kliknij pozycję Wdróż na platformie Azure w dolnej części strony i uwierzytelnij.
2. Wybierz pozycję Podstawowe, wybierz grupę zasobów i lokalizację, a następnie wybierz pozycję Dalej.
3. Wybierz pozycję Migracja maszyny wirtualnej i wykonaj następujące czynności:
   • Wpisz nazwę maszyny wirtualnej, nazwę użytkownika i hasło.
   • Wybierz istniejącą sieć wirtualną lub utwórz nową sieć wirtualną dla połączenia maszyny wirtualnej.
   • Wybierz rozmiar maszyny wirtualnej.
4. Wybierz pozycję Platforma docelowa i wykonaj jedną z następujących czynności:
   • Pomiń ten krok.
   • Podaj nazwę klastra ADX i bazy danych, jednostkę SKU i liczbę węzłów.
   • W przypadku kont usługi Azure Blob Storage wybierz istniejące konto. Jeśli nie masz konta, podaj nową nazwę konta, typ i nadmiarowość.
   • W obszarze Dzienniki usługi Azure Monitor wpisz nazwę nowego obszaru roboczego.

Następne kroki

W tym artykule przedstawiono sposób wybierania narzędzia do pozyskiwania danych na platformę docelową.

Pozyskiwanie danych