Wybieranie docelowej platformy Azure do hostowania wyeksportowanych danych historycznych
Jedną z ważnych decyzji podejmowanych podczas procesu migracji jest miejsce przechowywania danych historycznych. Aby podjąć tę decyzję, musisz zrozumieć i móc porównać różne platformy docelowe.
W tym artykule porównaliśmy platformy docelowe pod względem wydajności, kosztów, użyteczności i obciążeń związanych z zarządzaniem.
Uwaga
Zagadnienia w tej tabeli dotyczą tylko migracji dzienników historycznych i nie mają zastosowania w innych scenariuszach, takich jak długoterminowe przechowywanie.
| Dzienniki podstawowe/archiwum | Azure Data Explorer (ADX) | Azure Blob Storage | ADX + Azure Blob Storage | |
|---|---|---|---|---|
| Możliwości: | • Zastosuj większość istniejących środowisk dzienników usługi Azure Monitor przy niższych kosztach. • Dzienniki podstawowe są przechowywane przez osiem dni, a następnie są automatycznie przenoszone do archiwum (zgodnie z oryginalnym okresem przechowywania). • Użyj zadań wyszukiwania, aby wyszukiwać petabajty danych i znajdować określone zdarzenia. • Aby uzyskać szczegółowe badania dotyczące określonego zakresu czasu, przywróć dane z archiwum. Dane są następnie dostępne w gorącej pamięci podręcznej na potrzeby dalszej analizy. |
• Zarówno usługi ADX, jak i Microsoft Sentinel korzystają z język zapytań Kusto (KQL), umożliwiając wykonywanie zapytań, agregowanie lub korelowanie danych na obu platformach. Na przykład można uruchomić zapytanie KQL z usługi Microsoft Sentinel, aby dołączyć dane przechowywane w usłudze ADX z danymi przechowywanymi w usłudze Log Analytics. • Dzięki usłudze ADX masz znaczną kontrolę nad rozmiarem i konfiguracją klastra. Możesz na przykład utworzyć większy klaster, aby uzyskać większą przepływność pozyskiwania, lub utworzyć mniejszy klaster w celu kontrolowania kosztów. |
• Magazyn obiektów blob jest zoptymalizowany pod kątem przechowywania ogromnych ilości danych bez struktury. • Oferuje konkurencyjne koszty. • Nadaje się do scenariusza, w którym organizacja nie ma priorytetu ułatwień dostępu lub wydajności, takich jak w przypadku, gdy organizacja musi być zgodna z wymaganiami dotyczącymi zgodności lub inspekcji. |
• Dane są przechowywane w magazynie obiektów blob, co jest niskie w kosztach. • Usługa ADX służy do wykonywania zapytań dotyczących danych w języku KQL, co umożliwia łatwe uzyskiwanie dostępu do danych. Dowiedz się, jak wykonywać zapytania dotyczące danych usługi Azure Monitor przy użyciu usługi ADX |
| Użyteczność: | Wielki Opcje archiwizacji i wyszukiwania są proste w użyciu i dostępne w portalu usługi Microsoft Sentinel. Jednak dane nie są natychmiast dostępne dla zapytań. Należy przeprowadzić wyszukiwanie, aby pobrać dane, co może zająć trochę czasu, w zależności od ilości skanowanych i zwracanych danych. |
Dobrze Dość łatwość użycia w kontekście usługi Microsoft Sentinel. Możesz na przykład użyć skoroszytu platformy Azure do wizualizacji danych rozłożonych zarówno w usłudze Microsoft Sentinel, jak i w usłudze ADX. Możesz również wysyłać zapytania dotyczące danych ADX z portalu usługi Microsoft Sentinel przy użyciu serwera proxy ADX. |
Biedny W przypadku migracji danych historycznych może być konieczne radzenie sobie z milionami plików, a eksplorowanie danych staje się wyzwaniem. |
Sprawiedliwy Chociaż używanie externaldata operatora jest bardzo trudne w przypadku dużej liczby obiektów blob do odwołania, użycie zewnętrznych tabel ADX eliminuje ten problem. Definicja tabeli zewnętrznej rozumie strukturę folderów magazynu obiektów blob i umożliwia przezroczyste wykonywanie zapytań dotyczących danych zawartych w wielu różnych obiektach blob i folderach. |
| Obciążenie związane z zarządzaniem: | W pełni zarządzane Opcje wyszukiwania i archiwum są w pełni zarządzane i nie dodawaj obciążeń związanych z zarządzaniem. |
Wys. USŁUGA ADX jest zewnętrzna dla usługi Microsoft Sentinel, która wymaga monitorowania i konserwacji. |
Niski Chociaż ta platforma wymaga niewielkiej konserwacji, wybranie tej platformy dodaje zadania monitorowania i konfiguracji, takie jak konfigurowanie zarządzania cyklem życia. |
Śred. Dzięki tej opcji można utrzymywać i monitorować usługi ADX i Azure Blob Storage, które są składnikami zewnętrznymi usługi Microsoft Sentinel. Chociaż usługa ADX może być czasami zamykana, rozważ dodatkowe obciążenie związane z zarządzaniem za pomocą tej opcji. |
| Wydajność: | Śred. Zazwyczaj korzystasz z podstawowych dzienników w archiwum przy użyciu zadań wyszukiwania, które są odpowiednie, gdy chcesz zachować dostęp do danych, ale nie potrzebujesz natychmiastowego dostępu do danych. |
Wysoki do niski • Wydajność zapytań klastra ADX zależy od liczby węzłów w klastrze, jednostki SKU maszyny wirtualnej klastra, partycjonowania danych i nie tylko. • Podczas dodawania węzłów do klastra wydajność zwiększa się wraz z dodanymi kosztami. • Jeśli używasz usługi ADX, zalecamy skonfigurowanie rozmiaru klastra w celu zrównoważenia wydajności i kosztów. Ta konfiguracja zależy od potrzeb organizacji, w tym od szybkości ukończenia migracji, częstotliwości uzyskiwania dostępu do danych i oczekiwanego czasu odpowiedzi. |
Niski Oferuje dwie warstwy wydajności: Premium lub Standardowa. Chociaż obie warstwy są opcją długoterminowego przechowywania, standard jest bardziej ekonomiczny. Dowiedz się więcej o limitach wydajności i skalowalności. |
Niski Ponieważ dane znajdują się w usłudze Blob Storage, wydajność jest ograniczona przez platformę. |
| Koszty: | Wys. Koszt składa się z dwóch składników: • Koszt pozyskiwania. Każdy GB danych pozyskanych do dzienników podstawowych podlega kosztom pozyskiwania dzienników usługi Microsoft Sentinel i dzienników usługi Azure Monitor, które sumuje się do około 1/GB USD. Zobacz szczegóły cennika. • Koszt archiwizacji. Koszt danych w warstwie Archiwum wynosi około 0,02 USD/GB miesięcznie. Zobacz szczegóły cennika. Oprócz tych dwóch składników kosztów, jeśli potrzebujesz częstego dostępu do danych, dodatkowe koszty mają zastosowanie podczas uzyskiwania dostępu do danych za pośrednictwem zadań wyszukiwania. |
Wysoki do niski • Ponieważ usługa ADX jest klastrem maszyn wirtualnych, opłaty są naliczane na podstawie użycia zasobów obliczeniowych, magazynu i sieci oraz znaczników ADX (zobacz szczegóły cennika. W związku z tym im więcej węzłów dodajesz do klastra i tym więcej przechowywanych danych, tym wyższy będzie koszt. • Usługa ADX oferuje również funkcje skalowania automatycznego, aby dostosować się do obciążenia na żądanie. Usługi ADX mogą również korzystać z cen wystąpień zarezerwowanych. Możesz uruchomić własne obliczenia kosztów w kalkulatorze cen platformy Azure. |
Niski Dzięki optymalnej konfiguracji usługa Azure Blob Storage ma najniższe koszty. Aby uzyskać większą wydajność i oszczędność kosztów, zarządzanie cyklem życia usługi Azure Storage może służyć do automatycznego umieszczania starszych obiektów blob w tańsze warstwy magazynowania. |
Niski AdX działa tylko jako serwer proxy w tym przypadku, więc klaster może być mały. Ponadto klaster można zamknąć, gdy nie potrzebujesz dostępu do danych i uruchamiać go tylko wtedy, gdy jest potrzebny dostęp do danych. |
| Jak uzyskać dostęp do danych: | Zadania wyszukiwania | Bezpośrednie zapytania KQL | Operator danych zewnętrznych KQL | Zmodyfikowane zapytania KQL |
| Scenariusz: | Okazjonalny dostęp Istotne w scenariuszach, w których nie trzeba uruchamiać dużych analiz ani wyzwalać reguł analizy, a dostęp do danych trzeba uzyskiwać tylko od czasu do czasu. |
Częsty dostęp Istotne w scenariuszach, w których należy często uzyskiwać dostęp do danych i kontrolować, jak klaster ma rozmiar i konfigurację. |
Zgodność/inspekcja • Optymalna do przechowywania ogromnych ilości danych bez struktury. • Istotne w scenariuszach, w których nie potrzebujesz szybkiego dostępu do danych lub wysokiej wydajności, takich jak zgodność lub inspekcja. |
Okazjonalny dostęp Istotne w scenariuszach, w których chcesz korzystać z niskich kosztów usługi Azure Blob Storage i utrzymywać stosunkowo szybki dostęp do danych. |
| Złożoność: | Bardzo małe | Śred. | Niski | Wysokie |
| Gotowość: | Ogólna dostępność | Ogólna dostępność | Ogólna dostępność | Ogólna dostępność |
Zagadnienia ogólne
Teraz, gdy już wiesz więcej o dostępnych platformach docelowych, zapoznaj się z tymi głównymi czynnikami, aby sfinalizować decyzję.
- W jaki sposób organizacja będzie używać pozyskanych dzienników?
- Jak szybko trzeba uruchomić migrację?
- Jaka jest ilość danych do pozyskiwania?
- Jakie są szacowane koszty migracji podczas migracji i po migracji? Zobacz porównanie platform, aby porównać koszty.
Korzystanie z pozyskanych dzienników
Zdefiniuj sposób, w jaki organizacja będzie używać pozyskanych dzienników, aby kierować wyborem platformy pozyskiwania.
Rozważ następujące trzy ogólne scenariusze:
- Twoja organizacja musi przechowywać dzienniki tylko na potrzeby zgodności lub inspekcji. W takim przypadku twoja organizacja rzadko uzyskuje dostęp do danych. Nawet jeśli Organizacja uzyskuje dostęp do danych, wysoka wydajność lub łatwość użycia nie są priorytetem.
- Twoja organizacja musi zachować dzienniki, aby zespoły mogły łatwo i dość szybko uzyskiwać dostęp do dzienników.
- Twoja organizacja musi przechowywać dzienniki, aby zespoły mogły od czasu do czasu uzyskiwać dostęp do dzienników. Wydajność i łatwość użycia są pomocnicze.
Zapoznaj się z porównaniem platformy, aby zrozumieć, która platforma pasuje do każdego z tych scenariuszy.
Szybkość migracji
W niektórych scenariuszach może być konieczne spełnienie ścisłego terminu, na przykład organizacja może wymagać pilnego przeniesienia z poprzedniego rozwiązania SIEM z powodu zdarzenia wygaśnięcia licencji.
Przejrzyj składniki i czynniki, które określają szybkość migracji.
Źródło danych
Źródło danych jest zazwyczaj lokalnym systemem plików lub magazynem w chmurze, na przykład S3. Wydajność magazynu serwera zależy od wielu czynników, takich jak technologia dysków (SSD a HDD), charakter żądań we/wy i rozmiar każdego żądania.
Na przykład wydajność maszyny wirtualnej platformy Azure waha się od 30 MB na sekundę w przypadku mniejszych jednostek SKU maszyny wirtualnej do 20 GB na sekundę dla niektórych jednostek SKU zoptymalizowanych pod kątem magazynu przy użyciu dysków NVM Express (NVMe). Dowiedz się, jak zaprojektować maszynę wirtualną platformy Azure pod kątem wysokiej wydajności magazynu. Większość pojęć można również zastosować do serwerów lokalnych.
Moc obliczeniowa
W niektórych przypadkach, nawet jeśli dysk może szybko kopiować dane, moc obliczeniowa jest wąskim gardłem w procesie kopiowania. W takich przypadkach możesz wybrać jedną z następujących opcji skalowania:
- Skalowanie w pionie. Zwiększasz moc pojedynczego serwera, dodając więcej procesorów CPU lub zwiększając szybkość procesora CPU.
- Skaluj w poziomie. Dodajesz więcej serwerów, co zwiększa równoległość procesu kopiowania.
Platforma docelowa
Każda z platform docelowych omówionych w tej sekcji ma inny profil wydajności.
- Dzienniki podstawowe usługi Azure Monitor. Domyślnie dzienniki podstawowe mogą być wypychane do usługi Azure Monitor z szybkością około 1 GB na minutę. Ta stawka umożliwia pozyskiwanie około 1,5 TB dziennie lub 43 TB miesięcznie.
- Azure Data Explorer. Wydajność pozyskiwania różni się w zależności od rozmiaru aprowiznego klastra i stosowanych ustawień dzielenia na partie. Dowiedz się więcej o najlepszych rozwiązaniach dotyczących pozyskiwania, w tym o wydajności i monitorowaniu.
- Azure Blob Storage. Wydajność konta usługi Azure Blob Storage może się znacznie różnić w zależności od liczby i rozmiaru plików, rozmiaru zadania, współbieżności itd. Dowiedz się, jak zoptymalizować wydajność narzędzia AzCopy za pomocą usługi Azure Storage.
Ilość danych
Ilość danych jest głównym czynnikiem wpływającym na czas trwania procesu migracji. Dlatego należy rozważyć sposób konfigurowania środowiska w zależności od zestawu danych.
Aby określić minimalny czas trwania migracji i miejsce, w którym może być wąskie gardło, należy wziąć pod uwagę ilość danych i szybkość pozyskiwania platformy docelowej. Na przykład wybierasz platformę docelową, która może pozyskiwać 1 GB na sekundę, a migracja wynosi 100 TB. W takim przypadku migracja potrwa co najmniej 100 000 GB, pomnożona przez 1 GB na sekundę. Podziel wynik na 3600, który oblicza się do 27 godzin. To obliczenie jest poprawne, jeśli pozostałe składniki w potoku, takie jak dysk lokalny, sieć i maszyny wirtualne, mogą działać z prędkością 1 GB na sekundę.
Następne kroki
W tym artykule przedstawiono sposób mapowania reguł migracji z usługi QRadar na usługę Microsoft Sentinel.