다음을 통해 공유

데이터 수집 도구 선택

  • 아티클

기록 데이터에 대한 대상 플랫폼을 선택한 후 다음 단계는 데이터를 전송할 도구를 선택하는 것입니다.

이 문서에서는 기록 데이터를 선택한 대상 플랫폼으로 전송하는 데 사용되는 다양한 도구 세트를 설명합니다. 이 표에는 각 대상 플랫폼에 사용할 수 있는 도구와 수집 프로세스에 도움이 되는 일반적인 도구가 나와 있습니다.

Azure Monitor 기본 로그/보관 Azure Data Explorer Azure Blob Storage 일반적인 도구
• Azure Monitor 사용자 지정 로그 수집 도구
• 직접 API		 • LightIngest
• Logstash		 • Azure Data Factory 또는 Azure Synapse
• AzCopy		 • Azure Data Box
• SIEM 데이터 마이그레이션 가속기

Azure Monitor 기본 로그/보관

Azure Monitor 기본 로그 또는 보관에 데이터를 수집하기 전에 수집 가격을 낮추기 위해 작성 중인 테이블이 기본 로그로 구성되어 있는지 확인합니다. Azure Monitor 기본 로그에 대한 Azure Monitor 사용자 지정 로그 수집 도구 및 직접 API 방법을 검토합니다.

Azure Monitor 사용자 지정 로그 수집 도구

사용자 지정 로그 수집 도구는 사용자 지정 데이터를 Azure Monitor 로그 작업 영역에 보내는 PowerShell 스크립트입니다. 스크립트에서 모든 로그 파일이 있는 폴더를 가리킬 수 있으며 스크립트는 해당 폴더에 파일을 푸시합니다. 이 스크립트는 CSV 또는 JSON 형식의 로그 파일을 수락합니다.

직접 API

이 옵션을 사용하여 사용자 지정 로그를 Azure Monitor 로그에 수집합니다. REST API를 사용하는 PowerShell 스크립트를 통해 로그를 수집합니다. 또는 다른 프로그래밍 언어를 사용하여 수집을 수행할 수 있으며 다른 Azure 서비스를 사용하여 Azure Functions 또는 Azure Logic Apps 등의 컴퓨팅 계층을 추상화할 수 있습니다.

Azure Data Explorer

여러 가지 방법으로 데이터를 ADX(Azure Data Explorer)에 수집할 수 있습니다.

ADX가 수락하는 수집 방법은 다음과 같은 다양한 구성 요소를 기반으로 합니다.

  • .NET, Go, Python, Java, NodeJS, API 등의 다양한 언어에 대한 SDK.
  • Event Grid 또는 Storage Blob Event Hubs 등의 관리형 파이프라인 및 Azure Data Factory.
  • Logstash, Kafka, Power Automate, Apache Spark 등의 커넥터 또는 플러그 인.

데이터 마이그레이션 사용 사례에 더 적합하게 조정된 두 가지 방법인 LightIngest 및 Logstash를 검토합니다.

LightIngest

ADX는 특히 기록 데이터 마이그레이션 사용 사례를 위한 LightIngest 유틸리티를 개발했습니다. LightIngest를 사용하여 로컬 파일 시스템 또는 Azure Blob Storage에서 ADX로 데이터를 복사할 수 있습니다.

LightIngest의 몇 가지 주요 이점과 기능은 다음과 같습니다.

  • 수집 기간에 대한 시간 제약 조건이 없으므로 LightIngest는 대량의 데이터를 수집하려는 경우에 가장 유용합니다.
  • LightIngest는 수집한 시간이 아니라 만든 시간에 따라 레코드를 쿼리하려는 경우에 유용합니다.
  • 유틸리티가 실제 복사를 수행하지 않으므로 LightIngest의 복잡한 크기 조정을 처리할 필요가 없습니다. LightIngest는 복사해야 하는 Blob에 관해 ADX에 알리고 ADX는 데이터를 복사합니다.

LightIngest를 선택하는 경우 다음 팁과 모범 사례를 검토합니다.

  • 마이그레이션 속도를 높이고 비용을 절감하려면 ADX 클러스터의 크기를 늘려 수집에 사용할 수 있는 추가 노드를 만듭니다. 마이그레이션이 끝나면 크기를 줄입니다.
  • 데이터를 ADX에 수집한 후 보다 효율적인 쿼리를 위해 복사된 데이터가 원래 이벤트에 대한 타임스탬프를 사용하는지 확인합니다. 이 데이터는 데이터가 ADX에 복사되는 시점의 타임스탬프를 사용하면 안 됩니다. 타임스탬프는 CreationTime 속성의 일부인 파일 이름 경로로 LightIngest에 제공합니다.
  • 경로 또는 파일 이름에 타임스탬프가 포함되지 않은 경우에도 분할 정책을 사용하여 데이터를 구성하도록 ADX에 지시할 수 있습니다.

Logstash

Logstash는 동시에 여러 원본의 데이터를 수집하고, 데이터를 변환한 다음, 데이터를 즐겨찾는 “스태시”에 전송하는 오픈 소스인 서버 쪽 데이터 처리 파이프라인입니다. Logstash에서 Azure Data Explorer로 데이터를 수집하는 방법을 알아봅니다. Logstash는 Windows, Linux 및 macOS Machines에서 실행됩니다.

성능을 최적화하려면 초당 이벤트 수에 따라 Logstash 계층 크기를 구성합니다. LightIngest는 복사를 수행하는 데 ADX 클러스터 컴퓨팅을 사용하므로 가능한 한 LightIngest를 사용하는 것이 좋습니다.

Azure Blob Storage

여러 가지 방법으로 데이터를 Azure Blob Storage에 수집할 수 있습니다.

데이터 마이그레이션 사용 사례에 더 적합하게 조정된 ADF(Azure Data Factory) 및 Azure Synapse 방법을 검토합니다.

코드 없는 대규모 변환

ADF(Azure Data Factory) 또는 Synapse 파이프라인에서 복사 작업을 사용하려면:

  1. 자체 호스팅 통합 런타임을 만들고 구성합니다. 이 구성 요소는 온-프레미스 호스트에서 데이터를 복사해야 합니다.
  2. 원본 데이터 저장소(파일 시스템) 및 싱크 데이터 저장소(Blob Storage)에 대한 연결된 서비스를 만듭니다.
  3. 데이터를 복사하려면 데이터 복사 도구를 사용합니다. 또는 PowerShell, Azure Portal, .NET SDK 등의 방법을 사용할 수 있습니다.

AZCopy

AzCopy는 스토리지 계정 간에 파일을 복사하는 간단한 명령줄 유틸리티입니다. AzCopy는 Windows, Linux, macOS에서 사용할 수 있습니다. AzCopy를 사용하여 온-프레미스 데이터를 Azure Blob Storage에 복사하는 방법을 알아봅니다.

데이터를 복사하는 데 다음 옵션을 사용할 수도 있습니다.

Azure Data Box

원본 SIEM이 Azure에 제대로 연결되지 않은 시나리오에서는 이 섹션에서 검토한 도구를 사용하여 데이터를 수집하는 작업이 느리거나 불가능할 수도 있습니다. 이 시나리오를 해결하기 위해 Azure Data Box를 사용하여 고객의 데이터 센터에서 어플라이언스로 로컬로 데이터를 복사한 다음, 해당 어플라이언스를 Azure 데이터 센터로 배송할 수 있습니다. Azure Data Box는 AzCopy 또는 LightIngest를 대체하는 것은 아니지만 이 도구를 사용하여 고객 데이터 센터와 Azure 간 데이터 전송을 가속화할 수 있습니다.

Azure Data Box는 마이그레이션할 데이터의 양에 따라 세 가지 SKU를 제공합니다.

마이그레이션을 완료한 후 Azure 구독 중 하나에 속한 스토리지 계정에서 데이터를 사용할 수 있습니다. 그런 다음, AzCopy, LightIngest 또는 ADF를 사용하여 스토리지 계정에서 데이터를 수집할 수 있습니다.

SIEM 데이터 마이그레이션 가속기

수집 도구를 선택하는 것 외에도 팀은 기본 환경 설정에 시간을 투자해야 합니다. 이 프로세스를 쉽게 진행하기 위해 SIEM 데이터 마이그레이션 가속기를 사용하여 다음 작업을 자동화할 수 있습니다.

  • 원본에서 대상 플랫폼으로 로그를 이동하는 데 사용할 Windows 가상 머신 배포
  • 다음 도구를 가상 머신 데스크톱에 다운로드 및 추출:
  • 기록 로그를 호스트할 대상 플랫폼 배포:
    • Azure Storage 계정(Azure Blob Storage)
    • Azure Data Explorer 클러스터 및 데이터베이스
    • Azure Monitor 로그 작업 영역(기본 로그, Microsoft Sentinel에서 사용)

SIEM 데이터 마이그레이션 가속기를 사용하려면:

  1. SIEM 데이터 마이그레이션 가속기 페이지에서 페이지 아래쪽에 있는 Azure에 배포를 클릭하고 인증합니다.
  2. 기본 사항을 선택하고, 리소스 그룹과 위치를 선택한 후, 다음을 선택합니다.
  3. 마이그레이션 VM을 선택하고 다음을 수행합니다.
    • 가상 머신 이름, 사용자 이름, 암호를 입력합니다.
    • 기존 vNet을 선택하거나 가상 머신 연결을 위한 새 vNet을 만듭니다.
    • 가상 머신 크기를 선택합니다.
  4. 대상 플랫폼을 선택하고 다음 중 하나를 수행합니다.
    • 이 단계를 건너뜁니다.
    • ADX 클러스터 및 데이터베이스 이름, SKU, 노드 수를 제공합니다.
    • Azure Blob Storage 계정의 경우 기존 계정을 선택합니다. 계정이 없는 경우 새 계정 이름, 유형, 중복성을 제공합니다.
    • Azure Monitor 로그의 경우 새 작업 영역의 이름을 입력합니다.

다음 단계

이 문서에서는 데이터를 대상 플랫폼에 수집할 도구를 선택하는 방법을 알아보았습니다.

데이터 수집