Splunk에서 Azure Data Explorer로 데이터 수집

Important

이 커넥터는 Microsoft Fabric의 실시간 인텔리전스 에서 사용할 수 있습니다. 다음 예외를 제외하고 이 문서의 지침을 사용합니다.

• 필요한 경우 KQL 데이터베이스 만들기의 지침을 사용하여 데이터베이스를 만듭니다.
• 필요한 경우 빈 테이블 만들기의 지침을 사용하여 테이블을 만듭니다.
• 복사 URI의 지침을 사용하여 쿼리 또는 수집 URI를 가져옵니다.
• KQL 쿼리 세트에서 쿼리를 실행합니다.

Splunk Enterprise는 여러 원본에서 동시에 데이터를 수집할 수 있는 소프트웨어 플랫폼입니다. Splunk 인덱서는 데이터를 처리하고 기본적으로 기본 인덱스 또는 지정된 사용자 지정 인덱스로 저장합니다. Splunk에서 검색하면 인덱싱된 데이터를 사용하여 메트릭, 대시보드 및 경고를 만듭니다. Azure 데이터 탐색기는 로그 및 원격 분석 데이터에 사용 가능한 빠르고 확장성이 우수한 데이터 탐색 서비스입니다.

이 문서에서는 Azure Data Explorer Splunk 추가 기능을 사용하여 Splunk에서 클러스터의 테이블로 데이터를 보내는 방법을 알아봅니다. 처음에는 테이블 및 데이터 매핑을 만든 다음 Splunk에 데이터를 테이블로 보낸 다음 결과의 유효성을 검사하도록 지시합니다.

다음 시나리오는 Azure Data Explorer로 데이터를 수집하는 데 가장 적합합니다.

• 대용량 데이터: Azure Data Explorer는 방대한 양의 데이터를 효율적으로 처리하도록 빌드되었습니다. 조직에서 실시간 분석이 필요한 상당한 양의 데이터를 생성하는 경우 Azure Data Explorer가 적합한 선택입니다.
• 시계열 데이터: Azure Data Explorer는 로그, 원격 분석 데이터 및 센서 판독값과 같은 시계열 데이터를 처리하는 데 탁월합니다. 시간 기반 파티션에서 데이터를 구성하여 시간 기반 분석 및 집계를 쉽게 수행할 수 있습니다.
• 실시간 분석: 조직에 들어오는 데이터의 실시간 인사이트가 필요한 경우 Azure Data Explorer의 거의 실시간 기능이 도움이 될 수 있습니다.

필수 조건

• Microsoft 계정 또는 Microsoft Entra 사용자 ID입니다. Azure 구독이 필요하지 않습니다.
• Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
• Splunk Enterprise 9 이상.
• Microsoft Entra 서비스 주체입니다. Microsoft Entra 서비스 주체를 만듭니다.

테이블 및 매핑 개체 만들기

클러스터와 데이터베이스가 있으면 Splunk 데이터와 일치하는 스키마가 있는 테이블을 만듭니다. 또한 들어오는 데이터를 대상 테이블 스키마로 변환하는 데 사용되는 매핑 개체를 만듭니다.

다음 예제에서는 4개의 열, 즉 , TemperatureHumidity및 Weather4개의 Timestamp열로 명명된 WeatherAlert 테이블을 만듭니다. 또한 들어오는 json에서 속성을 추출하고 지정된 json에 path 출력하는 명명 WeatherAlert_Json_Mapping 된 column새 매핑을 만듭니다.

웹 UI 쿼리 편집기에서 다음 명령을 실행하여 테이블 및 매핑을 만듭니다.

1. 테이블을 만듭니다.

   .create table WeatherAlert (Timestamp: datetime, Temperature: string, Humidity: string, Weather: string)
   

2. 테이블 WeatherAlert 이 만들어졌으며 비어 있는지 확인합니다.

   WeatherAlert
   | count
   

3. 매핑 개체를 만듭니다.

   .create table WeatherAlert ingestion json mapping "WeatherAlert_Json_Mapping"
       ```[{ "column" : "Timestamp", "datatype" : "datetime", "Properties":{"Path":"$.timestamp"}},
           { "column" : "Temperature", "datatype" : "string", "Properties":{"Path":"$.temperature"}},
           { "column" : "Humidity", "datatype" : "string", "Properties":{"Path":"$.humidity"}},
           { "column" : "Weather", "datatype" : "string", "Properties":{"Path":"$.weather_condition"}}
         ]```
   

4. 필수 구성 요소의 서비스 주체를 사용하여 데이터베이스 작업 권한을 부여합니다 .

   .add database YOUR_DATABASE_NAME admins  ('aadapp=YOUR_APP_ID;YOUR_TENANT_ID') 'Entra App'
   

Splunk Azure Data Explorer 추가 기능 설치

Splunk 추가 기능은 Azure Data Explorer와 통신하고 지정된 테이블로 데이터를 보냅니다.

1. Azure Data Explorer 추가 기능을 다운로드합니다.

2. Splunk 인스턴스에 관리자 권한으로 로그인합니다.

3. 앱 관리 앱>으로 이동합니다.

4. 파일에서 앱 설치를 선택한 다음, 다운로드한 Azure Data Explorer 추가 기능 파일을 선택합니다.

5. 프롬프트에 따라 설치를 완료합니다.

6. 지금 다시 시작을 선택합니다.

7. 대시보드>경고 작업으로 이동하여 Azure Data Explorer 추가 기능을 찾아 추가 기능이 설치되어 있는지 확인합니다.

   

Splunk에서 새 인덱스 만들기

Splunk에서 Azure Data Explorer로 보내려는 데이터의 조건을 지정하는 인덱스 만들기

1. Splunk 인스턴스에 관리자 권한으로 로그인합니다.
2. 설정>인덱스로 이동합니다.
3. 인덱스 이름을 지정하고 Azure Data Explorer에 보낼 데이터의 조건을 구성합니다.
4. 필요에 따라 나머지 속성을 구성한 다음 인덱스 저장

Azure Data Explorer로 데이터를 보내도록 Splunk 추가 기능 구성

1. Splunk 인스턴스에 관리자 권한으로 로그인합니다.

2. 대시보드로 이동하여 이전에 만든 인덱스로 검색합니다. 예를 들어 이름이 인덱스인 WeatherAlerts경우 검색합니다 index="WeatherAlerts".

3. 경고로>저장을 선택합니다.

4. 경고에 필요한 이름, 간격 및 조건을 지정합니다.

   

5. 트리거 작업에서 Microsoft Azure Data Explorer에 작업>보내기 추가를 선택합니다.

   

6. 다음과 같이 연결 세부 정보를 구성합니다.

   설정	설명
   클러스터 수집 URL	Azure Data Explorer 클러스터의 수집 URL을 지정합니다. 예들 들어 https://ingest-<mycluster>.<myregion>.kusto.windows.net입니다.
   클라이언트 ID	이전에 만든 Microsoft Entra 애플리케이션의 클라이언트 ID를 지정합니다.
   클라이언트 암호	이전에 만든 Microsoft Entra 애플리케이션의 클라이언트 암호를 지정합니다.
   테넌트 ID	이전에 만든 Microsoft Entra 애플리케이션의 테넌트 ID를 지정합니다.
   데이터베이스	데이터를 보낼 데이터베이스의 이름을 지정합니다.
   테이블	데이터를 보낼 테이블의 이름을 지정합니다.
   매핑	이전에 만든 매핑 개체의 이름을 지정합니다.
   추가 필드 제거	클러스터로 전송된 데이터에서 빈 필드를 제거하려면 이 옵션을 선택합니다.
   지속성 모드	수집 중에 내구성 모드를 사용하도록 설정하려면 이 옵션을 선택합니다. true로 설정하면 수집 처리량이 영향을 미칩니다.

   

7. 저장을 선택하여 경고를 저장합니다.

8. 경고 페이지로 이동하여 경고 목록에 경고가 표시되는지 확인합니다.

   

데이터가 Azure Data Explorer에 수집되는지 확인

경고가 트리거되면 데이터가 Azure Data Explorer 테이블로 전송됩니다. 웹 UI 쿼리 편집기에서 쿼리를 실행하여 데이터가 수집되는지 확인할 수 있습니다.

1. 다음 쿼리를 실행하여 데이터가 테이블에 수집되는지 확인합니다.

   WeatherAlert
   | count
   

2. 다음 쿼리를 실행하여 데이터를 봅니다.

   WeatherAlert
   | take 100
   

   

관련 콘텐츠

• 쿼리 작성