Azure Monitor의 DCR(데이터 수집 규칙)
DCR(데이터 수집 규칙)은 Azure Monitor의 레거시 데이터 수집 방법을 개선하는 ETL과 유사한 데이터 수집 프로세스의 일부입니다. 이 프로세스에서는 모든 데이터 원본에 대해 많이 사용되는 데이터 수집 파이프라인인 Azure Monitor 파이프라인과 다른 방법보다 관리가 쉽고 확장성이 높은 표준 구성 방법을 사용합니다. DCR 기반 데이터 수집에는 다음을 비롯한 구체적인 이점이 있습니다.
- 서로 다른 데이터 원본의 구성에 대한 일관된 방법입니다.
- 들어오는 데이터를 저장하기 전에 필터링하거나 수정하기 위해 변환을 적용할 수 있습니다.
- 코드 및 DevOps 프로세스로서의 인프라를 지원하는 확장 가능한 구성 옵션입니다.
- 고급 확장성, 계층화된 네트워크 구성 및 주기적인 연결을 제공하기 위해 자체 환경에서 에지 파이프라인 옵션을 제공합니다.
Azure Monitor 파이프라인을 사용한 데이터 수집은 아래 다이어그램에 표시되어 있습니다. 각 수집 시나리오는 데이터를 처리하는 방법과 전송해야 하는 위치를 지정하는 DCR에 정의됩니다. Azure Monitor 파이프라인 자체는 다음 두 가지 구성 요소로 구성됩니다.
- 클라우드 파이프라인은 Azure 구독에서 자동으로 제공되는 Azure Monitor의 구성 요소입니다. 구성이 필요하지 않으며 Azure Portal에 표시되지 않습니다. 클라우드 파이프라인은 Azure Monitor로 전송되는 데이터의 처리 경로를 나타냅니다. DCR은 클라우드 파이프라인이 수신하는 데이터를 처리하는 방법에 대한 지침을 제공합니다.
- 에지 파이프라인은 Azure Monitor 파이프라인을 자체 데이터 센터로 확장하는 구성 요소로, 선택 사항입니다. 에지 파이프라인을 사용하면 원격 분석 데이터가 클라우드 파이프라인으로 전달되기 전에 대규모로 수집하고 라우팅할 수 있습니다. 에지 파이프라인에서 이 구성 요소의 가치에 대한 자세한 내용을 확인하세요.
데이터 수집 규칙 사용
DCR(데이터 수집 규칙)은 다른 Azure 리소스처럼 중앙에서 배포 및 관리할 수 있도록 Azure에 저장됩니다. DCR은 Azure Monitor 파이프라인을 사용하여 데이터 수집을 지원하는 지침의 집합입니다. 중앙에서 다양한 데이터 수집 시나리오를 정의하고 사용자 지정하는 일관된 방법을 제공합니다. 시나리오에 따라 DCR은 수집해야 하는 데이터, 해당 데이터를 변환하는 방법 및 데이터를 보낼 위치와 같은 세부 정보를 지정합니다.
특정 데이터 수집 시나리오에 대해 DCR을 지정하는 기본적인 방법에는 다음 섹션에 설명된 대로 두 가지가 있습니다.
DCRA(데이터 수집 규칙 연결)
DCLA(데이터 수집 규칙 연결)는 DCR을 모니터링되는 리소스와 연결하는 데 사용됩니다. 단일 DCR을 여러 리소스와 연결할 수 있고 단일 리소스를 여러 DCR과 연결할 수 있는 다대다 관계입니다. 이를 통해 요구 사항이 다른 리소스 집합에서 모니터링을 유지 관리하는 전략을 개발할 수 있습니다.
예를 들어 다음 다이어그램은 가상 머신에서 실행되는 AMA(Azure Monitor 에이전트)에 대한 데이터 수집을 보여 줍니다. 에이전트가 설치되면 Azure Monitor에 연결하여 연결된 DCR을 검색합니다. 이 시나리오에서 DCR은 에이전트가 컴퓨터에서 수집하고 Azure Monitor로 보낼 데이터를 결정하는 데 사용하는 수집할 이벤트 및 성능 데이터를 지정합니다. 데이터가 전달되면 클라우드 파이프라인은 DCR에 지정된 변환을 실행하여 데이터를 필터링 및 수정한 다음, 데이터를 지정된 작업 영역 및 테이블로 보냅니다.
직접 수집
직접 수집을 사용하면 들어오는 데이터를 처리하기 위해 특정 DCR이 지정됩니다. 예를 들어 다음 다이어그램은 로그 수집 API를 사용하는 사용자 지정 애플리케이션의 데이터를 보여 줍니다. 각 API 호출은 해당 데이터를 처리할 DCR을 지정합니다. DCR은 들어오는 데이터의 구조를 파악하고, 데이터가 대상 테이블의 형식인지 확인하는 변환을 포함하며, 변환된 데이터를 보낼 작업 영역과 테이블을 지정합니다.
변환
변환을 사용하면 들어오는 데이터를 Azure Monitor에 저장하기 전에 수정할 수 있습니다. 불필요한 데이터를 필터링하여 수집 비용을 줄이거나, Log Analytics 작업 영역에 유지하면 안 되는 민감한 데이터를 제거하거나, 대상 스키마와 일치하도록 데이터 형식을 지정할 수 있습니다. 변환은 클라우드 파이프라인에서 실행되는 DCR에 정의된 KQL 쿼리입니다.
엔드포인트
클라우드 파이프라인으로 전송된 데이터는 특정 엔드포인트의 URL로 전송되어야 합니다. 이는 시나리오에 따라 퍼블릭 엔드포인트, DCR 자체에서 제공하는 엔드포인트 또는 Azure 구독에서 사용자가 만든 DCE(데이터 수집 엔드포인트)일 수 있습니다. 다양한 데이터 수집 시나리오에서 사용되는 엔드포인트에 대한 자세한 내용은 Azure Monitor의 데이터 수집 엔드포인트를 참조하세요.
에지 파이프라인
에지 파이프라인은 Azure Monitor 파이프라인을 자체 데이터 센터로 확장합니다. Azure 클라우드의 Azure Monitor에 배달되기 전에 원격 분석 데이터를 대규모로 수집하고 라우팅할 수 있습니다.
Azure Monitor 에지 파이프라인의 구체적인 사용 사례는 다음과 같습니다.
- 확장성. 에지 파이프라인은 Azure Monitor 에이전트와 같은 다른 컬렉션 방법에 의해 제한될 수 있는 모니터링되는 리소스의 대량 데이터를 처리할 수 있습니다.
- 정기적인 연결. 일부 환경에서는 클라우드에 대한 연결이 불안정하거나 연결되지 않은 상태로 예기치 못한 오랜 시간이 걸릴 수 있습니다. 에지 파이프라인은 데이터를 로컬로 캐시하고 연결이 복원되면 클라우드와 동기화할 수 있습니다.
- 계층화된 네트워크. 일부 환경에서는 네트워크가 분할되어 데이터를 클라우드로 직접 보낼 수 없습니다. 에지 파이프라인을 사용하면 클라우드 액세스 없이 모니터링되는 리소스에서 데이터를 수집하고 클라우드에서 Azure Monitor에 대한 연결을 관리할 수 있습니다.
데이터 수집 시나리오
다음 표에서 현재 DCR 및 Azure Monitor 파이프라인을 사용하여 지원되는 데이터 수집 시나리오를 확인할 수 있습니다. 구성에 대한 자세한 내용은 각 항목의 링크를 참조하세요.
| 시나리오 | 설명 |
|---|---|
| 가상 머신 | VM에 Azure Monitor 에이전트를 설치하고 클라이언트 운영 체제에서 수집할 이벤트 및 성능 데이터를 정의하는 하나 이상의 DCR과 연결합니다. DCR을 직접 편집할 필요가 없도록 Azure Portal을 사용하여 이 구성을 수행할 수 있습니다. Azure Monitor 에이전트를 사용하여 데이터 수집을 참조하세요. |
| 가상 머신에서 VM 인사이트를 사용하도록 설정하면 Azure Monitor 에이전트를 VM 클라이언트에서 원격 분석으로 배포합니다. DCR은 미리 정의된 성능 데이터 집합을 자동으로 수집하도록 만들어집니다. VM 인사이트 사용 개요를 참조하세요. |
|
| 컨테이너 인사이트 | Kubernetes 클러스터에서 컨테이너 인사이트를 사용하도록 설정 하면 컨테이너화된 버전의 Azure Monitor 에이전트를 배포하여 클러스터에서 Log Analytics 작업 영역으로 로그를 보냅니다. DCR은 자동으로 만들어지지만 컬렉션 설정을 사용자 지정하도록 수정해야 할 수도 있습니다. 데이터 수집 규칙을 사용하여 컨테이너 인사이트에서 데이터 수집 구성을 참조하세요. |
| 로그 수집 API | 로그 수집 API를 사용하면 REST 클라이언트에서 Log Analytics 작업 영역으로 데이터를 보낼 수 있습니다. API 호출은 해당 데이터를 수락할 DCR을 지정하고 DCR의 엔드포인트를 지정합니다. DCR은 들어오는 데이터의 구조를 파악하고, 데이터가 대상 테이블의 형식인지 확인하는 변환을 포함하며, 변환된 데이터를 보낼 작업 영역과 테이블을 지정합니다. Azure Monitor의 로그 수집 API를 참조하세요. |
| Azure Event Hubs | Azure Event Hubs에서 Log Analytics 작업 영역으로 데이터를 보냅니다. DCR은 들어오는 스트림을 정의하고 대상 작업 영역 및 테이블의 데이터 형식을 지정하는 변환을 정의합니다. 자습서: Azure Event Hubs의 이벤트를 Azure Monitor 로그로 수집(공개 미리 보기)를 참조합니다. |
| 작업 영역 변환 DCR | 작업 영역 변환 DCR은 Log Analytics 작업 영역과 연결된 특수 DCR이며 다른 메서드를 사용하여 수집되는 데이터에 대한 변환을 수행할 수 있습니다. 작업 영역에 대한 단일 DCR을 만들고 하나 이상의 테이블에 변환을 추가합니다. 변환은 DCR을 사용하지 않는 메서드를 통해 해당 테이블로 전송되는 모든 데이터에 적용됩니다. Azure Monitor의 작업 영역 변환 DCR을 참조하세요. |
DCR 지역
데이터 수집 규칙은 Log Analytics 작업 영역과 Azure Government 및 중국 클라우드가 지원되는 모든 퍼블릭 지역에서 사용할 수 있습니다. 에어 갭(Air-Gap) 클라우드는 아직 지원되지 않습니다. DCR이 생성되어 특정 지역에 저장되고 동일한 지역 내의 쌍을 이루는 지역에 백업됩니다. 서비스는 지역 내 세 가지 가용성 영역 모두에 배포됩니다. 이러한 이유로 이것은 가용성을 더욱 높이는 영역 중복 서비스입니다.
단일 지역 데이터 상주는 단일 지역에 고객 데이터를 저장할 수 있는 미리 보기 기능이며, 현재 아시아 태평양 지역의 동남 아시아 지역(싱가포르) 및 브라질 지역의 브라질 남부(상파울루 주) 지역에서만 사용할 수 있습니다. 이러한 지역에서는 단일 지역 상주가 기본적으로 사용하도록 설정되어 있습니다.
다음 단계
DCR로 작업하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.
- DCR의 JSON 구조 및 다른 워크플로에 사용되는 다양한 요소에 대한 설명을 보려는 경우 데이터 수집 규칙 구조
- 다양한 데이터 수집 시나리오용 샘플 DCR에 대해서는 샘플 DCR(데이터 수집 규칙)
- 다양한 데이터 수집 시나리오용 DCR을 만드는 다양한 방법을 보려는 경우 Azure Monitor에서 DCR(데이터 수집 규칙) 만들기 및 편집
- 각 DCR에 적용되는 제한 사항에 대해서는 Azure Monitor 서비스 제한