메트릭을 사용하여 Azure Data Explorer 성능, 상태 및 사용량 모니터링
Azure Data Explorer 메트릭은 Azure Data Explorer 클러스터 리소스의 상태 및 성능에 대한 주요 지표를 제공합니다. 이 문서에 자세히 설명된 메트릭을 사용하여 특정 시나리오의 Azure Data Explorer 클러스터 사용량, 상태 및 성능을 독립 실행형 메트릭으로 모니터링합니다. 메트릭을 운영 Azure Dashboards 및 Azure Alerts의 기반으로 사용할 수도 있습니다.
Azure 메트릭 탐색기에 대한 자세한 내용은 메트릭 탐색기를 참조하세요.
사전 요구 사항
- Azure 구독 평가판 Azure 계정을 만듭니다.
- Azure Data Explorer 클러스터 및 데이터베이스. 클러스터 및 데이터베이스를 만듭니다.
메트릭을 사용하여 Azure Data Explorer 리소스 모니터링
- Azure Portal에 로그인합니다.
- Azure Data Explorer 클러스터의 왼쪽 창에서 메트릭을 검색합니다.
- 메트릭을 선택하여 메트릭 창을 열고 클러스터에 대한 분석을 시작합니다.
메트릭 창에서 작업
메트릭 창에서 추적할 특정 메트릭을 선택하고, 데이터를 집계하는 방법을 선택하고, 대시보드에서 볼 메트릭 차트를 만듭니다.
Azure Data Explorer 클러스터에 대해 리소스 및 메트릭 네임스페이스 선택기가 미리 선택되어 있습니다. 다음 이미지의 번호는 아래 번호 목록에 해당합니다. 메트릭을 설정하고 볼 때 다양한 옵션을 안내합니다.
- 메트릭 차트를 만들려면 메트릭별로 메트릭 이름과 관련 집계를 선택합니다. 다양한 메트릭에 대한 자세한 내용은 지원되는 Azure Data Explorer 메트릭을 참조하세요.
- 동일한 차트에 표시된 여러 메트릭을 보려면 메트릭 추가를 선택합니다.
- 한 보기에서 여러 차트를 보려면 + 새 차트를 선택합니다.
- 시간 선택기를 사용하여 시간 범위를 변경합니다(기본값: 지난 24시간).
- 차원이 있는 메트릭의 경우 필터 추가 및 분할 적용을 사용합니다.
- 대시보드에 고정을 선택하여 차트 구성을 대시보드에 추가하면 다시 볼 수 있습니다.
- 설정된 기준을 사용하여 메트릭을 시각화하려면 새 알림 규칙을 설정합니다. 새 경고 규칙에는 사용자 차트의 대상 리소스, 메트릭, 분할 및 필터 차원이 포함됩니다. 경고 규칙 만들기 창에서 이러한 설정을 수정합니다.
지원되는 Azure Data Explorer 메트릭
Azure Data Explorer 메트릭은 수집 또는 쿼리와 같은 특정 작업에 대한 정보는 물론 전체 성능과 리소스 사용에 대한 인사이트를 제공합니다. 이 문서의 메트릭은 사용 유형별로 그룹화되었습니다.
메트릭 유형은 다음과 같습니다.
Azure Data Explorer에 대한 Azure Monitor 메트릭의 알파벳순 목록은 지원되는 Azure Data Explorer 클러스터 메트릭을 참조하세요.
클러스터 메트릭
클러스터 메트릭은 클러스터의 일반적인 상태를 추적합니다. 예를 들어 리소스 와 수집 사용 및 응답성입니다.
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| 캐시 사용률(사용되지 않음) | 백분율 | 평균, 최대, 최소 | 클러스터에서 현재 사용 중인 할당된 캐시 리소스의 백분율입니다. 캐시는 정의된 캐시 정책에 따라 사용자 활동에 할당된 SSD의 크기입니다. 80% 이하의 평균 캐시 사용률이 클러스터에 대해 유지 가능한 상태입니다. 평균 캐시 사용률이 80%를 초과하는 경우 클러스터는 스토리지 최적화 가격 책정 계층 또는 더 많은 인스턴스로 스케일 아웃되어야 합니다. 또는 캐시 정책을 캐시에서 더 적은 기간(일)으로 조정합니다. 캐시 사용률이 100%를 초과하는 경우 캐싱할 데이터의 크기는 클러스터의 전체 캐시 크기보다 큽니다. 이 메트릭은 더 이상 사용되지 않으며 이전 버전과의 호환성을 위해서만 제공됩니다. 대신 '캐시 사용률 요소' 메트릭을 사용합니다. |
None |
| 캐시 사용률 팩터 | 백분율 | 평균, 최대, 최소 | 클러스터의 핫 캐시 전용 사용 디스크 공간 비율입니다. 100%는 핫 데이터에 할당된 디스크 공간이 최적으로 활용됨을 의미합니다. 아무 작업도 필요하지 않으며 클러스터는 완전히 정상입니다. 100% 미만은 핫 데이터에 할당된 디스크 공간이 완전히 활용되지 않음을 의미합니다. 100% 초과는 캐싱 정책에 정의된 대로 클러스터의 디스크 공간이 핫 데이터를 수용할 만큼 충분히 크지 않다는 것을 의미합니다. 모든 핫 데이터에 충분한 공간을 사용할 수 있도록 하려면 핫 데이터의 양을 줄이거나 클러스터를 스케일 아웃해야 합니다. 자동 크기 조정을 사용하도록 설정하는 것이 좋습니다. |
None |
| CPU | 백분율 | 평균, 최대, 최소 | 클러스터의 컴퓨터에서 현재 사용 중인 할당된 컴퓨팅 리소스의 비율입니다. 평균 CPU의 80% 이하가 클러스터에 대해 유지됩니다. CPU의 최댓값은 100%이며, 이는 데이터를 처리할 추가 컴퓨팅 리소스가 없음을 의미합니다. 클러스터가 제대로 작동하지 않을 때 CPU의 최댓값을 확인하여 차단된 특정 CPU가 있는지 확인합니다. |
None |
| 수집 사용률 | 백분율 | 평균, 최대, 최소 | 수집을 수행하기 위해 용량 정책에서 할당된 총 리소스에서 데이터를 수집하는 데 사용되는 실제 리소스의 비율입니다. 기본 용량 정책은 동시 수집 작업 수 512개 또는 수집에 투자된 클러스터 리소스의 75%를 넘지 않습니다. 80% 이하의 평균 수집 사용률이 클러스터에 대해 유지 가능한 상태입니다. 수집 사용률의 최댓값은 100%이며, 이는 모든 클러스터 수집 기능이 사용되고 수집 큐가 발생할 수 있음을 의미합니다. |
None |
| InstanceCount | 개수 | Avg | 총 인스턴스 수입니다. | |
| 연결 유지 | 개수 | Avg | 클러스터의 응답성을 추적합니다. 완전히 반응하는 클러스터는 값 1을 반환하고 차단되거나 연결이 끊긴 클러스터는 0을 반환합니다. |
|
| 제한된 명령의 총 수 | 개수 | 평균, 최대, 최소, 합계 | 최대 허용 동시(병렬) 명령 수에 도달했기 때문에 클러스터에서 제한된(거부된) 명령 수입니다. | None |
| 총 익스텐트 수 | 개수 | 평균, 최대, 최소, 합계 | 클러스터의 총 데이터 익스텐트 수입니다. 데이터 익스텐트 병합은 CPU를 많이 사용하는 작업이므로 이 메트릭의 변경은 대규모 데이터 구조 변경과 클러스터의 높은 로드를 의미할 수 있습니다. |
None |
| 팔로워 대기 시간 | 밀리초 | 평균, 최대, 최소 | 팔로워 데이터베이스는 리더 데이터베이스의 변경 내용을 동기화합니다. 동기화 때문에, 데이터 가용성에 몇 초에서 몇 분의 데이터 지연이 있습니다. 이 메트릭은 시간 지연의 길이를 측정합니다. 시간 지연은 리더에 수집된 데이터의 전체 크기 및 속도, 팔로우한 데이터베이스 수, 리더에서 수행되는 내부 작업의 속도(병합/다시 빌드 작업)와 같은 여러 요인에 따라 달라집니다. 이는 클러스터 수준 메트릭입니다. 팔로워는 팔로우하는 모든 데이터베이스의 메타데이터를 catch합니다. 이 메트릭은 프로세스의 대기 시간을 나타냅니다. |
None |
메트릭 내보내기
내보내기 메트릭은 지연, 결과, 레코드 수 및 사용률과 같은 내보내기 작업의 일반적인 상태 및 성능을 추적합니다.
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| 내보낸 레코드의 연속 내보내기 수 | 개수 | 합계 | 모든 연속 내보내기 작업에서 내보낸 레코드 수입니다. | ContinuousExportName |
| 연속 내보내기 최대 지연 시간 | 개수 | 최대값 | 클러스터의 연속 내보내기 작업에서 보고한 지연 시간(분)입니다. | None |
| 보류 중인 연속 내보내기 수 | 개수 | 최대값 | 보류 중인 연속 내보내기 작업의 수입니다. 이러한 작업은 실행할 준비가 되었지만 용량 부족으로 인해 대기열에서 대기 중입니다. | |
| 연속 내보내기 결과 | 개수 | 개수 | 각 연속 내보내기 실행의 실패/성공 결과입니다. | ContinuousExportName |
| 내보내기 사용률 | 백분율 | 최대값 | 클러스터의 총 내보내기 용량(0에서 100 사이)에서 사용된 내보내기 용량입니다. | None |
수집 메트릭
수집 메트릭은 대기 시간, 결과 및 볼륨과 같은 수집 작업의 일반적인 상태와 성능을 추적합니다. 분석을 구체화하려면:
- 차트에 필터를 적용하여 차원별로 부분 데이터를 표시합니다. 예를 들어 특정
Database에 대한 수집을 탐색합니다. - 차트에 분할을 적용하여 다양한 구성 요소별로 데이터를 시각화합니다. 이 프로세스는 수집 파이프라인의 각 단계(예:
Blobs received)에서 보고되는 메트릭을 분석하는 데 유용합니다.
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| 일괄 처리 Blob 수 | 개수 | 평균, 최대, 최소 | 수집을 위해 완료된 일괄 처리의 데이터 원본 수입니다. | 데이터베이스 |
| 일괄 처리 기간 | 초 | 평균, 최대, 최소 | 수집 흐름의 일괄 처리 단계 기간입니다. | 데이터베이스 |
| Batch 크기 | 바이트 | 평균, 최대, 최소 | 수집을 위해 집계된 일괄 처리에서 압축되지 않은 예상 데이터 크기입니다. | 데이터베이스 |
| 처리된 일괄 처리 | 개수 | 합계, 최대, 최소 | 수집을 위해 완료된 일괄 처리 수입니다. Batching Type: 일괄 처리 봉인을 위한 트리거입니다. 일괄 처리 유형의 전체 목록은 일괄 처리 유형을 참조하세요. |
데이터베이스, 일괄 처리 유형 |
| 받은 Blob | 개수 | 합계, 최대, 최소 | 구성 요소에서 입력 스트림에서 받은 Blob의 수입니다. 분할 적용을 사용하여 각 구성 요소를 분석합니다. |
데이터베이스, 구성 요소 유형, 구성 요소 이름 |
| 처리된 Blob | 개수 | 합계, 최대, 최소 | 구성 요소에서 처리하는 Blob의 수입니다. 분할 적용을 사용하여 각 구성 요소를 분석합니다. |
데이터베이스, 구성 요소 유형, 구성 요소 이름 |
| 삭제된 Blob | 개수 | 합계, 최대, 최소 | 구성 요소에 의해 영구적으로 삭제된 Blob의 수입니다. 이러한 각 blob에 대해 실패 이유가 있는 Ingestion result 메트릭이 전송됩니다. 분할 적용을 사용하여 각 구성 요소를 분석합니다. |
데이터베이스, 구성 요소 유형, 구성 요소 이름 |
| 검색 대기 시간 | 초 | Avg | 데이터 연결을 통해 검색될 때까지 데이터 큐에서 대기하는 시간입니다. 이 시간은 단계 대기 시간 또는 수집 대기 시간 메트릭에 포함되지 않습니다. 검색 대기 시간은 다음과 같은 상황에서 증가할 수 있습니다.
|
구성 요소 유형, 구성 요소 이름 |
| 받은 이벤트 | 개수 | 합계, 최대, 최소 | 입력 스트림에서 데이터 연결로 수신되는 이벤트 수입니다. | 구성 요소 유형, 구성 요소 이름 |
| 처리된 이벤트 | 개수 | 합계, 최대, 최소 | 데이터 연결에서 처리되는 이벤트 수입니다. | 구성 요소 유형, 구성 요소 이름 |
| 삭제된 이벤트 | 개수 | 합계, 최대, 최소 | 데이터 연결에 의해 영구적으로 삭제된 이벤트 수입니다. 이러한 각 이벤트에 Ingestion result 대해 실패 이유가 있는 메트릭이 전송됩니다. |
구성 요소 유형, 구성 요소 이름 |
| 수집 대기 시간 | 초 | 평균, 최대, 최소 | 클러스터에서 데이터를 받은 시점부터 쿼리할 준비가 될 때까지 수집된 데이터의 대기 시간입니다. 수집 대기 시간은 수집 시나리오에 따라 달라집니다.Ingestion Kind: 스트리밍 수집 또는 대기 중인 수집 |
수집 종류 |
| 수집 결과 | 개수 | 합계 | 수집에 실패했거나 성공한 총 원본 수입니다.Status: 성공적인 수집의 경우 성공, 실패의 경우 실패 범주입니다. 가능한 실패 범주의 전체 목록은 Azure Data Explorer의 수집 오류 코드를 참조하세요. Failure Status Type: 실패가 영구적인지 일시적인지 여부입니다. 성공적인 수집의 경우 이 차원은 None입니다.참고:
|
상태, 실패 상태 유형 |
| 수집 볼륨(바이트) | 개수 | 최대, 합계 | 압축 전에 클러스터에 수집된 데이터의 총 크기(바이트)입니다. | 데이터베이스 |
| 큐 길이 | 개수 | Avg | 구성 요소의 입력 큐에 있는 보류 중인 메시지 수입니다. 일괄 처리 관리자 구성 요소에는 Blob당 하나의 메시지가 있습니다. 수집 관리자 구성 요소에는 일괄 처리당 하나의 메시지가 있습니다. 일괄 처리는 하나 이상의 Blob이 있는 단일 수집 명령입니다. | 구성 요소 유형 |
| 큐 가장 오래된 메시지 | 초 | Avg | 구성 요소의 입력 큐에서 가장 오래된 메시지가 삽입된 시간(초)입니다. | 구성 요소 유형 |
| 받은 데이터 크기 바이트 | 바이트 | 평균, 합계 | 입력 스트림에서 데이터 연결로 받은 데이터의 크기입니다. | 구성 요소 유형, 구성 요소 이름 |
| 단계 대기 시간 | 초 | Avg | Azure Data Explorer에서 메시지를 수락한 시점부터 처리를 위해 수집 구성 요소에서 해당 콘텐츠를 수신할 때까지의 시간입니다. 필터 적용을 사용하고 구성 요소 유형 > StorageEngine을 선택하여 총 수집 대기 시간을 표시합니다. |
데이터베이스, 구성 요소 유형 |
스트리밍 수집 메트릭
스트리밍 수집 메트릭은 스트리밍 수집 데이터와 요청 속도, 기간 및 결과를 추적합니다.
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| 스트리밍 수집 데이터 속도 | 개수 | RateRequestsPerSecond | 클러스터에 수집된 데이터의 총 볼륨입니다. | None |
| 스트리밍 수집 지속 시간 | 밀리초 | 평균, 최대, 최소 | 모든 스트리밍 수집 요청의 총 기간입니다. | None |
| 스트리밍 수집 요청 속도 | 개수 | 개수, 평균, 최대, 최소, 합계 | 스트리밍 수집 요청의 총 수입니다. | None |
| 스트리밍 수집 결과 | 개수 | Avg | 결과 형식별 스트리밍 수집 요청의 총 수입니다. | 결과 |
쿼리 메트릭
쿼리 성능 메트릭은 쿼리 지속 시간과 총 동시 쿼리 수 또는 제한 쿼리 수를 추적합니다.
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| 쿼리 기간 | 밀리초 | 평균, 최소, 최대, 합계 | 쿼리 결과가 수신될 때까지의 총 시간(네트워크 대기 시간은 포함되지 않음)입니다. | QueryStatus |
| QueryResult | 개수 | 개수 | 총 쿼리 수입니다. | QueryStatus |
| 총 동시 쿼리 수 | 개수 | 평균, 최대, 최소, 합계 | 클러스터에서 병렬로 실행되는 쿼리 수입니다. 이 메트릭은 클러스터의 로드를 예측하는 좋은 방법입니다. | None |
| 제한된 쿼리의 총 수 | 개수 | 평균, 최대, 최소, 합계 | 클러스터에서 제한된(거부된) 쿼리 수입니다. 허용되는 최대 동시(병렬) 쿼리 수는 요청 속도 제한 정책에 정의되어 있습니다. | None |
| 약한 일관성 대기 시간 | 밀리초 | 평균, 최대, 최소 | 약한 일관성 서비스를 실행하는 노드에서 사용하는 메타데이터 스냅샷의 기간입니다. | 데이터베이스, 노드 |
구체화된 뷰 메트릭
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| MaterializedViewHealth | 1, 0 | Avg | 보기가 정상으로 간주되는 경우 값은 1이고, 그렇지 않으면 0입니다. | 데이터베이스, MaterializedViewName |
| MaterializedViewAgeSeconds | 초 | Avg | 보기의 age는 현재 시간에서 보기에서 처리한 마지막 수집 시간을 뺀 값으로 정의됩니다. 메트릭 값은 시간(초)입니다(값이 낮을수록 보기가 "정상"임). |
데이터베이스, MaterializedViewName |
| MaterializedViewResult | 1 | Avg | 메트릭에는 마지막 구체화 주기의 결과를 나타내는 차원이 포함됩니다Result(가능한 값에 대한 자세한 내용은 MaterializedViewResult 메트릭 참조). 메트릭 값은 항상 1입니다. |
데이터베이스, MaterializedViewName, 결과 |
| MaterializedViewRecordsInDelta | 레코드 수 | Avg | 현재 원본 테이블의 처리되지 않은 부분에 있는 레코드 수입니다. 자세한 내용은 구체화된 뷰의 작동 방식을 참조하세요. | 데이터베이스, MaterializedViewName |
| MaterializedViewExtentsRebuild | 익스텐트 수 | Avg | 구체화 주기에서 업데이트가 필요한 익스텐트 수입니다. | 데이터베이스, MaterializedViewName |
| MaterializedViewDataLoss | 1 | 최대값 | 처리되지 않은 원본 데이터가 보존에 가까워지면 메트릭이 발생합니다. 구체화된 뷰가 비정상임을 나타냅니다. | 데이터베이스, MaterializedViewName, Kind |
메트릭 분할
분할 메트릭은 분할 정책이 있는 테이블에 대한 분할 프로세스를 모니터링합니다.
| 메트릭 | 단위 | 집계 | 메트릭 설명 | 차원 |
|---|---|---|---|---|
| PartitioningPercentage | Percent | 평균, 최솟값, 최댓값 | 총 레코드 수를 기준으로 분할된 레코드의 비율입니다. | 데이터베이스, 테이블 |
| PartitioningPercentageHot | Percent | 평균, 최솟값, 최댓값 | 총 레코드 수와 관련된 분할된 레코드의 비율입니다('핫' 캐시에만 해당). | 데이터베이스, 테이블 |
| ProcessedPartitionedRecords | Percent | 평균, 최소, 최대, 합계 | 측정된 시간 창에서 분할된 레코드 수입니다. | 데이터베이스, 테이블 |