다음을 통해 공유

용량 정책

  • 아티클

적용 대상: ✅Azure Data Explorer

용량 정책은 클러스터에서 데이터 관리 작업의 컴퓨팅 리소스를 제어하는 데 사용됩니다.

용량 정책 개체

용량 정책은 다음 구성 요소로 이루어집니다.

클러스터의 용량을 보려면 .show capacity 명령을 사용합니다.

수집 용량

속성 Type 설명
ClusterMaximumConcurrentOperations long 클러스터에서 허용되는 최대 동시 수집 작업 수입니다. 이 값은 다음 수식과 같이 총 수집 용량의 한도를 지정합니다.
CoreUtilizationCoefficient real 수집 용량 계산에 사용할 코어의 비율을 결정합니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 수집 용량을 반환합니다.

Minimum(ClusterMaximumConcurrentOperations, 노드당 클러스터 * Maximum(1, 코어 수의 노드 수 * CoreUtilizationCoefficient))

참고 항목

노드가 4개 이상인 클러스터에서는 관리 노드가 수집 작업에 참여하지 않으므로 클러스터 의 노드 수가 1씩 줄어듭니다.

익스텐트 병합 용량

속성 Type 설명
MinimumConcurrentOperationsPerNode long 단일 노드에서 병합/다시 작성 작업의 최소 동시 익스텐트 수입니다. 기본값은 1입니다.
MaximumConcurrentOperationsPerNode long 단일 노드에서 병합/다시 작성 작업의 최대 동시 익스텐트 수입니다. 기본값은 5입니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 익스텐트 병합 용량을 반환합니다.

노드당 클러스터 * 동시 작업의 노드 수

병합 작업의 성공률이 90% 이상인 경우 노드당 동시 작업에 대한 유효 값은 [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode]범위의 시스템에 의해 자동으로 조정됩니다.

참고 항목

노드가 4개 이상인 클러스터에서는 관리 노드가 병합 작업에 참여하지 않으므로 클러스터 의 노드 수가 1씩 줄어듭니다.

익스텐트 제거 다시 빌드 용량

속성 Type 설명
MaximumConcurrentOperationsPerNode long 단일 노드에서의 제거 작업에 대한 동시 다시 빌드 익스텐트 최대 수입니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 익스텐트 제거 다시 빌드 용량을 반환합니다.

클러스터 x의 노드 수 MaximumConcurrentOperationsPerNode

참고 항목

노드가 4개 이상인 클러스터에서는 관리 노드가 제거 작업에 참여하지 않으므로 클러스터 의 노드 수가 1씩 줄어듭니다.

용량 내보내기

속성 Type 설명
ClusterMaximumConcurrentOperations long 클러스터의 최대 동시 내보내기 작업 수입니다. 이 값은 다음 수식과 같이 총 내보내기 용량의 한도를 지정합니다.
CoreUtilizationCoefficient long 내보내기 용량 계산에 사용할 코어의 비율을 결정합니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 내보내기 용량을 반환합니다.

Minimum(ClusterMaximumConcurrentOperations, 노드당 클러스터 * Maximum(1, 코어 수의 노드 수 * CoreUtilizationCoefficient))

참고 항목

4개 이상의 노드가 있는 클러스터에서 관리 노드는 내보내기 작업에 참여하지 않습니다. 이 Number of nodes in cluster 값은 1씩 줄어듭니다.

익스텐트 파티션 용량

속성 Type 설명
ClusterMinimumConcurrentOperations long 클러스터의 최소 동시 익스텐트 파티션 작업 수입니다. 기본값은 1입니다.
ClusterMaximumConcurrentOperations long 클러스터의 최대 동시 익스텐트 파티션 작업 수입니다. 기본값은 32입니다.

분할 작업의 성공률이 90% 이상인 경우 동시 작업의 유효 값은 [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations]범위의 시스템에 의해 자동으로 조정됩니다.

구체화된 뷰 용량 정책

이 정책을 사용하여 구체화된 뷰에 대한 동시성 설정을 변경할 수 있습니다. 구체화된 뷰 용량 정책을 변경하는 것은 클러스터에 정의된 구체화된 뷰가 하나 이상 있는 경우에 유용할 수 있습니다.

속성 Type 설명
ClusterMinimumConcurrentOperations long 클러스터의 최소 동시 구체화 작업 수입니다. 기본값은 1입니다.
ClusterMaximumConcurrentOperations long 클러스터의 최대 동시 구체화 작업 수입니다. 기본값은 10입니다.

기본적으로 단일 구체화만 동시에 실행됩니다(구체화된 뷰의 작동 방식 참조). 시스템은 클러스터의 구체화된 뷰 수와 클러스터의 CPU에 따라 [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations] 범위의 현재 동시성을 조정합니다. 이 정책을 변경하여 동시성을 늘리거나 줄일 수 있습니다. 예를 들어 클러스터에 구체화된 뷰가 10개인 경우 5개로 설정 ClusterMinimumConcurrentOperations 하면 그 중 5개 이상이 동시에 구체화될 수 있습니다. .show capacity 명령을 사용하여 현재 동시성에 대한 유효 값을 볼 수 있습니다.

Warning

이 값을 ClusterMinimumConcurrentOperations 높이면 리소스 소모가 발생할 수 있으며 클러스터 성능이 저하됩니다. 이 정책을 수동으로 변경하는 경우 클러스터의 상태를 주의 깊게 모니터링하고 동시성을 점진적으로 높입니다.

저장된 쿼리 결과 용량

속성 Type 설명
MaximumConcurrentOperationsPerDbAdmin long 클러스터 관리자 노드의 최대 동시 수집 작업 수입니다.
CoreUtilizationCoefficient real 저장된 쿼리 결과 생성 계산에 사용할 코어의 비율을 결정합니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 저장된 쿼리 결과 생성 용량을 반환합니다.

노드당 클러스터 * Maximum(1, 코어 수의 노드 수 * CoreUtilizationCoefficient)

참고 항목

4개 이상의 노드가 있는 클러스터에서 관리 노드는 저장된 쿼리 결과 만들기 작업에 참여하지 않으므로 클러스터 의 노드 수가 1씩 줄어듭니다.

스트리밍 수집 후 처리 용량

속성 Type 설명
MaximumConcurrentOperationsPerNode long 각 클러스터 노드에서 처리 후 동시 스트리밍 수집 작업의 최대 수입니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 스트리밍 수집 후 처리 용량을 반환합니다.

클러스터 x의 노드 수 MaximumConcurrentOperationsPerNode

참고 항목

4개 이상의 노드가 있는 클러스터에서 관리 노드는 처리 후 스트리밍 수집에 참여하지 않으므로 클러스터 의 노드 수가 1씩 줄어듭니다.

스토리지 아티팩트 정리 용량 제거

속성 Type 설명
MaximumConcurrentOperationsPerCluster long 클러스터에서 동시 제거 스토리지 아티팩트 정리 작업의 최대 수입니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 제거 스토리지 아티팩트 정리 용량을 반환합니다.

MaximumConcurrentOperationsPerCluster

주기적 스토리지 아티팩트 정리 용량

속성 Type 설명
MaximumConcurrentOperationsPerCluster long 클러스터에서 동시 주기적 스토리지 아티팩트 정리 작업의 최대 수입니다.

수식

.show 용량 명령은 다음 수식에 따라 클러스터의 정기적인 스토리지 아티팩트 정리 용량을 반환합니다.

MaximumConcurrentOperationsPerCluster

Defaults

기본 용량 정책에는 다음과 같은 JSON 표현이 있습니다.

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

관리 명령

Warning

용량 정책을 변경하기 전에 지원 팀에 문의하세요.

관리 명령 제한

Kusto는 다음 사용자 시작 명령에 대한 동시 요청 수를 제한합니다.

  • 수집
  • 제거
    • 전역 제한은 현재 클러스터당 하나씩 고정되어 있습니다.
    • 제거 다시 빌드 용량은 제거 명령 중 동시 다시 빌드 작업의 수를 결정하기 위해 내부적으로 사용됩니다. 이 프로세스로 인해 제거 명령이 차단되거나 제한되지 않지만 제거 다시 빌드 용량에 따라 더 빠르거나 느리게 완료됩니다.
  • 내보내기

클러스터에서 작업이 동시 요청에 대한 제한을 초과했음을 감지하는 경우:

  • 시스템 정보 명령에서 제공하는 명령의 상태는 다음과 같습니다Throttled.
  • 오류 메시지에는 명령 유형, 제한의 원본 및 초과된 용량이 포함됩니다. 예:
    • 예: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'
  • HTTP 응답 코드는 .입니다 429. 하위 코드는 .입니다 TooManyRequests.
  • 예외 유형은 .입니다 ControlCommandThrottledException.

참고 항목

작업 그룹의 요청 속도 제한 정책에 정의된 제한을 초과하여 관리 명령이 제한될 수도 있습니다.

관련 콘텐츠