Partilhar via

Política de capacidade

  • Artigo

Aplica-se a: ✅Azure Data Explorer

Uma política de capacidade é usada para controlar os recursos de computação das operações de gerenciamento de dados no cluster.

O objeto da política de capacidade

A política de capacidade é composta pelos seguintes componentes:

Para exibir a capacidade do cluster, use o comando .show capacity.

Capacidade de ingestão

Propriedade Tipo Descrição
ClusterMaximumConcurrentOperations long O número máximo de operações de ingestão simultâneas permitido em um cluster. Esse valor limita a capacidade total de ingestão, conforme mostrado na fórmula a seguir.
CoreUtilizationCoefficient real Determina a percentagem de núcleos a utilizar no cálculo da capacidade de ingestão.

Fórmula

O comando .show capacity retorna a capacidade de ingestão do cluster com base na seguinte fórmula:

Minimum(ClusterMaximumConcurrentOperations , Número de nós no cluster*Maximum(1,Contagem de núcleos por nó*CoreUtilizationCoefficient))

Observação

Em clusters com quatro ou mais nós, o nó admin não participa de operações de ingestão, portanto, o número de nós na de cluster é reduzido em um.

Capacidade de fusão de extensões

Propriedade Tipo Descrição
MinimumConcurrentOperationsPerNode long O número mínimo de extensões simultâneas operações de mesclagem/reconstrução em um único nó. O padrão é 1.
MaximumConcurrentOperationsPerNode long O número máximo de operações de mesclagem/reconstrução de extensões simultâneas em um único nó. O padrão é 5.

Fórmula

O comando .show capacity retorna a capacidade de mesclagem de extensões do cluster com base na seguinte fórmula:

Número de nós no cluster*Operações simultâneas por nó

O valor efetivo para operações simultâneas por de nó é ajustado automaticamente pelo sistema no intervalo [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], desde que a taxa de sucesso das operações de mesclagem seja de 90% ou superior.

Observação

Em clusters com quatro ou mais nós, o nó admin não participa de operações de mesclagem, portanto, Número de nós na de cluster é reduzido em um.

Extensões purgam capacidade de reconstrução

Propriedade Tipo Descrição
MaximumConcurrentOperationsPerNode long O número máximo de extensões de reconstrução simultâneas para operações de limpeza em um único nó.

Fórmula

O comando .show capacity retorna as extensões do cluster para purgar a capacidade de reconstrução com base na seguinte fórmula:

Número de nós no cluster x MaximumConcurrentOperationsPerNode

Observação

Em clusters com quatro ou mais nós, o nó admin não participa de operações de limpeza, portanto, Número de nós no de cluster é reduzido em um.

Capacidade de exportação

Propriedade Tipo Descrição
ClusterMaximumConcurrentOperations long O número máximo de operações de exportação simultâneas em um cluster. Esse valor limita a capacidade total de exportação, conforme mostrado na fórmula a seguir.
CoreUtilizationCoefficient long Determina a porcentagem de núcleos a serem usados no cálculo da capacidade de exportação.

Fórmula

O comando .show capacity retorna a capacidade de exportação do cluster com base na seguinte fórmula:

Minimum(ClusterMaximumConcurrentOperations , Número de nós no cluster*Maximum(1,Contagem de núcleos por nó*CoreUtilizationCoefficient))

Observação

Em clusters com quatro ou mais nós, o nó admin não participa de operações de exportação. O Number of nodes in cluster é reduzido em um.

Extensões da capacidade de partição

Propriedade Tipo Descrição
ClusterMinimumConcurrentOperations long O número mínimo de operações de partição de extensões simultâneas em um cluster. O padrão é 1.
ClusterMaximumConcurrentOperations long O número máximo de operações de partição de extensões simultâneas em um cluster. O padrão é 32.

O valor efetivo para de operações simultâneas é ajustado automaticamente pelo sistema no intervalo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], desde que a taxa de sucesso das operações de particionamento seja de 90% ou superior.

Política de capacidade de visualizações materializadas

A política pode ser usada para alterar configurações de simultaneidade para exibições materializadas. Alterar a política de capacidade de exibições materializadas pode ser útil quando há mais de uma única exibição materializada definida em um cluster.

Propriedade Tipo Descrição
ClusterMinimumConcurrentOperations long O número mínimo de operações de materialização simultâneas em um cluster. O padrão é 1.
ClusterMaximumConcurrentOperations long O número máximo de operações de materialização simultâneas em um cluster. O padrão é 10.

Por padrão, apenas uma única materialização é executada simultaneamente (veja como as visualizações materializadas funcionam). O sistema ajusta a simultaneidade atual no intervalo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], com base no número de visualizações materializadas no cluster e na CPU do cluster. Você pode aumentar/diminuir a simultaneidade alterando esta política. Por exemplo, se o cluster tiver dez visualizações materializadas, definir o ClusterMinimumConcurrentOperations como cinco garante que pelo menos cinco delas possam se materializar simultaneamente. Você pode exibir o valor efetivo para a simultaneidade atual usando o comando .show capacity

Advertência

Aumentar o ClusterMinimumConcurrentOperations pode levar ao esgotamento de recursos e degradar o desempenho do cluster. Monitore cuidadosamente a integridade do cluster e aumente a simultaneidade gradualmente se você alterar manualmente essa política.

Capacidade de resultados de consulta armazenados

Propriedade Tipo Descrição
MaximumConcurrentOperationsPerDbAdmin long O número máximo de operações de ingestão simultâneas em um nó de administração de cluster.
CoreUtilizationCoefficient real Determina a porcentagem de núcleos a serem usados no cálculo de criação de resultados de consulta armazenados.

Fórmula

O comando .show capacity retorna a capacidade de criação de resultados de consulta armazenados do cluster com base na seguinte fórmula:

Número de nós no cluster*Maximum(1,Contagem de núcleos por nó*CoreUtilizationCoefficient)

Observação

Em clusters com quatro ou mais nós, o nó admin não participa de operações de criação de resultados de consulta armazenados, portanto, o número de nós no de cluster é reduzido em um.

Capacidade de pós-processamento de ingestão de streaming

Propriedade Tipo Descrição
MaximumConcurrentOperationsPerNode long O número máximo de operações de pós-processamento de ingestão simultânea de streaming em cada nó de cluster.

Fórmula

O comando .show capacity retorna a capacidade de pós-processamento de ingestão de streaming do cluster com base na seguinte fórmula:

Número de nós no cluster x MaximumConcurrentOperationsPerNode

Observação

Em clusters com quatro ou mais nós, o nó admin não participa do pós-processamento de ingestão de streaming, portanto, número de nós no de cluster é reduzido em um.

Limpar a capacidade de limpeza de artefatos de armazenamento

Propriedade Tipo Descrição
MaximumConcurrentOperationsPerCluster long O número máximo de operações simultâneas de limpeza de artefatos de armazenamento de limpeza no cluster.

Fórmula

O comando .show capacity retorna a capacidade de limpeza de artefatos de armazenamento de limpeza do cluster com base na seguinte fórmula:

MaximumConcurrentOperationsPerCluster

Capacidade de limpeza periódica de artefatos de armazenamento

Propriedade Tipo Descrição
MaximumConcurrentOperationsPerCluster long O número máximo de operações simultâneas de limpeza periódica de artefatos de armazenamento no cluster.

Fórmula

O comando .show capacity retorna a capacidade de limpeza periódica de artefatos de armazenamento do cluster com base na seguinte fórmula:

MaximumConcurrentOperationsPerCluster

Incumprimentos

A política de capacidade padrão tem a seguinte representação JSON:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Comandos de gestão

Advertência

Consulte a equipe de suporte antes de alterar uma política de capacidade.

Limitação de comandos de gerenciamento

Kusto limita o número de solicitações simultâneas para os seguintes comandos iniciados pelo usuário:

  • Ingestão
  • Expurga
    • Atualmente, o limite global é fixado em um por cluster.
    • O de capacidade de reconstrução de limpeza é usado internamente para determinar o número de operações de reconstrução simultâneas durante os comandos de limpeza. Os comandos de limpeza não serão bloqueados ou limitados por causa desse processo, mas serão concluídos mais rapidamente ou mais lentamente, dependendo da capacidade de reconstrução de limpeza.
  • Exportações

Quando o cluster deteta que uma operação excedeu o limite de solicitações simultâneas:

  • O estado do comando, conforme apresentado por comandos de informações do sistema, é Throttled.
  • A mensagem de erro inclui o tipo de comando , o de origem da limitação e o de capacidade de que foi excedido. Por exemplo:
    • Por exemplo: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • O código de resposta HTTP é 429. O subcódigo é TooManyRequests.
  • O tipo de exceção é ControlCommandThrottledException.

Observação

Os comandos de gerenciamento também podem ser limitados como resultado de exceder o limite definido pela política de limite de taxa de solicitação de um grupo de carga de trabalho.

Conteúdo relacionado