Condividi tramite

Criterio capacity

  • Articolo

Si applica a: ✅Azure Esplora dati

I criteri di capacità vengono usati per controllare le risorse di calcolo delle operazioni di gestione dei dati nel cluster.

Oggetto criteri di capacità

I criteri di capacità sono costituiti dai componenti seguenti:

Per visualizzare la capacità del cluster, usare il comando .show capacity .

Capacità di inserimento

Proprietà Type Descrizione
ClusterMaximumConcurrentOperations long Numero massimo di operazioni di inserimento simultanee consentite in un cluster. Questo valore limiterà la capacità totale di inserimento, come illustrato nella formula seguente.
CoreUtilizationCoefficient real Determina la percentuale di core da usare nel calcolo della capacità di inserimento.

Formula

Il comando .show capacity restituisce la capacità di inserimento del cluster in base alla formula seguente:

Minimum(ClusterMaximumConcurrentOperations , Numero di nodi nel numero di core del cluster*Maximum(1, per nodo*CoreUtilizationCoefficient))

Nota

Nei cluster con quattro o più nodi, il nodo amministratore non partecipa alle operazioni di inserimento, quindi il numero di nodi nel cluster viene ridotto di uno.

Capacità di merge degli extent

Proprietà Type Descrizione
MinimumConcurrentOperationsPerNode long Numero minimo di operazioni di merge/ricompilazione di extent simultanei in un singolo nodo. Il valore predefinito è 1.
MaximumConcurrentOperationsPerNode long Numero massimo di operazioni di unione/ricompilazione di extent simultanei in un singolo nodo. Il valore predefinito è 5.
ClusterMaximumConcurrentOperations long Numero massimo di operazioni di unione/ricompilazione di extent simultanee consentite in un cluster. Questo valore limiterà la capacità di unione totale.

Formula

Il comando .show capacity restituisce la capacità di merge degli extent del cluster in base alla formula seguente:

Minimum( Numero di nodi nel cluster*operazioni simultanee per nodo,ClusterMaximumConcurrentOperations)

Il valore effettivo per le operazioni simultanee per nodo viene modificato automaticamente dal sistema nell'intervallo [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], purché la frequenza di riuscita delle operazioni di merge sia del 90% o superiore.

Nota

Nei cluster con quattro o più nodi, il nodo amministratore non partecipa alle operazioni di merge, quindi il numero di nodi nel cluster viene ridotto di uno.

Avviso

A causa della complessità dei criteri di unione degli extent, è consigliabile consultare il supporto prima di apportare modifiche.

Extent ripulire la capacità di ricompilazione

Proprietà Type Descrizione
MaximumConcurrentOperationsPerNode long Numero massimo di extent di ricompilazione simultanei per le operazioni di eliminazione in un singolo nodo.

Formula

Il comando .show capacity restituisce gli extent del cluster ripulire la capacità di ricompilazione in base alla formula seguente:

Numero di nodi nel cluster x MaximumConcurrentOperationsPerNode

Nota

Nei cluster con quattro o più nodi, il nodo amministratore non partecipa alle operazioni di eliminazione, quindi il numero di nodi nel cluster viene ridotto di uno.

Esportazione della capacità

Proprietà Type Descrizione
ClusterMaximumConcurrentOperations long Numero massimo di operazioni di esportazione simultanee in un cluster. Questo valore limiterà la capacità totale di esportazione, come illustrato nella formula seguente.
CoreUtilizationCoefficient long Determina la percentuale di core da usare nel calcolo della capacità di esportazione.

Formula

Il comando .show capacity restituisce la capacità di esportazione del cluster in base alla formula seguente:

Minimum(ClusterMaximumConcurrentOperations , Numero di nodi nel numero di core del cluster*Maximum(1, per nodo*CoreUtilizationCoefficient))

Nota

Nei cluster con quattro o più nodi il nodo amministratore non partecipa alle operazioni di esportazione. L'oggetto Number of nodes in cluster viene ridotto di uno.

Capacità di partizione extent

Proprietà Type Descrizione
ClusterMinimumConcurrentOperations long Numero minimo di operazioni di partizione extent simultanee in un cluster. Il valore predefinito è 1.
ClusterMaximumConcurrentOperations long Numero massimo di operazioni di partizione extent simultanee in un cluster. Il valore predefinito è 32.

Il valore effettivo per le operazioni simultanee viene modificato automaticamente dal sistema nell'intervallo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], purché la frequenza di riuscita delle operazioni di partizionamento sia del 90% o superiore.

Criteri di capacità delle viste materializzate

I criteri possono essere usati per modificare le impostazioni di concorrenza per le visualizzazioni materializzate. La modifica dei criteri di capacità delle viste materializzate può essere utile quando è presente più di una singola vista materializzata definita in un cluster.

Proprietà Type Descrizione
ClusterMinimumConcurrentOperations long Numero minimo di operazioni di materializzazione simultanee in un cluster. Il valore predefinito è 1.
ClusterMaximumConcurrentOperations long Numero massimo di operazioni di materializzazione simultanee in un cluster. Il valore predefinito è 10.

Per impostazione predefinita, solo una singola materializzazione viene eseguita contemporaneamente (vedere come funzionano le viste materializzate). Il sistema regola la concorrenza corrente nell'intervallo [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], in base al numero di viste materializzate nel cluster e alla CPU del cluster. È possibile aumentare o ridurre la concorrenza modificando questo criterio. Ad esempio, se il cluster dispone di 10 viste materializzate, l'impostazione del ClusterMinimumConcurrentOperations su cinque garantisce che almeno cinque di esse possano materializzare simultaneamente. È possibile visualizzare il valore effettivo per la concorrenza corrente usando il comando .show capacity

Avviso

La generazione di può causare l'esaurimento ClusterMinimumConcurrentOperations delle risorse e ridurre le prestazioni del cluster. Monitorare attentamente l'integrità del cluster e aumentare gradualmente la concorrenza se si modifica manualmente questo criterio.

Capacità dei risultati delle query archiviate

Proprietà Type Descrizione
MaximumConcurrentOperationsPerDbAdmin long Numero massimo di operazioni di inserimento simultanee in un nodo di amministrazione del cluster.
CoreUtilizationCoefficient real Determina la percentuale di core da usare nel calcolo della creazione dei risultati della query archiviata.

Formula

Il comando .show capacity restituisce la capacità di creazione dei risultati delle query archiviate del cluster in base alla formula seguente:

Minimum(MaximumConcurrentOperationsPerDbAdmin , Numero di nodi nel numero di core del cluster*Maximum(1, per nodo*CoreUtilizationCoefficient))

Nota

Nei cluster con quattro o più nodi, il nodo amministratore non partecipa alle operazioni di creazione dei risultati delle query archiviate, quindi il numero di nodi nel cluster viene ridotto di uno.

Capacità di post-elaborazione dell'inserimento in streaming

Proprietà Type Descrizione
MaximumConcurrentOperationsPerNode long Numero massimo di operazioni di post-elaborazione post-elaborazione dell'inserimento in streaming simultanee in ogni nodo del cluster.

Formula

Il comando .show capacity restituisce la capacità di inserimento in streaming del cluster in base alla formula seguente:

Numero di nodi nel cluster x MaximumConcurrentOperationsPerNode

Nota

Nei cluster con quattro o più nodi, il nodo di amministrazione non partecipa all'elaborazione post-elaborazione dell'inserimento in streaming, quindi il numero di nodi nel cluster viene ridotto di uno.

Ripulire la capacità di pulizia degli artefatti di archiviazione

Proprietà Type Descrizione
MaximumConcurrentOperationsPerCluster long Numero massimo di operazioni di pulizia degli artefatti di archiviazione simultanei nel cluster.

Formula

Il comando .show capacity restituisce la capacità di pulizia degli artefatti di archiviazione del cluster in base alla formula seguente:

MaximumConcurrentOperationsPerCluster

Capacità di pulizia periodica degli artefatti di archiviazione

Proprietà Type Descrizione
MaximumConcurrentOperationsPerCluster long Numero massimo di operazioni di pulizia degli artefatti di archiviazione periodici simultanee nel cluster.

Formula

Il comando .show capacity restituisce la capacità di pulizia periodica degli artefatti di archiviazione del cluster in base alla formula seguente:

MaximumConcurrentOperationsPerCluster

Capacità di accelerazione query

Proprietà Type Descrizione
ClusterMaximumConcurrentOperations long Numero massimo di operazioni simultanee di memorizzazione nella cache dell'accelerazione delle query in un cluster. Questo valore limiterà la capacità totale di memorizzazione nella cache dell'accelerazione della query, come illustrato nella formula seguente.
CoreUtilizationCoefficient long Determina la percentuale di core da usare nel calcolo della capacità di memorizzazione nella cache dell'accelerazione della query.

Formula

Il comando .show capacity restituisce la capacità di memorizzazione nella cache dell'accelerazione delle query del cluster in base alla formula seguente:

Minimum(ClusterMaximumConcurrentOperations , Numero di nodi nel numero di core del cluster*Maximum(1, per nodo*CoreUtilizationCoefficient))

Defaults

I criteri di capacità predefiniti hanno la rappresentazione JSON seguente:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "QueryAccelerationCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.5
  }
}

Comandi di gestione

Avviso

Data la complessità dei criteri di capacità, è consigliabile consultare il supporto prima di apportare modifiche.

Limitazione dei comandi di gestione

Kusto limita il numero di richieste simultanee per i comandi avviati dall'utente seguenti:

  • Inserimenti
  • Elimina
    • Il limite globale è attualmente fisso a uno per ogni cluster.
    • La capacità di ricompilazione della ripulitura viene usata internamente per determinare il numero di operazioni di ricompilazione simultanee durante i comandi di ripulitura. I comandi di ripulitura non vengono bloccati o limitati a causa di questo processo, ma vengono completati più velocemente o più lentamente a seconda della capacità di ricompilazione della ripulitura.
  • Esportazioni
    • Il limite è definito nella capacità di esportazione.
  • accelerazione query
    • Il limite è definito nella capacità di accelerazione delle query .

Quando il cluster rileva che un'operazione ha superato il limite per le richieste simultanee:

  • Lo stato del comando, come presentato dai comandi informazioni di sistema, è Throttled.
  • Il messaggio di errore include il tipo di comando , l'origine della limitazione e la capacità superata. Ad esempio:
    • Ad esempio: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • Il codice di risposta HTTP è 429. Il codice secondario è TooManyRequests.
  • Il tipo di eccezione è ControlCommandThrottledException.

Nota

I comandi di gestione possono essere limitati anche se superano i limiti impostati dai criteri limite di frequenza delle richieste di un gruppo di carico di lavoro.

Contenuto correlato