Dela via

Kapacitetsprincip

  • Artikel

Gäller för: ✅Azure Data Explorer-

En kapacitetsprincip används för att kontrollera beräkningsresurserna för datahanteringsåtgärder i klustret.

Kapacitetsprincipobjektet

Kapacitetsprincipen består av följande komponenter:

Om du vill visa kapaciteten för klustret använder du kommandot .show capacity.

Inmatningskapacitet

Egenskap Typ Beskrivning
ClusterMaximumConcurrentOperations long Det maximala antalet samtidiga inmatningsåtgärder som tillåts i ett kluster. Det här värdet begränsar den totala inmatningskapaciteten, enligt följande formel.
CoreUtilizationCoefficient real Avgör procentandelen kärnor som ska användas i beräkningen av inmatningskapaciteten.

Formel

Kommandot .show capacity returnerar klustrets inmatningskapacitet baserat på följande formel:

Minimum(ClusterMaximumConcurrentOperations , Antal noder i klustret*Maximum(1,Antal kärnor per nod*CoreUtilizationCoefficient))

Not

I kluster med fyra eller fler noder deltar inte administratörsnoden i inmatningsåtgärder, så Antalet noder i kluster minskas med en.

Kapacitet för sammanslagning av omfattningar

Egenskap Typ Beskrivning
MinimumConcurrentOperationsPerNode long Det minsta antalet samtidiga åtgärder för sammanslagning/återskapande av omfattningar på en enda nod. Standardvärdet är 1.
MaximumConcurrentOperationsPerNode long Det maximala antalet samtidiga åtgärder för sammanslagning/återskapande av omfattningar på en enda nod. Standardvärdet är 5.

Formel

Kommandot .show capacity returnerar klustrets sammanslagningskapacitet för omfattningar baserat på följande formel:

Antal noder i kluster*samtidiga åtgärder per nod

Det effektiva värdet för samtidiga åtgärder per nod justeras automatiskt av systemet i intervallet [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode], så länge lyckade sammanslagningsåtgärder är 90% eller högre.

Not

I kluster med fyra eller fler noder deltar inte administratörsnoden i sammanslagningsåtgärder, så Antal noder i kluster minskas med en.

Ombyggnadskapacitet för utrensning av omfattningar

Egenskap Typ Beskrivning
MaximumConcurrentOperationsPerNode long Det maximala antalet samtidiga ombyggnadsutbredningar för rensningsåtgärder på en enda nod.

Formel

Kommandot .show capacity returnerar klustrets omfattningsrensningskapacitet baserat på följande formel:

Antal noder i kluster x MaximumConcurrentOperationsPerNode

Not

I kluster med fyra eller fler noder deltar inte administratörsnoden i rensningsåtgärder, så Antal noder i kluster minskas med en.

Exportera kapacitet

Egenskap Typ Beskrivning
ClusterMaximumConcurrentOperations long Det maximala antalet samtidiga exportåtgärder i ett kluster. Det här värdet begränsar den totala exportkapaciteten enligt följande formel.
CoreUtilizationCoefficient long Avgör procentandelen kärnor som ska användas i beräkningen av exportkapaciteten.

Formel

Kommandot .show capacity returnerar klustrets exportkapacitet baserat på följande formel:

Minimum(ClusterMaximumConcurrentOperations , Antal noder i klustret*Maximum(1,Antal kärnor per nod*CoreUtilizationCoefficient))

Not

I kluster med fyra eller fler noder deltar inte administratörsnoden i exportåtgärder. Den Number of nodes in cluster minskas med en.

Partitionskapacitet för omfattningar

Egenskap Typ Beskrivning
ClusterMinimumConcurrentOperations long Det minsta antalet partitionsåtgärder för samtidiga omfattningar i ett kluster. Standardvärdet är 1.
ClusterMaximumConcurrentOperations long Det maximala antalet partitionsåtgärder för samtidiga omfattningar i ett kluster. Standardvärdet är 32.

Det effektiva värdet för samtidiga åtgärder justeras automatiskt av systemet i intervallet [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], så länge partitioneringsåtgärderna lyckas är 90% eller högre.

Kapacitetsprincip för materialiserade vyer

Principen kan användas för att ändra samtidighetsinställningar för materialiserade vyer. Det kan vara användbart att ändra kapacitetsprincipen för materialiserade vyer när det finns mer än en enda materialiserad vy som definierats i ett kluster.

Egenskap Typ Beskrivning
ClusterMinimumConcurrentOperations long Det minsta antalet samtidiga materialiseringsåtgärder i ett kluster. Standardvärdet är 1.
ClusterMaximumConcurrentOperations long Det maximala antalet samtidiga materialiseringsåtgärder i ett kluster. Standardvärdet är 10.

Som standard körs endast en enda materialisering samtidigt (se hur materialiserade vyer fungerar). Systemet justerar den aktuella samtidigheten i intervallet [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations], baserat på antalet materialiserade vyer i klustret och klustrets PROCESSOR. Du kan öka/minska samtidigheten genom att ändra den här principen. Om klustret till exempel har tio materialiserade vyer säkerställer inställningen ClusterMinimumConcurrentOperations till fem att minst fem av dem kan materialiseras samtidigt. Du kan visa det effektiva värdet för den aktuella samtidigheten med hjälp av kommandot .show capacity

Varning

Att höja ClusterMinimumConcurrentOperations kan leda till resursöverbelastning och försämra klusterprestanda. Övervaka klustrets hälsa noggrant och öka samtidigheten gradvis om du ändrar den här principen manuellt.

Lagrad kapacitet för frågeresultat

Egenskap Typ Beskrivning
MaximumConcurrentOperationsPerDbAdmin long Det maximala antalet samtidiga inmatningsåtgärder i en klusteradministratörsnod.
CoreUtilizationCoefficient real Avgör procentandelen kärnor som ska användas i beräkningen av skapande av lagrade frågeresultat.

Formel

Kommandot .show capacity returnerar klustrets lagrade kapacitet för att skapa frågeresultat baserat på följande formel:

Antal noder i klustret*Maximum(1,Antal kärnor per nod*CoreUtilizationCoefficient)

Not

I kluster med fyra eller fler noder deltar inte administratörsnoden i lagrade åtgärder för att skapa frågeresultat, så Antalet noder i kluster minskas med en.

Kapacitet för strömmande inmatning efter bearbetning

Egenskap Typ Beskrivning
MaximumConcurrentOperationsPerNode long Det maximala antalet samtidiga åtgärder för direktuppspelning efter bearbetning på varje klusternod.

Formel

Kommandot .show capacity returnerar klustrets kapacitet för strömmande inmatning efter bearbetning baserat på följande formel:

Antal noder i kluster x MaximumConcurrentOperationsPerNode

Not

I kluster med fyra eller fler noder deltar inte administratörsnoden i strömmande inmatning efter bearbetning, så Antalet noder i kluster minskas med en.

Rensa rensningskapacitet för lagringsartefakter

Egenskap Typ Beskrivning
MaximumConcurrentOperationsPerCluster long Det maximala antalet samtidiga rensningsåtgärder för lagringsartefakter i klustret.

Formel

Kommandot .show capacity returnerar klustrets rensningskapacitet för lagringsartefakter baserat på följande formel:

MaximumConcurrentOperationsPerCluster

Rensningskapacitet för periodiska lagringsartefakter

Egenskap Typ Beskrivning
MaximumConcurrentOperationsPerCluster long Det maximala antalet samtidiga rensningsåtgärder för periodiska lagringsartefakter i klustret.

Formel

Kommandot .show capacity returnerar klustrets rensningskapacitet för periodiska lagringsartefakter baserat på följande formel:

MaximumConcurrentOperationsPerCluster

Standardvärden

Standardkapacitetsprincipen har följande JSON-representation:

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

Hanteringskommandon

Varning

Kontakta supportteamet innan du ändrar en kapacitetsprincip.

Begränsning av hanteringskommandon

Kusto begränsar antalet samtidiga begäranden för följande användarinitierade kommandon:

  • inmatningar
  • rensar
    • Den globala gränsen är för närvarande fast vid ett per kluster.
    • rensa återskapa kapacitet används internt för att fastställa antalet samtidiga återskapandeåtgärder under rensningskommandon. Rensningskommandon blockeras eller begränsas inte på grund av den här processen, men slutförs snabbare eller långsammare beroende på återskapandekapaciteten för rensningen.
  • exporter

När klustret upptäcker att en åtgärd har överskridit gränsen för samtidiga begäranden:

  • Kommandots tillstånd, enligt systeminformationskommandon, är Throttled.
  • Felmeddelandet innehåller kommandotypen , ursprung för begränsningen och kapacitet som har överskridits. Till exempel:
    • Till exempel: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion'.
  • HTTP-svarskoden är 429. Underkoden är TooManyRequests.
  • Undantagstypen är ControlCommandThrottledException.

Not

Hanteringskommandon kan också begränsas till följd av att gränsen som definierats av en arbetsbelastningsgrupps princip för hastighetsbegränsning för begäranöverskrids.

Relaterat innehåll