次の方法で共有

キャパシティ ポリシー

  • [アーティクル]

適用対象: ✅Azure データ エクスプローラー

キャパシティ ポリシーは、クラスターでのデータ管理操作のコンピューティング リソースを制御するために使用されます。

キャパシティ ポリシー オブジェクト

容量ポリシーは、次のコンポーネントで構成されます。

クラスターの容量を表示するには、 .show capacity コマンドを使用します。

インジェスト キャパシティ

プロパティ タイプ 説明
ClusterMaximumConcurrentOperations long クラスターで許可される同時インジェスト操作の最大数。 この値は、次の式に示すように、インジェストの合計容量を上限とします。
CoreUtilizationCoefficient real インジェスト容量の計算で使用するコアの割合を決定します。

式

.show capacity コマンドは、次の式に基づいてクラスターのインジェスト容量を返します。

Minimum(ClusterMaximumConcurrentOperations, クラスター内のノードの数 * Maximum(1, ノードあたりのコア数 * CoreUtilizationCoefficient))

Note

4 つ以上のノードを持つクラスターでは、管理ノードはインジェスト操作に参加しないため、 クラスター内のノードの数 は 1 つ減らされます。

エクステントのマージ キャパシティ

プロパティ タイプ 説明
MinimumConcurrentOperationsPerNode long 1 つのノードに対するマージ/リビルド操作の同時実行エクステントの最小数。 既定値は 1 です。
MaximumConcurrentOperationsPerNode long 1 つのノードに対するマージ/リビルド操作の同時実行エクステントの最大数。 既定値は 5 です。

式

.show capacity コマンドは、次の式に基づいてクラスターのエクステントマージ容量を返します。

クラスター内のノード数 * ノードあたりのコンカレント操作数

ノードあたりの 繰り返し操作の有効な値 は、マージ操作の成功率が 90% 以上である限り、システムによって [MinimumConcurrentOperationsPerNode,MaximumConcurrentOperationsPerNode] の範囲で自動的に調整されます。

Note

4 つ以上のノードを持つクラスターでは、管理ノードはマージ操作に参加しないため、 クラスター内のノードの数 は 1 つ減らされます。

エクステントの消去再構築キャパシティ

プロパティ タイプ 説明
MaximumConcurrentOperationsPerNode long 1 つのノードでの消去操作の同時実行リビルド エクステントの最大数。

式

.show capacity コマンドは、次の式に基づいてクラスターのエクステントの消去再構築容量を返します。

クラスター内のノードの数 x MaximumConcurrentOperationsPerNode

Note

4 つ以上のノードを持つクラスターでは、管理ノードは消去操作に参加しないため、 クラスター内のノード数 は 1 つ減らされます。

エクスポート キャパシティ

プロパティ タイプ 説明
ClusterMaximumConcurrentOperations long クラスター内の同時エクスポート操作の最大数。 この値は、次の式に示すように、エクスポート容量の合計を上限とします。
CoreUtilizationCoefficient long エクスポート容量の計算で使用するコアの割合を決定します。

式

.show capacity コマンドは、次の式に基づいてクラスターのエクスポート容量を返します。

Minimum(ClusterMaximumConcurrentOperations, クラスター内のノードの数 * Maximum(1, ノードあたりのコア数 * CoreUtilizationCoefficient))

Note

4 つ以上のノードを持つクラスターでは、管理ノードはエクスポート操作に参加しません。 Number of nodes in cluster は、1 まで減少します。

エクステントのパーティション キャパシティ

プロパティ タイプ 説明
ClusterMinimumConcurrentOperations long クラスター内の同時エクステントパーティション操作の最小数。 既定値は 1 です。
ClusterMaximumConcurrentOperations long クラスター内の同時エクステントパーティション操作の最大数。 既定値は 32 です。

連続操作の有効な値は、パーティション分割操作の成功率が 90% 以上である限り、システムによって [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations] の範囲で自動的に調整されます。

具体化されたビューのキャパシティ ポリシー

このポリシーを使用して、具体化されたビューの同時実行の設定を変更できます。 具体化されたビューの容量ポリシーを変更すると、クラスターに 1 つ以上の具体化されたビューが定義されている場合に便利です。

プロパティ タイプ 説明
ClusterMinimumConcurrentOperations long クラスター内の同時マテリアライズ操作の最小数。 既定値は 1 です。
ClusterMaximumConcurrentOperations long クラスター内の同時具体化操作の最大数。 既定値は 10 です。

既定では、1 つの具体化のみが同時に実行されます (具体化されたビュー しくみを参照してください)。 システムは、クラスター内の具体化されたビューの数とクラスターの CPU に基づいて、範囲 [ClusterMinimumConcurrentOperations,ClusterMaximumConcurrentOperations] の現在のコンカレンシーを調整します。 このポリシーを変更することで、コンカレンシーを増減できます。 たとえば、クラスターに 10 個の具体化されたビューがある場合、 ClusterMinimumConcurrentOperations を 5 に設定すると、少なくとも 5 つのビューが同時に具体化できるようになります。 .show capacity コマンドを使用して、現在のコンカレンシーの有効な値を表示できます。

警告

ClusterMinimumConcurrentOperationsを上げると、リソースが枯渇し、クラスターのパフォーマンスが低下する可能性があります。 このポリシーを手動で変更する場合は、クラスターの正常性を慎重に監視し、コンカレンシーを徐々に増やします。

保存されたクエリ結果のキャパシティ

プロパティ タイプ 説明
MaximumConcurrentOperationsPerDbAdmin long クラスター管理ノードにおける同時インジェスト操作の最大数。
CoreUtilizationCoefficient real 格納されたクエリ結果の作成計算で使用するコアの割合を決定します。

式

.show capacity コマンドは、次の式に基づいて、クラスターの格納されているクエリ結果の作成容量を返します。

クラスター内のノードの数 * Maximum(1, ノードあたりのコア数 * CoreUtilizationCoefficient)

Note

4 つ以上のノードを持つクラスターでは、管理ノードは格納されたクエリ結果の作成操作に参加しないため、 クラスター内のノードの数 が 1 つ減ります。

ストリーミング インジェストの処理後の容量

プロパティ タイプ 説明
MaximumConcurrentOperationsPerNode long 各クラスター ノードでの同時ストリーミング インジェスト後処理操作の最大数。

式

.show capacity コマンドは、次の式に基づいて、クラスターのストリーミング インジェストの後処理容量を返します。

クラスター内のノードの数 x MaximumConcurrentOperationsPerNode

Note

4 つ以上のノードを持つクラスターでは、管理ノードはストリーミング インジェストの後処理に参加しないため、 クラスター内のノードの数 は 1 つ減らされます。

ストレージ成果物のクリーンアップ容量を消去する

プロパティ タイプ 説明
MaximumConcurrentOperationsPerCluster long クラスターでの同時消去ストレージ成果物のクリーンアップ操作の最大数。

式

.show capacity コマンドは、次の式に基づいて、クラスターの消去ストレージ成果物のクリーンアップ容量を返します。

MaximumConcurrentOperationsPerCluster

定期的なストレージ 成果物のクリーンアップ容量

プロパティ タイプ 説明
MaximumConcurrentOperationsPerCluster long クラスターでの同時実行の定期的なストレージ 成果物のクリーンアップ操作の最大数。

式

.show capacity コマンドは、次の式に基づいて、クラスターの定期的なストレージ成果物のクリーンアップ容量を返します。

MaximumConcurrentOperationsPerCluster

既定

既定のキャパシティ ポリシーには、次の JSON 表現があります。

{
  "IngestionCapacity": {
    "ClusterMaximumConcurrentOperations": 512,
    "CoreUtilizationCoefficient": 0.75
  },
  "ExtentsMergeCapacity": {
    "MinimumConcurrentOperationsPerNode": 1,
    "MaximumConcurrentOperationsPerNode": 3
  },
  "ExtentsPurgeRebuildCapacity": {
    "MaximumConcurrentOperationsPerNode": 1
  },
  "ExportCapacity": {
    "ClusterMaximumConcurrentOperations": 100,
    "CoreUtilizationCoefficient": 0.25
  },
  "ExtentsPartitionCapacity": {
    "ClusterMinimumConcurrentOperations": 1,
    "ClusterMaximumConcurrentOperations": 32
  },
  "MaterializedViewsCapacity": {
    "ClusterMaximumConcurrentOperations": 1,
    "ExtentsRebuildCapacity": {
      "ClusterMaximumConcurrentOperations": 50,
      "MaximumConcurrentOperationsPerNode": 5
    }
  },
  "StoredQueryResultsCapacity": {
    "MaximumConcurrentOperationsPerDbAdmin": 250,
    "CoreUtilizationCoefficient": 0.75
  },
  "StreamingIngestionPostProcessingCapacity": {
    "MaximumConcurrentOperationsPerNode": 4
  },
  "PurgeStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  },
  "PeriodicStorageArtifactsCleanupCapacity": {
    "MaximumConcurrentOperationsPerCluster": 2
  }
}

管理コマンド

警告

容量ポリシーを変更する前に、サポート チームに相談してください。

管理コマンドの調整

Kusto では、ユーザーによって開始される次のコマンドの同時要求数が制限されています。

操作が同時要求数の制限を超えたことをクラスターが検出すると、次のようになります。

  • System 情報コマンドで示されているように、コマンドの状態はThrottled。
  • エラー メッセージには、 コマンドの種類、調整の origin 、および超過した の能力 が含まれます。 例:
    • (例: The management command was aborted due to throttling. Retrying after some backoff might succeed. CommandType: 'TableSetOrAppend', Capacity: 18, Origin: 'CapacityPolicy/Ingestion')。
  • HTTP 応答コードが 429。 サブコードは TooManyRequests。
  • 例外の種類は ControlCommandThrottledException。

Note

ワークロード グループの Request レート制限ポリシーで定義されている制限を超えた結果、管理コマンドが調整される場合もあります。

関連するコンテンツ