クラスターレジストリの概要

[アーティクル]
11/08/2024

Azure Operator Service Manager (AOSM) クラスターレジストリ (CR) を使って、クラウドネイティブネットワーク機能の回復性を向上させます

ドキュメントの履歴

作成日および初回公開日 : 2024 年 7 月 26 日
HA の更新日: 2024 年 10 月 16 日
GC の更新日: 2024 年 11 月 5 日

機能の依存関係

この機能には、次の環境が最低限必要です。

AOSM ARM API の最小バージョン: 2023-09-01
ネットワーク機能 (NF) kubernetes 拡張機能の高可用性 (HA) を使用していない最初のバージョン: 1.0.2711-7
NF kubernetes 拡張機能の HA を使用した最初のバージョン: 2.0.2810-144
NF kubernetes 拡張機能の GC を使用した最初のバージョン: 2.0.2860-160

クラスターレジストリの概要

Azure Operator Service Manager (AOSM) クラスターレジストリ (CR) を使うと、Nexus K8s クラスターのコンテナーイメージのローカルコピーを使用できるようになります。クラスターレジストリを有効にしてコンテナー化されたネットワーク機能 (CNF) をインストールすると、コンテナーイメージがリモート AOSM 成果物ストアからプルされて、このローカルクラスターレジストリに保存されます。ミューテーション Webhook を使用すると、クラスターレジストリは、パブリッシャーのパッケージ化の変更を回避するために、イメージ要求を自動的にインターセプトし、ローカルレジストリパスに置き換えます。クラスターレジスタにより、コンテナーイメージへの CNF のアクセスは、リモート成果物ストアへの接続が失われた場合でも維持されます。

主なユースケースとメリット

クラウドネイティブネットワーク機能 (CNF) では、AOSM 成果物ストアを使った初期デプロイの間だけでなく、ネットワーク機能を動作させ続けるためにも、コンテナーイメージへのアクセスが必要です。次のようなシナリオが含まれます。

ポッドの再起動: ポッドを停止して起動すると、クラスターノードがレジストリからコンテナーイメージをプルする可能性があります。
Kubernetes スケジューラの動作: ノードへのポッドの割り当て時に、スケジューラプロファイルルールに従い、新しいノードのコンテナーイメージがローカル環境にキャッシュされていない場合、ノードはレジストリからコンテナーイメージをプルします。

AOSM クラスターレジストリを使用するメリット:

AOSM 成果物ストアへの接続が失われた場合に CNF の中断を防ぐために必要なローカルイメージを提供します。
各クラスターノードがローカルレジストリからのみイメージをプルするようになったため、AOSM 成果物ストアでのイメージプルの数が減少しました。
ミューテーション Webhook を使用して適切なローカルレジストリ URL パスに置き換えることで、不正なレジストリ URL の問題を克服しました。

クラスターレジストリのしくみ

AOSM クラスターレジストリは、Network Function Operator (NFO) Arc K8s 拡張機能を使って有効にされます。 CLI を使って Nexus K8s クラスターでクラスターレジストリを有効にする方法を次に示します。

az k8s-extension create --cluster-name
                        --cluster-type {connectedClusters}
                        --extension-type {Microsoft.Azure.HybridNetwork}
                        --name
                        --resource-group
                        --scope {cluster}
                        --release-namespace {azurehybridnetwork}
                        --release-train {preview, stable}
                        --config Microsoft.CustomLocation.ServiceAccount=azurehybridnetwork-networkfunction-operator
                        [--auto-upgrade {false, true}]
                        [--config global.networkfunctionextension.enableClusterRegistry={false, true}]
                        [--config global.networkfunctionextension.enableLocalRegistry={false, true}]
                        [--config global.networkfunctionextension.enableEarlyLoading={false,true}]
                        [--config global.networkfunctionextension.clusterRegistry.highAvailability.enabled={true, false}]
                        [--config global.networkfunctionextension.clusterRegistry.autoScaling.enabled={true, false}]
                        [--config global.networkfunctionextension.webhook.highAvailability.enabled={true, false}]
                        [--config global.networkfunctionextension.webhook.autoScaling.enabled={true, false}]
                        [--config global.networkfunctionextension.clusterRegistry.storageClassName=]
                        [--config global.networkfunctionextension.clusterRegistry.storageSize=]
                        [--config global.networkfunctionextension.webhook.pod.mutation.matchConditionExpression=]
                        [--config global.networkfunctionextension.clusterRegistry.clusterRegistryGCCadence=]
                        [--config global.networkfunctionextension.clusterRegistry.clusterRegistryGCThreshold=]
                        [--version]

Network Function Operator Arc K8s 拡張機能でクラスターレジストリ機能が有効になっていると、AOSM 成果物ストアからデプロイされるすべてのコンテナーイメージに、Nexus K8s クラスター内でローカルにアクセスできます。ユーザーは、クラスターレジストリの永続ストレージサイズを選択できます。

Note

ユーザーが入力を何も指定しない場合は、永続ボリュームとして既定値の 100 GB が使われます。

クラスターレジストリコンポーネント

クラスターレジストリ機能は、NFO 拡張機能を支援するために、ターゲットエッジクラスターにヘルパーポッドをデプロイします。

コンポーネント調整

このメインポッドは、クラスターで実行されている Microsoft.Kubernetes リソースプロバイダー (RP)、Hybrid Relay、および Arc エージェントの助けを借りて、K8sBridge によって作成されたコンポーネントカスタムリソースオブジェクト (CRO) の調整を行います。

Webhook を変更するポッド

これらのポッドは、Admission Webhook を変更する Kubernetes を実装し、ミューテーション API のインスタンスにサービスを提供します。ミューテーション API では、次の 2 つの処理が行われます。
- イメージレジストリパスをローカルレジストリ IP に変更し、AOSM 成果物ストアの Azure コンテナーレジストリ (ACR) を置き換えます。
- エッジクラスターに成果物の CR を作成します。

成果物の調整

このポッドは、ミューテーション Webhook によって作成された成果物の CRO を調整します。

レジストリ

このポッドは、CNF のコンテナーイメージを格納および取得します。

クラスターレジストリガベージコレクション

AOSM クラスター拡張機能により、バックグラウンドガベージコレクション (GC) ジョブが実行され、コンテナーイメージが定期的にクリーンアップされます。このジョブはスケジュールに基づいて実行され、指定されたしきい値にクラスターレジストリの使用量が達したかどうかを確認し、そうである場合は、ガベージコレクションプロセスを開始します。ジョブのスケジュールとしきい値はエンドユーザーによって構成されますが、既定ではジョブは 0% の使用率しきい値で 1 日に 1 回実行されます。

ガベージイメージマニフェストをクリーンアップする

AOSM では、クラスターレジストリにおけるポッド所有者リソースと使用イメージの間の参照が維持されます。イメージのクリーンアッププロセスが始まると、どのポッドにもリンクされていないイメージが特定され、それをクラスターレジストリから削除する論理的な削除が発行されます。この種類の論理的な削除では、すぐにはクラスターレジストリのストレージスペースが解放されません。実際のイメージファイルの削除は、以下に示す CNCF ディストリビューションのレジストリガベージコレクションによって異なります。

Note

ポッドの所有者とそのコンテナーイメージ間の参照は、イメージが AOSM によって誤って削除されないようにしています。たとえば、レプリカセットポッドが停止した場合、コンテナーイメージは AOSM によって逆参照されません。 AOSM がコンテナーイメージを逆参照するのは、レプリカセットが削除された場合だけです。 Kubernetes ジョブとデーモンセットによって管理されるポッドにも、同じ原則が適用されます。

CNCF ガベージコレクションディストリビューション

AOSM では、オープンソースの CNCF ディストリビューションレジストリを使用して、クラスターレジストリが設定されます。したがって、AOSM は、ガベージコレクション | CNCF ディストリビューションによって提供されるガベージコレクション機能に依存しています。全体としては、標準 2 フェーズ "マークとスイープ" プロセスに従ってイメージファイルを削除し、レジストリのストレージスペースを解放します。

Note

このプロセスでは、クラスターレジストリが読み取り専用モードである必要があります。レジストリが読み取り専用モードでないときにイメージがアップロードされると、イメージレイヤーが誤って削除されるリスクがあり、これがイメージ破損につながります。最大 1 分間、レジストリを読み取り専用モードでロックする必要があります。その結果、クラスターレジストリが読み取り専用モードの場合、AOSM は他の NF デプロイを延期します。

ガベージコレクション構成パラメーター

次のパラメーターでは、ガベージコレクションジョブのスケジュールとしきい値を構成します。

global.networkfunctionextension.clusterRegistry.clusterRegistryGCCadence
global.networkfunctionextension.clusterRegistry.clusterRegistryGCThreshold
構成の詳細については、最新のネットワーク機能拡張機能のインストール手順に関するページを参照してください

高可用性と回復性に関する考慮事項

AOSM NF 拡張機能は主要な機能をサポートするために、ミューテーション Webhook とエッジレジストリを使用しています。

イメージパスのカスタマイズを必要とせずに Helm チャートをオンボードします。
ポッド操作を高速化し、切断モードのサポートを有効にするローカルクラスターレジストリ。これらの重要なコンポーネントには、高可用性と回復性が必要です。

HA の変更の概要

HA では、クラスターレジストリと Webhook ポッドが、最小 3 つのレプリカおよび最大 5 つのレプリカのレプリカセットをサポートするようになりました。レプリカセットのキー構成は次のとおりです。

段階的なロールアウトのアップグレード戦略が使用されます。
自発的な中断時の可用性には、PodDisruptionBudgets (PDB) が使用されます。
ポッドのアンチアフィニティは、ノード全体でポッドを均等に分散するために使用されます。
Readiness probe は、トラフィックを提供する前にポッドの準備ができていることを確認するために使用されます。
AOSM ワークロードポッドは、システムノードプールにのみ割り当てられます。
ポッドは、CPU とメモリの負荷に応じて水平方向にスケーリングします。

レプリカ

アプリケーションの複数のコピー、またはレプリカを実行するクラスターは、冗長性の最初のレベルを提供します。クラスターレジストリと Webhook はどちらも 'kind:deployment' として定義され、最小レプリカ数は 3 つです。

DeploymentStrategy

rollingUpdate 戦略は、ダウンタイムなしのアップグレードを実現し、アプリケーションの段階的なロールアウトをサポートするために使用されます。既定の maxUnavailable 構成では、冗長性ポリシーを満たすのに十分なポッドが作成されるまで、一度に 1 つのポッドのみを停止できます。

ポッド中断バジェット

ポリシーの中断バジェット (PDB) は、自発的な中断からポッドを保護し、Deployment、ReplicaSet、または StatefulSet オブジェクトと共にデプロイされます。 AOSM 演算子ポッドの場合、minAvailable パラメーターが 2 の PDB が使用されます。

ポッドのアンチアフィニティ

ポッドのアンチアフィニティは、クラスター内の複数のノードにわたるアプリケーションポッドの分散を制御します。 HA では、AOSM ポッドのアンチアフィニティは次のパラメーターを使用します。
- スケジュールモードは、ルールがどの程度厳密に適用されるかを定義するために使用されます。
  - requiredDuringSchedulingIgnoredDuringExecution(Hard): ポッドは、定義されたルールを満たすようにスケジュールされる必要があります。ルールの要件を満たすトポロジが使用できない場合、ポッドはスケジュールされません。
  - preferredDuringSchedulingIgnoredDuringExecution(Soft): このルールの種類は、ポッドのスケジュール設定を表しますが、厳密な要件を強制するものではありません。設定基準を満たすトポロジを使用できる場合、Kubernetes はポッドをスケジュールします。そのようなトポロジが使用できない場合でも、その設定を満たしていない他のノードでポッドをスケジュールできます。
- ラベルセレクターは、アフィニティが適用されている特定のポッドをターゲットにするために使用されます。
- トポロジキーは、ノードのニーズを定義するために使用されます。
Nexus ノードの配置は設計上、ゾーン全体に均等に分散されているため、ポッドをノード全体に分散させることでゾーン冗長性も実現します。
AOSM 演算子ポッドでは、重み 100 のソフトアンチアフィニティを使用し、ノードのホスト名に基づくトポロジキーが使用されます。

Storage

AOSM エッジレジストリはノード全体に分散された複数のレプリカを持つため、永続ボリュームは ReadWriteMany (RWX) アクセスモードをサポートする必要があります。 PVC の「nexus-shared」ボリュームは、Nexus クラスターで使用でき、RWX アクセスモードをサポートしています。

Readiness Probe による監視

AOSM では、http Readiness probe を使用して、コンテナーがトラフィックの受け入れを開始する準備ができていることを認識します。ポッドは、すべてのコンテナーの準備ができたときに準備完了と見なされます。ポッドが準備未完了の場合、ポッドはサービスロードバランサーから削除されます。

システムノードプール

すべての AOSM 演算子ポッドは、システムノードプールに割り当てられます。このプールは、誤って構成されたアプリケーションポッドまたは不正なアプリケーションポッドがシステムポッドに影響を与えるのを防ぎます。

水平方向のスケーリング

Kubernetes では、HorizontalPodAutoscaler (HPA) がワークロードリソースを自動的に更新し、需要に合わせてワークロードを自動的にスケーリングすることを目的としています。 AOSM 演算子ポッドには、次の HPA ポリシーパラメーターが構成されています。
- 最低 3 つのレプリカ。
- 最大 5 つのレプリカ。
- 80% の CPU とメモリの targetAverageUtilization。

リソース制限

リソース制限は、AOSM ポッドが実行されているノードでリソースのオーバーロードを防ぐために使用されます。 AOSM では、CPU とメモリの両方の消費を制限するために、2 つのリソースパラメーターを使用します。
- リソース要求 - ポッド用に予約する必要がある最小量。この値は、アプリケーションの通常の負荷時のリソース配分状況に設定する必要があります。
- リソース制限 - ポッドが使用する最大量で、使用量が上限に達すると終了します。すべての AOSM 演算子コンテナーは、適切な要求および CPU とメモリの制限で構成されています。

既知の HA の制限事項

システムエージェントプールに単一のアクティブノードがある Nexus AKS (NAKS) クラスターは、高可用性には適していません。 Nexus 運用トポロジでは、システムエージェントプールで少なくとも 3 つのアクティブノードを使用する必要があります。
Nexus 共有ストレージクラスは、ネットワークファイルシステム (NFS) ストレージサービスです。この NFS ストレージサービスは、クラウドサービスネットワーク (CSN) ごとに使用できます。 CSN に接続されている Nexus Kubernetes クラスターは、この共有ストレージプールから永続ボリュームをプロビジョニングできます。現在、記憶域プールの最大サイズはネットワーククラウド (NC) 3.10 時点で 1TiB に制限されています。一方で NC 3.12 では 16 TiB オプションがあります。
ポッドのアンチアフィニティは、ポッドの初期配置のみを処理し、その後のポッドのスケーリングや修復は、標準の K8s スケジューリングロジックに従います。

よく寄せられる質問

以前にデプロイされた CNF アプリケーションで AOSM クラスターレジストリを使用できますか?

クラスターレジストリなしで既にデプロイされている CNF アプリケーションがある場合、自動的にコンテナーイメージを使うことはできません。 AOSM を使ってネットワーク機能をデプロイする前に、クラスターレジストリを有効にする必要があります。

デプロイの後でストレージサイズを変更できますか?

初期デプロイの後でストレージサイズを変更することはできません。開始サイズの 3 倍から 4 倍でボリュームサイズを構成することをお勧めします。

現在クラスターリポジトリに格納されているファイルを一覧表示できますか?

次のコマンドを使用して、人間が判読できる形式でファイルを一覧表示できます。

 kubectl get artifacts -A -o jsonpath='{range .items[*]}{.spec.sourceArtifact}'

このコマンドで、次のような出力が生成されるはずです。

 ppleltestpublisheras2f88b55037.azurecr.io/nginx:1.0.0

次の方法で共有

クラスターレジストリの概要

ドキュメントの履歴

機能の依存関係

クラスターレジストリの概要

主なユースケースとメリット

クラスターレジストリのしくみ

クラスターレジストリコンポーネント

コンポーネント調整

Webhook を変更するポッド

成果物の調整

レジストリ

クラスターレジストリガベージコレクション

ガベージイメージマニフェストをクリーンアップする

CNCF ガベージコレクションディストリビューション

ガベージコレクション構成パラメーター

高可用性と回復性に関する考慮事項

HA の変更の概要

レプリカ

DeploymentStrategy

ポッド中断バジェット

ポッドのアンチアフィニティ

Storage

Readiness Probe による監視

システムノードプール

水平方向のスケーリング

リソース制限

既知の HA の制限事項

よく寄せられる質問

以前にデプロイされた CNF アプリケーションで AOSM クラスターレジストリを使用できますか?

デプロイの後でストレージサイズを変更できますか?

現在クラスターリポジトリに格納されているファイルを一覧表示できますか?

フィードバック

その他のリソース

次の方法で共有

クラスター レジストリの概要

ドキュメントの履歴

機能の依存関係

クラスター レジストリの概要

主なユース ケースとメリット

クラスター レジストリのしくみ

クラスター レジストリ コンポーネント

コンポーネント調整

Webhook を変更するポッド

成果物の調整

レジストリ

クラスター レジストリ ガベージ コレクション

ガベージ イメージ マニフェストをクリーンアップする

CNCF ガベージ コレクション ディストリビューション

ガベージ コレクション構成パラメーター

高可用性と回復性に関する考慮事項

HA の変更の概要

レプリカ

DeploymentStrategy

ポッド中断バジェット

ポッドのアンチアフィニティ

Storage

Readiness Probe による監視

システム ノード プール

水平方向のスケーリング

リソース制限

既知の HA の制限事項

よく寄せられる質問

以前にデプロイされた CNF アプリケーションで AOSM クラスター レジストリを使用できますか?

デプロイの後でストレージ サイズを変更できますか?

現在クラスター リポジトリに格納されているファイルを一覧表示できますか?

フィードバック

その他のリソース

クラスターレジストリの概要

クラスターレジストリの概要

主なユースケースとメリット

クラスターレジストリのしくみ

クラスターレジストリコンポーネント

クラスターレジストリガベージコレクション

ガベージイメージマニフェストをクリーンアップする

CNCF ガベージコレクションディストリビューション

ガベージコレクション構成パラメーター

システムノードプール

以前にデプロイされた CNF アプリケーションで AOSM クラスターレジストリを使用できますか?

デプロイの後でストレージサイズを変更できますか?

現在クラスターリポジトリに格納されているファイルを一覧表示できますか?