AKS クラスターとクラスタープールで HDInsight をアップグレードする

[アーティクル]
09/20/2024

大事な

AKS 上の Azure HDInsight は、2025 年 1 月 31 日に廃止されました。このの詳細については、このお知らせを参照してください。

ワークロードの突然の終了を回避するには、ワークロードを Microsoft Fabric または同等の Azure 製品に移行する必要があります。

大事な

この機能は現在プレビュー段階です。 Microsoft Azure プレビューの追加使用条件には、ベータ版、プレビュー版、または一般公開されていない Azure 機能に適用される、より多くの法的条件が含まれています。この特定のプレビューの詳細については、AKS プレビュー情報 Azure HDInsightを参照してください。ご質問や機能の提案については、AskHDInsight に詳細を記載した要求を送信してください。また、Azure HDInsight Communityの最新情報をフォローしてください。

インプレースアップグレードを使用して、AKS クラスターとクラスタープール上の HDInsight を最新の AKS パッチ、セキュリティ更新プログラム、クラスターパッチ、クラスター修正プログラムに更新する方法について説明します。

アップグレードする理由

AKS 上の HDInsight は、Azure Kubernetes Service (AKS) で Apache Flink、Apache Spark、Trino を実行できるサービスです。 AKS 上の HDInsight は、クラウドのスケーラビリティ、信頼性、柔軟性の利点を提供すると同時に、既存のツールとアプリケーションを使用することもできます。

AKS 上の HDInsight の重要な機能の 1 つは、最新のソフトウェア更新プログラムを使用してクラスターとクラスタープールをアップグレードできることです。つまり、クラスターを再作成することなく、最新の修正プログラム、セキュリティ更新プログラム、AKS パッチを利用できます。

AKS 上の HDInsight は基になる Azure Kubernetes Service (AKS) インフラストラクチャに依存しているため、セキュリティと最新の機能との互換性を確保するために定期的に更新する必要があります。最新のセキュリティリリースを適用し、最新の Kubernetes 機能にアクセスできるようにアップグレードし、AKS クラスタープール上の HDInsight に対応する AKS サポートウィンドウ内に留まるようにすることが重要です。 Microsoft では、AKS 上のイメージノードに対してパッチと新しいイメージを頻繁に (毎週) 提供していますが、ノード OS のアップグレードを行わない限り、実行中のノードでは新しいイメージは取得されません。

たとえば、Spark クラスターをアップグレードして、最新の修正プログラムの機能強化、ノード OS のセキュリティ修正プログラム、クラスターとクラスタープールソフトウェアを -date up-to維持するための AKS パッチ更新プログラムを入手できます。

この記事では、Azure portal を使用して、AKS クラスターとクラスタープールで HDInsight をアップグレードする方法について説明します。

アップグレードプロセスに役立つベストプラクティスをいくつか紹介します。

アップグレードの種類

次の表は、アップグレードの種類の詳細と、クラスタープールとクラスターの更新が発生することを予測できる頻度をまとめたものです。

アップグレードの種類	適用性	アップグレードの頻度	In-Place アップグレード
AKSバージョン（マイナー）アップグレード / HDInsightのAKSマイナーバージョンアップグレード	クラスタープール、クラスター	約 6 か月ごと	✅
AKS 上の HDInsight – クラスターパッチバージョン	クラスター	約 1 か月	✅
AKS 上の HDInsight – クラスターホットフィックス	クラスター	必要に応じて	✅
AKS パッチバージョンのアップグレード	クラスタープール、クラスター	約毎週 (アップストリームの AKS パッチ適用に依存)	✅
ノード OS のアップグレード	クラスタープール、クラスタ	ウィークリー	✅
ノードイメージのセキュリティパッチとホットフィックス	クラスタープール、クラスター	必要に応じて	✅

AKS バージョン管理における HDInsightについて詳しく知る。

AKS 上の HDInsight は基になるインフラストラクチャとして Azure Kubernetes Service (AKS) を使用するため、セキュリティと最新の機能との互換性を確保するために定期的に更新する必要があります。

維持するために必要な AKS クラスターには、次の 2 つのコンポーネントがあります。

AKS パッチとマイナーバージョンのアップグレード: AKS クラスターライフサイクルの一部では、最新の Kubernetes バージョンへのアップグレードを実行する必要があります。最新のセキュリティリリースを適用し、最新の Kubernetes 機能にアクセスし、AKS サポートウィンドウ内に留まるようにアップグレードすることが重要です。 AKS クラスタープールの HDInsight バージョンは、AKS マイナーバージョンにマップされます。
- AKS パッチは、クラスタープールバージョン 1.1 以降の AKS 上の HDInsight のクラスタープールとクラスターに適用できる AKS パッチアップグレードを使用して実現されます。
- AKS マイナーバージョンは、AKS マイナーバージョンのアップグレードを使用して実現されます。クラスタープールをアップグレードし、AKS 上の HDInsight でサポートされている最新の AKS マイナーバージョンにクラスターをアップグレードします。* AKS 上の HDInsight では、Kubernetes N-2 サポートポリシーのと、AKS リリースカレンダーを維持することを目的としています。引き続きインプレースマイナーアップグレードを実行する機能を提供するため、最新のマイナーバージョンにできるだけ早くアップグレードすることを計画することをお勧めします。
ノード OS のアップグレード: AKS は、新しいノードイメージに最新の OS とランタイム更新プログラムを定期的に提供します。ノードのイメージを定期的にアップグレードして、最新の AKS 機能のサポートを確保し、AKS レイヤーに重要なセキュリティパッチとホットフィックスを適用すると便利です。イメージアップグレードのお知らせは、AKS リリースノートに含まれており、これらの更新プログラムがすべてのリージョンにロールアウトされるまでに最大 1 週間かかる場合があります。このアップグレードでは、Kubernetes バージョンをアップグレードせずにノードプールイメージのみを更新します。 AKS 上の HDInsight では、このアップグレードは、クラスタープールとクラスターに適用できるノード OS アップグレードを使用して実行されます。クラスタープールバージョン 1.1 以降。

AKS 上の最新の HDInsight 機能を利用するには、修正プログラムと修正プログラムを使用して、AKS クラスター上の HDInsight を定期的に更新することをお勧めします。 AKS 上の HDInsight は、既存のクラスターに対するインプレースアップグレードをサポートしており、新しいホットフィックスやパッチへとアップグレードできます。新しいクラスターを削除して再作成する必要はありません。クラスターがアップグレードの対象になると、ソフトウェア更新の状態に保留中のアップグレードが反映され、数回のクリックとメンテナンス期間でアップグレードを実行できます。

AKS パッチリリースの HDInsight は、30 日から 60 日ごとに発生します。できるだけ早く最新のパッチに移行することは常に良いことです。クラスターのアップグレードに推奨される最大期間は、3 か月未満です。

修正プログラムのアップグレード: 修正プログラムのリリースは、必要に応じて行われ、クラスターパッケージ内のモジュールの数が限られているいくつかの修正プログラムのみが含まれます。修正プログラムはクラスターに適用できます。このような更新プログラムが利用可能な場合、インプレースアップグレードでメンテナンス操作を実行するために、クラスターはソフトウェア更新プログラムの状態に関する保留中の更新プログラムを反映します。

Patch Upgrades: Azure のリソースは、リソースプロバイダーによって使用可能になります。 AKS リソースプロバイダー上の HDInsight は、クラスターの作成、管理、および削除を担当します。 AKS 上の HDInsight は、クラスターにデプロイできるオープンソースソフトウェア (OSS) コンポーネントをまとめるために、Azure コンテナーレジストリ上のイメージを継続的に更新します。これらのイメージには、基本の Azure Linux オペレーティングシステムと、Spark、Flink、Trino などのコアコンポーネントが含まれています。毎月のパッチでは、リソースプロバイダーからのバグ修正や、オープンソースコンポーネント、および動作しているクラスターに固有のその他の機能のバグや機能強化が含まれます。パッチのアップグレードはクラスターに適用できます。このような更新プログラムが利用可能な場合、インプレースアップグレードでメンテナンス操作を実行するために、クラスターにソフトウェア更新プログラムの状態に関する保留中の更新プログラムが反映されます。

利用可能なアップグレードを確認する方法

アップグレードを開始する前に、AKS クラスター上の HDInsight で使用可能なアップグレードを確認する必要があります。

更新プログラムは、クラスターのバージョンまたはクラスタープールのバージョン、AKS の現在の HDInsight バージョン、および AKS のバージョンによって異なります。

ソフトウェア更新プログラムの セクションの概要ブレードを確認して、ソフトウェア更新プログラム (最新の または保留中の ) があるかどうかを確認できます。

使用可能なソフトウェア更新プログラムがある場合は、クラスターに保留中の状態ソフトウェア更新プログラムが表示されていることを確認し、Azure portal を使用してアップグレードを選択できます。

Azure portal を使用して利用可能な更新プログラムを確認するには、次の手順に従います。

Azure portalにサインインします。
検索ボックスに、「AKS の HDInsight」と入力します。
AKS クラスタープールで HDInsight を選択する
クラスターの概要ページで、ソフトウェア更新プログラムの状態を確認します。
[アップグレード] をクリックする
アップグレードブレードに、使用可能なアップグレードが表示されます。
使用可能なアップグレードに基づいて、アップグレードを選択して実行するオプションがあります。
アップグレードをトリガーすると、ポータルでサービス通知が表示されます。
クラスターの更新状態が保留中からアップグレードに移行し、クラスタープールの状態が NodeOSUpgrading に移動します。
クラスタープールとクラスターの両方を一緒に更新することを選択すると、クラスターも同様の状態に移行します。
アップグレードが完了すると、バナーに更新プログラムが表示され、ソフトウェア更新プログラムの状態がクラスタープールとクラスター全体に反映され (クラスタープールでクラスターもアップグレードされている場合)、通知の更新にはアップグレードの成功が反映されます。

AKS クラスターとクラスタープールでの HDInsight のアップグレードの計画

使用可能なアップグレードバージョンを確認し、ニーズに合ったバージョンを選択したら、Azure portal を使用して AKS 上の HDInsight クラスターをアップグレードできます。クラスターのサイズと構成、およびクラスタープール内のクラスターの数によっては、アップグレードプロセスに時間がかかる場合があります。

アップグレード中、クラスターは引き続き運用可能でアクセス可能ですが、パフォーマンスの低下や一時的な中断が発生する可能性があります。そのため、ピーク外の時間帯、またはクラスターの負荷が高くない場合は、クラスターをアップグレードすることをお勧めします。

AKS クラスターとクラスタープールでの HDInsight のその場でのアップグレードのためのベストプラクティス

AKS クラスターとクラスタープールで HDInsight をスムーズかつ正常にアップグレードできるようにするには、次のベストプラクティスに従います。

アップグレードを開始する前に、クラスターが正常で安定していて、クラスターの状態がエラーになっていないことを確認してください。

アップグレードの前に、AKS バージョンの新しい HDInsight のリリースノートを確認し、新しい機能や変更に適応するためにアプリケーションまたはスクリプトに必要な変更を準備します。運用環境に移行する前に、より低い環境でテストします。
アップグレードの前に、計画された期間にクラスターのアップグレードを実行できるメンテナンス期間を計画します。インプレースアップグレード (クラスターとクラスタープールの両方) は環境のパフォーマンスに影響し、アップグレードの進行中にジョブでダウンタイムが発生する可能性があります。
アップグレード中は、ノードの追加や削除、スケーリングの実行、構成の更新、削除など、クラスターリソースに変更を加えないでください。これを行うと、アップグレードプロセスに干渉し、エラーやエラーが発生する可能性があります。
アップグレード中に、クラスターの可用性を監視します。 Azure portal を使用して、ソフトウェア更新プログラムの状態を確認できます。
アップグレードが失敗した場合や問題が発生した場合は、Azure サポートに連絡するか、手動ロールバック操作を実行して、以前に使用したバージョンにアップグレードを復元できます。
アップグレード後、クラスターが想定どおりに動作していることを確認します。クラスターのバージョン、正常性、構成は、Azure portal、Azure CLI、Azure PowerShell、またはサービス正常性を使用して確認できます。また、いくつかのテストジョブまたはクエリを実行して、クラスターの機能を確認することもできます。

アップグレードの手順

ノード OS のアップグレード

[概要] ブレードで [アップグレード] をクリックし、左側のアップグレードウィンドウで [ノード OS のアップグレード] を選択します。
ノード OS のアップグレードがある場合、クラスタープールとクラスターの両方が同時にアップグレードを実行します。
アップグレードをトリガーすると、ポータルでサービス通知が表示されます。
クラスターの更新状態が保留中からアップグレードに移行し、クラスタープールの状態が NodeOSUpgradingに移動します。
クラスタープールとクラスターの両方を一緒に更新することを選択すると、クラスターも同様の状態に移行します。
アップグレードが完了すると、バナーに更新が表示され、ソフトウェア更新プログラムの状態がクラスタープールとクラスター全体に反映されます (クラスターもクラスタープールでアップグレードされた場合)、通知の更新にはアップグレードの成功が反映されます。

AKS パッチのアップグレード

[概要] ブレードで [アップグレード] をクリックし、左側のアップグレードウィンドウで AKS パッチアップグレードを選択します。
AKS パッチアップグレードでは、クラスタープールとクラスターの両方が同時にアップグレードを実行しません。個々のクラスターでは、クラスターの計画メンテナンス期間に基づいて AKS パッチのアップグレードを適用する必要があります。
アップグレードをトリガーすると、ポータルでサービス通知が表示されます。
クラスターの更新状態が保留中からアップグレードに移行し、クラスタープールの状態が AksPatchUpgrading に移動します。
アップグレードが完了すると、バナーに更新プログラムが表示され、ソフトウェア更新プログラムの状態がクラスタープールとクラスター全体に反映され (クラスタープールでクラスターもアップグレードされた場合)、通知の更新にはアップグレードの成功が反映されます。
クラスタープールにパッチを適用したら、AKS パッチをクラスタープール内のクラスターに一度に適用するか、メンテナンススケジュールに基づいて個々のクラスターに移動してパッチを適用できます。
すべてのクラスターのアップグレードを使用する場合は、[クラスタープール] ページで、クラスタープール内のすべてのクラスターのアップグレードを一度に完了します。
右側のアップグレードウィンドウには、AKS パッチバージョン (現在のバージョンとアップグレードパス) でのアップグレードの詳細が表示されます。
アップグレードが開始されると、通知アイコンにクラスターのアップグレードが進行中であることが示されます
クラスタープールの [クラスターの概要] ウィンドウにも、アップグレードの状態が反映されます。
アップグレードが完了すると、概要バナーと通知トレイが更新されます。

修正プログラムのアップグレード

クラスターの概要ページで、クラスターの修正プログラムのアップグレードが保留中であることを確認できます。
[アップグレード] をクリックしたら、アップグレードの詳細が保留中の状態でクラスターのアップグレードセクションに移動します。
アップグレードを開始すると、通知にアップグレードの進行状況が表示され、クラスターの概要ページには、修正プログラムのアップグレードとソフトウェア更新プログラムの状態がアップグレードに変更された状態が反映されます。
アップグレードが完了すると、クラスターの状態の概要バナーが実行中に変わり、ソフトウェア更新プログラムの状態が最新に変わり、概要セクションの通知バナーが更新されます。