在 AKS 叢集和叢集池上升級 HDInsight
重要
AKS 上的 Azure HDInsight 於 2025 年 1 月 31 日淘汰。 透過此公告 深入瞭解。
您必須將工作負載移轉至 Microsoft Fabric 或對等 Azure 產品,以避免突然終止工作負載。
重要
這項功能目前為預覽狀態。 Microsoft Azure 預覽版的補充使用規定 包含適用於 Beta 版、預覽版或尚未正式發行之 Azure 功能的更合法條款。 如需此特定預覽的相關資訊,請參閱 AKS 上的 Azure HDInsight 預覽資訊。 如需問題或功能建議,請在 AskHDInsight 提交請求,並追蹤我們以獲取 Azure HDInsight 社群的更多更新。
瞭解如何使用就地升級,將 AKS 叢集和叢集池上的 HDInsight 更新到最新的 AKS 修補程式、安全性更新、叢集修補程式和叢集修正。
升級的原因
AKS 上的 HDInsight 是一項服務,可讓您在 Azure Kubernetes Service (AKS) 上執行 Apache Flink、Apache Spark、Trino。 AKS 上的 HDInsight 提供雲端延展性、可靠性和彈性的優點,同時可讓您使用現有的工具和應用程式。
AKS 上的 HDInsight 其中一個重要功能,就是您可以使用最新的軟體更新來升級叢集和叢集集區。 這表示您可以享受最新的 Hotfix、安全性更新和 AKS 修補程式,而不需重新建立叢集。
由於 AKS 上的 HDInsight 依賴基礎 Azure Kubernetes Service (AKS) 基礎結構,因此必須定期更新,以確保安全性與與最新功能的相容性。 非常重要的是,您應升級以套用最新的安全性版本,存取最新 Kubernetes 功能,並保持在對應HDInsight的 AKS 叢集集區的 AKS 支援視窗內。 Microsoft會經常為 AKS 上的映像節點提供修補程式和新的映像(每周),但除非您執行節點 OS 升級,否則執行中的節點不會取得新的映像。
例如,您可以升級 Spark 叢集以取得最新的 Hotfix 增強功能、節點 OS 的安全性修正,以及 AKS 修補程式更新,讓您的叢集和叢集集區軟體 up-to-date。
在本文中,我們會示範如何使用 Azure 入口網站,在 AKS 叢集和叢集集區上升級 HDInsight。
我們會分享一些最佳做法,協助您進行升級程式。
升級類型
下表摘要說明升級類型的詳細數據,以及您可以預期叢集集區和叢集發生更新的頻率。
升級類型 | 適用性 | 升級的頻率 | In-Place 升級 |
---|---|---|---|
AKS 次要版本升級 / HDInsight 在 AKS 上的次要版本升級 | 叢集池、叢集 | 大約每六個月一次 | ✅ |
AKS 上的 HDInsight – 叢集修補版本 | 集群 | 大約每月 | ✅ |
AKS 上的 HDInsight – 叢集修正程式 | 簇 | 視需要 | ✅ |
AKS 修補程式版本升級 | 叢集資源池、叢集 | 每週大約一次(取決於上游 AKS 的修補) | ✅ |
節點 OS 升級 | 叢集池、叢集 | 每週 | ✅ |
節點映像的安全性修補程式和經常性修正 | 叢集池、叢集 | 視需要 | ✅ |
深入瞭解 HDInsight 在 AKS 版本化上的運作。
當 AKS 上的 HDInsight 使用 Azure Kubernetes Service (AKS) 作為基礎結構時,必須定期更新,以確保安全性與與最新功能的相容性。
AKS 叢集有兩個元件需要維護:
AKS 修補程式和次要版本升級:AKS 叢集生命週期的一部分牽涉到執行最新 Kubernetes 版本的升級。 務必升級以套用最新的安全性版本,享受最新 Kubernetes 功能,並維持在 AKS 支援期限內。 AKS 叢集集區版本中的 HDInsight 會映射至 AKS 的次要版本。
節點作業系統升級:AKS 會定期提供新的節點映像,包含最新的 OS 和執行階段更新。 定期升級節點的映像,以確保支援最新的 AKS 功能,並在 AKS 層上套用重要的安全性修補和緊急修正,這樣可以帶來諸多好處。 映像升級公告包含在 AKS 版本資訊中,而且可能需要一周時間,這些更新才能在所有區域推出。 透過此升級,我們只會更新節點集區映像,而不需要升級 Kubernetes 版本。 在 AKS 上的 HDInsight 中,此升級是使用節點 OS 升級來完成,可以應用於叢集池和叢集,從叢集池版本 1.1 開始。
為了善用最新的 HDInsight on AKS 特性,我們建議您定期使用 hotfix 和修補程式,來更新您在 AKS 上的 HDInsight 叢集。 AKS 上的 HDInsight 支援原位升級,在此過程中,現有的叢集可以升級到較新的快速修正程式和修補程式。 您無需刪除並重新建立新的叢集,當您的叢集符合升級資格時,軟體更新狀態將顯示升級待處理,您只需點擊幾下即可進行升級,並安排維護時段。
AKS 修補程式版本的 HDInsight 每隔 30 到 60 天發生一次。 最好儘早移至最新的修補程式。 叢集升級的建議最大持續時間小於三個月。
Hotfix 更新:Hotfix 修正會在需要時發行,且只包含叢集套件中部分模組的修正。 緊急修正適用於您的叢集,而且當這些更新可用時,您的叢集將在軟體更新狀態上顯示出待處理的更新,以便您能進行就地升級的維護作業。
修補程序升級:Azure 中的資源由資源提供者提供。 AKS 資源提供者上的 HDInsight 負責建立、管理及刪除叢集。 AKS 上的 HDInsight 會持續更新其在 Azure 容器登錄上的映像,以整合可在叢集上部署的開放原始碼軟體 (OSS) 元件。 這些映像包含基底 Azure Linux 作業系統和核心元件,例如 Spark、Flink、Trino。 每月修補程式會引入來自資源提供者的錯誤修正,包含開放原始碼元件,以及特定於您所運行叢集的其他功能錯誤修正或改進。 修補程式升級適用於您的叢集,而且當這類更新可供使用時,您的叢集會反映軟體更新狀態上的擱置更新,讓您使用就地升級來執行維護作業。
如何檢查可用的升級
開始升級之前,您必須檢查 AKS 叢集上 HDInsight 的可用升級。
更新取決於叢集版本或叢集池版本,目前的 HDInsight on AKS 版本,以及 AKS 版本。
您可以檢查 [軟體更新] 區段的概覽面板,以確認您的軟體是否有更新 – 最新的 或 擱置。
如果您有可用的軟體更新,觀察到叢集顯示軟體更新目前處於 等待中 狀態,而且您可以使用 Azure 入口網站來選擇進行升級。
若要使用 Azure 入口網站檢查可用的更新,請遵循下列步驟:
登入 Azure 入口網站。
在搜尋方塊中,輸入 AKS 上的 HDInsight。
在 AKS 叢集集區上選取您的 HDInsight
在叢集概觀頁面中,檢查軟體更新狀態。
按一下 [升級]
在升級面板中,您會看到可用升級選項。
根據可用的升級,您可以選擇選取和執行升級。
觸發升級之後,您會在入口網站上取得服務通知。
叢集更新狀態會從擱置移至升級,而叢集集區狀態會移至 NodeOSUpgrading。
當您選擇同時更新叢集集區和叢集時,叢集也會移至類似的狀態。
升級完成後,您的軟體更新通知橫幅上會顯示更新,並且軟體更新狀態會反映在集群資源池和各個集群中(如果集群資源池也已升級)。通知更新會顯示此次升級的成功。
規劃 AKS 叢集和叢集集區上 HDInsight 的升級
檢查可用的升級版本並選擇符合您需求的升級版本之後,您可以使用 Azure 入口網站在 AKS 上升級 HDInsight 叢集。 升級程式可能需要一些時間,視叢集的大小和組態以及叢集區內的叢集數目而定。
在升級期間,您的叢集仍可運作且可存取,但您可能會遇到一些效能降低或暫時中斷的情況。 因此,建議您在離峰時段或叢集負載不足時升級叢集。
在 AKS 叢集和叢集集區上就地升級 HDInsight 的最佳做法
若要確保 AKS 叢集和叢集集區上的 HDInsight 順利且成功升級,請遵循下列最佳做法:
開始升級之前,請確定叢集狀況良好且穩定,且叢集狀態未發生錯誤。
在升級之前,請檢閱 AKS 版本上新 HDInsight 的版本資訊,並準備對您的應用程式或腳本進行任何必要的變更,以適應新功能或變更。 在較低的環境中測試它們,再移至生產環境。
在升級之前,請規劃維護期間,您可以在規劃的視窗中執行叢集升級。 在地升級(無論是叢集還是叢集資源池)會影響您的環境效能,並且作業在升級過程中可能會遇到停機時間。
在升級期間,請勿對您的叢集資源進行任何變更,例如新增或移除節點,或執行調整、更新組態或刪除。 這樣做可能會干擾升級程式,並造成錯誤或失敗。
在升級期間,監視叢集可用性。 您可以使用 Azure 入口網站來檢查軟體更新狀態。
如果升級失敗或遇到任何問題,您可以連絡 Azure 支援,或執行手動復原作業,將升級還原為您之前使用的版本。
升級之後,請確認叢集如預期般運作。 您可以使用 Azure 入口網站、Azure CLI、Azure PowerShell 或服務健康情況來檢查叢集版本、健康情況和服務設定。 您也可以執行一些測試作業或查詢來驗證叢集功能。
升級的步驟
節點作業系統升級
在 [概觀] 刀鋒視窗中按一下 [升級],然後在左側的升級窗格中選擇 [節點 OS 升級]。
如果有節點 OS 升級,叢集集區和叢集會同時進行升級。
觸發升級之後,您會在入口網站上取得服務通知。
叢集更新狀態會從擱置移至升級,而叢集集區狀態會移至
NodeOSUpgrading
。當您選擇同時更新叢集集區和叢集時,叢集也會移至類似的狀態。
升級完成後,軟體更新橫幅上會顯示最新的更新,並且軟體更新的狀態會反映在叢集集區和叢集之間(如果叢集已透過叢集集區升級),而通知會顯示升級成功。
AKS 修補程序升級
按兩下 [概觀] 刀鋒視窗上的 [升級],然後在左側的 [升級] 窗格中選取 [AKS 修補程序升級]。
在 AKS 修補程序升級中,叢集集區和叢集不會同時通過升級。 個別叢集必須根據叢集的計劃性維護時段來套用 AKS 修補程序升級。
觸發升級之後,您會在入口網站上收到服務通知。
叢集更新狀態會從擱置移至升級,而叢集集區狀態會移至 AksPatchUpgrading。
升級完成後,您會透過橫幅接收更新訊息,軟體更新的狀態會同時反映在叢集池和各叢集中(如果叢集池中的叢集也已升級),通知更新會顯示升級成功。
套用叢集池的修補程序之後,您可以同時將 AKS 修補程式套用至叢集池中的所有叢集,或者按個別叢集並根據維護排程套用修補程式。
當您在 [叢集集區] 頁面上使用升級所有叢集功能時,即可一次完成對集區中所有叢集的升級。
右側的升級窗格會顯示 AKS 修補程式版本升級的詳細數據(目前和升級路徑)。
升級開始后,通知圖示會顯示叢集升級正在進行中
叢集集區上的叢集概觀窗格也會反映升級的狀態。
升級完成後,概觀橫幅和通知匣會更新。