Upgrade Ihrer HDInsight auf AKS-Clustern und Clusterpools

Artikel
09/20/2024

Hinweis

Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.

Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

Erfahren Sie, wie Sie Ihre HDInsight auf AKS-Clustern und Clusterpools auf die neuesten AKS-Patches, Sicherheitsupdates, Cluster-Patches und Cluster-Hotfixes mit direktem Upgrade aktualisieren.

Gründe für ein Upgrade

HDInsight auf AKS ist ein Dienst, mit dem Sie Apache Flink, Apache Spark, Trino auf Azure Kubernetes Service (AKS) ausführen können. HDInsight auf AKS bietet Ihnen die Vorteile der Cloud-Skalierbarkeit, Zuverlässigkeit und Flexibilität, während Sie gleichzeitig Ihre vorhandenen Tools und Anwendungen verwenden können.

Eines der wichtigen Features von HDInsight auf AKS ist, dass Sie Ihre Cluster und Clusterpools mit den neuesten Softwareupdates aktualisieren können. Dies bedeutet, dass Sie die neuesten Hotfixes, Sicherheitsupdates und AKS-Patches genießen können, ohne Cluster neu zu erstellen.

Da HDInsight auf AKS auf der zugrunde liegenden Azure Kubernetes Service (AKS)-Infrastruktur basiert, muss es regelmäßig aktualisiert werden, um Sicherheit und Kompatibilität mit den neuesten Features zu gewährleisten. Es ist wichtig, dass Sie ein Upgrade durchführen, um die neuesten Sicherheitsreleases anzuwenden und Zugang zu den neuesten Kubernetes-Funktionen zu erhalten, sowie um innerhalb des AKS-Supportfensters zu bleiben, das Ihrem HDInsight im AKS Clusterpool entspricht. Microsoft stellt auf AKS häufig (wöchentlich) Patches und neue Images für Imageknoten bereit. Ihre laufenden Knoten erhalten die neuen Images jedoch nur, wenn Sie ein Upgrade des Knotenbetriebssystems durchführen.

Sie können z. B. ein Upgrade Ihres Spark-Clusters durchführen, um die neuesten Hotfixes-Verbesserungen, Sicherheitsupdates für Ihr Knotenbetriebssystem und AKS-Patchupdates zu erhalten, um ihre Cluster- und Clusterpoolsoftware auf dem neuesten Stand zu halten.

In diesem Artikel zeigen wir Ihnen, wie Sie Ihr HDInsight auf AKS-Clustern und Clusterpools mithilfe des Azure-Portals aktualisieren.

Wir zeigen ihnen einige bewährte Methoden, die Ihnen beim Upgradeprozess helfen.

Arten von Upgrades

Die folgende Tabelle fasst die Details zu den Arten von Upgrades und die Häufigkeit zusammen, mit der Sie die Aktualisierungen für Clusterpools und Cluster erwarten können.

Art des Upgrades	Anwendbarkeit	Häufigkeit des Upgrades	Direktes Upgrade
Upgrade der AKS-Version (Nebenversion) / HDInsight für AKS-Nebenversionsupgrade	Clusterpool, Cluster	Ungefähr alle sechs Monate	✅
HDInsight auf AKS – Clusterpatch-Version	Cluster	Ungefähr monatlich	✅
HDInsight auf AKS – Cluster-Hotfixes	Cluster	Nach Bedarf	✅
AKS Patchversionsupgrade	Clusterpool, Cluster	Ungefähr wöchentlich (abhängig vom Upstream-AKS-Patching)	✅
Upgrade des Knotenbetriebssystems	Clusterpool, Cluster	Wöchentlich	✅
Sicherheitspatches und Hotfixes für Knotenimages	Clusterpool, Cluster	Nach Bedarf	✅

Erfahren Sie mehr über HDInsight auf AKS-Versionsverwaltung.

Da HDInsight auf AKS Azure Kubernetes Service (AKS) als zugrunde liegende Infrastruktur verwendet, muss es regelmäßig aktualisiert werden, um Sicherheit und Kompatibilität mit den neuesten Features zu gewährleisten.

Es gibt zwei Komponenten eines AKS-Clusters, die gewartet werden müssen:

AKS Patch- und Nebenversionsupgrades: Im Rahmen des AKS-Clusterlebenszyklus müssen Upgrades auf die aktuelle Kubernetes-Version durchgeführt werden. Es ist wichtig, dass Sie ein Upgrade durchführen, um die neuesten Sicherheitsreleases anzuwenden und Zugang zu den neuesten Kubernetes-Funktionen zu erhalten, sowie um innerhalb des AKS-Supportfensters zu bleiben. Die HDInsight auf AKS-Clusterpoolversion ist den AKS-Nebenversionen zugeordnet.
- AKS-Patches werden mithilfe von AKS-Patchupgrades durchgeführt, die auf Clusterpool und Cluster in HDInsight auf AKS angewendet werden können, beginnend mit der Clusterpoolversion 1.1.
- AKS-Nebenversionen werden mithilfe eines AKS-Nebenversionsupgrades durchgeführt, das den Clusterpool und Cluster auf die neueste AKS-Nebenversion aktualisiert, die auf HDInsight auf AKS ab Version 1 des Clusterpools unterstützt wird.* HDInsight auf AKS zielt darauf ab, die Kubernetes N-2-Supportrichtlinie zusammen mit dem AKS-Releasekalenderzu nutzen, um Ihnen weiterhin die Möglichkeit zu bieten, direkte Nebenupgrades durchzuführen. Wir empfehlen Ihnen, ein Upgrade auf die neuesten Nebenversionen zu planen, sobald sie verfügbar sind.
Updates von Knotenbetriebssystemen: AKS stellt regelmäßig neue Knotenimages mit den neuesten Updates für Betriebssystem und Runtime bereit. Es ist von Vorteil, die Images Ihrer Knoten regelmäßig zu aktualisieren, um die Unterstützung der neuesten AKS-Features sicherzustellen und wichtige Sicherheitspatches und Hotfixes auf AKS-Ebene anzuwenden. Ankündigungen zu Imageupgrades sind in den AKS-Versionshinweisen enthalten. Es kann bis zu einer Woche dauern, bis diese Updates in allen Regionen eingeführt werden. Mit diesem Upgrade aktualisieren wir nur die Knotenpoolimages, ohne die Kubernetes-Version zu aktualisieren. In HDInsight auf AKS wird dieses Upgrade mithilfe von Upgrades des Knotenbetriebssystems durchgeführt, die auf Clusterpool und Cluster angewendet werden können, beginnend mit Clusterpool Version 1.1.

Um die neuesten HDInsight auf AKS-Funktionen nutzen zu können, wird empfohlen, Ihre HDInsight auf AKS-Cluster regelmäßig mit Hotfixes und Patches zu aktualisieren. HDInsight auf AKS unterstützt direkte Upgrades, bei denen vorhandene Cluster durch neuere Hotfixes und Patches aktualisiert werden können. Sie müssen keinen Cluster ablegen und neu erstellen. Wenn Ihr Cluster für ein Upgrade berechtigt ist, zeigt der Softwareupdatestatus das ausstehende Upgrade an, und Sie können ein es mit wenigen Klicks und kurzen Wartungsfenstern durchführen.

HDInsight on AKS-Patches werden alle 30 bis 60 Tage veröffentlicht. Es ist immer ratsam, so früh wie möglich zum neuesten Patch zu wechseln. Der maximale Zeitumfang für Clusterupgrades sollte weniger als drei Monate betragen.

Hotfix-Upgrades: Hotfix-Releases werden nach Bedarf durchgeführt und enthalten nur einige wenige Korrekturen für eine begrenzte Anzahl von Modulen innerhalb des Clusterpakets. Die Hotfixes sind auf Ihre Cluster anwendbar, und wenn solche Updates verfügbar sind, zeigt Ihr Cluster die ausstehenden Updates im Status der Softwareaktualisierungen an, damit Sie Wartungsarbeiten mit einem direkten Upgrade durchführen können.

Patchupgrades: Ressourcen werden in Azure von einem Ressourcenanbieter zur Verfügung gestellt. Der HDInsight auf AKS-Ressourcenanbieter ist dafür verantwortlich, Cluster zu erstellen, zu verwalten und zu löschen. HDInsight auf AKS aktualisiert seine Images in der Azure-Containerregistrierung fortlaufend, um Open-Source-Softwarekomponenten (OSS) zusammenzustellen, die auf einem Cluster bereitgestellt werden können. Diese Images enthalten das grundlegende Azure Linux-Betriebssystem und Kernkomponenten wie Spark, Flink und Trino. Die monatlichen Patches enthalten Fehlerkorrekturen von Ressourcenanbietern und Open-Source-Komponenten sowie andere Funktionsfehler oder Verbesserungen, die spezifisch für den von Ihnen betriebenen Cluster sind. Die Patch-Upgrades sind auf Ihre Cluster anwendbar, und wenn solche Updates verfügbar sind, zeigt Ihr Cluster die ausstehenden Updates im Status der Softwareaktualisierungen an, damit Sie Wartungsarbeiten mit einem direkten Upgrade durchführen können.

So überprüfen Sie die verfügbaren Upgrades

Bevor Sie mit dem Upgrade beginnen, müssen Sie die verfügbaren Upgrades für Ihren HDInsight auf AKS-Cluster überprüfen.

Die Updates hängen von der Cluster-Version oder Clusterpool-Version ab, d. h. der aktuellen HDInsight auf AKS-Version, und auch von der AKS-Version.

Sie können sich das Übersichtsblatt für den Abschnitt Softwareupdates ansehen, um zu überprüfen, ob Softwareupdates vorhanden sind – auf dem neuesten Stand oder ausstehend.

Falls ein Softwareupdate verfügbar ist, sehen Sie, dass Ihr Cluster das Softwareupdate als ausstehend anzeigt, und Sie können über das Azure-Portal ein Upgrade durchführen.

Um die verfügbaren Updates über das Azure-Portal zu prüfen, gehen Sie wie folgt vor:

Melden Sie sich beim Azure-Portal an.
Geben Sie im Suchfeld „HDInsight auf AKS“ ein.
Wählen Sie Ihren HDInsight im AKS-Clusterpool aus.
Überprüfen Sie auf der Clusterübersichtsseite den Softwareupdatestatus.
Wählen Sie „Upgrade“ aus.
Im Blatt „Upgrade“ werden die verfügbaren Upgrades angezeigt.
Je nach verfügbarem Upgrade haben Sie die Möglichkeit, ein Upgrade auszuwählen und durchzuführen.
Sobald Sie das Upgrade ausgelöst haben, erhalten Sie die Dienstbenachrichtigung im Portal.
Der Status der Cluster-Aktualisierung wechselt von „ausstehend“ zu „Upgrade“ und der Status des Cluster-Pools wechselt zu „NodeOSUpgrading“.
Da Sie sich dafür entschieden haben, sowohl Clusterpools als auch Cluster gemeinsam zu aktualisieren, werden auch die Cluster in ähnliche Zustände versetzt.
Sobald das Upgrade abgeschlossen ist, erhalten Sie ein Update auf dem Banner. Der Status des Softwareupdates wird im Clusterpool und in den Clustern widergespiegelt (wenn Ihr Cluster auch mit dem Clusterpool aktualisiert wurde), und die Benachrichtigungsupdates zeigen den Erfolg des Upgrades an.

Planen eines Upgrades für Ihre HDInsight auf AKS-Cluster und Clusterpools

Nachdem Sie die verfügbaren Upgradeversionen geprüft und diejenige ausgewählt haben, die Ihren Anforderungen entspricht, können Sie Ihre HDInsight auf AKS-Cluster über das Azure-Portal aktualisieren. Je nach Größe und Konfiguration Ihrer Cluster und der Anzahl von Clustern innerhalb eines Clusterpools kann der Upgradeprozess einige Zeit in Anspruch nehmen.

Während des Upgrades bleibt Ihr Cluster betriebsbereit und zugänglich, es kann jedoch zu Leistungsbeeinträchtigungen oder temporären Unterbrechungen kommen. Daher empfehlen wir Ihnen, Ihre Cluster außerhalb der Spitzenzeiten zu aktualisieren oder wenn der Cluster nicht stark ausgelastet wird.

Bewährte Methoden für das direkte Upgrade Ihrer HDInsight auf AKS-Cluster und Clusterpools

Um ein reibungsloses und erfolgreiches Upgrade Ihrer HDInsight auf AKS-Cluster und Clusterpools sicherzustellen, befolgen Sie die folgenden bewährten Methoden:

Bevor Sie das Upgrade starten, stellen Sie sicher, dass Ihr Cluster fehlerfrei und stabil ist, und der Clusterstatus nicht fehlerhaft ist.

Sehen Sie sich vor dem Upgrade die Versionshinweise der neuen HDInsight auf AKS-Version an und bereiten Sie sich auf alle notwendigen Änderungen an Ihren Anwendungen oder Skripts vor, um sie an die neuen Funktionen oder Änderungen anzupassen. Testen Sie sie in einer untergeordneten Umgebung, bevor Sie sie in die Produktion übernehmen.
Planen Sie vor dem Upgrade ein Wartungsfenster ein, in dem Sie die Clusterupgrades im geplanten Zeitrahmen durchführen können. Direkte Upgrades (sowohl von Clustern als auch von Clusterpools) wirken sich auf die Leistung Ihrer Umgebung aus, und es kann während des Upgrades bei Aufträgen zu Ausfallzeiten kommen.
Nehmen Sie während des Upgrades keine Änderungen an Ihren Clusterressourcen vor, wie z. B. das Hinzufügen oder Entfernen von Knoten oder die Durchführung von Skalierungen, die Aktualisierung von Konfigurationen oder das Löschen von Daten. Dies kann den Aktualisierungsprozess beeinträchtigen und zu Fehlern oder Ausfällen führen.
Überwachen Sie während des Upgrades die Clusterverfügbarkeit. Sie können das Azure-Portal verwenden, um den Status des Softwareupdates zu überprüfen.
Wenn das Upgrade fehlschlägt oder Probleme auftauchen, können Sie sich an den Azure-Support wenden oder ein manuelles Rollback durchführen, um das Upgrade auf die zuvor verwendete Version zurückzusetzen.
Überprüfen Sie nach dem Upgrade, ob der Cluster erwartungsgemäß funktioniert. Sie können die Version, den Zustand und die Konfigurationen des Clusters über das Azure-Portal, die Azure CLI, die Azure PowerShell oder die Dienstintegrität überprüfen. Sie können auch einige Testaufträge oder Abfragen ausführen, um die Funktionalität des Clusters zu überprüfen.

Schritte für Upgrades

Upgrade des Knotenbetriebssystems

Nachdem Sie im Blatt „Übersicht“ „Upgrade“ ausgewählt haben, wählen Sie im Bereich „Upgrade“ auf der linken Seite die Option „Upgrade des Knotenbetriebssystems“.
Wenn ein Upgrade des Knotenbetriebssystems stattfindet, werden sowohl der Clusterpool als auch die Cluster gemeinsam aktualisiert.
Sobald Sie das Upgrade ausgelöst haben, erhalten Sie die Dienstbenachrichtigung im Portal.
Der Status der Cluster-Aktualisierung wechselt von „ausstehend“ zu „Upgrade“ und der Status des Cluster-Pools wechselt zu NodeOSUpgrading.
Da Sie sich dafür entschieden haben, sowohl Clusterpools als auch Cluster gemeinsam zu aktualisieren, werden auch die Cluster in ähnliche Zustände versetzt.
Sobald das Upgrade abgeschlossen ist, erhalten Sie ein Update auf dem Banner. Der Status des Softwareupdates wird im Clusterpool und in den Clustern widergespiegelt (wenn die Cluster auch mit dem Clusterpool aktualisiert wurden), und die Benachrichtigungsupdates zeigen den Erfolg des Upgrades an.

AKS-Patchupgrades

Nachdem Sie im Blatt „Übersicht“ „Upgrade“ ausgewählt haben, wählen Sie im Bereich „Upgrade“ auf der linken Seite die Option „AKS-Patchupgrade“.
Beim AKS-Patchupgrade werden der Clusterpool und die Cluster nicht gemeinsam aktualisiert. Einzelne Cluster müssen die AKS-Patchupgrades basierend auf den geplanten Wartungsfenstern für Ihre Cluster anwenden.
Sobald Sie das Upgrade ausgelöst haben, erhalten Sie die Dienstbenachrichtigung im Portal.
Der Status der Cluster-Aktualisierung wechselt von „ausstehend“ zu „Upgrade“ und der Status des Cluster-Pools wechselt zu „AksPatchUpgrading“.
Sobald das Upgrade abgeschlossen ist, erhalten Sie ein Update auf dem Banner. Der Status des Softwareupdates wird im Clusterpool und in den Clustern widergespiegelt (falls die Cluster auch mit dem Clusterpool aktualisiert wurden), und die Benachrichtigungsupdates zeigen den Erfolg des Upgrades an.
Nachdem Sie den Patch für den Clusterpool angewendet haben, können Sie die AKS-Patches auf alle Cluster im Clusterpool auf einmal anwenden oder zu einem einzelnen Cluster wechseln und den Patch basierend auf den Wartungsplänen anwenden.
Wenn Sie die Option Alle Cluster aktualisieren auf der Clusterpool-Seite verwenden, wird die Aktualisierung aller Cluster im Clusterpool auf einmal abgeschlossen.
Der Bereich „Upgrade“ auf der rechten Seite zeigt die Details des Upgrades auf AKS-Patchversionen (aktueller und Upgrade-Pfad).
Sobald die Aktualisierung begonnen hat, zeigt das Benachrichtigungssymbol an, dass die Aktualisierung des Clusters im Gange ist.
Der Bereich „Clusterübersicht“ im Clusterpool zeigt auch den Status der Upgrades an.
Sobald die Aktualisierung abgeschlossen ist, werden das Übersichtsbanner und die Benachrichtigungsleiste aktualisiert.

Hotfix-Upgrades

Auf der Seite „Clusterübersicht“ können Sie sehen, dass für Ihren Cluster ein Hotfix-Upgrade ansteht.
Sobald Sie „Upgrade“ auswählen, gelangen Sie in den Bereich „Clusterupgrades“ mit den Details zum anstehenden Upgrade.
Sobald Sie mit dem Upgrade beginnen, zeigt die Benachrichtigung den Fortschritt des Upgrades an, und auf der Clusterübersichtsseite wird der Status des Hotfix-Upgrades und der Softwareupdate-Status auf „Upgrade“ geändert.
Sobald das Upgrade abgeschlossen ist, ändert sich das Übersichtsbanner für den Clusterstatus auf „laufend“, der Softwareupdate-Status ändert sich auf „aktuell“, und das Benachrichtigungsbanner im Übersichtsbereich wird aktualisiert.