Mettre à niveau vos clusters HDInsight sur des clusters AKS et des pools de clusters
Important
Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.
Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.
Important
Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.
Découvrez comment mettre à jour vos clusters HDInsight sur des clusters AKS et des pools de clusters vers les derniers correctifs AKS, mises à jour de sécurité, correctifs de cluster et correctifs logiciels de cluster avec mise à niveau sur place.
Pourquoi mettre à niveau
HDInsight sur AKS est un service qui vous permet d’exécuter Apache Flink, Apache Spark, Trino sur Azure Kubernetes Service (AKS). HDInsight sur AKS vous offre les avantages de la scalabilité, de la fiabilité et de la flexibilité cloud, tout en vous permettant d’utiliser vos outils et applications existants.
L’une des fonctionnalités importantes de HDInsight sur AKS est que vous pouvez mettre à niveau vos clusters et pools de clusters avec les dernières mises à jour logicielles. Cela signifie que vous pouvez profiter des derniers correctifs logiciels, mises à jour de sécurité et correctifs AKS, sans recréer de clusters.
Comme HDInsight sur AKS s’appuie sur l’infrastructure Azure Kubernetes Service (AKS) sous-jacente, il doit être régulièrement mis à jour pour garantir la sécurité et la compatibilité avec les dernières fonctionnalités. Il est important que vous mettez à niveau pour appliquer les dernières versions de sécurité et obtenir l’accès aux dernières fonctionnalités Kubernetes, et pour rester dans la fenêtre de prise en charge AKS correspondant à votre pool de clusters HDInsight sur AKS. Microsoft fournit des correctifs et de nouvelles images pour les nœuds d’image sur AKS fréquemment (hebdomadairement), mais vos nœuds en cours d’exécution n’obtiennent pas les nouvelles images, sauf si vous effectuez une mise à niveau du système d’exploitation de nœud.
Par exemple, vous pouvez mettre à niveau votre cluster Spark pour obtenir les dernières améliorations des correctifs logiciels, les correctifs de sécurité pour votre système d’exploitation de nœud et les mises à jour des correctifs AKS pour conserver les logiciels de votre cluster et pools de clusters up-to-date.
Dans cet article, nous vous montrons comment mettre à niveau votre hdInsight sur des clusters et des pools de clusters AKS à l’aide du portail Azure.
Nous partageons certaines bonnes pratiques pour vous aider dans le processus de mise à niveau.
Types de mises à niveau
Le tableau suivant récapitule les détails des types de mises à niveau et la fréquence à laquelle vous pouvez prévoir les mises à jour pour les pools de clusters et les clusters.
| Type de mise à niveau | Applicabilité | Fréquence de mise à niveau | Mise à niveau In-Place |
|---|---|---|---|
| Mise à niveau de la version d'AKS (mineure) / HDInsight sur AKS - Mise à niveau de la version mineure | Pool de clusters, cluster | Environ tous les six mois | ✅ |
| HDInsight sur AKS – Version de mise à jour du cluster | Grappe | Environ tous les mois | ✅ |
| HDInsight sur AKS – Correctifs urgents de cluster | Grappe | Si nécessaire | ✅ |
| Mise à niveau de la version de correctif AKS | Pool de clusters, cluster | Environ chaque semaine (dépendant de la mise à jour corrective AKS en amont) | ✅ |
| Mises à niveau du système d’exploitation Node | Pool de clusters, cluster | Hebdomadaire | ✅ |
| Correctifs de sécurité et correctifs rapides des images de nœud | Pool de clusters, cluster | Si nécessaire | ✅ |
En savoir plus sur la gestion des versions d'AKS avec HDInsight .
Comme HDInsight sur AKS utilise Azure Kubernetes Service (AKS) comme infrastructure sous-jacente, il doit être régulièrement mis à jour pour garantir la sécurité et la compatibilité avec les dernières fonctionnalités.
Il existe deux composants d’un cluster AKS qui sont nécessaires à la maintenance :
Mises à Niveau des Correctifs AKS et des Versions Mineures: Une partie du cycle de vie du cluster AKS implique de procéder à des mises à niveau vers la dernière version de Kubernetes. Il est important que vous mettiez à niveau pour appliquer les dernières versions de sécurité, bénéficier des dernières fonctionnalités Kubernetes, et rester dans la fenêtre de support AKS. La version du pool de clusters HDInsight sur AKS correspond aux versions mineures d'AKS.
Les correctifs AKS sont effectués à l’aide de mises à niveau de correctifs AKS, qui peuvent être appliquées aux pools de clusters et aux clusters dans HDInsight sur AKS, à partir de la version 1.1 du pool de clusters.
Les versions mineures d'AKS sont réalisées grâce à une mise à niveau mineure d'AKS, qui met à jour le pool de clusters ainsi que les clusters vers la dernière version mineure d'AKS prise en charge sur HDInsight sur AKS, à partir de la version 1.* du pool de clusters. HDInsight sur AKS vise à se conformer à la politique de support N-2 de Kubernetes (,) et au calendrier de publication AKS (,) afin de continuer à vous offrir la possibilité de réaliser des mises à niveau mineures sur place. Nous vous encourageons à planifier les mises à niveau vers les dernières versions mineures dès que celles-ci sont disponibles.
Mises à jour du système d’exploitation des nœuds: AKS fournit régulièrement de nouvelles images de nœud avec les dernières mises à jour du système d’exploitation et de l’environnement d'exécution. Il est utile de mettre à niveau régulièrement les images de vos nœuds afin de garantir la prise en charge des dernières fonctionnalités AKS et d’appliquer des correctifs de sécurité essentiels et des correctifs chauds sur la couche AKS. Les annonces de mise à niveau d’image sont incluses dans les notes de publication d’AKS , et cela peut prendre jusqu’à une semaine pour que ces mises à jour soient déployées dans toutes les régions. Avec cette mise à niveau, nous mettons uniquement à jour les images du pool de nœuds sans mettre à niveau la version de Kubernetes. Dans HDInsight sur AKS, cette mise à niveau se fait à l’aide des mises à niveau du système d’exploitation de nœud, qui peuvent être appliquées au pool de clusters et aux clusters, à partir de la version 1.1 du pool de clusters.
Pour tirer parti des dernières fonctionnalités de HDInsight sur AKS, nous vous recommandons de mettre régulièrement à jour vos clusters HDInsight sur AKS avec les correctifs et patchs . HDInsight sur AKS prend en charge les mises à niveau sur place, permettant aux clusters existants d'être mis à jour avec des correctifs et des mises à jour plus récents. Vous n’avez pas besoin de supprimer et de recréer un nouveau cluster, lorsque votre cluster est éligible à une mise à niveau, l’état de la mise à jour logicielle reflète la mise à niveau en attente et vous pouvez effectuer une mise à niveau en quelques clics et des fenêtres de maintenance.
Les correctifs pour HDInsight sur AKS sont effectués tous les 30 à 60 jours environ. Il est toujours bon de passer au dernier correctif dès que possible. La durée maximale recommandée pour les mises à niveau de cluster est inférieure à trois mois.
Améliorations de correctifs: Les mises en production de correctifs sont effectuées si nécessaire, et elles n'incluent que quelques correctifs pour un nombre limité de modules au sein de l'ensemble de clusters. Les correctifs logiciels s’appliquent à vos clusters et, lorsque ces mises à jour sont disponibles, votre cluster reflète les mises à jour en attente sur l’état des mises à jour logicielles, pour que vous effectuiez une opération de maintenance avec une mise à niveau sur place.
Mises à jour: Les ressources d'Azure sont déployées par un fournisseur de ressources. HDInsight sur le fournisseur de ressources AKS est responsable de la création, de la gestion et de la suppression de clusters. HDInsight sur AKS met à jour ses images sur le registre de conteneurs Azure de façon continue pour mettre en place des composants logiciels open source (OSS) qui peuvent être déployés sur un cluster. Ces images contiennent le système d’exploitation Azure Linux de base et les composants principaux tels que Spark, Flink, Trino. Les correctifs mensuels apportent les correctifs de bogues, du fournisseur de ressources, ainsi que des composants open source et d’autres bogues ou améliorations de fonctionnalités spécifiques au cluster que vous utilisez. Les mises à niveau des correctifs s’appliquent à vos clusters et, lorsque ces mises à jour sont disponibles, votre cluster reflète les mises à jour en attente sur l’état des mises à jour logicielles, pour que vous effectuiez une opération de maintenance avec une mise à niveau sur place.
Comment vérifier les mises à niveau disponibles
Avant de commencer la mise à niveau, vous devez vérifier les mises à niveau disponibles pour votre cluster HDInsight sur AKS.
Les mises à jour dépendent de la version du cluster ou de la version du pool de clusters, c’est-à-dire hdInsight actuelle sur la version AKS, ainsi que de la version AKS.
Vous pouvez consulter le panneau vue d’ensemble de la section mise à jour logicielle pour vérifier si vous avez des mises à jour logicielles – à jour ou en attente de.
Si une mise à jour logicielle est disponible, vous constatez que votre cluster affiche la mise à jour dans l'état en attente , et vous pouvez opter pour la mise à niveau à l’aide du portail Azure.
Pour vérifier les mises à jour disponibles à l’aide du portail Azure, procédez comme suit :
Dans la zone de recherche, tapez HDInsight sur AKS.
Sélectionnez votre pool de clusters HDInsight sur AKS
Dans la page vue d’ensemble du cluster, recherchez l’état de la mise à jour logicielle.
Cliquez sur Mettre à niveau
Dans le panneau de mise à niveau, vous voyez les mises à niveau disponibles.
En fonction de la mise à niveau disponible, vous avez la possibilité de sélectionner et d’effectuer la mise à niveau.
Une fois la mise à niveau déclenchée, vous recevez la notification de service sur le portail.
L’état de la mise à jour du cluster passe de « en attente » à « mise à niveau », et l’état du pool de clusters passe à « mise à niveau de NodeOS ».
Lorsque vous avez choisi de mettre à jour les pools de clusters et les clusters ensemble, les clusters passent également à des états similaires.
Une fois votre mise à niveau terminée, vous disposez d’une mise à jour sur la bannière et l’état de la mise à jour logicielle est reflété dans le pool de clusters et les clusters (si votre cluster est également mis à niveau avec le pool de clusters). De plus, les notifications de mise à jour reflètent la réussite de la mise à niveau.
Planification d’une mise à niveau pour vos clusters et pools de clusters HDInsight sur AKS
Après avoir vérifié les versions de mise à niveau disponibles et choisi celle qui répond à vos besoins, vous pouvez mettre à niveau vos clusters HDInsight sur AKS à l’aide du portail Azure. Le processus de mise à niveau peut prendre un certain temps, en fonction de la taille et de la configuration de vos clusters et du nombre de clusters au sein d’un pool de clusters.
Pendant la mise à niveau, votre cluster reste opérationnel et accessible, mais vous pouvez rencontrer une dégradation des performances ou des interruptions temporaires. Par conséquent, nous vous recommandons de mettre à niveau vos clusters pendant les heures creuses ou lorsque le cluster n’est pas soumis à une charge importante.
Meilleures pratiques pour la mise à niveau sur place de vos clusters HDInsight sur des clusters AKS et des pools de clusters
Pour garantir une mise à niveau fluide et réussie de vos clusters et pools de clusters HDInsight sur AKS, suivez les meilleures pratiques suivantes :
Avant de commencer la mise à niveau, assurez-vous que votre cluster est sain et stable, et que l’état du cluster n’est pas en erreur.
Avant la mise à niveau, passez en revue les notes de publication de la nouvelle version de HDInsight sur AKS et préparez les modifications nécessaires à vos applications ou scripts pour s’adapter aux nouvelles fonctionnalités ou modifications. Testez-les dans un environnement inférieur, avant de passer à la production.
Avant la mise à niveau, planifiez la fenêtre de maintenance dans laquelle vous pouvez effectuer les mises à niveau de cluster dans la fenêtre planifiée. Les mises à niveau sur place (cluster et pool de clusters) affectent les performances de votre environnement et des travaux peuvent rencontrer un temps d’arrêt pendant que la mise à niveau est en cours.
Pendant la mise à niveau, n’apportez aucune modification à vos ressources de cluster, telles que l’ajout ou la suppression de nœuds ou l’exécution d’une mise à l’échelle, la mise à jour des configurations ou la suppression. Cela peut interférer avec le processus de mise à niveau et provoquer des erreurs ou des échecs.
Pendant la mise à niveau, surveillez la disponibilité du cluster. Vous pouvez utiliser le portail Azure pour vérifier l’état de la mise à jour logicielle.
Si la mise à niveau échoue ou rencontre des problèmes, vous pouvez contacter le support Azure ou effectuer une opération de restauration manuelle pour restaurer la mise à niveau vers la version que vous avez utilisée précédemment.
Après la mise à niveau, vérifiez que le cluster fonctionne comme prévu. Vous pouvez vérifier la version, l’intégrité et les configurations du cluster à l’aide du portail Azure, d’Azure CLI, d’Azure PowerShell ou d’intégrité du service. Vous pouvez également exécuter des travaux de test ou des requêtes pour vérifier la fonctionnalité du cluster.
Étapes de mise à niveau
Mises à niveau du système d’exploitation de nœud
Une fois que vous avez cliqué sur mettre à niveau dans le panneau Vue d’ensemble, sélectionnez Mise à niveau du système d’exploitation node dans le volet de mise à niveau à gauche.
S’il existe une mise à niveau du système d’exploitation de nœud, les pools de clusters et les clusters procèdent à la mise à niveau simultanément.
Une fois la mise à niveau déclenchée, vous recevez la notification de service sur le portail.
L'état de la mise à jour du cluster passe de « en attente » à « en cours de mise à niveau », et l'état du pool de clusters passe à
NodeOSUpgrading.
Lorsque vous avez choisi de mettre à jour les pools de clusters et les clusters ensemble, les clusters passent également à des états similaires.
capture d’écran
Une fois votre mise à niveau terminée, une mise à jour s’affiche sur la bannière et l’état de la mise à jour logicielle est reflété sur le pool de clusters et les clusters (si les clusters ont également été mis à niveau avec le pool de clusters), et les notifications indiquent la réussite de la mise à niveau.
Mises à niveau des correctifs AKS
Une fois que vous avez cliqué sur mettre à niveau dans le panneau vue d’ensemble, puis sélectionnez mise à niveau des correctifs AKS dans le volet de mise à niveau à gauche.
Dans la mise à niveau des correctifs AKS, le pool de clusters et les clusters ne sont pas mis à niveau simultanément. Les clusters individuels doivent appliquer les mises à niveau des correctifs AKS en fonction des fenêtres de maintenance planifiées pour vos clusters.
capture d’écran
Une fois la mise à niveau déclenchée, vous recevez la notification de service sur le portail.
L’état de la mise à jour du cluster passe de en cours à mise à niveau, et l’état du pool de clusters passe à AksPatchUpgrading.
Une fois votre mise à niveau terminée, vous obtenez une mise à jour de la bannière, et l'état de la mise à jour logicielle est reflété dans l'ensemble du pool de clusters et des clusters (dans le cas où les clusters ont également été mis à niveau avec le pool de clusters), et les notifications mises à jour reflètent la réussite de la mise à niveau.
Une fois que vous avez appliqué le correctif pour le pool de clusters, vous pouvez appliquer les correctifs AKS aux clusters du pool de clusters en même temps ou accéder à un cluster individuel et appliquer le correctif en fonction des planifications de maintenance.
Lorsque vous utilisez l'option de mise à niveau de tous les clusters sur la page du pool de clusters pour terminer la mise à niveau de tous les clusters du pool en une seule fois.
Le volet de mise à niveau sur le côté droit affiche les détails de la mise à niveau sur les versions des correctifs AKS (chemin d’accès actuel et de mise à niveau).
Une fois la mise à niveau démarrée, l’icône de notification indique que la mise à niveau du cluster est en cours
Le volet vue d’ensemble du cluster sur le pool de clusters reflète également l’état des mises à niveau.
Une fois la mise à niveau terminée, la bannière de vue d’ensemble et la barre d’état de notification sont mises à jour.
Mises à niveau des correctifs logiciels
Dans la page vue d’ensemble du cluster, vous pouvez observer que vous disposez d’une mise à niveau de correctif logiciel en attente pour votre cluster.
Une fois que vous avez cliqué sur mettre à niveau, accédez à la section Mises à niveau du cluster avec les détails de la mise à niveau en attente.
Une fois la mise à niveau commencée, la notification indique la progression de la mise à niveau, et la page vue d'ensemble du cluster reflète l'état comme mise à niveau de correctif en cours, tandis que l'état des mises à jour logicielles passe à mise à niveau en cours.
Une fois la mise à niveau terminée, la bannière de vue d’ensemble de l’état du cluster est passée à l'état d'exécution, l'état de la mise à jour logicielle est passé à jour, et la bannière de notification de la section vue d’ensemble est actualisée.
