Cluster Apache Flink Application Mode sur HDInsight sur AKS
Remarque
Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.
Seul le support de base est disponible jusqu’à la date de mise hors service.
Important
Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.
HDInsight sur AKS propose désormais un cluster en mode Flink Application. Ce cluster vous permet de gérer le cycle de vie Flink application mode de cluster à l’aide du Portail Azure avec une interface facile d’utilisation et des API Rest Azure Resource Management. Les clusters en mode Application sont conçus pour prendre en charge des travaux d’exécution volumineux et longs avec des ressources dédiées.Ils sont également conçus pour gérer des tâches de traitement de données gourmandes en ressources.
Ce mode de déploiement vous permet d’attribuer des ressources dédiées à des applications Flink spécifiques, garantissant qu’elles disposent de suffisamment de puissance de calcul et de mémoire pour gérer efficacement des charges de travail importantes.
Avantages
Déploiement de cluster simplifié avec le fichier jar de travail.
API REST conviviale : HDInsight sur AKS fournit des API Rest ARM conviviales pour gérer l’opération de travail en mode Application comme Update, Savepoint, Cancel, Delete.
Mises à jour des tâches faciles à gérer et gestion de l’état : l’intégration native du Portail Azure offre une expérience sans tracas de mise à jour des travaux et de restauration à leur dernier état enregistré (point de sauvegarde). Cette fonctionnalité garantit la continuité et l’intégrité des données tout au long du cycle de vie du travail.
Automatiser les travaux Flink à l’aide d’Azure Pipelines ou d’autres outils CI/CD : grâce à HDInsight sur AKS, les utilisateurs de Flink ont accès à l’API ARM Rest conviviale. Vous pouvez alors intégrer de manière transparente les opérations de travail Flink dans votre Azure Pipeline ou d’autres outils CI/CD.
Fonctionnalités clés
Arrêt et démarrage des travaux avec des points de sauvegarde : les utilisateurs peuvent arrêter et démarrer correctement leurs travaux Flink AppMode à partir de leur état précédent (point de sauvegarde). Les points de sauvegarde garantissent que la progression du travail est conservée, ce qui permet une reprise fluide.
Mises à jour du travail : l’utilisateur peut mettre à jour le travail AppMode en cours d’exécution après la mise à jour du fichier jar sur le compte de stockage. Cette mise à jour affecte automatiquement le point de sauvegarde et démarre le travail AppMode avec un nouveau fichier jar.
Mises à jour sans état : l’exécution d’un nouveau redémarrage pour un travail AppMode est simplifiée par le biais de mises à jour sans état. Cette fonctionnalité permet aux utilisateurs de lancer un redémarrage propre à l’aide du fichier jar de travail mis à jour.
Gestion du point de sauvegarde : les utilisateurs peuvent créer à tout moment des points de sauvegarde pour leurs travaux en cours d’exécution. Ces points de sauvegarde peuvent être répertoriés et utilisés pour redémarrer le travail à partir d’un point de contrôle spécifique en fonction des besoins.
Annuler : annule définitivement le travail.
Supprimer: supprimer le cluster AppMode.
Comment créer un cluster Flink Application
Prérequis
Remplissez les conditions préalables dans les sections suivantes :
Ajoutez un fichier jar de travail dans le compte de stockage.
Avant de configurer un cluster Flink App Mode, plusieurs étapes préparatoires sont requises. L’une de ces étapes consiste à placer le fichier JAR de travail App Mode dans le compte de stockage du cluster.
Créez un répertoire pour le fichier JAR de travail App Mode :
Dans les conteneurs dédiés, créez un répertoire dans lequel vous chargez le fichier JAR de travail App Mode. Ce répertoire sert d’emplacement pour stocker les fichiers JAR que vous souhaitez inclure dans le chemin de classe du cluster ou du travail Flink.
Répertoire de point de sauvegarde (facultatif) :
Si les utilisateurs ont l’intention d’utiliser des points de sauvegarde pendant l’exécution du travail, alors créez un répertoire distinct dans le compte de stockage pour stocker ces points de sauvegarde. Ce répertoire est utilisé pour stocker les données de point de contrôle et les métadonnées pour les points de sauvegarde.
Exemple de structure de répertoire :
Créer un cluster Flink AppMode
Les clusters Flink AppMode peuvent être créés une fois le déploiement du pool de clusters terminé. Passons en revue les étapes au cas où vous débuteriez avec un pool de clusters existant.
Dans le portail Azure, tapez Pools de clusters HDInsight/HDInsight/HDInsight sur AKS et sélectionnez Pools de clusters Azure HDInsight sur AKS pour accéder à la page des pools de clusters. Dans la page des pools de clusters HDInsight sur AKS, sélectionnez le pool de clusters dans lequel vous souhaitez créer un cluster Flink.
Dans la page du pool de clusters spécifique, cliquez sur + Nouveau cluster et fournissez les informations suivantes :
Propriété Description Abonnement Ce champ est renseigné automatiquement avec l’abonnement Azure référencé pour le pool de clusters. Groupe de ressources Ce champ est renseigné automatiquement et affiche le groupe de ressources sur le pool de clusters. Région Ce champ est renseigné automatiquement et affiche la région sélectionnée sur le pool de clusters. Pool de clusters Ce champ est renseigné automatiquement et affiche le nom du pool de clusters dans lequel le cluster est en cours de création. Pour créer un cluster dans un autre pool, recherchez ce pool de clusters sur le portail, puis cliquez sur + Nouveau cluster. Version du pool HDInsight sur AKS Ce champ est renseigné automatiquement et affiche la version du pool de clusters sur laquelle le cluster est maintenant créé. HDInsight sur la version AKS Sélectionnez la version mineure ou corrective de HDInsight sur AKS du nouveau cluster. Type de cluster Dans la liste déroulante, sélectionnez Flink. Nom du cluster Entrez le nom du nouveau cluster. Identité managée affectée par l’utilisateur Dans la liste déroulante, sélectionnez l’identité managée à utiliser avec le cluster. Si vous êtes propriétaire de l’identité du service managé (MSI) et que celle-ci ne dispose pas du rôle Opérateur d’identité managée sur le cluster, cliquez sur le lien situé sous la zone pour attribuer l’autorisation nécessaire à partir de l’identité MSI du pool d’agents AKS. Si l’identité MSI dispose déjà des autorisations appropriées, aucun lien n’est affiché. Consultez les Prérequis pour connaître les autres attributions de rôles requises pour l’identité MSI. Storage account Dans la liste déroulante, sélectionnez le compte de stockage à associer au cluster Flink et spécifiez le nom du conteneur. L’identité managée se verra de plus automatiquement accorder l’accès au compte de stockage spécifié, à l’aide du rôle « Propriétaire des données Blob du stockage » durant la création du cluster. Réseau virtuel Réseau virtuel pour le cluster. Subnet Sous-réseau virtuel pour le cluster. Activation du Catalogue Hive pour Flink SQL :
Propriété Description Utiliser le catalogue Hive Activez cette option pour utiliser un metastore Hive externe. SQL Database pour Hive Dans la liste déroulante, sélectionnez l’instance SQL Database dans laquelle ajouter des tables hive-metastore. Nom d’utilisateur de l’administrateur SQL Entrez le nom de l’utilisateur administrateur du serveur SQL. Ce compte est utilisé par le metastore pour communiquer avec la base de données SQL. Key vault Dans la liste déroulante, sélectionnez le coffre de clés, qui contient un secret avec un mot de passe pour le nom de l’utilisateur administrateur du serveur SQL. Vous devez configurer une politique d’accès avec toutes les autorisations requises, comme les autorisations de clé, les autorisations de secret et les autorisations de certificat sur le MSI utilisé pour la création du cluster. MSI a besoin d’un rôle Administrateur Key Vault. Ajoutez les autorisations requises à l’aide d’IAM. Nom de la clé secrète du mot de passe SQL Entrez le nom de la clé secrète du coffre de clés où le mot de passe de la base de données SQL est stocké. 
Remarque
Par défaut, nous utilisons le Compte de stockage pour le catalogue Hive identique au compte de stockage et au conteneur utilisés lors de la création du cluster.
Sélectionnez Suivant : Configuration pour continuer.
Dans la page Configuration, fournissez les informations suivantes :
Propriété Description Taille du nœud Sélectionnez la taille de nœud à utiliser pour les nœuds Flink (à la fois les nœuds principaux et Worker). Nombre de nœuds Sélectionnez le nombre de nœuds pour le cluster Flink ; par défaut, les nœuds principaux sont au nombre de deux. Le dimensionnement des nœuds Worker permet de déterminer les configurations du gestionnaire de tâches pour le cluster Flink. Le gestionnaire de travaux et les serveurs d’historique se trouvent sur les nœuds principaux. Dans la section Déploiement, choisissez le type de déploiement comme Application Mode et fournissez les informations suivantes :
Propriété Description Chemin d’accès au fichier Jar Donnez le chemin d’accès ABFS (Stockage) pour votre fichier jar de travail. Par exemple, abfs://flink@teststorage.dfs.core.windows.net/appmode/job.jarClasse Entrée (facultatif) Classe principale pour votre cluster Mode Application. Ex. : com.microsoft.testjob Arguments (facultatif) Argument de la classe principale de votre travail. Nom du point de sauvegarde Nom de l’ancien point de sauvegarde, que vous souhaitez utiliser pour lancer le travail Mode de mise à niveau Sélectionnez l’option de Mise à niveau par défaut. Cette option utilisée lorsque la mise à niveau de version principale se produit pour le cluster. Trois options sont disponibles. MISE À JOUR: utilisé lorsqu’un utilisateur souhaite effectuer une récupération à partir du dernier point de sauvegarde après la mise à niveau. STATELESS_UPDATE : utilisé lorsqu’un utilisateur souhaite redémarrer à nouveau le travail après la mise à niveau. LAST_STATE_UPDATE : utilisé lorsqu’un utilisateur souhaite récupérer le travail à partir du dernier point de contrôle après la mise à niveau Configuration du travail Flink Ajoutez une configuration supplémentaire requise pour le travail Flink. Sélectionnez « Agrégation du journal des travaux ». Cochez la case si vous souhaitez charger votre journal de travail dans le stockage distant. Cette option permet de déboguer les problèmes de travail. L’emplacement par défaut du journal des travaux est « StorageAccount/Container/DeploymentId/logs ». Vous pouvez modifier le répertoire de journal par défaut en configurant « pipeline.remote.log.dir ». L’intervalle par défaut pour la collecte de journaux est de 600 secondes. L’utilisateur peut changer en configurant « pipeline.log.aggregation.interval ».
Dans la section Configuration du service, fournissez les informations suivantes :
Propriété Description UC de gestionnaires de tâches Integer. Entrez la taille des processeurs des gestionnaires de tâches (en cœurs). Mémoire du gestionnaire de tâches en Mo Entrez la taille de mémoire du gestionnaire de tâches en Mo. Min de 1 800 Mo. UC du gestionnaire de travaux Integer. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs). Mémoire du gestionnaire de travaux en Mo Entrez la taille de mémoire en Mo. Minimum de 1 800 Mo. Processeur du serveur d’historique Integer. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs). Mémoire du serveur d’historique en Mo Entrez la taille de mémoire en Mo. Minimum de 1 800 Mo. 
Cliquez sur le bouton Suivant : Intégration du bouton qui permet de passer à la page suivante.
Dans la page Intégration, fournissez les informations suivantes :
Propriété Description Log Analytics Cette fonctionnalité est disponible uniquement si un espace de travail d’analytique des journaux d’activité est associé au pool de clusters. Une fois qu’elle est activée, vous pouvez sélectionner les journaux à collecter. Azure Prometheus Cette fonctionnalité permet d’afficher des insights et des journaux directement dans votre cluster en envoyant des métriques et des journaux à un espace de travail Azure Monitor. 
Cliquez sur le bouton Suivant : Étiquettes pour passer à la page suivante.
Dans la page Étiquettes, indiquez les informations suivantes :
Propriété Description Nom facultatif. Entrez un nom tel que HDInsight sur AKS pour identifier facilement toutes les ressources associées à vos ressources de cluster. Valeur Vous pouvez laisser ce champ vide. Ressource Sélectionnez Toutes les ressources sélectionnées. Sélectionnez Suivant : Vérifier + créer pour continuer.
Sur la page Révision + création, recherchez le message Validation réussie dans le coin supérieur de la page, puis cliquez sur Créer.
La page Déploiement en cours affiche le cluster créé. La création du cluster prend de cinq à dix minutes. Une fois le cluster créé, le message « Votre déploiement a été effectué » s’affiche. Si vous quittez la page, vous pouvez consulter vos notifications afin de connaître l’état actuel.
Gérer le travail d’application à partir du portail
HDInsight sur AKS offre des moyens de gérer les travaux Flink. Vous pouvez relancer un travail ayant échoué. Redémarrez le travail à partir du portail.
Pour exécuter le travail Flink à partir du portail, suivez le chemin ci-après :
Portail > Pool de clusters HDInsight sur AKS > Cluster Flink > Paramètres > Travaux Flink.
Arrêt : les paramètres ne sont pas requis pour l’arrêt du travail. L’utilisateur peut arrêter le travail en sélectionnant l’action. Une fois le travail arrêté, l’état du travail sur le portail affiche ARRÊTÉ.
Démarrer : démarre le travail à partir du point de sauvegarde. Pour démarrer le travail, sélectionnez le travail arrêté et démarrez-le.
Mise à jour : la mise à jour permet de redémarrer des travaux avec le code de travail mis à jour. Les utilisateurs doivent mettre à jour le fichier jar de travail le plus récent dans l’emplacement de stockage et mettre à jour le travail à partir du portail. Cette action arrête le travail avec un point de sauvegarde et redémarre le travail avec le dernier fichier jar.
Mise à jour sans état : la fonctionnalité « sans état » est semblable à une mise à jour, mais elle implique un redémarrage du travail avec le dernier code. Une fois le travail mis à jour, l’état du travail sur le portail affiche En cours d’exécution.
Point de sauvegarde : prendre le point de sauvegarde du travail Flink.
Annuler : terminer le travail.
Supprimer : supprime le cluster AppMode.
Afficher les détails du travail : pour afficher les détails du travail, l’utilisateur peut cliquer sur le nom du travail, les détails sur le travail et le résultat de la dernière action s’affichent.
Pour toute action ayant échoué, l’affichage json fournit des exceptions détaillées et des raisons de l’échec.