Créer un cluster Apache Flink® dans HDInsight sur AKS avec le portail Azure
Important
Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus sur grâce à cette annonce.
Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.
Important
Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.
Effectuez les étapes suivantes pour créer un cluster Apache Flink sur le portail Azure.
Conditions préalables
Remplissez les conditions préalables dans les sections suivantes :
- conditions préalables à l’abonnement
- conditions préalables aux ressources
- Créer un pool de clusters
Important
- Pour créer un cluster dans un nouveau pool de clusters, attribuez le rôle MSI « Managed Identity Operator » du pool d’agents AKS sur l’identité managée affectée par l’utilisateur créée dans le cadre de la configuration requise pour la ressource. Si vous avez besoin d’autorisations, cette étape est automatisée lors de la création.
- L’identité managée du pool d'agents AKS est créée lors de la mise en place du groupe de clusters. Vous pouvez identifier l’identité managée du pool d’agents AKS en (nom de votre pool de clusters)-agentpool. Suivez ces étapes pour attribuer le rôle à.
Créer un cluster Apache Flink
Les clusters Flink peuvent être créés une fois le déploiement du pool de clusters terminé, passons en revue les étapes en cas de prise en main d’un pool de clusters existant.
Dans le portail Azure, tapez pools de clusters HDInsight/HDInsight/HDInsight sur AKS et sélectionnez Azure HDInsight sur les pools de clusters AKS pour accéder à la page des pools de clusters. Dans la page des pools de clusters HDInsight sur AKS, sélectionnez le pool de clusters dans lequel vous souhaitez créer un cluster Flink.
Dans la page du pool de clusters spécifique, cliquez sur + Nouveau cluster et fournissez les informations suivantes :
Propriété Description Abonnement Ce champ est renseigné automatiquement avec l’abonnement Azure inscrit pour le pool de clusters. Groupe de ressources Ce champ est renseigné automatiquement et affiche le groupe de ressources sur le pool de clusters. Région Ce champ est renseigné automatiquement et affiche la région sélectionnée sur le pool de clusters. Pool de clusters Ce champ est renseigné automatiquement et affiche le nom du pool de clusters sur lequel le cluster est maintenant créé. Pour créer un cluster dans un autre pool, recherchez ce pool de clusters dans le portail, puis cliquez sur + Nouveau cluster. HDInsight sur la version du pool AKS Ce champ est renseigné automatiquement et affiche la version du pool de clusters sur laquelle le cluster est maintenant créé. HDInsight sur la version AKS Sélectionnez la version mineure ou corrective de HDInsight sur AKS du nouveau cluster. Type de cluster Dans la liste déroulante, sélectionnez Flink. Nom du cluster Entrez le nom du nouveau cluster. Identité gérée assignée par l’utilisateur Dans la liste déroulante, sélectionnez l’identité managée à utiliser avec le cluster. Si vous êtes propriétaire de l’identité du service managé (MSI) et que le rôle d’opérateur d’identité managée n’est pas sur le cluster, cliquez sur le lien situé sous la zone pour attribuer l’autorisation nécessaire à partir du MSI du pool d’agents AKS. Si le MSI dispose déjà des autorisations appropriées, aucun lien n’est affiché. Consultez les conditions préalables pour les autres attributions de rôles nécessaires pour le MSI. Compte de stockage Dans la liste déroulante, sélectionnez le compte de stockage à associer au cluster Flink et spécifiez le nom du conteneur. L’identité managée est également autorisée à accéder au compte de stockage spécifié, à l’aide du rôle « Propriétaire des données blob de stockage » lors de la création du cluster. Réseau virtuel Réseau virtuel du cluster. Sous-réseau Sous-réseau virtuel du cluster. Activation du catalogue Hive pour Flink SQL.
Propriété Description Utiliser le catalogue Hive Activez cette option pour utiliser un metastore Hive externe. Base de données SQL pour Hive Dans la liste déroulante, sélectionnez la base de données SQL dans laquelle ajouter des tables hive-metastore. Nom d’utilisateur administrateur SQL Entrez le nom d’utilisateur administrateur du serveur SQL. Ce compte est utilisé par le metastore pour communiquer avec la base de données SQL. Coffre-fort de clés Dans la liste déroulante, sélectionnez le coffre de clés, qui contient un secret avec un mot de passe pour le nom d’utilisateur d’administrateur SQL Server. Vous devez configurer une stratégie d’accès avec toutes les autorisations requises, telles que les autorisations de clé, les autorisations de secret et les autorisations de certificat sur le MSI, qui est utilisé pour la création du cluster. La MSI a besoin d’un rôle Administrateur Key Vault, ajoutez les autorisations requises à l’aide d’IAM. Nom du secret de mot de passe SQL Entrez le nom du secret du Key Vault où le mot de passe de la base de données SQL est stocké. Capture d’écran
Note
Par défaut, nous utilisons le compte de stockage pour le catalogue Hive identique au compte de stockage et au conteneur utilisés lors de la création du cluster.
Sélectionnez Suivant : de configuration pour continuer.
Dans la page Configuration, fournissez les informations suivantes :
Propriété Description Taille du nœud Sélectionnez la taille à utiliser pour les nœuds Flink, aussi bien les nœuds principaux que les nœuds de calcul. Nombre de nœuds Sélectionnez le nombre de nœuds pour le cluster Flink ; par défaut, les nœuds principaux sont deux. Le dimensionnement des nœuds de travail permet de déterminer la configuration du gestionnaire de tâches pour Flink. Le gestionnaire de travaux et le serveur d’historique se trouvent sur les nœuds principaux. Dans la section Configuration du service, fournissez les informations suivantes :
Propriété Description Processeur du gestionnaire de tâches Entier. Entrez la taille des processeurs du gestionnaire de tâches (en cœurs). Mémoire du gestionnaire de tâches en Mo Entrez la taille de mémoire du Gestionnaire de tâches en Mo. Min de 1800 Mo. CPU du gestionnaire de tâches Entier. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs). Mémoire du gestionnaire de travaux en Mo Entrez la taille de mémoire en Mo. Minimum de 1800 Mo. Processeur du serveur d’historique Entier. Entrez le nombre de processeurs pour le gestionnaire de travaux (en cœurs). Mémoire du serveur d’historique en Mo Entrez la taille de mémoire en Mo. Minimum de 1800 Mo. capture d’écran
Note
- Le serveur d’historique peut être activé/désactivé en fonction des besoins.
- La mise à l’échelle automatique basée sur la planification est prise en charge dans Flink. Vous pouvez planifier le nombre de nœuds de travail selon les besoins. Par exemple, une mise à l'échelle automatique basée sur un calendrier est activée, avec un nombre de nœuds worker par défaut de 3. Et pendant les jours de semaine de 9:00 UTC à 20:00 UTC, les nœuds de travail doivent être 10. Plus tard dans le jour, il doit être défini par défaut sur 3 nœuds (entre 20:00 UTC et le jour suivant 09:00 UTC). Pendant les week-ends de 9:00 UTC à 20:00 UTC, il y a 4 nœuds de travail.
Dans la section d'échelle automatique & SSH, mettez à jour ce qui suit :
Propriété Description Mise à l’échelle automatique Lors de la sélection, vous pouvez choisir la mise à l’échelle automatique basée sur la planification pour configurer la planification des opérations de mise à l’échelle. Activer SSH Lors de la sélection, vous pouvez choisir le nombre total de nœuds SSH requis, qui sont les points d’accès de l’interface CLI Flink à l’aide de Secure Shell. Le nombre maximal de nœuds SSH autorisés est de 5. 
Cliquez sur le bouton Suivant : Intégration pour passer à la page suivante.
Dans la page Integration, fournissez les informations suivantes :
Propriété Description Analyse des logs Cette fonctionnalité est disponible uniquement si le pool de clusters a un espace de travail d'analyse des journaux associé ; une fois activé, les journaux à collecter peuvent être sélectionnés. Azure Prometheus Cette fonctionnalité consiste à afficher les insights et journaux directement dans votre cluster en envoyant des métriques et des journaux à l’espace de travail Azure Monitor. capture d’écran
Cliquez sur le bouton Suivant : Balises pour passer à la page suivante.
Sur la page Balises, fournissez les informations suivantes :
Propriété Description Nom Optionnel. Entrez un nom tel que HDInsight sur AKS pour identifier facilement toutes les ressources associées à vos ressources de cluster. Valeur Vous pouvez laisser ce champ vide. Ressource Sélectionnez Toutes les ressources sélectionnées. Sélectionnez Suivant : Vérifier + créer pour continuer.
Sur la page Vérifier + créer, recherchez le message 'Validation réussie' en haut de la page, puis cliquez sur Créer.
Le déploiement est en cours, et la page s’affiche, indiquant que le cluster est créé. La création du cluster prend 5 à 10 minutes. Une fois le cluster créé, le « Votre déploiement est terminé » message s’affiche. Si vous quittez la page, vous pouvez vérifier l’état actuel de vos notifications.
Note
Apache, Apache Flink, Flink et les noms de projets open source associés sont marques déposées de la Apache Software Foundation (ASF).