Utiliser des nœuds de périphérie vides sur des clusters Apache Hadoop dans HDInsight

Article
06/15/2024

Découvrez comment ajouter un nœud de périphérie vide à un cluster HDInsight. Un nœud de périmètre vide est une machine virtuelle Linux avec les mêmes outils client installés et configurés comme dans les nœuds principaux. Mais aucun service Apache Hadoop ne s’exécute. Vous pouvez utiliser le nœud de périmètre pour accéder au cluster, tester vos applications clientes et héberger vos applications clientes.

Vous pouvez ajouter un nœud de périmètre vide à un cluster HDInsight existant et à un nouveau cluster, lorsque vous créez le cluster. L’ajout d’un nœud de périmètre vide est effectué à l’aide du modèle Azure Resource Manager. L’exemple suivant montre comment procéder à l’aide d’un modèle :

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Comme illustré dans l’exemple, vous pouvez éventuellement appeler une action de script pour effectuer une configuration supplémentaire. Par exemple, l’installation d’Apache Hue dans le nœud de périphérie. Le script d’action de script doit être publiquement accessible sur Internet. Par exemple, si le script est stocké dans Stockage Azure, utilisez des conteneurs ou blobs publics.

La taille de la machine virtuelle de nœud de périmètre doit respecter les exigences de taille de machine virtuelle du nœud Worker du cluster HDInsight. Pour connaître les tailles de machine virtuelle de nœud Worker recommandées, voir Créer des clusters Apache Hadoop dans HDInsight.

Après avoir créé un nœud de périphérie, vous pouvez vous connecter au nœud de périphérie à l’aide de SSH et exécuter les outils clients pour accéder au cluster Hadoop dans HDInsight.

Avertissement

Les composants personnalisés qui sont installés sur le nœud de périphérie bénéficient du support commercialement raisonnable de Microsoft. Ainsi, cela peut aider à résoudre les problèmes rencontrés. Vous pouvez également consulter les ressources de la communauté pour obtenir de l’aide. Voici quelques-uns des sites communautaires les plus actifs, sur lesquels vous pouvez obtenir de l’aide :

Si vous utilisez une technologie Apache, vous pouvez obtenir de l’aide par l’intermédiaire des sites de projets Apache sur https://apache.org, comme le site Apache Hadoop.

Important

Les images Ubuntu sont accessibles pour la création d'un nouveau cluster HDInsight dans les 3 mois qui suivent leur publication. Depuis janvier 2019, plus aucun correctif automatique n'est disponible pour les clusters (y compris les nœuds de périphérie) en cours d'exécution. Les clients doivent utiliser des actions de script ou d'autres mécanismes pour corriger un cluster en cours d'exécution. Pour plus d’informations, consultez Mise à jour corrective du système d’exploitation pour HDInsight.

Ajouter un nœud de périmètre à un cluster existant

Dans cette section, vous allez utiliser un modèle Resource Manager pour ajouter un nœud de périmètre à un cluster HDInsight existant. Le modèle Resource Manager se trouve dans GitHub. Le modèle Resource Manager appelle une action de script située dans https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. Le script n’effectue aucune action. Cela sert à illustrer l’appel d’action de script à partir d’un modèle Resource Manager.

Sélectionnez l’image suivante pour vous connecter à Azure et ouvrir le modèle Azure Resource Manager dans le Portail Azure.

Configurez les propriétés suivantes :

Propriété	Description
Abonnement	sélectionnez l’abonnement Azure utilisé pour créer le cluster.
Resource group	sélectionnez le groupe de ressources utilisé pour le cluster HDInsight existant.
Emplacement	sélectionnez l’emplacement du cluster HDInsight existant.
Nom du cluster	entrez le nom d’un cluster HDInsight existant.

Cochez J’accepte les conditions générales mentionnées ci-dessus, puis sélectionnez Acheter pour créer le nœud de périphérie.

Important

Veillez à sélectionner le groupe de ressources Azure utilisé pour le cluster HDInsight existant. Dans le cas contraire, vous obtenez le message d’erreur « Can not perform requested operation on nested resource. Ressource parent « <ClusterName> » introuvable. »

Ajouter un nœud de périmètre lors de la création d’un cluster

Dans cette section, vous allez utiliser un modèle Resource Manager pour créer un cluster HDInsight avec un nœud de périmètre. Le modèle Resource Manager se trouve dans la galerie de modèles de démarrage rapide Azure. Le modèle Resource Manager appelle une action de script située dans https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. Le script n’effectue aucune action. Cela sert à illustrer l’appel d’action de script à partir d’un modèle Resource Manager.

Créez un cluster HDInsight si vous n’avez pas encore. Consultez Prise en main de Hadoop dans HDInsight.
Sélectionnez l’image suivante pour vous connecter à Azure et ouvrir le modèle Azure Resource Manager dans le Portail Azure.

Configurez les propriétés suivantes :

Propriété	Description
Abonnement	sélectionnez l’abonnement Azure utilisé pour créer le cluster.
Resource group	créez un groupe de ressources pour le cluster.
Emplacement	Sélectionnez l’emplacement du groupe de ressources.
Nom du cluster	entrez un nom pour le nouveau cluster à créer.
Nom d’utilisateur de connexion au cluster	entrez le nom d’utilisateur HTTP Hadoop. Le nom par défaut est admin.
Mot de passe de connexion au cluster	entrez le mot de passe de l’utilisateur HTTP Hadoop.
Nom d’utilisateur SSH	entrez le nom d’utilisateur SSH. Le nom par défaut est sshuser.
Mot de passe SSH	entrez le mot de passe de l’utilisateur SSH.
Action du script d’installation	conservez la valeur par défaut pour cet article.

Certaines propriétés ont été codées en dur dans le modèle : type de cluster, nombre de nœuds de travail de cluster, taille de nœud de périphérie et nom de nœud de périphérie.

Cochez J’accepte les conditions générales mentionnées ci-dessus, puis sélectionnez Acheter pour créer le cluster avec le nœud de périphérie.

Ajouter plusieurs nœuds de périphérie

Vous pouvez ajouter plusieurs nœuds de périphérie à un cluster HDInsight. La configuration de plusieurs nœuds de périphérie peut uniquement être effectuée à l’aide de modèles Azure Resource Manager. Consultez l’exemple de modèle au début de cet article. Mettez à jour l’élément targetInstanceCount afin de refléter le nombre de nœuds de périphérie que vous souhaitez créer.

Accéder à un nœud de périmètre

Le point de terminaison ssh du nœud de périphérie est <EdgeNodeName>.<ClusterName>-ssh.azurehdinsight.net:22. Par exemple, new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Le nœud de périmètre apparaît comme une application sur le portail Azure. Le portail vous donne les informations d’accès au nœud de périmètre à l’aide de SSH.

Pour vérifier le point de terminaison SSH de nœud de périmètre

Connectez-vous au Portail Azure.
Ouvrez le cluster HDInsight avec un nœud de périmètre.
Sélectionnez Applications. Vous devriez voir le nœud de périmètre. Le nom par défaut est new-edgenode.
Sélectionnez le nœud de périphérie. Vous devriez voir le point de terminaison SSH.

Pour utiliser Hive sur le nœud de périmètre

Utilisez SSH pour vous connecter au nœud de périmètre. Pour plus d’informations, consultez Utiliser SSH avec HDInsight.
Après vous être connecté au nœud de périphérie à l’aide de SSH, utilisez la commande suivante pour ouvrir la console Hive :
```
hive
```
Exécutez la commande suivante pour afficher les tables Hive dans le cluster :
```
show tables;
```

Supprimer un nœud de périmètre

Vous pouvez supprimer un nœud de périmètre à partir du portail Azure.

Connectez-vous au Portail Azure.
Ouvrez le cluster HDInsight avec un nœud de périmètre.
Sélectionnez Applications. Vous devriez voir une liste des nœuds de périmètre.
Cliquez avec le bouton droit sur le nœud de périphérie à supprimer, puis sélectionnez Supprimer.
Sélectionnez Oui pour confirmer.

Étapes suivantes

Dans cet article, vous avez appris comment ajouter un nœud de périphérie et comment y accéder. Pour en savoir plus, consultez les articles suivants :

Installer des applications HDInsight : découvrez comment installer une application HDInsight sur vos clusters.
Installer des applications HDInsight personnalisées: découvrez comment déployer des applications HDInsight inédites vers HDInsight.
Publier des applications HDInsight : découvrez comment publier vos applications HDInsight personnalisées sur la Place de marché Azure.
MSDN : Installer une application HDInsight : découvrez comment définir les applications HDInsight.
Personnalisation de clusters HDInsight basés sur Linux à l’aide d’une action de script: apprenez à utiliser l’action de script pour installer des applications supplémentaires.
Créer des clusters Apache Hadoop sous Linux dans HDInsight à l’aide de modèles Resource Manager : apprenez à appeler des modèles Resource Manager pour la création de clusters HDInsight.

Partager via