Partager via

Gérer des clusters Apache Hadoop dans HDInsight avec le portail Azure

  • Article

Avec le portail Azure, vous pourrez gérer des clusters Apache Hadoop dans Azure HDInsight. Utilisez le sélecteur d’onglets pour obtenir des informations sur la gestion de clusters Hadoop dans HDInsight en utilisant d’autres outils.

Prérequis

Un cluster Apache Hadoop existant dans HDInsight. Pour plus d’informations, consultez la section Créer des clusters basés sur Linux dans HDInsight en utilisant le portail Azure.

Démarrage

Connectez-vous au portail.

Énumération et affichage des clusters

La page Clusters HDInsight répertorie vos clusters existants. À partir du portail :

  1. Dans le menu de gauche, sélectionnez Tous les services.
  2. Sous ANALYTIQUE, sélectionnez Clusters HDInsight.

Page d’accueil de cluster

Dans la page clusters HDInsight, sélectionnez le nom de votre cluster. Le volet Vue d'ensemble s’ouvre et ressemble à l’image suivante.

Capture d’écran montrant les essentials du cluster HDInsight du portail Azure.

Menu du haut

Élément Description
Poursuivre déplace le cluster vers un autre groupe de ressources ou un autre abonnement.
Supprimer supprime le cluster.
Actualiser Actualise la vue.

Menu de gauche

Le menu gauche comporte plusieurs sections.

Menu supérieur gauche

Élément Description
Vue d’ensemble Fournissez des informations générales sur votre cluster.
Journal d’activité afficher et interroger les journaux d’activité.
Contrôle d’accès (IAM) utiliser des attributions de rôles. Consultez Affecter des rôles Azure pour gérer l’accès à vos ressources d’abonnement Azure.
Étiquettes Définissez des paires clé/valeur pour définir une taxonomie personnalisée de vos services cloud. Vous pourrez par exemple créer une clé nommée projet, puis utiliser une valeur commune pour tous les services associés à un projet spécifique.
Diagnostiquer et résoudre les problèmes affiche des informations sur la résolution des problèmes.
Démarrage rapide Affichez des informations qui vous aident à bien démarrer avec HDInsight.
outils Informations d’aide pour les outils associés à HDInsight.

Menu Paramètres

Élément Description
Taille du cluster permet de vérifier, d’augmenter et de réduire le nombre de nœuds Worker du cluster. Voir Mettre à l’échelle des clusters.
Limites de quota permet d’afficher les cœurs utilisés et disponibles pour votre abonnement.
SSH + Connexion du cluster Affichez les instructions pour vous connecter au cluster en utilisant une connexion Secure Shell (SSH). Pour en savoir plus, voir Utilisation de SSH avec Hadoop Linux sur HDInsight depuis Linux, Unix ou OS X.
Azure Data Lake Storage Gen2 Configurez l’accès à Azure Data Lake Storage Gen2. Consultez Démarrage rapide : Configurer des clusters dans HDInsight.
Comptes de stockage permet d’afficher les comptes de stockage et les clés. Les comptes de stockage sont configurés pendant le processus de création de cluster.
Applications Ajoutez ou supprimez des applications HDInsight. Consultez Installer des applications HDInsight personnalisées.
Actions de script permet d’exécuter des scripts Bash sur le cluster. Consultez Personnalisation de clusters HDInsight basés sur Linux à l’aide d’une action de script.
Metastores externes affiche les metastores Apache Hive et Apache Oozie. Vous pouvez configurer les metastores uniquement pendant le processus de création du cluster.
Partenaire HDInsight Ajoutez ou supprimez le partenaire HDInsight actuel.
Propriétés permet d’afficher les propriétés du cluster.
Verrous Ajoutez un verrou pour empêcher la modification ou la suppression du cluster.
Exportation du modèle permet d’afficher et d’exporter le modèle Azure Resource Manager pour le cluster. Actuellement, vous pouvez uniquement exporter le compte de stockage Azure dépendant. Consultez la section Créer des clusters Apache Hadoop basés sur Linux dans HDInsight en utilisant des modèles Azure Resource Manager.

Menu Supervision

Élément Description
Alertes permet de gérer les alertes et les actions.
Métriques permet de surveiller les mesures du cluster dans les journaux Azure Monitor.
Paramètres de diagnostic Définissez l’emplacement où stocker les indicateurs de diagnostic.
Azure Monitor Supervisez votre cluster dans Azure Monitor.

Menu Support et dépannage

Élément Description
Intégrité des ressources Consultez Vue d’ensemble d’Azure Resource Health.
Nouvelle demande de support Créez un ticket de support avec le support Microsoft.

Propriétés du cluster

Sur la page d’accueil du cluster, sous Paramètres, sélectionnez Propriétés.

Élément Description
NOM D’HÔTE Nom du cluster.
URL DU CLUSTER URL de l’interface web Ambari.
Point de terminaison privé point de terminaison privé pour le cluster.
Secure Shell Le nom d’utilisateur et le nom d’hôte à utiliser pour accéder au cluster via SSH.
STATUT L’un des éléments Abandonné, Accepté, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, En fonctionnement, En cours d’exécution, Erreur, En cours de suppression, Supprimé, Délai d’expiration, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued ou ClusterCustomization.
RÉGION Emplacement Azure. Pour obtenir la liste des emplacements Azure pris en charge, consultez la liste déroulante Région sur Tarification HDInsight.
DATE DE CRÉATION date à laquelle le cluster a été déployé.
SYSTÈME D’EXPLOITATION Windows ou Linux.
TYPE Hadoop, HBase ou Spark.
Version Voir Versions HDInsight.
Version TLS minimale La version TLS (Transport Layer Security).
SUBSCRIPTION Nom de l’abonnement.
SOURCE DE DONNÉES PAR DÉFAUT système de fichiers du cluster par défaut.
Tailles des nœuds Worker La taille de la machine virtuelle sélectionnée pour les nœuds Worker.
Taille du nœud principal taille de machine virtuelle sélectionnée pour les nœuds principaux.
Réseau virtuel Le nom du réseau virtuel, où le cluster est déployé, s’il a été sélectionné au moment du déploiement.

Déplacer des clusters

Vous pouvez déplacer un cluster HDInsight vers un autre groupe de ressources Azure ou un autre abonnement.

Sur la page d’accueil du cluster :

  1. Dans le menu du haut, sélectionnez Déplacer.

  2. Sélectionnez Déplacer vers un autre groupe de ressources ou Déplacer vers un autre abonnement.

  3. Suivez les instructions figurant dans cette nouvelle page.

Suppression des clusters

La suppression d’un cluster ne supprime pas le compte de stockage par défaut ni les comptes de stockage liés. Vous pouvez recréer le cluster en utilisant les mêmes comptes de stockage et les mêmes metastores. Nous vous recommandons d’utiliser un nouveau conteneur d’objets blob par défaut lorsque vous recréez le cluster.

Sur la page d’accueil du cluster :

  1. Sur le menu du haut, sélectionnez Supprimer.
  2. Suivez les instructions figurant dans cette nouvelle page.

Pour plus d’informations, consultez la section Mettre en pause ou arrêter les clusters.

Ajouter d’autres comptes de stockage

Vous pouvez ajouter d’autres comptes Stockage Azure et des comptes Azure Data Lake Storage après la création d’un cluster. Pour plus d’informations, consultez Ajouter des comptes de stockage supplémentaires à HDInsight.

Mise à l’échelle des clusters

Vous pouvez utiliser la fonctionnalité de mise à l’échelle du cluster pour modifier le nombre de nœuds Worker utilisés par un cluster HDInsight, sans avoir à recréer le cluster.

Pour plus d’informations, consultez la rubrique Mettre à l’échelle les clusters HDInsight.

Mettre en pause ou arrêter des clusters

La plupart des tâches Hadoop sont des tâches par lots qui s’exécutent uniquement occasionnellement. Pour la plupart des clusters Hadoop, il existe de longues périodes lorsque le cluster n’est pas utilisé pour le traitement. Avec HDInsight, vos données sont stockées dans le stockage Azure. Vous pouvez ainsi supprimer un cluster en toute sécurité s’il n’est pas en cours d’utilisation. Vous devez également payer pour un cluster HDInsight, même quand vous ne l’utilisez pas. Étant donné que les frais pour le cluster sont bien plus élevés que les frais de stockage, mieux vaut supprimer les clusters quand ils ne sont pas utilisés.

Vous pouvez programmer le processus de plusieurs façons. Vous pouvez utiliser :

Pour toute information de tarification, consultez la section Tarification HDInsight. Pour supprimer un cluster du portail, consultez la section Supprimer les clusters.

Mettre à niveau des clusters

Pour plus d’informations, consultez la section Mettre à niveau un cluster HDInsight vers une version plus récente.

Ouvrir l’interface utilisateur web d’Apache Ambari

Ambari fournit une interface utilisateur web de gestion Hadoop intuitive et facile à utiliser qui est soutenue par ses API RESTful. Avec Ambari, les administrateurs système peuvent gérer et surveiller des clusters Hadoop.

Sur la page d’accueil du cluster :

  1. Sélectionnez Tableaux de bord du cluster.

    Capture d’écran montrant le menu du cluster Apache Hadoop HDInsight.

  2. Dans la nouvelle page, sélectionnez accueil Ambari.

  3. Entrez le nom d’utilisateur et le mot de passe du cluster. Le nom d’utilisateur du cluster par défaut est admin.

Pour plus d’informations, consultez la section Gérer des clusters HDInsight à l’aide de l’interface utilisateur web Apache Ambari.

Modifier les mots de passe

Un cluster HDInsight peut disposer de deux comptes d'utilisateur. le compte d’utilisateur du cluster HDInsight (compte d’utilisateur HTTP) et le compte d’utilisateur SSH sont créés durant le processus de création. Vous pouvez utiliser le portail pour modifier le mot de passe du compte d’utilisateur du cluster et utiliser des actions de script pour modifier le compte d’utilisateur SSH.

Modifier le mot de passe d’utilisateur du cluster

Remarque

La modification du mot de passe de l’utilisateur de cluster (administrateur) peut entraîner l’échec des actions de script qui s’exécutent sur ce cluster. Si des actions de script persistantes ciblent des nœuds Worker, ces scripts échouent lorsque vous ajoutez des nœuds au cluster par le biais d’opérations de redimensionnement. Pour plus d’informations sur les actions de script, consultez la section Personnaliser des clusters HDInsight à l’aide d’actions de script.

Sur la page d’accueil du cluster :

  1. Sous Paramètres, sélectionnez SSH + Connexion au cluster.
  2. Sélectionnez Réinitialiser les informations d’identification.
  3. Saisissez et confirmez un nouveau mot de passe dans les zones de texte.
  4. Cliquez sur OK.

Le mot de passe change sur tous les nœuds du cluster.

Modifier le mot de passe d’utilisateur SSH ou la clé publique

  1. Utilisez un éditeur de texte pour enregistrer le texte suivant sous la forme d’un fichier nommé changecredentials.sh.

    Important

    Vous devez utiliser un éditeur qui utilise LF comme caractère de fin de ligne. Si l’éditeur utilise CRLF, le script ne fonctionne pas.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Chargez le fichier dans un emplacement de stockage auquel vous pouvez accéder à partir de HDInsight à l’aide d’une adresse HTTP ou HTTPS. Par exemple, il s’agit d’un magasin de fichiers public tel que OneDrive ou Stockage Blob Azure. Enregistrez l’URI (adresse HTTP ou HTTPS) dans le fichier. L’URI est nécessaire à l’étape suivante.

  3. Dans la page d’accueil du cluster, sous Paramètres, sélectionnez Actions de script.

  4. Dans la page Actions de script, sélectionnez Envoyer.

  5. Dans la page Envoyer une action de script, saisissez les informations contenues dans le tableau suivant.

    Remarque

    Les mots de passe SSH ne peuvent pas contenir les caractères suivants : " ' ` / \ < % ~ | $ & ! #

    Champ Valeur
    Type de script Sélectionnez - Personnalisé dans la liste déroulante.
    Nom « Modifier les informations d’identification SSH ».
    URI de script Bash L'URI du fichier changecredentials.sh.
    Types de nœuds : Principal, Worker, Nimbus, Superviseur ou ZooKeeper Sélectionnez ✓ pour tous les types de nœuds répertoriés.
    Paramètres Saisissez le nom d’utilisateur SSH, puis saisissez le nouveau mot de passe. Il ne doit y avoir qu’un seul espace entre le nom d’utilisateur et le mot de passe.
    Conservez cette action de script... Laissez ce champ vide.

  6. Sélectionnez Créer pour appliquer le script. Une fois le script terminé, vous pouvez vous connecter au cluster à l’aide de SSH avec les nouvelles informations d’identification.

Rechercher l’ID d’abonnement

Chaque cluster est lié à un abonnement Azure. L’ID d’abonnement Azure est visible sur la page d’accueil du cluster.

Trouvez le groupe de ressources

En mode Resource Manager, chaque cluster HDInsight est créé avec un groupe Resource Manager. Le groupe Resource Manager est visible sur la page d’accueil du cluster.

Rechercher les comptes de stockage

Les clusters HDInsight utilisent un compte Stockage Azure ou Data Lake Storage pour stocker les données. Chaque cluster HDInsight peut avoir un compte de stockage par défaut et de nombreux comptes de stockage liés. Pour lister les comptes de stockage, sur la page d’accueil du cluster, sous Paramètres, sélectionnez Comptes de stockage.

Surveiller des travaux

Pour plus d’informations, consultez la section Gérer des clusters HDInsight à l’aide de l’interface utilisateur web Apache Ambari.

Taille du cluster

La vignette Taille du cluster sur la page d’accueil du cluster affiche le nombre de cœurs alloués à ce cluster et la manière dont ils sont alloués pour les nœuds au sein de ce cluster.

Important

Pour surveiller les services fournis par le cluster HDInsight, vous devez utiliser l’interface utilisateur web Ambari ou l’API REST Ambari. Pour plus d’informations sur l’utilisation d’Ambari, consultez la section Gérer des clusters HDInsight à l’aide d’Apache Ambari.

Se connecter à un cluster

Contenu connexe

Dans cet article, vous avez découvert certaines fonctions d’administration de base. Pour en savoir plus, consultez les articles suivants :