Exercice : approvisionner HDInsight pour effectuer une analyse ad hoc

  • 10 minutes

Maintenant que nous connaissons les avantages d’Interactive Query et son mode de fonctionnement, le moment est venu à déployer des ressources pour créer notre tableau de bord immobilier.

Avant de créer un cluster Interactive Query

Pour pouvoir créer un cluster, vous avez besoin d’un abonnement Azure et d’un compte de stockage Azure. Stockage Azure est une solution de stockage à la fois robuste et polyvalente qui s’intègre en toute transparence à HDInsight. HDInsight peut utiliser un conteneur d’objets blob dans le stockage Azure comme système de fichiers par défaut pour le cluster. Il est recommandé d’utiliser des conteneurs de stockage distincts pour votre stockage de cluster par défaut et vos données d’entreprise, ce afin d’isoler les journaux HDInsight et les fichiers temporaires de vos propres données d’entreprise.

Interactive Query peut également utiliser Azure Data Lake Storage Gen1 ou Azure Data Lake Storage Gen2 comme indiqué dans le module 1 : Fonctionnement de HDInsight, mais seul le stockage Azure et Azure Data Lake Storage Gen2 prennent en charge Hive LLAP. Cette procédure utilise le stockage Azure.

Quand créer un cluster Interactive Query

Une fois que vous êtes certain qu’un cluster Interactive Query est le type de cluster le plus adapté à votre solution, vous pouvez créer les clusters à plusieurs endroits : Portail Azure, Azure CLI, Azure PowerShell, cURL, modèles Azure Resource Manager, SDK .NET HDInsight, et vous pouvez même utiliser Azure Data Factory pour créer des clusters à la demande. Cette procédure utilise le Portail Azure pour déployer un cluster Interactive Query.

Approvisionner un compte de stockage dans le Portail Azure

La première ressource à déployer, si vous n’en avez pas déjà, est un compte de stockage Azure.

  1. Connectez-vous au Portail Azure à l’aide de votre abonnement gratuit.

  2. Cliquez sur Créer une ressource > Stockage > Compte de stockage.

    Création d’une solution HDInsight Interactive Query dans le portail Azure.

  3. Sous l’onglet Bases, renseignez les valeurs suivantes :

    • Abonnement : vérifiez que votre abonnement gratuit est sélectionné.
    • Groupe de ressources : cliquez sur Créer, puis nommez-le hdinsightmodule6uid, où « uid » représente votre identificateur unique.
    • Nom du compte de stockage : entrez hdinsightmodule6uid.
    • Emplacement : sélectionnez l’emplacement le plus proche de vos utilisateurs pour réduire la latence. Notez cette région, car vous allez créer le cluster HDInsight dans la même région.
    • Performances : laissez la valeur par défaut Standard.
    • Type de compte : laissez la valeur par défaut StorageV2 (v2 à usage général)
    • Réplication : remplacez la valeur par Stockage localement redondant (LRS)
    • Niveau d’accès (par défaut) : laissez la valeur par défaut Chaud.

  4. Cliquez sur Suivant : Réseau.

    Onglet De base de HDInsight dans le portail Azure.

  5. Dans la page Réseau, conservez la méthode de connectivité Point de terminaison public (tous les réseaux), puis cliquez sur Suivant : Avancé >.

    Onglet Réseau de HDInsight dans le portail Azure.

  6. Sous l’onglet Avancé, renseignez les valeurs suivantes :

    • Sécurité : laissez la valeur par défaut (Activé).
    • Azure Files : laissez la valeur par défaut (Désactivé)
    • Protection des données : laissez la valeur par défaut (Désactivé).
    • Data Lake Storage Gen2 : laissez la valeur par défaut (Désactivé) pour créer un compte Stockage Blob, puis cliquez sur Vérifier + Créer >.

  7. Sur la page Créer un compte de stockage, assurez-vous que le type de compte est défini sur StorageV2 (v2 à usage général), puis cliquez sur Créer.

    Écran de vérification HDInsight dans le portail Azure.

  8. Une fois le déploiement terminé, le message suivant s’affiche :

    Capture d’écran montrant la page de vue d’ensemble du compte de stockage Microsoft, indiquant que votre déploiement est terminé.

Maintenant que votre compte de stockage est créé, il est temps de déployer les clusters HDInsight Interactive Query.

Approvisionner un cluster HDInsight Interactive Query

  1. Cliquez sur Créer une ressource > Analytics > Azure HDInsight.

    Capture d’écran montrant le portail Azure avec Créer une ressource, Analytique et Azure HD Insight mis en surbrillance.

  2. Sur la page Bases, cliquez sur Accéder à l’expérience de création classique.

    Capture d’écran montrant la page Informations de base avec Accéder à l’expérience de création classique mis en surbrillance.

  3. Sur la page HDInsight, cliquez sur Personnalisé (taille, paramètres, applications).

    Capture d’écran montrant la page HD Insight avec Personnalisé mis en surbrillance.

  4. Sous l’onglet Bases, renseignez les valeurs suivantes :

    • Nom du cluster : entrez un nom unique pour votre cluster, par exemple mslearnmodule6uid. Une coche verte s’affiche en regard du nom si le nom de cluster est validé et disponible.
    • Abonnement : vérifiez que votre abonnement gratuit est sélectionné.
    • Type de cluster: cliquez sur Configurer les paramètres requis puis, dans la zone Type de cluster, sélectionnez Interactive Query et, dans la zone Version, sélectionnez Interactive Query 3.1.0 (HDI 4.0).
    • Nom d’utilisateur de connexion du cluster : laissez la valeur par défaut admin
    • Mot de passe de connexion du cluster : entrez le mot de passe correspondant à l’identifiant de connexion du cluster.
    • Nom d’utilisateur Secure Shell (SSH) : laissez la valeur par défaut sshuser.
    • Groupe de ressources : sélectionnez le groupe de ressources que vous avez créé précédemment, mslearnmodule6yourid.
    • Emplacement : sélectionnez la région dans laquelle votre compte de stockage a été créé.

  5. Cliquez ensuite sur Suivant.

    Capture d’écran montrant les pages de configuration de cluster, HD Insight et De base avec plusieurs champs mis en surbrillance.

  6. Dans la page Sécurité + réseau, cliquez sur Suivant.

  7. Sur la page Stockage, renseignez les valeurs suivantes :

    • Type de stockage principal : assurez-vous que le stockage Azure est sélectionné par défaut.
    • Sélectionnez un compte de stockage, puis cliquez sur Configurer les paramètres requis.
    • Sur la page Comptes de stockage, recherchez le nom du compte de stockage que vous avez créé, mslearnmodule6uid, puis sélectionnez-le.

  8. Laissez toutes les autres valeurs par défaut, puis cliquez sur Suivant.

    Page de stockage dans le portail Azure.

  9. Dans la page Applications (facultatif), cliquez sur Suivant.

  10. Sur la page Taille de cluster, cliquez sur Suivant.

  11. Dans la page Actions de script, cliquez sur Facultatif, puis sur Envoyer.

  12. Dans la page Envoyer une action de script, renseignez les valeurs suivantes :

  13. Cliquez ensuite sur Créer.

    Page Actions de script dans le portail Azure.

  14. Une fois la validation terminée sur la page Actions de script, cliquez sur Sélectionner, puis sur Suivant.

  15. Dans la page Résumé du cluster, une fois la validation terminée, vérifiez que le type de cluster est défini sur Interactive Query 3.1 (HDI 4.0), puis cliquez sur Créer.

    Page de synthèse HDInsight dans le portail Azure.

  16. Cliquez sur l’icône de notification pour suivre la progression du déploiement.

    Notification de déploiement en cours dans le portail Azure.

    Lorsque le déploiement réussit, le message passe à Deployment Succeeded.

  17. Dans le volet Notifications, sélectionnez Accéder à la ressource.

    Écran de déploiement HDInsight réussi dans le portail Azure.

  18. La page Vue d’ensemble du cluster HDInsight s’affiche. Cette page contient des informations sur votre cluster et fournit des liens vers des outils et des rapports utiles. Vous pouvez ajouter cette ressource à votre tableau de bord en cliquant sur le bouton Épingler.

    Écran Vue d’ensemble de HDInsight dans le portail Azure.