Créer une machine virtuelle HDInsight Server sur Windows Azure

Comme nous avons déjà eu l’occasion d’en parler ensemble, HDInsight a été développé en partenariat avec le développeur logiciel et distributeur Hadoop Hortonworks et s’appuie sur Hortonworks Data Platform pour mettre à disposition les services Hadoop, et en, particulier Apache Hadoop, Apache Hive, Apache Pig, Apache Sqoop, Apache Oozie, Apache HCatalog, et Apache Templeton.

Windows Azure HDInsight et HDInsight Server facilitent le déploiement et la configuration d’Hadoop sur la plateforme Windows (sans avoir de frein sur la création du cluster, le choix des composants à installer, etc.), donnent aux clients ainsi l'accès à une distribution d’Hadoop standard prête pour l'entreprise avec les dernières versions des composants mis à disposition, et permettent à ces derniers de démarrer tout de suite sur leurs données, de voir ce qu’il est possible d’en extraire avec Hadoop, et en complément de bénéficier de la richesse et la puissance de l’offre de BI (Business Intelligence) de Microsoft pour faire ressortir des pistes de réflexion actionnables des Big Data comme nous avons pu l’illustrer récemment. D’une façon générale, ces offres Hadoop et SQL Server sont très complémentaires.

Dans la pratique, Windows Azure HDInsight est un service pour l’hébergement de votre cluster Hadoop sur Windows Azure. Nous y reviendrons très prochainement avec la désormais disponibilité de la version préliminaire publique (Public Preview) de Windows Azure HDInsight directement dans le portail de gestion de Windows Azure. Si vous disposez d’un compte Windows Azure – si tel n’est pas d’ores et déjà le cas, vous allez pouvoir y remédier dans la suite de ce billet - vous pouvez demander un accès à la bêta publique et créer alors un cluster HDInsight au sein du portail de gestion de Windows Azure. Une fois votre compte configuré, chaque fois que vous avez besoin d’un cluster pour quelques heures ou quelques jours, il vous suffit de le demander quelques minutes avant dans le portail de gestion de Windows Azure. C’est aussi simple que cela !

HDInsight Server permet de créer son propre cluster Hadoop sur sa machine Windows comme illustré dans un précédent billet et ce, pour réaliser, par exemple, très rapidement des tests et cela permet de réaliser des tests très rapidement. Ce billet a été l’occasion de découvrir ensemble le portail de gestion Microsoft HDInsight Dashboard pour le cluster déployé alors sur seule instance (un seul nœud donc).

Vous pouvez aisément reproduire cette installation sur votre propre machine Windows mais à bien des égards, il peut s’avérer intéressant de la réaliser pour des fins de test sur une machine virtuelle et pour l’avoir toujours accessible pourquoi ne pas le faire dans Windows Azure (la plateforme PaaS et IaaS de Microsoft pour héberger vos machines virtuelles, créer des réseaux virtuels, et bénéficier de bien d’autres services) ? Cela nous procure un certain nombre d’avantages :

• Un portail HTML5 très facile à utiliser,
• Des images Windows 8, Windows Server 2008 R2, Windows Server 2012 prêtes à l’emploi,
• Une installation rapide !
• Une configuration complète pour l’utilisation,
• Une offre 90 jours de tests gratuits !

Commençons par le commencement. Rendez-vous sur le site de Windows Azure pour vous créer compte de test en profitant de l’offre 90 jours. Le billet [TUTO] : Comment souscrire gratuitement à Windows Azure ? sur le blog MSDN Windows Azure France propose un pas à pas détaillé pour la création d’un compte de test. Vous pouvez le consulter à cet effet si besoin pour une vue d’ensemble.

Si vous disposez déjà d’un compte Windows Azure actif, vous pouvez passer directement à l’étape de création d’une machine dans le portail.

Naviguez vers https://www.windowsazure.com/fr-fr/pricing/free-trial/ et cliquez sur essayer-la gratuitement (en vert).

Vous êtes redirigé vers une page de connexion. Précisez votre compte Microsoft (anciennement Windows Live ID, une adresse email Hotmail, Outlook, MSN, etc.).

Ensuite, complétez les différents formulaires pour obtenir votre compte Azure.

Il convient de noter qu’une carte de crédit vous sera demandée. Aucun débit ne sera réalisé sur cette carte sauf si vous supprimez explicitement la limite de dépenses associée à ce compte d’essai.

Une fois votre version d’évaluation Windows Azure activée, vous pouvez accéder au portail de gestion Windows Azure.

Cliquez sur le bouton bleu Portail en haut à droite de l’écran. Une petite visite vous attend pour expliquer où trouver les panneaux sur l’interface. Cliquez sur nouveau en bas à gauche de l’interface.

Nous allons choisir un Ordinateur virtuel en Création rapide dans l’onglet Calcul.

Le NOM DNS est le nom de la machine virtuelle sur le réseau. Dans cette illustration, nous avons choisis « vm-hdinsight ». Choisissez Windows Server 2012, October 2012 pour l’image, une taille moyenne sera suffisante. Précisez votre mot de passe administrateur de la machine, et un emplacement. Pour la France, choisissez par exemple Europe de l’Ouest comme illustré ci-après.

Cliquez sur CREER UN ORDINATEUR VIRTUEL pour confirmer la création. La création prend de l’ordre de quelques minutes.

Cliquez sur DEMARRER si besoin pour exécuter la machine.

Une fois la machine créé, cliquez sur l’onglet ORDINATEURS VIRTUELS si vous n’y êtes pas déjà. Cliquez sur DEMARRER en bas de l’interface si besoin pour exécuter la machine que vous venez de créer : vm-hdpinsight.cloudapp.net.

Cliquez sur CONNECTER, toujours en bas de l’interface. Cela vous propose soit de télécharger un fichier (d’extension « rdp ») soit de l’exécuter (sous Internet Explorer par exemple). Exécutez ce fichier.

Cliquez sur Connect Précisez votre mot de passe administrateur dans le dialogue Windows Security.

La boîte de dialogue Remote Desktop Connection s’ouvre.

Cliquez sur Yes ; vous voici alors dans une session Windows Server avec le Server Manager ouvert. Ouvrez l’écran Start. Pour cela, cliquez sur l’icône à gauche dans le titre de la fenêtre Remote Desktop Connection, sélectionnez Remote commands puis Start.

Exécutez Internet Explorer. A ce stade, suivez les instructions du tutoriel Installation d'HDInsight Server (Hadoop) sur une machine Windows précédemment publié sur ce blog pour l’installation d’HDInsight Server. L’installation du cluster HDInsight Server s’effectue depuis l’environnement Web Platform Installer (Web PI).

Vous disposez à présent d’un cluster Hadoop de test prêt l’usage. Un prochain billet sera l’occasion de faire un tour vos premiers pas avec.