Les clusters Hadoop 2.2 en préversion avec Windows Azure HDInsight :)

Nous avons eu l’occasion de consacrer de nombreux billets à l’offre Windows Azure HDInsight sur ce blog et avons, à ce titre, notamment relayé en octobre dernier l’annonce du passage en disponibilité générale (General Availability) de l’offre.

Comme vous le savez déjà si vous suivez ce blog, Hadoop constitue la pierre angulaire sur laquelle Microsoft propose de réaliser de la valeur à partir du Big Data. C'est pourquoi Microsoft a conçu Windows Azure HDInsight comme « 100 % d’Apache Hadoop » proposé comme un service de cloud Windows Azure, de façon à ce que le Big Data soit accessible à tous, et ce conformément à notre vision développée ici par Quentin Clark, Corporate Vice President du Groupe Plateforme de données.

Comme nous avons pu le développé déjà dans ce blog, Hadoop est une plate-forme de stockage et de traitement distribué qui fournit une analyse sur de grands volumes de données relationnelles et non relationnelles. Avec Windows Azure HDInsight, il vous possible de tirer parti de données au niveau d’un stockage de type Windows Azure Blob ou dans le système de fichiers natif HDFS local pour les nœuds de calcul. Vous pouvez ensuite provisionner dynamiquement des clusters Hadoop pour traiter vos données et tirer parti de la souplesse de gestion, et de l'élasticité de Windows Azure, deux des nombreux avantages procurés par le Cloud, sans faire le moindre compromis sur la sécurité qu’exigent des entreprises.

La revue CIO met ce mois en lumière des expériences client avec l’exploitation de gros volumes de données et l'intégration de nouveaux types de données dans leurs études analytiques avec Windows Azure HDInsight. Windows Azure HDInsight est à ce titre pensé pour s'intégrer avec Excel, SQL Server et l’offre de décisionnel (Business Intelligence) libre-service Power BI pour Office 365, dont nous venons d’annoncer également la disponibilité – permettant ainsi de facilement se connecter aux données via Windows Azure HDInsight, puis d’affiner et réaliser une étude analytique dans un mode « Clé en main ». A l’instar de la plateforme Windows Azure qui l’héberge, Windows Azure HDInsight supporte par ailleurs le choix des langages : .NET, Java et plus encore.

Microsoft reconnaît Hadoop comme un standard et investit en conséquence pour s'assurer qu'il constitue une partie intégrante de ses offres de l'entreprise. Cet investissement se traduit par des contributions réelles sur l'ensemble de l’écosystème, et pas uniquement pour s’assurer qu’Hadoop fonctionne très bien sur la plateforme Windows (Azure), avec une contribution sur des projets comme Tez, Stinger et Hive. Dans la pratique, cela constitue des milliers d'heures d’ingénierie et des dizaines de milliers de lignes de code. Tout ceci fait en partenariat avec la société Hortonworks, qui a rendu le mois dernier la version 2.0 d’HDP (Hortonworks Data Platform) pour Windows Server en disponibilité générale, avec de ce fait un accès mondial à une distribution v2 d’Hadoop pure-Apache supportée pour Windows Server.

Nous nous faisons aujourd’hui l’écho du support en préversion par Windows Azure HDInsight des clusters Hadoop 2.2, autre fruit de cette collaboration étroite avec Hortonworks.

Cette nouvelle version de Windows Azure HDInsight voit une amélioration en ordre de grandeur des temps de réponse de requête (jusqu'à 40 x), de la compression de données (jusqu'à 80 %) pour des exigences moindres en termes de stockage et bénéficie de l’apport de YARN (pour Yet Another Resource Negotiator).

Apache Hadoop YARN constitue le système d'exploitation de données pour Hadoop et élargit les applications possibles de cette technologie émergente en permettant à plusieurs Frameworks de traitement tels que le traitement de graphes ou le streaming de se brancher nativement. Il améliore également l'efficacité des clusters en leur permettant de mieux utiliser les ressources et d'améliorer les performances. Vous trouverez une description des principes de son fonctionnement ici.

Cette préversion permet enfin de vous offrir une symétrie entre les environnements à demeure et les services dans le Cloud de façon à ce vous ayez tous les choix possibles comme développé dans le livre banc Enabling Hybrid Cloud Today with Microsoft Technologies. Nous vous invitons à ce titre à visionner le séminaire Web conjoint Microsoft et Hortonworks sur l’architecture moderne de données hybride.

Intéressé(e) pour essayer cette préversion de Windows Azure HDInsight ? Une fois inscrit(e), nous vous invitons à consultation le guide de démarrage ici.