Développer des solutions Big Data sur Azure HDInsight
Nous mentionnions en août 2013 dernier un projet en cours d’élaboration de guide Microsoft patterns & practices s’intéressant aux solutions Big Data sur Microsoft Azure sous l’angle scénarios d’usage/solutions type prêts à l’usage.
Nombreux sont celles et ceux à la recherche de conseils sur la façon de faire le pas vers la plateforme Azure et comment tirer le meilleur parti de celle-ci.
Ce guide se proposait de couvrir dans ce contexte plus précisément Azure HDInsight et les différents projets de l’écosystème Hadoop, ainsi que l’ensemble des composantes pertinentes de la plateforme de données Microsoft telles que nous avons pu les couvrir ensemble récemment.
D’une façon générale, les guides Microsoft patterns & practices – dont l’actualité peut être suivie sur Twitter ici – se proposent d’apporter une réponse qui se veut la plus applicable possible à ce type d’attente.
Ce travail enclenché il y a 10 mois se concrétise aujourd’hui avec la disponibilité d’une version finalisée du guide ici.
Cette version s’appuie principalement sur la version 3.0 (mars 2014) d’Azure HDInsight mais intègre également des fonctionnalités en préversion qui sont ou seront disponibles dans les versions ultérieures. Les versions antérieures et ultérieures d’HDInsight peuvent différer de la version décrite dans ce guide. Il convient de noter à ce titre qu’Azure HDInsight prend en charge plusieurs versions de cluster Hadoop, versions qui peuvent être déployées à tout moment. Vous trouverez une description des versions d’Azure HDInsight, de leurs composantes et versions associées ici.
Si le guide se concentre sur le service Azure HDInsight, une grande partie de son contenu et informations afférentes est également applicable à des solutions Big Data construites sur toute plate-forme avec n’importe quel Framework fondé sur Hadoop.
Le guide se compose aujourd’hui de trois sections :
- Comprendre les solutions Big Data Microsoft (en anglais). Cette première section donne un aperçu des principes et des bénéfices des solutions Big Data, et les différences entre celles-ci et des systèmes de base de données plus traditionnels. Elle propose dans ce contexte un ensemble de recommandations d’ordre général pour la planification et la conception de telles solutions en explorant plus en profondeur des sujets comme la définition des objectifs, la localisation des sources de données, et plus encore. Elle vise à vous aider à décider où, quand, et comment vous pouvez bénéficier de l'adoption d'une solution Big Data. Cette section traite également d’Azure HDInsight, et de sa place au sein de la plateforme de données Microsoft. Pour plus d’information et en suivre son actualité, rendez-vous ici.
- Concevoir des solutions Big Data à l’aide d’Azure HDInsight (en anglais). Cette seconde section contient des conseils pour la conception de solutions à même de répondre aux cas d'utilisation typiques de traitement Big Data. Même si vous choisissez au final de ne pas utiliser Azure HDInsight comme plateforme pour votre propre solution, vous trouverez des informations utiles dans cette section.
- Mettre en œuvre des solutions Big Data avec Azure HDInsight (en anglais). Cette troisième et dernière section explore un éventail de sujets tels que les techniques et les options de chargement de données dans un cluster Azure HDInsight, les outils que vous pouvez utiliser dans Azure HDInsight pour traiter les données dans un cluster, et les façons dont vous pouvez transférer les résultats d’Azure HDInsight vers des outils d'analyse et de visualisation afin de générer des rapports et des graphiques, ou exporter les résultats vers des magasins de données existants, tels que les bases de données, entrepôts de données et autres systèmes de BI d'entreprise. Cette section contient également des informations utiles pour vous aider à automatiser tout ou partie du processus, et pour gérer et surveiller vos solutions.
Pour passer aux travaux pratiques et souscrire au service Azure, rien de plus facile ! Rendez-vous sur la page d’accueil du service HDInsight :)
Bonnes lecture et mise en pratique !