Modifier

Partager via

Analytique du Big Data avec Azure Data Explorer

Explorateur de données Azure
Hubs d'événements Azure
Azure IoT Hub
Stockage Azure
Azure Synapse Analytics

Idées de solution

Cet article présente une idée de solution. Votre architecte cloud peut s’appuyer sur ces conseils pour visualiser les principaux composants d’une implémentation typique de cette architecture. Utilisez cet article comme point de départ pour concevoir une solution bien conçue qui répond aux exigences spécifiques de votre charge de travail.

Cette idée de solution illustre l’analytique du Big Data sur de grands volumes de données à haute vélocité à partir de différentes sources.

Apache® et Apache Kafka® sont des marques déposées ou des marques commerciales de l’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Diagramme montrant l’analytique du Big Data avec Azure Data Explorer.

Téléchargez un fichier Visio de cette architecture.

Dataflow

  1. Les données brutes structurées, semi-structurées et non structurées (texte libre), comme tous les types de journaux, les événements commerciaux et les activités des utilisateurs, peuvent être ingérés dans Azure Data Explorer à partir de différentes sources.
  2. Ingérez des données dans Azure Data Explorer avec une faible latence et un haut débit en utilisant ses connecteurs pour Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka, etc. Vous pouvez également ingérer les données via le stockage Azure (objets Blob ou ADLS Gen2), qui utilise Azure Event Grid et déclenche le pipeline d’ingestion vers Azure Data Explorer. Vous pouvez également exporter en continu des données vers le stockage Azure dans un format Parquet compressé et partitionné et interroger en toute transparence ces données comme indiqué dans Vue d’ensemble de l’exportation continue des données.
  3. Exportez les données pré-agrégées d’Azure Data Explorer vers le stockage Azure, puis inversez les données dans Synapse Analytics pour créer des modèles de données et des rapports.
  4. Utilisez les fonctionnalités natives d’Azure Data Explorer pour traiter, agréger et analyser les données. Pour obtenir des insights à grande vitesse, créez des tableaux de bord d’analyse en quasi-temps réel à l’aide des tableaux de bord d’Azure Data Explorer, de Power BI, de Grafana ou d’autres outils. Utilisez Azure Synapse Analytics pour créer un entrepôt de données moderne et l’associer aux données d’Azure Data Explorer pour générer des rapports décisionnels sur des modèles de données organisés et agrégés.
  5. Azure Data Explorer offre des fonctionnalités d’analytique avancées natives pour l’analyse de série chronologique, la reconnaissance de modèles et la détection et la prévision des anomalies. Azure Data Explorer est également bien intégré aux services de ML tels que Databricks et Azure Machine Learning. Cette intégration vous permet de créer des modèles à l’aide d’autres outils et services et d’exporter des modèles ML vers Azure Data Explorer pour le scoring des données.

Components

  • Azure Event Hubs : Service d’ingestion des données en temps réel complètement managé et qui est simple, fiable et scalable.
  • Azure IoT Hub : Service géré pour activer la communication bidirectionnelle entre les appareils IoT et Azure.
  • Kafka sur HDInsight : Un service facile, économique à l’échelle de l’entreprise pour l’analyse open source avec Apache Kafka.
  • Azure Data Explorer : Un service d’analytique de données rapide, complètement managé et hautement évolutif pour l’analyse en temps réel de gros volumes de données diffusées en continu par des applications, des sites web, des appareils IoT, etc.
  • Tableaux de bord Azure Data Explorer : Exportez en mode natif les requêtes Kusto qui ont été explorées dans l’interface utilisateur web pour optimiser les tableaux de bord.
  • Azure Synapse Analytics : Service analytique qui regroupe l'entreposage de données d'entreprise et l'analytique de Big Data.

Détails du scénario

Cas d’usage potentiels

Cette solution illustre la façon dont Azure Data Explorer et Azure Synapse Analytics se complètent pour les analyses en quasi-temps réel et les cas d’utilisations modernes d’entreposage des données.

Cette solution est déjà utilisée par les clients Microsoft. Par exemple, la société Grab, basée à Singapour, a mis en œuvre des analyses en temps réel sur une énorme quantité de données collectées à partir de leurs services de taxi et de distribution de nourriture, ainsi que des applications de leurs partenaires commerciaux. L’équipe de Grab a présenté sa solution au MS Ignite dans cette vidéo (à partir de 20:30). À l’aide de ce modèle, Grab a traité plus de 1 000 milliards d’événements par jour.

Cette solution est optimisée pour le secteur de la vente au détail.

Contributeurs

Cet article est géré par Microsoft. Il a été écrit à l’origine par les contributeurs suivants.

Auteur principal :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes