Modifier

Partager via

Streaming des données avec AKS

Azure App Service
Gestion des API Azure
Azure Container Registry
Cache Azure pour Redis
Azure Cosmos DB

Idées de solution

Cet article présente une idée de solution. Votre architecte cloud peut s’appuyer sur ces conseils pour visualiser les principaux composants d’une implémentation typique de cette architecture. Utilisez cet article comme point de départ pour concevoir une solution bien conçue qui répond aux exigences spécifiques de votre charge de travail.

Cet article présente une solution pour traiter et analyser rapidement un grand volume de données de streaming à partir d’appareils avec Azure Kubernetes Service (AKS).

*Apache, Apache® Kafka et Apache Spark sont des marques déposées ou des marques de la Fondation Apache Software dans le États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation. Splunk est une marque déposée de Cisco. *

Architecture

Diagramme d’architecture montrant comment les données de streaming en provenance d’appareils sont ingérées, traitées et analysées.

Téléchargez un fichier Visio de cette architecture.

Dataflow

  1. Les capteurs génèrent des données et les transmettent à Gestion des API Azure.
  2. Un cluster AKS exécute les microservices déployés sous forme de conteneurs derrière un maillage de service. Les conteneurs sont générés à l’aide d’un processus DevOps. Les images conteneur sont stockées dans Azure Container Registry.
  3. Un service d’ingestion dans AKS stocke les données dans Azure Cosmos DB.
  4. De façon asynchrone, un service d’analyse dans AKS reçoit les données et les diffuse vers Apache Kafka sur Azure HDInsight.
  5. Les scientifiques des données utilisent des modèles Machine Learning sur Azure HDInsights et la plateforme Splunk pour analyser les données.
  6. Un service de traitement dans AKS traite les données et stocke les résultats dans Azure Database pour PostgreSQL. Le service met aussi en cache les données dans Azure Cache pour Redis.
  7. Une application web qui s’exécute dans Azure App Service crée des visualisations des résultats.

Components

La solution utilise les technologies clés suivantes :

Détails du scénario

Cette solution est parfaitement adaptée à un scénario qui implique des millions de points de données, avec des sources de données qui englobent des capteurs, des véhicules et des appareils IoT (Internet des objets). En pareille situation, le traitement du grand volume de données est une gageure. L’analyse rapide des données est une autre tâche exigeante, car les organisations cherchent à obtenir des insights dans des scénarios complexes.

Les microservices conteneurisés dans AKS constituent un élément clé de la solution. Ces services autonomes ingèrent et traitent le flux de données en temps réel. Ils se mettent aussi à l’échelle en fonction des besoins. Du fait de la portabilité des conteneurs, les services peuvent s’exécuter dans différents environnements et traiter des données issues de plusieurs sources. Pour développer et déployer les microservices, DevOps et l’intégration/livraison continues (CI/CD) sont utilisés. Ces approches raccourcissent le cycle de développement.

Pour stocker les données ingérées, la solution utilise Azure Cosmos DB. Cette base de données met à l’échelle le débit et le stockage de manière élastique, ce qui en fait un bon choix pour les gros volumes de données.

La solution utilise également Apache Kafka. Cette plateforme de streaming à faible latence gère les flux de données en temps réel à des vitesses extrêmement élevées.

Un autre composant de solution clé est Azure HDInsight, qui est un service cloud managé qui vous permet de traiter efficacement de grandes quantités de données à l’aide des infrastructures de code source ouvert les plus populaires. Azure HDInsight simplifie l’exécution de frameworks Big Data en volume et en vitesse volumineuses lors de l’utilisation d’Apache Spark dans Azure. Splunk facilite le processus d’analyse de données. Splunk crée des visualisations à partir de données en temps réel et fournit des informations décisionnelles.

Cas d’usage potentiels

Cette solution profite aux domaines suivants :

  • Sécurité des véhicules, en particulier dans le secteur automobile
  • Service client dans la vente au détail et d’autres secteurs d’activité
  • Solutions cloud de soins de santé
  • Solutions de technologies financières (dans le secteur financier)

Étapes suivantes

Documentation du produit :

Modules de formation Microsoft :