AKS を使用したデータ ストリーミング

この記事では、Azure Kubernetes Service (AKS) を使用してデバイスからの大量のストリーミング データをすばやく処理および分析するためのソリューションについて説明します。

*Apache®、Apache Kafka、Apache Spark は、米国およびその他の国における Apache Software Foundation の登録商標または商標です。 これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。 Splunk はシスコの登録商標です。 *

Architecture

このアーキテクチャの Visio ファイルをダウンロードします。

データフロー

1. センサーによってデータが生成され、Azure API Management にストリーミングされます。
2. AKS クラスターで、サービス メッシュの背後にコンテナーとしてデプロイされているマイクロサービスが実行されます。 コンテナーは、DevOps プロセスを使用して構築されます。 コンテナー イメージは Azure Container Registry に格納されます。
3. AKS の取り込みサービスは、Azure Cosmos DB にデータを格納します。
4. 非同期的に、AKS の分析サービスはデータを受信し、Azure HDInsight 上の Apache Kafka にストリーム配信します。
5. データ サイエンティストは、Azure HDInsights 上の machine 学習モデル Splunk プラットフォームを使用してデータを分析します。
6. AKS の処理サービスはデータを処理し、その結果を Azure Database for PostgreSQL に格納します。 また、このサービスにより Azure Cache for Redis のデータがキャッシュされます。
7. Azure App Service で実行されている Web アプリで、結果の視覚化が作成されます。

Components

このソリューションでは、以下の主要なテクノロジが使用されます。

• API Management
• App Service
• Azure Cache for Redis
• Container Registry
• Azure Cosmos DB
• Azure Database for PostgreSQL
• HDInsight
• AKS
• Azure Pipelines

シナリオの詳細

このソリューションは、何百万ものデータ ポイントを扱うシナリオに適しています。データ ソースにはモノのインターネット (IoT) デバイス、センサー、自動車などが含まれます。 このような場合、大量のデータを処理することが課題の 1 つです。 組織は複雑なシナリオに関する分析情報を得ようとするため、データを迅速に分析することも要求の多いタスクの 1 つです。

AKS のコンテナー化されたマイクロサービスは、ソリューションの重要な部分を形成しています。 これらの自己完結型サービスでは、リアルタイム データ ストリームが取り込まれ、処理されます。 また、必要に応じてスケーリングすることもできます。 コンテナーの移植性により、サービスをさまざまな環境で実行し、複数のソースからのデータを処理できます。 マイクロサービスの開発やデプロイには、DevOps と継続的インテグレーション/継続的デリバリー (CI/CD) が使用されます。 これらのアプローチにより、開発サイクルが短縮されます。

このソリューションでは、取り込まれたデータの格納に Azure Cosmos DB が使用されます。 このデータベースは、スループットやストレージの柔軟なスケーリングが可能なため、大量のデータにも対応できます。

このソリューションでは、Apache Kafka も使用されます。 この低遅延ストリーミング プラットフォームでは、リアルタイムのデータ フィードが非常に高速に処理されます。

もう 1 つの主要なソリューション コンポーネントは Azure HDInsight です。これは、最も一般的なオープンソース フレームワークを使用して大量のデータを効率的に処理できるマネージド クラウド サービスです。 Azure HDInsight を使用すると、Azure で Apache Spark を使用しながら、大規模かつ高速でビッグ データ フレームワークを簡単に実行できます。 Splunk は、データ分析プロセスに役立ちます。 Splunk は、リアルタイム データから視覚化を作成し、ビジネス インテリジェンスを提供します。

考えられるユース ケース

このソリューションは、次のような分野に役立ちます。

• 自動車の安全性 (特に自動車業界)
• 顧客サービス (小売業界など)
• 医療クラウド ソリューション
• 金融技術ソリューション (金融業界)

次のステップ

製品ドキュメント:

• Azure Cache for Redis について
• Azure API Management とは
• App Service の概要
• Azure Kubernetes Service
• Azure コンテナー レジストリの概要
• Azure Cosmos DB へようこそ
• Azure Database for PostgreSQL とは
• Azure HDInsight とは
• Azure Pipelines とは

Microsoft トレーニング モジュール:

• Azure Container Registry を使用してコンテナー イメージをビルドして格納する
• Azure App Service プランを構成する
• Azure Cosmos DB を操作する
• Azure Database for PostgreSQL を作成して接続する
• Azure Cache for Redis の開発
• API Management の詳細
• Azure HDInsight の概要

関連リソース

• Azure Kubernetes Service (AKS) アーキテクチャの設計
• イベント ストリーム処理での Azure Kubernetes