解決方案構想
本文說明解決方案概念。 您的雲端架構師可以使用本指南,協助視覺化此架構的一般實作的主要元件。 以本文為起點,設計符合您工作負載具體要求的完善解決方案。
本文提供使用 Azure Kubernetes Service (AKS) 快速處理和分析來自裝置的大量串流數據的解決方案。
*Apache、Apache® Kafka 和 Apache Spark 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。 Splunk 是 Cisco 的註冊商標。 *
架構
下載此架構的 Visio 檔案。
資料流程
- 感測器會產生數據並將其串流至 Azure API 管理。
- AKS 叢集會執行部署為服務網格後方容器的微服務。 容器是使用DevOps程式所建置。 容器映像會儲存在 Azure Container Registry 中。
- AKS 中的內嵌服務會將數據儲存在 Azure Cosmos DB 中。
- 異步地,AKS 中的分析服務會接收數據,並將其串流至 Azure HDInsight 上的 Apache Kafka。
- 數據科學家在 Azure HDInsights 和 Splunk 平臺上使用機器學習模型來分析數據。
- AKS 中的處理服務會處理數據,並將結果儲存在 適用於 PostgreSQL 的 Azure 資料庫 中。 服務也會快取 Azure Cache for Redis 中的數據。
- Azure App 服務 中執行的 Web 應用程式會建立結果的視覺效果。
元件
此解決方案會使用下列重要技術:
- API 管理
- App Service
- Azure Cache for Redis
- Container Registry
- Azure Cosmos DB
- 適用於 PostgreSQL 的 Azure 資料庫
- HDInsight
- AKS
- Azure Pipelines
案例詳細資料
此解決方案非常適合涉及數百萬個數據點的案例,其中數據源包括物聯網(IoT)裝置、感測器和車輛。 在這種情況下,處理大量數據是一項挑戰。 快速分析數據是另一項苛刻的工作,因為組織會尋求深入瞭解複雜的案例。
AKS 中的容器化微服務會形成解決方案的重要部分。 這些獨立的服務會內嵌及處理實時數據流。 它們也會視需要進行調整。 容器的可移植性可讓服務在不同的環境中執行,並處理來自多個來源的數據。 為了開發和部署微服務,會使用DevOps和持續整合/持續傳遞(CI/CD)。 這些方法可縮短開發週期。
為了儲存內嵌的數據,解決方案會使用 Azure Cosmos DB。 此資料庫可彈性地調整輸送量和記憶體,因此適合用於大量數據。
此解決方案也會使用Apache Kafka。 這個低延遲串流平臺會以極高速處理即時數據摘要。
另一個主要解決方案元件是 Azure HDInsight,這是受控雲端服務,可讓您使用最受歡迎的 開放原始碼 架構有效率地處理大量數據。 Azure HDInsight 可簡化在 Azure 中使用 Apache Spark 時,以大量和速度執行巨量數據架構。 Splunk 有助於數據分析程式。 Splunk 會從實時數據建立視覺效果,並提供商業智慧。
潛在使用案例
此解決方案可受益於下列領域:
- 車輛安全,特別是在汽車工業
- 零售和其他產業的客戶服務
- 醫療保健雲端解決方案
- 金融業的金融技術解決方案
下一步
產品文件:
- 關於 Azure Cache for Redis
- 什麼是 Azure API 管理?
- App Service 概觀
- Azure Kubernetes Service
- Azure Container Registry 簡介
- 歡迎使用 Azure Cosmos DB
- 什麼是適用於 PostgreSQL 的 Azure 資料庫? (部分機器翻譯)
- 什麼是 Azure HDInsight?
- 什麼是 Azure Pipelines?
Microsoft訓練模組:
- 使用 Azure Container Registry 建置及儲存容器映像
- 設定 Azure App 服務 方案
- 使用 Azure Cosmos DB
- 建立並連線至 適用於 PostgreSQL 的 Azure 資料庫
- 針對 Azure Cache for Redis 進行開發
- 探索 API 管理
- Azure HDInsight 簡介