解決方案構想
本文說明解決方案概念。 您的雲端架構師可以使用本指南，協助視覺化此架構的一般實作的主要元件。 以本文為起點，設計符合您工作負載具體要求的完善解決方案。
此解決方案概念示範來自各種來源的大量高速數據巨量數據分析。
Apache® 和 Apache Kafkak® 是 Apache Software Foundation 在美國和/或其他國家/地區的註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。
架構
下載此架構的 Visio 檔案。
資料流程
- 原始結構化、半結構化和非結構化（自由文字）數據，例如任何類型的記錄、商務事件和用戶活動，都可以從各種來源擷取至 Azure 數據總管。
- 使用 Azure Data Factory、Azure 事件中樞、Azure IoT 中樞、Kafka 等連接器，將數據內嵌至低延遲和高輸送量的 Azure 數據總管。 或者，透過 Azure 儲存體 （Blob 或 ADLS Gen2） 擷取數據，它會使用 Azure 事件方格，並將擷取管線觸發至 Azure 數據總管。 您也可以以壓縮、分割的 parquet 格式持續將數據匯出至 Azure 儲存體，並順暢地查詢該數據，如連續數據匯出概觀中所述。
- 將預先匯總的數據從 Azure 數據總管匯出至 Azure 儲存體，然後將數據內嵌至 Synapse Analytics 以建置數據模型和報表。
- 使用 Azure 數據總管的原生功能來處理、匯總和分析數據。 若要以閃電速度取得深入解析，請使用 Azure 數據總管儀錶板、Power BI、Grafana 或其他工具，建置近乎即時的分析儀錶板。 使用 Azure Synapse Analytics 建置新式數據倉儲，並將其與 Azure 數據總管數據結合，以在策劃和匯總的數據模型上產生 BI 報表。
- Azure 數據總管提供原生進階分析功能，可用於 時間序列分析、模式辨識，以及 異常偵測和預測。 Azure 數據總管也與 ML 服務緊密整合，例如 Databricks 和 Azure 機器學習。 此整合可讓您使用其他工具和服務來建置模型，並將 ML 模型匯出至 Azure 資料總管以評分資料。
元件
- Azure 事件中樞：完全受控、實時的數據擷取服務，其簡單、受信任且可調整。
- Azure IoT 中樞：受控服務，以啟用IoT裝置與 Azure 之間的雙向通訊。
- HDInsight 上的 Kafka：使用 Apache Kafka 進行 開放原始碼 分析的簡單、符合成本效益的企業級服務。
- Azure 資料總管：快速、完全受控且高度可調整的數據分析服務，以即時分析來自應用程式、網站、IoT 裝置等大量數據串流。
- Azure 數據總管儀錶板：原生匯出 Web UI 中探索到優化儀錶板的 Kusto 查詢。
- Azure Synapse Analytics：整合企業數據倉儲和巨量數據分析的分析服務。
案例詳細資料
潛在使用案例
此解決方案說明 Azure 數據總管和 Azure Synapse Analytics 如何彼此互補，以進行近乎即時的分析與新式數據倉儲使用案例。
Microsoft客戶已經使用此解決方案。 例如，總部位於新加坡的拼車公司 Grab 實作即時分析，其從計程車和食品遞送服務以及商家合作夥伴應用程式收集的大量數據。 來自 Grab 的團隊在此影片中以 MS Ignite 呈現解決方案（20：30 以後）。 使用此模式，擷取每天處理超過一萬億個事件。
該解決方案針對零售業進行了最佳化。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者：
- Ornat Spodek |資深內容管理員
若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。