共用方式為


資料應用程式(與來源對齊)

如果您選擇不實作一個與數據來源無關的引擎,以便一次性擷取數據,或者無法在數據無關引擎中促進複雜連接,您應該建立與數據來源對應的應用程式。 在從外部數據來源匯入資料時,應遵循與資料無關引擎相同的流程。

概述

您的應用程式資源群組只負責從外部來源擷取和擴充數據,例如遙測、財務或CRM。 此層可以即時、批次和微批次運作。

本節說明針對數據登陸區域內每個數據應用程式(來源對齊)資源群組所部署的基礎結構。

提示

針對數據網格,您可以選擇為每個來源或每個網域部署其中一個。 數據標準化、數據質量和數據譜系的原則仍必須遵循。 數據平台運維團隊可以開發標準程式碼片段,並調用它們來達成目標。

針對資料登陸區域中的每個資料應用程式 (來源對齊) 資源群組,您應該建立:

  • Azure 金鑰保存庫
  • 用於執行開發數據工程管線的 Azure Data Factory,可將數據從原始轉換成增強。
  • 資料應用程式(與來源對齊)用於將引入作業部署至 Azure Databricks 的服務主體(僅在使用 Azure Databricks 時)

您也可以建立其他服務的實例,例如 Azure 事件中樞、Azure IoT 中樞、Azure 串流分析,以及 Azure Machine Learning。

Azure Key Vault

盡可能使用 Azure Key Vault 功能將秘密儲存在 Azure 中。

每個資料應用程式資源群組或網狀資料域(如果是來源對齊的話)都有一個 Azure Key Vault,其:

  • 確保加密金鑰、秘密和憑證衍生符合您環境的需求
  • 能夠更清楚地區分管理職責
  • 降低混合金鑰、整合和不同分類秘密的風險

與數據應用程式相關的所有金鑰(來源對齊)都應該包含在 Azure Key Vault 中。

重要

數據應用程式(來源對齊)密鑰保存庫應遵循最低許可權模型,並應避免跨環境的交易規模限制和秘密共用。

Azure Data Factory

部署 Azure Data Factory,以便讓您的數據應用程式團隊撰寫的管線能夠透過已開發的管線,將數據從原始狀態轉換為豐富狀態。 使用對應數據流進行轉換,並可轉而利用 Azure Databricks、Azure Synapse Spark 或 Microsoft Fabric 進行複雜的轉換。

您應該將 Azure Data Factory 連接至資料應用程式的 DevOps 實例 (來源對齊)存放庫。 此連線允許 CI/CD 部署。

事件中樞

如果您的資料應用程式(來源對齊)有串流資料的需求,您可以在資料應用程式(來源對齊)資源群組中部署下游事件中樞。

後續步驟

資料應用程式參考模式