資料應用程式(與來源對齊)
如果您選擇不實作一個與數據來源無關的引擎,以便一次性擷取數據,或者無法在數據無關引擎中促進複雜連接,您應該建立與數據來源對應的應用程式。 在從外部數據來源匯入資料時,應遵循與資料無關引擎相同的流程。
概述
您的應用程式資源群組只負責從外部來源擷取和擴充數據,例如遙測、財務或CRM。 此層可以即時、批次和微批次運作。
本節說明針對數據登陸區域內每個數據應用程式(來源對齊)資源群組所部署的基礎結構。
提示
針對數據網格,您可以選擇為每個來源或每個網域部署其中一個。 數據標準化、數據質量和數據譜系的原則仍必須遵循。 數據平台運維團隊可以開發標準程式碼片段,並調用它們來達成目標。
針對資料登陸區域中的每個資料應用程式 (來源對齊) 資源群組,您應該建立:
- Azure 金鑰保存庫
- 用於執行開發數據工程管線的 Azure Data Factory,可將數據從原始轉換成增強。
- 資料應用程式(與來源對齊)用於將引入作業部署至 Azure Databricks 的服務主體(僅在使用 Azure Databricks 時)
您也可以建立其他服務的實例,例如 Azure 事件中樞、Azure IoT 中樞、Azure 串流分析,以及 Azure Machine Learning。
Azure Key Vault
盡可能使用 Azure Key Vault 功能將秘密儲存在 Azure 中。
每個資料應用程式資源群組或網狀資料域(如果是來源對齊的話)都有一個 Azure Key Vault,其:
- 確保加密金鑰、秘密和憑證衍生符合您環境的需求
- 能夠更清楚地區分管理職責
- 降低混合金鑰、整合和不同分類秘密的風險
與數據應用程式相關的所有金鑰(來源對齊)都應該包含在 Azure Key Vault 中。
重要
數據應用程式(來源對齊)密鑰保存庫應遵循最低許可權模型,並應避免跨環境的交易規模限制和秘密共用。
Azure Data Factory
部署 Azure Data Factory,以便讓您的數據應用程式團隊撰寫的管線能夠透過已開發的管線,將數據從原始狀態轉換為豐富狀態。 使用對應數據流進行轉換,並可轉而利用 Azure Databricks、Azure Synapse Spark 或 Microsoft Fabric 進行複雜的轉換。
您應該將 Azure Data Factory 連接至資料應用程式的 DevOps 實例 (來源對齊)存放庫。 此連線允許 CI/CD 部署。
事件中樞
如果您的資料應用程式(來源對齊)有串流資料的需求,您可以在資料應用程式(來源對齊)資源群組中部署下游事件中樞。