從 Azure Synapse Spark 遷移至 Fabric
開始移轉之前,您應該先確認網狀架構 資料工程師 是工作負載的最佳解決方案。 網狀架構 資料工程師 支援 Lakehouse、筆記本、環境、Spark 作業定義 (SJD) 和資料管線項目,包括不同的執行階段和 Spark 功能支援。
主要考量
建立移轉策略的第一個步驟是評估適用性。 值得注意的是,與Spark相關的特定網狀架構功能目前正在開發或規劃中。 如需詳細資訊和更新,請流覽 網狀架構藍圖。
針對Spark,請參閱 Azure Synapse Spark 與 Fabric 之間的詳細比較差異。
移轉案例
如果您判斷網狀架構 資料工程師 是移轉現有 Spark 工作負載的正確選擇,移轉程式可能會涉及多個案例和階段:
- 項目:項目移轉牽涉到將一或多個項目從現有的 Azure Synapse 工作區傳輸到 Fabric。 深入瞭解移轉 Spark 集區、 Spark 組態、 Spark 連結庫、 筆記本和 Spark 作業定義。
- 資料和管線:使用 OneLake 捷徑,您可以在 Fabric Lakehouse 中建立 ADLS Gen2 資料(連結到 Azure Synapse 工作區)。 管線移轉牽涉到將現有的資料管線移至 Fabric,包括筆記本和 Spark 作業定義管線活動。 深入了解 資料和管線移轉。
- 中繼資料:中繼資料移轉牽涉到將 Spark 目錄中繼資料(資料庫、資料表和分割區)從 Azure Synapse 中的現有 Hive MetaStore (HMS) 移至 Fabric Lakehouse。 深入瞭解 HMS 中繼資料移轉。
- 工作區:使用者可以在 Microsoft Fabric 中建立新的工作區,包括中繼資料,以移轉現有的 Azure Synapse 工作區。 本指南未涵蓋工作區移轉,假設使用者需要 建立新的工作區 或擁有現有的 Fabric 工作區。 深入瞭解 Fabric 中的工作區角色。
從 Azure Synapse Spark 轉換至網狀架構 Spark 需要深入瞭解您目前的架構,以及 Azure Synapse Spark 與 Fabric 之間的差異。 第一個重要步驟是評估,然後是建立詳細的移轉計劃。 您可以自定義此計劃,以符合系統的獨特特性、階段相依性和工作負載複雜度。
相關內容
- 網狀架構與 Azure Synapse Spark
- 深入瞭解 Spark 集區、組態、連結庫、筆記本和 Spark 作業定義的移轉選項
- 移轉資料和管線
- 移轉 Hive 中繼存放區中繼資料