資料匯入
在永續發展會計和報告領域，資料轉換和匯入在確保永續性見解正確、可靠且完整方面發揮至關重要的作用。 不過，組織在有效管理和利用可永續性資料以作報告用途方面經常面臨技術和業務挑戰。
其中一些主要挑戰包括：
資料細微性和複雜性：管理多個來源和類別的各種永續性資料對於展示全面、精細的環境效率進展情況 (包括碳、水和廢棄物效率) 至關重要。
資料品質和一致性：在整個組織的永續發展過程中，準確、可靠且一致的資料對於正確報告和合規性非常重要。
可擴縮性和效能：在保持最佳效能的同時，有效率管理和處理大型資料集在短期和長期內，對組織都至關重要。
資料可用性：資料可以有不同的格式，或者需要手動擷取。
此外，企業面對利害關係人、投資者、客戶和監管機構要求披露完整永續發展資訊而帶來的壓力也越來越大。 滿足這些期望需要有效率的資料轉換和擷取程序。
本節重點介紹根據 Microsoft Sustainability Manager 現有功能所建置之擷取程序的最新增強部分與功能。 新功能為管理資料轉換和擷取程序提供簡化的進階平台。 其中提供簡化使用者介面、多個資料擷取方法、範本及對應功能。
資料匯入使用者體驗
簡化的引導式使用者介面是組織成功執行其環境資料資料轉換與擷取所急需的功能。
Sustainability Manager 資料擷取體驗讓資料模型保持在擷取體驗過程的最前沿，以限制使用者錯誤。 使用者可以根據其需求和設計考量，靈活運用多種擷取方法。 此外，還可以使用相同擷取服務，透過一次性匯入，跨多個實體和類別擷取資料。 這些擷取機制已在碳、水和廢棄物間標準化。
資料擷取程序有一個重要環節，就是資料轉換、資料對應和資料匯入的分離。 這種分離也有助於降低擷取、轉換和下載資料時發生人為錯誤的風險。
在資料連接過程中，組織使用者可利用資料轉換工具側邊欄進行下列操作
設定要匯入的資料集。
使用檢查清單來驗證資料集。 檢查清單可確保資料匯入成功，並解決與必要資料列、資料類型不符、填入選項組值和查詢參考資料相關的問題。
內建擷取方法和設計考量
Sustainability Manager 提供四種擷取方法，取決於：
- 資料類型
- 來源
- 資料轉換需求
- 使用者體驗等級
- 匯入頻率
您可以在下列考量下使用這些不同的方法。
| 方法和描述 | 設計考量 | 使用時機 |
|---|---|---|
| Excel 範本已內建於 Microsoft Sustainability Manager 中，使用者可以下載、準備其資料，以及匯入特定實體。 | Excel 範本會定期重新整理。 建議您在每次匯入期間，下載最新的 Excel 範本。
由於 Excel 範本遵循資料模型命名慣例，因此無需將資料對應至模型。 Excel 範本代表最簡單的資料匯入形式。 這些範本適用於 Excel 檔案所能支援的較小資料集和初始系統準備。 Excel 範本包含預先定義的一組要啟用資料匯入的實體。 |
當資料準備/轉換是在 Sustainability Manager 之外完成，且資料已準備好可直接匯入時，最好使用 Excel 範本。
範例：咖啡製造商 Contoso Coffee 可以使用 Excel 範本，透過參考資料範本設定其設施，然後繼續使用活動和排放資料範本設定其碳活動和預先計算排放資料。 這樣就可以透過單一擷取執行所有三種類型的資料匯入。 |
| Power Query 引導式體驗是以資料對應為中心的體驗，可透過購物車體驗引導終端使用者，盡量減少擷取錯誤。 | Power Query 提供全方位的資料轉換和擷取方法，使其能夠有效率地處理各種資料來源。
Power Query 對於在 Microsoft Sustainability Manager 中有內建連接器的數據源非常有用，從而簡化資料匯入程序。 Power Query 引導式體驗在整個擷取程序中提供靈活性和詳細指導，允許使用者視需要新增和刪除實體。 |
當您有下列需要時，請使用 Power Query： - 從各種來源匯入多個實體的資料。 - 在 Microsoft Sustainability Manager 中有內建 Power Query 連接器可用。 - 需要頻繁進行資料匯入和重新整理 - 需要在擷取過程中轉換資料。 - 偏好引導式體驗，可靈活進行實體操作和資料對應。 - 必須在對應至資料模型之前，使用資料轉換來處理不同的來源類型。 範例：咖啡製造商 Contoso Coffee 希望從其供應鏈 ERP 匯入排放資料，而供應商已在 Azure Synapse 中提供資料。 Contoso 可以使用 Power Query 引導式體驗來進行轉換，並使用編輯器中提供的詳細指引進行對應。 |
| 合作夥伴連接器 – 是用來從合作夥伴解決方案匯入資料的連接器目錄。 | Sustainability Manager 包含用來從合作夥伴解決方案匯入資料的連接器。
此平台提供營運資料提供者所提供預建及自訂連接器的目錄。 使用合作夥伴連接器匯入資料的重要環節是，將資料對應和轉換封裝在連接器中。 在匯入過程中，不需執行這些步驟。 |
當您需要從合作夥伴解決方案匯入資料，而目錄中存在對應的連接器時，請使用。
範例：Contoso Coffee 使用 Arcadia 的公用事業雲端解決方案來擷取設施的外購電力和天然氣資料。 他們使用 Arcadia 連接器，將外購電力資料匯入 Sustainability Manager。 此連接器可讓他們計算其所有全球設施的範圍 2 排放。 |
| 手動匯入資料至 Sustainability Manager | Microsoft Sustainability Manager 提供兩種手動導入資料的方法。
第一種方法可讓您輸入個別記錄，對匯入設定資料 (例如參考資料) 非常有用。 第二種方法可讓您大量匯入活動記錄和參考資料記錄。 如果是範圍 3、類別 8 和類別 13，則必須選取資料子類別才能存取大量上傳選項。 更新活動資料記錄時，您必須先刪除先前匯入的資料，然後重新匯入所有的資料。 |
當您需要匯入活動、水資源或廢棄物資料的個別記錄時，請考慮使用 Sustainability Manager 中的手動資料匯入選項。 此外，當您想要匯入參考資料，或是有大量活動資料要大量匯入時，請使用這些選項。 如果您的大量匯入有特定的資料格式 (例如 Excel、CSV 或 XML)，則手動大量上傳選項是最佳選擇。 例如，設定組織資料的永續發展專家會前往設定 > 公司設定檔 > 一般，手動定義組織的屬性。 |
下表摘要列出組織在設計資料匯入程序時的設計考量。 建議您認真考慮每個擷取方法的優缺點及其設計權衡取捨。
| 擷取方法 | Excel 範本 | Power Query 引導式體驗 | 合作夥伴連接器 | 手動輸入 |
|---|---|---|---|---|
| 一般使用者角色 | 業務角色 | 業務/技術角色 | 技術角色 | 業務角色 |
| 可以安排嗎？ | ✗ | ✓ | ✓ | ✗ |
| 資料載入數量 | 大量 | 大量 | 大量 | 單一、大量 |
| 允許資料轉換？ | ✗ | ✓ | ✗ | ✗ |
| 提供累加式重新整理？ | ✗ | ✓ | ✓ | ✗ |
| 資料在匯入期間覆寫？ | ✗ | ✓ | ✗ | ✗ |
| 可以匯入多個實體嗎？ | ✓ | ✓ | ✗* | ✗ |
| 提供擷取錯誤處理嗎？ | ✓ | ✓ | ✓ | NA |
注意
使用合作夥伴連接器透過單一擷取匯入多個實體已列入產品藍圖中。
若要深入了解，請檢閱 Microsoft Sustainability Manager中的資料匯入概觀。
總之，將資料匯入 Microsoft Sustainability Manager 時，以下考量事項很重要：
從較簡單的 Excel 範本方法開始，實現擷取體驗。 根據資料複雜性以及對資料模型的了解，使用 Power Query 引導式體驗逐步建立連續資料匯入。
在 Power Query 引導式體驗期間，請記住下列提示：
- 使用 Power Query 功能來執行資料轉換。
- 使用資料轉換工具和檢查清單來審查資料表及其各自的資料類型。
- 對應來源資料時，請使用自訂對應功能。
排定重新整理時段和規則，以便在建立和驗證連接後啟用連續匯入所需的資料。
完整和累加式重新整理
定期從資料來源匯入資料是組織計算其最新永續性資料作報告用途的必要條件。 組織可以在兩種模式下從來源系統取得資料。
完整資料重新整理：將來源系統資料的完整複本匯入至 Microsoft Sustainability Manager 應用程式。
累加式資料重新整理：僅從來源系統擷取和匯入自上次重新整理以來更新或新建立的記錄。
累加式資料重新整理可讓組織在每次有資料要重新整理時匯入新資料。 如果每次查詢期間都需要完整重新整理資料，組織也可以選擇進行完整重新整理。 此功能僅適用於使用 Power Query 進行的匯入。
若要利用此內建功能，必須在建立資料來源的連接時，建立重新整理原則。 Microsoft Sustainability Manager 為使用 Power Query 進行匯入的方法提供此功能。 在建立連接的過程中，使用者可以定義執行資料匯入工作的排程和頻率，並視需要選取移除先前匯入資料的選項。 此動作讓您可以排定累加式重新整理。
在下列情況下，建議使用完整資料重新整理：
當來源系統資料模型進行任何變更時，這些變更需要反映在用於資料轉換或對應的應用程式中。
當來源資料大幅變更，而累加式重新整理不足以擷取變更時。
當來源系統的商務規則已修改，且現有的資料需要重新計算時。
當資料品質或資料完整性因錯誤、損壞或惡意攻擊而受到損害時。
在下列情況下，建議使用累加式資料重新整理：
當組織需要從多個資料來源大量匯入資料時
當組織需要根據特定時間表適時資料資料時
當來源系統提供歷史累積資料，而組織需要在初始資料載入後匯入新的可用資料 (insert 或 upsert) 時
例如，如果 Sustainability Manager 從供應商更新的 SharePoint 文件庫中的 Excel 檔案擷取資料，則需要重新整理原則，才能定期取用最新資料。
當資料連線層級的排程提供一種設計資料匯入排程的方法時。 這無法解決僅從各種來源系統擷取增量資料的問題。 資料管理員可以使用累加式重新整理程序，設定僅擷取增量資料的細微規則。 此程序可以在資料連線的每個查詢層級提供額外的篩選、規則和時間戳記。
若要深入了解累加式重新整理，請移至 Microsoft Sustainability Manager 中的累加式資料重新整理
與資料來源的連線能力
在資料匯入原則設計過程中，組織經常面臨要穩固且有效率地連接至遠端資料來源的挑戰。 這些遠端資料來源可以在雲端或內部部署中。 組織用於保護其資料資產的不同安全標準和措施進一步加劇了這項挑戰。 因此，網路元件需要仔細考慮各種選項，以確保資料的安全性和可靠性。
本節探討兩種連接至遠端資料來源的方法。 這些資料來源可以存在於虛擬網路中的 Azure 雲端，也可以存在於內部部署位置。 若要從 Sustainability Manager 連接至虛擬網路中的 Azure 資料服務，組織可以使用虛擬網路資料閘道。 若要連接至內部部署資料來源，您可以使用內部部署的資料閘道。
下表建構從位於內部部署基礎結構中的遠端來源匯入資料時的一些重要網路主題和設計考量：
| 主題 | 設計考量 |
|---|---|
| 虛擬網路資料閘道 | 使用虛擬網路資料閘道連接至位於 Azure 的資料來源，並受虛擬網路保護。 這種方法在資料來源無法公開存取時非常有用。
若要了解如何設定虛擬網路資料閘道，請移至使用虛擬網路資料閘道和資料來源 |
| 內部部署的資料閘道 | 在內部部署永續性資料來源與 Sustainability Manager 之間，使用內部部署閘道做為安全橋接器。 您需要下載、安裝和設定內部部署的資料閘道。
若要深入了解，請移至什麼是內部部署的資料閘道？ |
| 資料來源驗證 | 在存取永續性資料時優先採用增強式驗證機制。 避免使用弱式認證，並考慮使用 Windows 或 OAuth 驗證來增強安全性。 |
| 將 IP 新增至輸出內部部署資料來源中的允許清單 | 確保 IP 位址的允許清單，以在內部部署資源與 Sustainability Manager 之間啟用輸出通訊。
若要檢閱允許清單的 IP 位址範圍，請移至受管理的連接器輸出 IP 位址 |
| 績效 | 最佳化查詢以盡量減少透過網路傳輸的資料。 最佳化的查詢可減少延遲、改善效能並節省網路資源。 |
| 監視和稽核 | 對閘道執行監視和記錄，並定期向組織的安全性利害關係人進行審查，以防止安全性缺口。
若要深入了解如何從資料閘道收集記錄，請移至疑難排解內部部署的資料閘道 |
總之，做出安全可靠的網路設計選擇對於確保遠端資料來源的健全匯入機制至關重要。 其中包括執行必要的步驟，以便：
- 安裝遠端內部部署資料來源和虛擬網路安全 Azure 託管資料來源的閘道。
- 使用增強式驗證機制。
- 將輸出 IP 位址新增至允許清單，以啟用來自內部部署資料位置的通訊。
- 盡量減少透過網路傳輸的資料。
- 執行定期安全性稽核。
錯誤處理
資料匯入期間的錯誤處理對於確保資料正確匯入以及儀表板顯示永續報告書與分析的最新資訊，發揮至關重要的作用。 Sustainability Manager 可讓使用者檢閱和修正資料匯入中的錯誤。 這些錯誤報表現在可用於所有三種匯入類型：範本、Power Query 引導式流程和合作夥伴體驗。
如需詳細資訊，請移至 Microsoft Sustainability Manager 中資料匯入的錯誤處理