此參考架構示範如何將數據從大型主機和中範圍系統移至 Azure。 在此架構中,封存的數據只會在大型主機系統中提供服務,並只使用。 Azure 只會作為記憶體媒體使用。
架構
下載此架構的 Visio 檔案。
若要決定要在大型主機系統與 Azure 記憶體之間行動數據的方法,請考慮數據擷取的頻率和數據量。 Microsoft和第三方解決方案可供使用:
Microsoft解決方案。
- Azure Data Factory FTP 連接器。
- Data Factory 複製活動,可將數據複製到任何 Azure 記憶體解決方案。
- 使用 Java 將大型主機 JCL 移至 Azure Blob,這是透過作業控制語言將資料從大型主機系統移至 Azure 的自定義解決方案。 如需詳細資訊,請聯絡 datasqlninja@microsoft.com。
第三方封存解決方案。 您可以輕鬆地與大型主機系統、中型系統和 Azure 服務整合的解決方案。
工作流程
Azure Data Factory FTP 連接器會將數據從大型主機系統移至 Azure Blob 儲存體。 此解決方案需要安裝自我裝載整合運行時間的中繼虛擬機 (VM)。
Data Factory 複製活動會連線到 Db2 資料庫,以將數據複製到 Azure 記憶體。 此解決方案也需要安裝自我裝載整合運行時間的中繼 VM。
使用 Java 自定義解決方案將大型主機 JCL Microsoft 至 Azure Blob,會在大型主機系統和 Blob 記憶體之間行動數據,反之亦然。 此解決方案是以 Java 為基礎,並在大型主機上的 Unix 系統服務上執行。 您可以連絡 datasqlninja@microsoft.com來取得此解決方案。
您需要完成解決方案的一次性設定。 此設定牽涉到取得 Blob 記憶體存取金鑰,並將必要的成品移至大型主機系統。
JCL 提交會將檔案移至大型主機和 Blob 記憶體,以及從 Blob 記憶體來回移動。
檔案會以二進位格式儲存在 Azure 上。 您可以設定自訂解決方案,將 EBCDIC 轉換成 ASCII 以進行簡單資料類型。
或者,Azure 資料箱可協助您實際將大型主機數據傳輸到 Azure。 當需要移轉大量數據,且在線傳輸方法花費太長的時間時,此選項就適用。 (例如,如果移轉需要數周的時間。
第三方封存解決方案提供與大型主機或中型環境的輕鬆互動。
這些解決方案會與大型主機互動,並處理各種大型主機參數,例如數據類型、記錄類型、儲存類型和存取方法。 它們可作為 Azure 與大型主機之間的橋樑。 某些第三方解決方案會將記憶體磁碟驅動器連線到大型主機,並協助將數據傳輸到 Azure。
數據會透過第三方封存解決方案定期同步處理和封存。 透過第三方解決方案取得數據之後,解決方案可以使用可用的連接器,輕鬆地將其推送至 Azure。
數據會儲存在 Azure 中。
視需要, 數據會從 Azure 回收回大型主機或中層系統。
元件
- Azure 記憶體 可為您的資料、應用程式和工作負載提供可大幅調整、高度安全的雲端記憶體。 Azure 檔案儲存體 提供簡單且安全的無伺服器雲端檔案共用。 這些元件用於同步處理和數據保留。
- Azure Data Factory 是混合式數據整合服務,可用來建立、排程及協調 ETL 和 ELT 工作流程。
- Azure 數據箱 是一種實體裝置,可用來將內部部署數據移至 Azure。
替代項目
您可以使用傳統方法,透過 FTP 將資料移出大型主機或中範圍系統。 Data Factory 提供 FTP 連接器 ,可讓您用來封存 Azure 上的資料。
案例詳細資料
大型主機和中層系統會產生、處理及儲存大量數據。 當此數據變舊時,通常並不實用。 不過,合規性和法規規則有時會要求此數據儲存一定幾年,因此封存非常重要。 藉由封存此數據,您可以降低成本並優化資源。 封存數據也有助於數據分析,並提供數據的歷程記錄。
潛在使用案例
將資料封存至雲端可協助您:
- 釋放大型主機和中層系統中的記憶體資源。
- 只將相關數據儲存在作用中系統上,以優化查詢的效能。
- 以更經濟的方式儲存數據來降低營運成本。
- 使用封存的數據進行分析,以建立新的商機,並做出更好的商務決策。
建議
視您使用數據的方式而定,您可能想要從二進位檔將它轉換成 ASCII,然後將它上傳至 Azure。 這麼做可讓您更輕鬆地在 Azure 上進行分析。
考量
- 大型主機上的複雜數據類型必須在封存期間處理。
- 應用程式主題專家可以識別哪些數據需要封存。
- 若要判斷同步處理之間的時間量,請考慮商務關鍵性、合規性需求,以及數據存取頻率等因素。
第三方封存解決方案
Azure Marketplace 提供一些第三方解決方案。 每個解決方案都需要唯一的設定。 設定這些解決方案是實作此架構的主要工作之一。
Azure 儲存體
Azure 有各種不同的應用程式和技術需求選項,例如頻繁存取與不常存取,以及結構化與非結構化數據。 您可以在 Azure 記憶體中設定各種記憶體生命週期組態。 您可以定義管理生命週期的規則。 如需概觀,請參閱 設定生命週期管理原則。
數據回收
重新叫用封存的數據是封存解決方案的重要層面。 少數第三方解決方案提供順暢的體驗,讓您重新叫用封存的數據。 就像在內部部署執行命令一樣簡單。 第三方代理程式會自動從 Azure 取得數據,並將其擷取回大型主機系統。
成本最佳化
若要估計實作此解決方案的成本,請使用 Azure 定價計算機。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者:
- Pratim Dasgupta |工程架構師
其他投稿人:
- Mick Alberts | 技術寫入員
- Ashish Khandelwal |資深工程架構師經理
- Ramanath Nayak |工程架構師
下一步
如需詳細資訊,請連絡 Azure 資料工程師 ing - 大型主機/Midrange 現代化。
請參閱這些資源: