本文提供使用 Luminex 產品來回傳輸大型主機數據的解決方案，以符合備份、封存和其他商務需求。 解決方案中的主要元件包括 Luminex 大型主機資料整合 （MDI） 平臺的雲端數據共用和 Luminex 大型主機虛擬磁帶 （MVT） 平臺的 CloudTAPE。
Apache 和 Apache® Kafka 是 美國 和/或其他國家/地區的 Apache Software Foundation 註冊商標或商標。 使用這些標記不會隱含 Apache Software Foundation 的背書。
架構
下載此架構的 Visio 檔案。
資料流程
在大型主機上，次要儲存設備包括直接存取存儲設備（DASD）和循序存取存儲設備（SASD）。
DASD 會掛接在大型主機上。
磁帶是一種SASD，其連結至大型主機做為外部記憶體。
MDI 平臺會將可儲存在檔案上的資訊傳送至 Azure。 範例包括系統管理設施 （SMF） 資料、虛擬記憶體存取方法 （VSAM） 檔案、循序檔案，以及產生數據群組 （GDG）。 安裝在數據中心的 MDI 硬體包括 Luminex 通道閘道閘道 X （CGX） 控制器和 Luminex MDI 伺服器。
MVT CloudTAPE 提供磁帶封存和備份。 數據中心內安裝的MVT硬體包括Luminex CGX控制器和CloudTAPE伺服器。
MDI 和MVT使用以光纖連線 （FICON） 通訊協定為基礎的 CGX 控制器裝置。 這些裝置會直接連線到大型主機。 數據傳輸不需要 System z 整合式資訊處理器 （zIIP） 專業引擎。 大型主機上沒有 Luminex 代理程式，而且不需要開啟 TCP/IP 埠，才能在大型主機與 Luminex 裝置之間進行通訊。
大型主機數據會透過私人且安全的 Azure ExpressRoute 連線傳輸到 Azure。
Luminex MDI zKonnect 和其他服務會串流檔案數據，以進行 Azure 上的巨量數據分析。 例如，大型主機記錄和SMF數據等系統數據會串流至 Azure 事件中樞。 Azure 服務會擷取數據，然後處理、轉換及投影數據。
MDI 使用 Luminex CGX 裝置來處理、傳輸和快取檔案數據。 兩個可供使用的選項：
- 作業控制語言 （JCL） 語句會提交。 Luminex 提供語句，指定輸入檔、Azure 目的地、金鑰和安全性資訊、數據轉換和雲端檔格式的相關信息。 使用 Luminex 程式進行數據傳輸的組織可以使用自己的 JCL 語句。 當作業完成時，零的傳回碼表示成功傳輸。
- 作業會從 MDI UI 進行監視。 作業小組可以使用排程器、大型主機和 MDI UI 的組合來監視和疑難解答作業。 MDI UI 提供作業名稱、作業標識碼、使用者或群組、開始時間和經過時間等資訊。 如果文件傳輸一開始未成功，MDI 重試機制會參與。
作業可以設定為在傳輸之前快取本機記憶體中的檔案。 傳輸完成之後，就會移除該本機記憶體。
MVT CloudTAPE 會將大型主機磁帶數據傳送至 Azure 資料存放區，例如 Azure Blob 儲存體、Azure 檔案儲存體 和 Azure Data Lake Storage。 數據可以結構化和非結構化。 傳輸不會使用 JCL 語句。 相反地，MVT CloudTAPE 會移動或復寫 CGX 控制器仿真的 IBM 3490 或 3590 格式大型主機磁帶。
Azure 服務提供數據處理、記憶體、分析和視覺效果功能。
元件
ExpressRoute 會將內部部署網路延伸至Microsoft雲端。 ExpressRoute 會使用連線提供者，在內部部署數據和Microsoft雲端服務之間建立私人連線。
Azure 檔案儲存體 是屬於 Azure 儲存體的服務。 Azure 檔案在雲端提供、完全受控的檔案共用。 Azure 檔案共用可透過業界標準伺服器訊息塊 （SMB） 通訊協定來存取。 此解決方案會使用 Luminex MDI 和 MVT 將大型主機檔案傳輸至 Azure 檔案儲存體。
Blob 記憶體 是屬於記憶體一部分的服務。 Blob 記憶體為大量非結構化數據提供優化的雲端物件記憶體。 在此解決方案中，Blob 記憶體提供封存經常性和非經常性主流數據的方法。
在此解決方案中，Luminex 產品可以將大型主機資料傳輸到數個 Azure 資料庫：
- Azure SQL 是 SQL Server 引擎所提供的一系列 Azure 資料庫。
- Azure SQL 資料庫 是完全受控的平臺即服務（PaaS）資料庫引擎，屬於 Azure SQL 系列。 憑藉著人工智慧驅動的自動化功能，SQL 資料庫可以處理升級、修補、備份和監控等資料庫管理功能。
- 適用於 PostgreSQL 的 Azure 資料庫 是以開放原始碼 PostgreSQL 資料庫引擎社群版本為基礎的完全受控關係資料庫服務。
- 適用於 MySQL 的 Azure 資料庫 是以開放原始碼 MySQL 資料庫引擎社群版本為基礎的完全受控關係資料庫服務。
事件中樞是完全受控的 巨量數據串流平臺。 在此解決方案中，Luminex zKonnect 會以近乎即時的方式將大型主機數據串流至事件中樞。 事件中樞提供與 Apache Kafka 產生者和取用者 API 相容的端點。 大部分現有的 Apache Kafka 用戶端應用程式會使用這些 API 作為執行自己的 Apache Kafka 叢集的替代方案。
Power BI 是一組用來顯示分析資訊的軟體服務和應用程式。 此解決方案會使用來自各種來源且具有不同結構的大型主機數據。 Power BI 可用來將資料轉換成一致的、可視化的沉浸式和互動式深入解析。
Data Lake Storage 提供一種方式，以低成本、分層式記憶體和高輸送量來執行巨量數據分析。
替代項目
您可以使用Microsoft解決方案，而不是使用第三方解決方案進行數據傳輸。 如需將數據從大型主機和中層系統傳輸至 Azure 的相關信息，請參閱 將封存數據從大型主機系統移至 Azure。 如需特定Microsoft解決方案的相關信息，請參閱下列資源：
若要解決任何延遲、連線、技術和法規考慮，您可以將數據傳輸至 Azure Stack，而不是傳送至 Azure。 Azure Stack Hub 提供一組雲端記憶體服務。 如需詳細資訊，請參閱 Azure Stack Hub 記憶體：差異和考慮。
您也可以針對 IBM z/VM 和 z/VSE 大型主機使用 Luminex MVT 和 CGX 裝置。
當您將磁帶傳輸至 Azure 時，您可以壓縮和加密磁帶，以協助在所有階段安全地傳輸數據。 您可以輕鬆地設定這項功能。
您也可以將此解決方案用於雙向資料交換。 您可以將磁帶數據重新叫用到大型主機，並將其轉換成其原始形式。
- 使用 MDI 時，此程式類似於傳送至 Azure。 您提交提供反向傳輸特定數據的 JCL 語句。 數據可以傳輸為磁帶或循序檔案。 JCL 組態會指定格式。
- 使用MVT CloudTAPE時，如果您向大型主機要求數據，就會自動重新叫用數據。
Luminex CGX 裝置也支援 企業系統連線 （ESCON） 通道連線。 現有的大型主機備份軟體會將通道閘道閘道已辨識的大型主機磁帶裝置。 因此，不需要任何軟體變更。
此解決方案會使用 ExpressRoute 將資料從資料中心傳輸到 Azure。 我們建議使用此方法，但您也可以使用因特網進行數據傳輸。
案例詳細資料
大型主機實體記憶體可以位於大型主機處理器上，也可以位於大型主機外部。 處理器記憶體類似於大型主機的記憶體，位於處理器上。 磁碟驅動器和磁帶機是外部記憶體的範例。 記憶體中的數據集會組織成各種邏輯記錄和區塊結構。 數據集組織 （DSORG） 和記錄格式 （RECFM） 等參數會定義這些數據結構。 數據集中的記錄可以固定或可變長度，而且可以以二進位或文字格式儲存。
DASD 和 SASD 等次要記憶體裝置會儲存經常或不常存取的數據。
- DASD 用於立即數據位置和擷取。 透過直接存取，您可以直接移至裝置上的特定實體位置來讀取或寫入數據。 因此，DASD 快速且有效率。
- SASD，例如磁帶，本質上比 DASD 慢。 若要存取磁帶數據，請從一個位置開始，然後經過後續位置，直到您找到所需的數據為止。 大型主機會使用實體磁帶和 虛擬磁帶媒體櫃（VTL），也稱為 虛擬磁帶。 目前，虛擬磁帶優先於實體磁帶。
您使用的記憶體類型取決於您的需求。 許多組織都需要冷記憶體，以符合規範、法規、報告、稽核或其他用途。 某些組織有數據保留原則，要求您儲存近 100 年的數據。 這類數據的範例包括處方復本、病患記錄、客戶獎勵記錄和其他資訊。 您長期儲存的數據大多是大量且不常存取的數據。 長期記憶體通常成本低於使用中記憶體，您通常會每天存取多次且經常更新。 安全性考慮也會影響您選擇的記憶體。 網路攻擊是持續的威脅。
Azure 提供各種記憶體解決方案，而且是記憶體、備份和長期封存需求的經證實登陸位置。 您可以針對經常存取的數據使用冷記憶體，以及經常存取數據的經常性存取記憶體。 大型主機檔案結構，例如 VSAM 數據集、一般檔案和磁帶數據，會對應至資料庫、結構化檔案和 Blob 記憶體內的 Azure 數據建構。 Azure 記憶體可以使用成本效益、延展性、複寫和自我永續性來儲存大量密集的數據。 Azure 服務也可以協助您擷取數據、將數據可視化，以及從數據中取得見解。
本文中的解決方案會使用 Luminex MDI 和 MVT 平臺，在 Azure 中傳輸大型主機數據，以符合備份、封存和其他商務需求。
Luminex MDI 是數據傳輸和共同處理平臺。 MDI 使用 Luminex CGX 裝置來處理、傳輸和快取大型主機檔案。 MDI 提供 z/OS 大型主機與分散式系統之間數據和工作負載共用的安全且有效率的交換。 您可以使用雲端數據共享、巨量數據傳輸和 zKonnect 等 MDI 產品，將檔案移至 Azure 以進行備份、封存、數據正規化、合併和分析。 您可以將傳輸的數據設定為以 AZURE 中的 ASCII 或 EBCDIC 格式抵達。 MDI 雲端數據共用 提供將 VSAM 檔案、循序檔案和 GDG 等大型主機檔案移轉至 Azure 的方式。 MDI 也支援與 Azure 傳訊服務整合。 裝載在 Azure 上的應用程式可以使用儲存在 Azure 上的大型主機檔案來進行現代化、降低延遲，以及改善效能。
Luminex MVT 是磁帶封存和備份平臺。 MVT 使用 Luminex CGX 控制單元軟體來模擬大型主機 3490 和 3590 磁帶機，因此您可以使用現有的磁帶應用程式而不變更。 CGX 環境提供一套適用於磁帶加密、保存庫、移轉、復寫、擷取、災害復原和高可用性的產品。 具體而言， CloudTAPE 產品提供將磁帶數據遷移至 Azure 的方式。
MDI 和MVT都使用高速 CGX 控制器裝置直接連線到大型主機。 這些控制器是以 FICON 為基礎，這是大型主機伺服器和附加企業級記憶體控制器支援的傳輸通訊協定。 FICON 使用光纖通道作為基礎傳輸通訊協定。 CGX 控制器還利用網路連接記憶體（NAS）和內部儲存系統，提供企業所需的高效能、延展性、可靠性、安全性和可用性。 使用 FICON 傳輸時，I/O 可以跨多個系統共用。 FICON 提供最佳的通訊協定效率。 它也有助於提供數據完整性和安全性，即使伺服器與記憶體裝置之間的距離也增加。
使用 MDI 和 MVT 時，數據傳輸不需要 zIIP 特殊引擎，而且不需要開啟 TCP/IP 埠，才能啟用大型主機與 Luminex 裝置之間的通訊。 您可以將 Luminex CGX 裝置直接插入大型主機，就像任何其他大型主機儲存裝置一樣。 如有必要，您現有的舊版備份和磁帶管理軟體可以平行執行。 針對MVT CloudTAPE和MDI雲端數據共用，每秒數百萬個指令（MIPS）耗用量最少，因為傳輸會使用羽量級進程。
潛在使用案例
許多案例都可以受益於此解決方案。 可能性包括具有下列目標的組織：
- 將磁帶管理和維護工作降至最低。
- 將舊版工作負載現代化。
- 尋找備份和封存解決方案。
- 藉由將大型主機磁帶移至雲端，擴充其大型主機現代化。 如果組織想要降低數據中心大小，但不要放棄數據中心，組織可能會有此目標。 如果組織不會大量使用大型主機磁帶，磁帶可能是適合移轉的候選專案。
- 將移轉的數據轉換成雲端記憶體的不同格式，例如將EBCDIC數據轉換成 ASCII、將 VSAM 檔案轉換成 JSON，並將循序數據轉換成 CSV 格式。
- 將磁帶元數據傳輸至 Azure 記憶體元數據。
- 提供裝載在 Azure 上的全新和重構應用程式，並輕鬆存取數據。
- 擴充其雲端使用量。
- 輕鬆地監視、顯示和報告大型主機檔案和磁帶數據，並將此數據與 Azure 服務整合。
- 利用目前和歷程記錄解除鎖定的大型主機數據，並將其用於雲端商業智慧和分析工具。
如果您要實作類似的解決方案，並想要分享您的體驗或意見反應，請連絡 Microsoft舊版現代化 Azure 核心工程 （ACE） 小組。
考量
這些考量能實作 Azure Well-Architected Framework 的支柱，其為一組指導原則，可以用來改善工作負載的品質。 如需更多資訊，請參閱 Microsoft Azure 結構完善的架構。
可靠性
可靠性可確保您的應用程式符合您對客戶的承諾。 如需詳細資訊，請參閱 可靠性的設計檢閱檢查清單。
- 您可以在多個區域中部署此解決方案，並在數據層中實作異地復寫。 Azure 自動故障轉移群組也有助於提供數據保護。
- 叢集 CGX 控制器可以在失敗期間提供主動-主動復原解決方案。
- MVT 同步磁帶矩陣 提供跨多個數據中心的可靠性。 其基礎結構會調整為失敗，而不會中斷。
- Luminex 複 寫可以將數據復寫至一或多個目標。 目標可以是一或多個災害復原月臺，每個月臺都會在 屬性上安裝大型主機和 CGX 控制器。 您也可以透過 Azure 異地復寫預先設定目標。 如果您使用 Azure 和其他私人或公用雲端，您也可以使用混合式策略進行災害復原。 基本上，您可以使用最符合您需求的複寫策略。 範例包括一對一、一對多、多對多和級聯策略。
安全性
安全性可提供保證，以避免刻意攻擊和濫用您寶貴的資料和系統。 如需詳細資訊，請參閱 安全性的設計檢閱檢查清單。
- 此解決方案中的完全受控記憶體可消除實體媒體安全性相關的問題。 範例是當您在車輛中運送實體磁帶時可能發生的損毀或未經授權的存取。
- Luminex CGSafe 提供磁帶壓縮和加密。 本產品是MVT系列的一部分，隨附於CloudTAPE。 CGSafe 會在擷取、待用和傳輸期間加密和壓縮磁帶。
- 當您使用 MDI 雲端資料共享時，會使用 SSL 透過 HTTPS 傳送檔案。 在 Azure 中，您可以加密待用檔案。
- 因為解決方案使用 FICON 和 ESCON 連線，因此您不需要開啟任何埠來進行數據傳輸。
成本優化
成本優化是考慮如何減少不必要的費用，並提升營運效率。 如需詳細資訊，請參閱 成本優化的設計檢閱檢查清單。
- Azure 中的隨用隨付定價和多層式模型提供各種符合各種成本和效能需求的選項。 例如，如果您不常存取數據，Azure 非經常性存取層是低成本記憶體的絕佳選項。
- 此解決方案的定價取決於您的磁帶數據量、數據中心位置和頻寬。 成本也取決於您所使用的 Azure 服務。 這些因素會決定您使用的硬體，例如 Luminex CGX 控制器的數目。 這些因素也會影響您的軟體、服務、授權和支援成本。
- 數據交換不需要 zIIP 處理器。 因此，當您執行軟體時，可節省成本。
- 在 Luminex 基礎結構就緒之後，您可以針對其他用途使用 Luminex 硬體。 例如，您可能已經使用 MDI 雲端資料共享進行檔案傳輸。 如果您使用 MDI zKonnect 擴充您的環境以進行串流，您可以節省成本，因為您可以以大幅降低的價格購買額外的 Luminex 軟體和基礎結構。
- 如果您已經有 ExpressRoute 基礎結構，您可以將它用於此解決方案。
- 使用 Azure 和 Luminex 進行備份和復原，可協助您消除與實體磁帶基礎結構相關聯的一些成本。 範例包括媒體和出貨費用，以及保存庫的異地記憶體。
卓越營運
卓越營運涵蓋部署應用程式的作業程式，並讓它在生產環境中執行。 如需詳細資訊，請參閱 Operational Excellence的設計檢閱檢查清單。
- 此解決方案中的數據傳輸至 Azure 可讓您在開發備份策略時有彈性。 您可以啟用自動化、一般移轉或階段式數據遷移。 在資料中心安裝 Luminex 裝置之後，您可以設定單向或雙向通訊、分段移轉或一次性移轉。 此彈性可支持實作DevOps和Agile工作原則，以及立即採用雲端。
- 您可以利用 Azure 功能進行大型主機備份、封存和災害復原。
- 您可以在 Azure 上部署持續整合 /持續傳遞 （CI/CD） 管線，以管理數據移動、轉換和控制活動。
效能效率
效能效率是工作負載調整的能力，以符合使用者以有效率的方式滿足其需求。 如需詳細資訊，請參閱 效能效率的設計檢閱檢查清單。
- 如果您有大量數據，您可以叢集 CGX 控制器。 一般而言，一個 CGX 裝置提供每秒高達 800 MB 的數據傳輸速度（MB/秒）。 CGX 控制器最多可使用四個光纖通道埠或 1 GbE 乙太網路（GbE）、10 GbE 或 25 GbE。 這些控制器也提供最多四個埠，以連線到連接的儲存系統。
- 在 Azure 服務中，有各種效能選項和層級可供使用。 例如，區塊 Blob 記憶體帳戶提供標準和進階效能層級。 您可以選擇最符合需求的階層。
- Azure 中預先定義的存取和生命週期管理可讓您輕鬆地將特定使用案例的效能優化。
- 此解決方案中的磁帶模擬軟體會使用 FICON I/O 系統。 藉由使用此系統，您可以減少 CPU 時間、提高資料傳送速率，並減少耗用時間。
參與者
本文由 Microsoft 維護。 原始投稿人如下。
主要作者：
- 丹尼爾·桑德斯 |銷售工程師
- Bhuvi Vatsey |資深技術計劃經理
若要查看非公開的 LinkedIn 設定檔，請登入 LinkedIn。
下一步
- 如需詳細資訊，請連絡 Microsoft舊版現代化 Azure 核心工程 （ACE） 小組。
- 如需第三方數據傳輸解決方案的相關信息，請參閱 第三方封存解決方案。