了解演示如何将数据从大型机和中级系统移动到 Azure 的参考体系结构。 在此体系结构中,存档数据仅在大型机系统中提供服务并使用。 Azure 仅用作存储介质。
体系结构
下载此体系结构的 Visio 文件。
如需确定在大型机系统和 Azure 存储之间移动数据的方法,请考虑数据检索频率和数据量。 Microsoft 和第三方解决方案可用:
Microsoft 解决方案。
- Azure 数据工厂 FTP 连接器。
- 数据工厂复制活动,可将数据复制到任何 Azure 存储解决方案。
- 使用 Java 将大型机 JCL 迁移到 Azure Blob,这是一种自定义解决方案,用于通过作业控制语言 (JCL) 将数据从大型机系统迁移到 Azure。 有关详细信息,请联系 datasqlninja@microsoft.com。
第三方存档解决方案。 可轻松与大型机系统、中型系统和 Azure 服务集成的解决方案。
工作流
Azure 数据工厂 FTP 连接器将数据从大型机系统迁移到 Azure Blob 存储。 此解决方案需要使用安装自承载集成运行时的中间虚拟机 (VM)。
数据工厂 复制活动连接到 Db2 数据库,将数据复制到 Azure 存储中。 此解决方案还需要使用安装自承载集成运行时的中间 VM。
使用 Java 自定义解决方案将 Microsoft 大型机 JCL 迁移到 Azure Blob可实现在大型机系统和 Blob 存储之间的移动数据,反之亦然。 该解决方案基于 Java,在大型机上的 Unix 系统服务上运行。 可联系datasqlninja@microsoft.com获取该解决方案。
需对解决方案进行一次性配置。 进行该配置时,需获取 Blob 存储访问密钥并将所需项目迁移到大型机系统。
JCL 提交将文件移入和移出大型机和 Blob 存储。
文件以二进制格式存储在 Azure 上。 自定义解决方案可配置为将 EBCDIC 转换为数据类型简单的 ASCII。
或者,Azure Data Box 可协助将大型机数据以物理方式传输到 Azure。 需迁移大量数据,且联机传输方法耗时过长时,此选项适用。 (例如,如果迁移需要花费数周。)
第三方存档解决方案可实现与大型机或中型环境轻松交互。
这些解决方案与大型机交互,可处理各种大型机参数,例如数据类型、记录类型、存储类型和访问方法。 它们在 Azure 与大型机之间起到桥梁的作用。 某些第三方解决方案将存储驱动器连接到大型机,并协助将数据传输到 Azure。
数据通过第三方存档解决方案定期同步和存档。 通过第三方解决方案获取数据后,该解决方案可使用可用的连接器轻松将其推送到 Azure。
数据存储在 Azure 中。
应根据需要将数据从 Azure 召回大型机或中型系统。
组件
- Azure 存储可对数据、应用和工作负荷进行可大规模缩放且高度安全的云存储。 Azure 文件可提供简单、安全的无服务器云文件共享。 这些组件用于同步和数据保留。
- Azure 数据工厂是一种混合数据集成服务,通过它可创建、计划和协调 ETL 和 ELT 工作流。
- Azure Data Box是一种可用于将本地数据迁移到 Azure 的物理设备。
备选方法
可使用经典方法通过 FTP 将数据移出大型机或中型系统。 数据工厂提供的 FTP 连接器可用于在 Azure 上进行数据存档。
方案详细信息
大型机和中型系统可生成、处理和存储大量数据。 当该数据变为旧数据时,通常将失效。 但是,合规性和法规规则有时要求将该数据存储特定年数,因此存档非常重要。 对该数据存档可降低成本并优化资源。 存档数据还有助于进行数据分析并提供数据的历史记录。
可能的用例
将数据存档到云有助于:
- 释放大型机和中型系统中的存储资源。
- 仅将相关数据存储在活动系统上可优化查询性能。
- 以更经济的方式存储数据可降低运营成本。
- 使用存档数据分析,创造新机会并做出更好的业务决策。
建议
根据数据的使用方式,可能需要将其从二进制文件转换为 ASCII,然后上传到 Azure。 这种方式能降低 Azure 上的分析难度。
注意事项
- 大型机上的复杂数据类型必须在存档时处理。
- 应用程序行业专家可以确定哪些数据需要存档。
- 如需确定同步之间的时长,请考虑业务关键性、合规性需求和数据访问频率等因素。
第三方存档解决方案
有些第三方解决方案在 Azure 市场供应。 每个解决方案的配置都是唯一的。 设置这些解决方案是实现该体系结构的主要任务之一。
Azure 存储
Azure 为不同的应用程序和技术要求提供多种选项,例如频繁访问和低频访问,结构化数据与非结构化数据。 可在 Azure 存储中设置各种存储生命周期配置。 可以定义用于管理生命周期的规则。 有关概述,请参阅配置生命周期管理策略。
数据召回率
召回存档数据是存档解决方案的一个重要方面。 很少有第三方解决方案提供无缝召回存档数据的体验。 其与在本地运行命令一样简单。 第三方代理自动从 Azure 获取数据,并将其引入大型机系统。
成本优化
可使用 Azure 定价计算器估计该解决方案的实现成本。
作者
本文由 Microsoft 维护, 它最初是由以下贡献者撰写的。
主要作者:
- Pratim Dasgupta |工程架构师
其他参与者:
- Mick Alberts | 技术文档撰写人
- Ashish Khandelwal | 高级工程架构师管理员
- Ramanath Nayak |工程架构师
后续步骤
请联系 Azure 数据工程 - 大型机/中型机现代化了解详细信息。
请参阅以下资源: