将数据加载到 Parallel Data Warehouse

可以使用 Integration Services、bcp Utilitydwloader 命令行加载程序或 SQL INSERT 语句将数据加载或插入 SQL Server Parallel Data Warehouse(PDW)。

加载环境

要加载数据,需要一个或多个加载服务器。 你可以使用自己的现有 ETL 或其他服务器,也可以购买新服务器。 有关详细信息,请参阅获取和配置加载服务器。 这些说明包括加载服务器容量计划工作表,可帮助你计划正确的加载解决方案。

使用 dwloader 加载

使用 dwloader 命令行加载程序是将数据加载到 PDW 中最快的方法。

Loading process

dwloader 将数据直接加载到计算节点,而无需通过控制节点传递数据。 若要加载数据,dwloader 首先与控制节点通信,以获取计算节点的联系信息。 dwloader 为每个计算节点设置一个通信通道,然后以轮询调度方式向计算节点发送 256KB 的数据块。

在每个计算节点上,数据移动服务 (DMS) 接收和处理数据区块。 处理数据过程包括将每行转换为 SQL Server 本机格式,并计算分布哈希以确定每行所属的计算节点。

处理行后,DMS 使用随机选择将每一行传输到正确的计算节点和 SQL Server 实例。 当 SQL Server 接收行时,它会根据 dwloader 中设置的 -b 批大小参数对其进行批处理,然后批量加载批处理。

使用已准备语句加载

可以使用准备好的语句将数据加载到分布式和复制的表中。 当输入数据与目标数据类型不匹配时,将执行隐式转换。 PDW 准备语句支持的隐式转换是 SQL Server 支持的转换的子集。 也就是说,仅支持一部分转换,但支持的转换与 SQL Server 隐式转换匹配。 无论要加载的目标表是定义为分布式表还是复制表,都会对目标表中存在的所有列应用隐式转换(如果需要)。

任务 说明
创建暂存数据库。 创建暂存数据库
使用 Integration Services 加载。 使用 Integration Services 加载
了解 dwloader 的类型转换。 适用于 dwloader 的数据类型转换规则
使用 dwloader 加载数据。 dwloader 命令行加载器
了解 INSERT 的类型转换。 使用 INSERT 加载数据