通过

在复制活动中配置 Azure SQL 数据库

  • 项目

本文概述了如何使用数据管道中的复制活动从 Azure SQL 数据库复制数据。

支持的配置

有关复制活动下每个选项卡的配置，请分别转到以下部分。

常规

请参阅 常规 设置 指南，以配置 常规 设置选项卡。

源

Azure SQL 数据库在复制活动的 “源”选项卡下支持以下属性。

显示源选项卡和属性列表的屏幕截图。

需要以下属性：

  • 数据存储类型：选择 外部。
  • 连接：从连接列表中选择 Azure SQL 数据库连接。 如果连接不存在，请选择新建来创建新的 Azure SQL 数据库连接。
  • 连接类型：选择 Azure SQL 数据库。
  • 表：从下拉列表中选择数据库中的表。 或者，选中“编辑”以手动输入表名称。
  • 预览数据：选择“预览数据”以预览表中的数据。

在“高级”下，可以指定以下字段：

  • 使用查询：可以选择 表、查询或 存储过程。 以下列表描述了每个设置的配置：

    • 表：如果选择此按钮，请从 表 中指定的表中读取数据。

    • 查询：指定要读取数据的自定义 SQL 查询。 例如 select * from MyTable。 或者选择铅笔图标在代码编辑器中进行编辑。

      显示选择查询的 屏幕截图。

    • 存储过程：使用用于从源表中读取数据的存储过程。 最后一个 SQL 语句必须是存储过程中的 SELECT 语句。

      • 存储过程名称：选中“编辑”框以从源表读取数据时，选择存储过程或手动指定存储过程名称。

      • 存储过程参数：指定存储过程参数的值。 允许的值是名称或值对。 参数的名称及其大小写必须与存储过程参数的名称及大小写一致。

        显示存储过程设置的屏幕截图。

  • 查询超时（分钟）：指定查询命令执行的超时，默认值为 120 分钟。 如果为此属性设置了参数，则允许的值是时间跨度，例如“02：00：00”（120 分钟）。

    显示查询超时设置的 显示查询超时设置的屏幕截图。

  • 隔离级别：指定 SQL 源的事务锁定行为。 允许的值为：None、ReadCommitted、ReadUncommitted、RepeatableRead、Serializable或 Snapshot。 如果未指定，则会使用“无”隔离级别。 有关更多详细信息，请参阅 IsolationLevel 枚举。

    显示隔离级别设置的屏幕截图。

  • 分区选项：指定用于从 Azure SQL 数据库加载数据的数据分区选项。 允许的值为：无（默认值），表的物理分区，以及 动态范围。 启用分区选项（即，不是 None）时，从 Azure SQL 数据库并发加载数据的并行度由复制活动的 并行复制 设置来控制。

    显示分区选项设置的屏幕截图。

    • 无：选择此设置以不使用分区。

    • 表的物理分区：使用物理分区时，将根据物理表定义自动确定分区列和机制。

    • 动态范围：使用启用了并行的查询时，需要范围分区参数（?DfDynamicRangePartitionCondition）。 示例查询：SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition。

      • 分区列名称：以整数类型、日期类型或日期/时间类型（int、smallint、bigint、date、smalldatetime、datetime、datetime2 或 datetimeoffset）指定源列的名称，范围分区将使用它进行并行复制。 如果未指定，则会自动检测表的索引或主键，并将其用作分区列。
      • 分区上限：指定分区范围拆分的分区列的最大值。 此值用于决定分区步幅，不用于筛选表中的行。 对表或查询结果中的所有行进行分区和复制。
      • 分区下限：指定分区范围拆分的分区列的最小值。 此值用于决定分区步幅，不用于筛选表中的行。 对表或查询结果中的所有行进行分区和复制。

  • 其他列：添加更多数据列来存储源文件的相对路径或静态值。 后者支持表达式。 有关详细信息，请转到在复制期间添加其他列。

目的地

复制活动的“目标”选项卡下的 Azure SQL 数据库支持以下属性。

显示“目标”选项卡的 屏幕截图。

以下属性是必需的 ：

  • 数据存储类型：选择 外部。
  • 连接：从连接列表中选择 Azure SQL 数据库连接。 如果连接不存在，请通过选择 新建创建新的 Azure SQL 数据库连接。
  • 连接类型：选择 Azure SQL 数据库。
  • 表：从下拉列表中选择数据库中的表。 或者，选中“编辑”以手动输入表名称。
  • 预览数据：选择“预览数据”以预览表中的数据。

在“高级”下，可以指定以下字段：

  • 写入行为：定义源文件来自基于文件的数据存储时的写入行为。 可以选择“插入”、“更新插入”或“存储过程”。

    写入行为选项卡的屏幕截图。

    • 插入：如果源数据有插入，请选择此选项。

    • Upsert：如果源数据需要进行插入和更新，请选择此选项。

      • 使用 TempDB：指定是使用全局临时表还是物理表作为更新用于进行更新插入的临时表。 默认情况下，服务使用全局临时表作为临时表，并选中此复选框。

        选择“使用 TempDB”的屏幕截图。

      • 选择用户数据库架构：如果未选中 使用 TempDB 复选框，请指定临时架构，以便在使用物理表时创建临时表。

        注意

        必须具有创建和删除表的权限。 默认情况下，临时表将共享与目标表相同的架构。

        显示未选择“使用 TempDB”的屏幕截图。

      • 键列：指定用于实现唯一行标识的列名称。 可以使用单个键或一系列密钥。 如果未指定，则使用主键。

    • 存储过程：使用存储过程定义如何将源数据应用于目标表。 此存储过程将按批调用。

      • 存储过程名称：在勾选 “编辑”框以从源表读取数据时，选择存储过程或手动指定存储过程名称。

      • 存储过程参数：指定存储过程参数的值。 允许的值是名称或值对。 参数的名称和大小写必须与存储过程参数的名称和大小写匹配。

        显示存储过程设置的屏幕截图。

  • 批量插入表锁：选择“是”或“否”。 使用此设置可以提高在没有索引的表上进行来自多个客户端的大容量插入操作时的复制性能。 有关详细信息，请转到 BULK INSERT (Transact-SQL)

  • 表选项：指定在基于源架构的表不存在时是否 自动创建目标 表。 选择“无”或“自动创建表”。 当目标指定存储过程时，不支持自动创建表。

  • 预复制脚本：指定复制活动在每次运行中将数据写入目标表之前要执行的脚本。 可以使用此属性来清理预加载的数据。

  • 写入批超时：指定等待完成批插入操作的时间，超过该时间后则超时。允许的值为 timespan。 默认值为“00：30：00”（30 分钟）。

  • 写入批大小：指定要在每个批的 SQL 表中插入的行数。 允许的值为整数（行数）。 默认情况下，服务会根据行大小动态确定相应的批大小。

  • 最大并发连接：指定活动运行期间与数据存储建立的并发连接上限。 仅当想要限制并发连接时，才指定一个值。

  • 禁用性能指标分析：此设置用于收集指标，例如 DTU、DWU、RU 等，以便进行复制性能优化和建议。 如果担心此行为，请选中此复选框。

映射

对于“映射”选项卡配置，如果不应用以自动创建表为目标的 Azure SQL 数据库，请转到“映射”。

如果您将具有自动创建表格功能的 Azure SQL 数据库作为目标，除 映射中的配置外，您还可以编辑目标列的类型。 选择 导入架构后，可以在目标中指定列类型。

例如，源中 ID 列的类型为 int，当映射到目标列时，你可以将其更改为浮动类型。

映射目标列类型的屏幕截图。

设置

对于“设置”选项卡配置，请转到在“设置”选项卡下配置其他设置。

从 Azure SQL 数据库并行复制

复制活动中的 Azure SQL 数据库连接器提供内置的数据分区来并行复制数据。 可以在复制活动的 源 选项卡上找到数据分区选项。

启用分区复制时，复制活动针对 Azure SQL 数据库源运行并行查询，按分区加载数据。 并行度由复制活动设置选项卡中的 复制并行度 控制。例如，如果将 复制并行度 设置为 4，则服务会根据指定的分区选项和设置并发生成并运行四个查询，并且每个查询从 Azure SQL 数据库检索一部分数据。

建议使用数据分区启用并行复制，尤其是在从 Azure SQL 数据库加载大量数据时。 下面是针对不同方案的建议配置。 将数据复制到基于文件的数据存储中时，建议以多个文件的形式写入文件夹（仅指定文件夹名称），在这种情况下，性能优于写入单个文件。

应用场景 建议的设置
从包含物理分区的大型表进行完整加载。 分区选项：表的物理分区。

在执行期间，服务会自动检测物理分区，并按分区复制数据。

若要检查表是否有物理分区，可参考此查询。
从大型表中完整加载，没有物理分区，并且具有用于数据分区的整数或日期时间列。 分区选项：动态范围分区。
分区列（可选）：指定用于对数据进行分区的列。 如果未指定，将使用索引或主键列。
分区上限 和 分区下限（可选）：指定是否要确定分区步幅。 这不适用于筛选表中的行，表中的所有行都将进行分区和复制。 如果未指定，复制活动会自动检测值。

例如，如果分区列“ID”的值范围为 1 到 100，并且将下限设置为 20，上限设置为 80，并且并行复制为 4，则服务将按 4 个分区检索数据 - 范围中的 ID <=20、[21、50]、[51、80]和 >=81。
通过使用自定义查询加载大量数据，不使用物理分区，而是使用整数或日期/日期时间列进行数据分区。 分区选项：动态范围分区。
查询：SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>。
分区列：指定用于对数据进行分区的列。
分区上限 和 分区下限（可选）：指定是否要确定分区步幅。 这不适用于筛选表中的行，查询结果中的所有行都将进行分区和复制。 如果未指定，复制活动会自动检测该值。

例如，如果分区列“ID”的值范围为 1 到 100，并且将下限设置为 20，上限设置为 80，并且并行复制为 4，则服务将按 4 个分区-ID 检索数据，范围 <分别为 =20、[21、50]、[51、80]和 >=81。

下面是针对不同方案的示例查询：
• 查询整个表：
SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition
• 使用列选择和附加的 where 子句筛选器从表中查询：
SELECT <column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
• 包含子查询的查询：
SELECT <column_list> FROM (<your_sub_query>) AS T WHERE ?DfDynamicRangePartitionCondition AND <your_additional_where_clause>
• 在子查询中使用分区进行查询：
SELECT <column_list> FROM (SELECT <your_sub_query_column_list> FROM <TableName> WHERE ?DfDynamicRangePartitionCondition) AS T

使用分区选项加载数据的最佳做法：

  • 选择独特的列作为分区列（如主键或唯一键）以避免数据倾斜。
  • 如果表具有内置分区，请使用分区选项 表 的物理分区以获得更好的性能。

用于检查物理分区的示例查询

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

如果表具有物理分区，则会看到“HasPartition”为“是”，如下所示。

Sql 查询结果。

表摘要

下表包含有关 Azure SQL 数据库中复制活动的详细信息。

源

名字 描述 价值 必需 JSON 脚本属性
数据存储类型 你的数据存储类型。 外部 是的 /
连接 与源数据存储的连接。 <你的连接> 是的 连接
连接类型 你的连接类型。 选择“Azure SQL 数据库”。 Azure SQL 数据库 是的 /
表 你的源数据表。 <目标表的名称> 是的 图式
表
使用查询 用于读取数据的自定义 SQL 查询。 •没有
• 查询
• 存储过程		 不

• sqlReaderQuery
• sqlReaderStoredProcedureName, storedProcedureParameters
查询超时 查询命令执行的超时，默认值为 120 分钟。 时间跨度 不 queryTimeout
隔离级别 指定 SQL 源的事务锁定行为。 •没有
• ReadCommitted
• ReadUncommitted
• RepeatableRead
可序列化
•快照		 不 隔离级别
分区选项 用于从 Azure SQL 数据库加载数据的数据分区选项。 •没有
• 表的物理分区
• 动态范围		 不 partitionOption:
• PhysicalPartitionsOfTable
• DynamicRange
其他列 添加更多数据列以存储源文件的相对路径或静态值。 后者支持表达式。 •名字
•价值		 不 additionalColumns：
•名字
•价值

目的地

名字 描述 价值 必需 JSON 脚本属性
数据存储类型 您的数据存储类型。 外部 是的 /
连接 与目标数据存储的连接。 <你的连接> 是的 连接
连接类型 你的连接类型。 选择“Azure SQL 数据库”。 Azure SQL 数据库 是的 /
表 你的目标数据表。 <目标表的名称> 是的 图式
表
写入行为 定义当源文件来自基于文件的数据存储时的写入操作行为。 • 插入
• 更新插入
• 存储过程		 不 writeBehavior:
• 插入
• 更新插入
• sqlWriterStoredProcedureName, sqlWriterTableType, storedProcedureParameters
大容量插入表锁 使用此设置可提高在不包含多个客户端索引的表上执行大容量插入操作期间的复制性能。 是或否 不 sqlWriterUseTableLock:
真或假
表选项 指定是否在目标表不存在的情况下，根据源架构自动创建目标表。 •没有
• 自动创建表		 不 tableOption:
• autoCreate
预复制脚本 每次运行时，复制活动会在将数据写入到目标表之前执行的脚本。 可以使用此属性来清理预加载的数据。 <复制前脚本>
（字符串）		 不 preCopyScript
写入批处理超时 等待完成批插入操作的时间，超过该时间后则超时。允许的值为 timespan。 默认值为“00：30：00”（30 分钟）。 时间跨度 不 writeBatchTimeout
写入批大小 每批要插入到 SQL 表中的行数。 默认情况下，服务会根据行大小动态确定相应的批大小。 <行数>
（整数）		 不 writeBatchSize
最大并发连接数 活动运行期间与数据存储建立的并发连接的数量上限。 仅当想要限制并发连接时，才指定一个值。 <并发连接数上限>
（整数）		 不 最大并发连接数
禁用性能指标分析 此设置用于收集指标，例如 DTU、DWU、RU 等，以便进行复制性能优化和建议。 如果担心此行为，请选中此复选框。 选择或取消选择 不 disableMetricsCollection：
真或假

相关内容