通过

在复制活动中配置 REST

  • 项目

本文概述了如何使用数据管道中的复制活动从/向 REST 终结点复制数据。

具体而言，此泛型 REST 连接器支持：

  • 使用 GET 或 POST 方法从 REST 终结点复制数据，以及使用 POST、PUT 或 PATCH 方法将数据复制到 REST 终结点。
  • REST API 中的 分页 。
  • 将 REST 用作源，按原样复制 REST JSON 响应，或使用架构映射来分析它。 仅支持 JSON 格式的响应有效负载。

支持的配置

有关复制活动下每个选项卡的配置，请分别转到以下部分。

常规

对于“常规”选项卡配置，请转到“常规”。

源

HTTP 在复制活动的“源”选项卡下支持以下属性。

Screenshot showing source tab and the list of properties.

需要以下前三个属性：

  • 数据存储类型：选择“外部”。
  • 连接：从连接列表中选择 REST 连接。 如果不存在连接，请选择“新建”来创建新的 RESTP 连接。
  • 连接类型：选择“REST”。
  • 相对 URL：包含数据的资源的相对 URL。 未指定此属性时，仅使用连接定义中指定的 URL。 HTTP 连接器从以下组合 URL 复制数据：[URL specified in connection]/[relative URL specified]。

在“高级”下，可指定以下字段：

  • 请求方法：HTTP 方法。 允许的值为 GET（默认值）和 POST 。

    Screenshot showing request method.

  • 请求超时：用于获取响应的 HTTP 请求的超时（timespan 值） 该值是获取响应而不是读取响应数据的超时。 默认值为 00:01:40 。

  • 请求间隔（毫秒）：多个页面的不同请求之间的间隔时间（以毫秒为单位）。 请求时间间隔值应当为 [10, 60000] 范围中的数字。

  • 其他标头：其他 HTTP 请求头。

    Screenshot showing additional headers.

  • 分页规则：用于撰写下一页请求的分页规则。 有关详细信息，请参阅分页支持部分。

    Screenshot showing pagination rules.

  • 其他列：将更多数据列添加到存储源文件的相对路径或静态值。 如果使用静态值，则可以使用自定义表达式来生成它。

    Screenshot showing additional columns.

目标

REST 在复制活动的“目标”选项卡下支持以下属性。

Screenshot showing destination tab.

需要以下前三个属性：

  • 数据存储类型：选择“外部”。
  • 连接：从连接列表中选择 REST 连接。 如果不存在连接，请选择“新建”来创建新的 RESTP 连接。
  • 连接类型：选择“REST”。
  • 相对 URL：包含数据的资源的相对 URL。 未指定此属性时，仅使用连接定义中指定的 URL。 HTTP 连接器从以下组合 URL 复制数据：[URL specified in connection]/[relative URL specified]。

在“高级”下，可指定以下字段：

  • 请求方法：HTTP 方法。 允许的值为 POST（默认值）、PUT 和 PATCH。

  • 请求超时：用于获取响应的 HTTP 请求的超时（timespan 值）。 此值是获取响应时的超时，而不是写入数据时的超时。 默认值为 00:01:40 。

  • 请求间隔（毫秒）：多个页面的不同请求之间的间隔时间（以毫秒为单位）。 请求时间间隔值应当为 [10, 60000] 范围中的数字。

  • 写入批大小：每个批写入 REST 目标的记录数。 默认值为 10000。

  • Http 压缩类型：使用最佳压缩级别发送数据时要使用的 HTTP 压缩类型。 允许的值为 None 和 GZip。

  • 其他标头：其他 HTTP 请求头。

    Screenshot showing additional headers.

映射

对于“映射”选项卡配置，请转到在“映射”选项卡下的配置映射。当源和目标都是分层数据时，不支持映射。

设置

对于“设置”选项卡配置，请转到“设置”选项卡下的“配置其他设置”。

表摘要

下表包含 REST 中的复制活动的详细信息。

源信息

名称 描述 值 必选 JSON 脚本属性
数据存储类型 你的数据存储类型。 • 工作区
• 外部
• 示例数据集
 是 type
Connection 与源数据存储的连接。 <你的连接> 是 连接
连接类型 你的连接类型。 选择“REST”。 REST 是 类型:
RestResource
相对 URL 包含数据的资源的相对 URL。 未指定此属性时，仅使用连接定义中指定的 URL。 HTTP 连接器从以下组合 URL 复制数据：[URL specified in connection]/[relative URL specified]。 <你的 URL> 否 relativeUrl
请求方法 HTTP 方法。 允许的值为 GET（默认值）和 POST 。 • GET
• POST		 否 requestMethod
请求超时 用于获取响应的 HTTP 请求的超时（timespan 值）。 该值是获取响应而不是读取响应数据的超时。 默认值为 00:01:40 。 timespan 否 httpRequestTimeout
请求间隔（毫秒） 多个页面的不同请求之间的间隔时间（以毫秒为单位）。 请求时间间隔值应当为 [10, 60000] 范围中的数字。 [10, 60000] 否 requestInterval
其他标头 附加的 HTTP 请求标头。 <你的其他标头> 否 additionalHeaders
分页规则 用于撰写下一页请求的分页规则。 有关详细信息，请参阅分页支持部分。 转到分页 否 paginationRules
其他列 将更多数据列添加到存储源文件的相对路径或静态值。 后者支持表达式。 • 姓名
• 值		 否 additionalColumns:
• 名称
• 值

目标信息

名称 描述 值 必选 JSON 脚本属性
数据存储类型 你的数据存储类型。 • 工作区
• 外部		 是 type
Connection 与源数据存储的连接。 <你的连接> 是 连接
连接类型 你的连接类型。 选择“REST”。 REST 是 类型:
RestResource
相对 URL 包含数据的资源的相对 URL。 未指定此属性时，仅使用连接定义中指定的 URL。 HTTP 连接器从以下组合 URL 复制数据：[URL specified in connection]/[relative URL specified]。 <你的 URL> 否 relativeUrl
请求方法 HTTP 方法。 允许的值为 POST（默认值）、PUT 和 PATCH。 • POST
• GET
• PATCH		 否 requestMethod
请求超时 用于获取响应的 HTTP 请求的超时（timespan 值）。 该值是获取响应而不是读取响应数据的超时。 默认值为 00:01:40 。 timespan 否 httpRequestTimeout
请求间隔（毫秒） 多个页面的不同请求之间的间隔时间（以毫秒为单位）。 请求时间间隔值应当为 [10, 60000] 范围中的数字。 [10, 60000] 否 requestInterval
写入批大小 每个批写入 REST 目标的记录数。 默认值为 10000。 <行数>
（整数）		 否 writeBatchSize
Http 压缩类型 使用最佳压缩级别发送数据时要使用的 HTTP 压缩类型。 允许的值为 None 和 GZip。 • None
• GZip		 否 httpCompressionType
其他标头 附加的 HTTP 请求标头。 <你的其他标头> 否 additionalHeaders

相关内容