Copy アクティビティ内で REST を構成する方法
この記事では、データ パイプラインでコピー アクティビティを使用して、REST エンドポイント間でデータをコピーする方法について説明します。
具体的には、この汎用 REST コネクタは以下をサポートします。
- GET または POST メソッドを使用した REST エンド ポイントからのデータのコピー、および POST、PUT または PATCH メソッドを使用した REST エンドポイントへのデータのコピー。
- REST API 内の 改ページ位置の自動修正 。
- ソースとしての REST の場合、REST JSON 応答をそのままコピーするか、スキーマ マッピングを使用して解析する。 JSON では応答ペイロードのみがサポートされます。
サポートされている構成
コピー アクティビティの下の各タブの構成については、それぞれ次のセクションを参照してください。
全般
[全般] タブの構成で、[全般] に移動します。
ソース
コピー アクティビティの [ソース] タブの REST では、次のプロパティがサポートされています。
次の最初の 3 つのプロパティは必須です。
- [データ ストアの種類]: [外部] を選択します。
- [接続]: 接続リストから [REST] 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい REST 接続を作成します。
- [接続の種類]: [REST] を選択します。
- [相対 URL]: データを含むリソースへの相対 URL。 このプロパティが指定されていない場合は、接続定義で指定されている URL のみが使用されます。 HTTP コネクタは、次の結合された URL からデータをコピーします。
[URL specified in connection]/[relative URL specified]
[詳細設定] では、次のフィールドを指定できます。
[要求メソッド]: HTTP メソッド。 使用できる値は、GET (既定値) と POST です。
[要求タイムアウト]: HTTP 要求が応答を取得する際のタイムアウト (timespan 値)。 この値は、応答データの読み取りのタイムアウトではなく、応答の取得のタイムアウトです。 既定値は 00:01:40 です。
[要求間隔 (ミリ秒)]: 複数のページに対する異なる要求間の間隔 (ミリ秒単位)。 要求間隔の値は、[10, 60000] の間の数値にする必要があります。
[追加ヘッダー]: 追加の HTTP 要求ヘッダー。
[改ページの規則]: 次のページ要求を作成する改ページ位置の自動修正規則。 詳細については、「改ページ位置の自動調整のサポート」セクションを参照してください。
[追加の列]: ソース ファイルの相対パスまたは静的な値を格納するため、データ列をさらに追加します。 静的な値を使用している場合は、カスタム式を使用して生成できます。
宛先
コピー アクティビティの [コピー先] タブの REST では、次のプロパティがサポートされています。
次の最初の 3 つのプロパティは必須です。
- [データ ストアの種類]: [外部] を選択します。
- [接続]: 接続リストから [REST] 接続を選択します。 接続が存在しない場合は、[新規] を選択して新しい REST 接続を作成します。
- [接続の種類]: [REST] を選択します。
- [相対 URL]: データを含むリソースへの相対 URL。 このプロパティが指定されていない場合は、接続定義で指定されている URL のみが使用されます。 HTTP コネクタは、次の結合された URL からデータをコピーします。
[URL specified in connection]/[relative URL specified]
[詳細設定] では、次のフィールドを指定できます。
[要求メソッド]: HTTP メソッド。 使用できる値は、POST (既定値)、PUT、および PATCH です。
[要求タイムアウト]: HTTP 要求が応答を取得する際のタイムアウト (timespan 値)。 この値は、データの書き込みのタイムアウトではなく、応答の取得のタイムアウトです。 既定値は 00:01:40 です。
[要求間隔 (ミリ秒)]: 複数のページに対する異なる要求間の間隔 (ミリ秒単位)。 要求間隔の値は、[10, 60000] の間の数値にする必要があります。
[書き込みバッチ サイズ]: バッチごとに REST コピー先に書き込むレコードの数。 既定値は 10000 です。
[HTTP 圧縮の種類]: 最適な圧縮レベルでデータを送信するときに使用する HTTP 圧縮の種類。 使用できる値は None と GZip です。
[追加ヘッダー]: 追加の HTTP 要求ヘッダー。
マッピング
[マッピング] タブの構成については、「[マッピング] タブでマッピングを構成する」を参照してください。ソースとコピー先の両方が階層データである場合、マッピングはサポートされません。
設定
[設定] タブの構成については、「[設定] タブで他の設定を構成する」を参照してください。
表の概要
次の表に、REST でのコピー アクティビティの詳細を示します。
ソース情報
名前 | Description | Value | 必須 | JSON スクリプト プロパティ |
---|---|---|---|---|
データ ストアの種類 | データ ストアの種類。 | • ワークスペース • 外部 • サンプル データセット |
はい | type |
接続 | ソース データ ストアへの実際の接続。 | <接続> | はい | つながり |
接続の種類 | 実際の接続の種類。 [REST] を選択します。 | REST | はい | type: RestResource |
相対 URL | データを含むリソースへの相対 URL。 このプロパティが指定されていない場合は、接続定義で指定されている URL のみが使用されます。 HTTP コネクタは、次の結合された URL からデータをコピーします。[URL specified in connection]/[relative URL specified] |
<実際の相対 URL> | いいえ | relativeUrl |
要求メソッド | HTTP メソッド。 使用できる値は、GET (既定値) と POST です。 | • GET • POST |
いいえ | requestMethod |
要求タイムアウト | HTTP 要求が応答を取得する際のタイムアウト (timespan 値)。 この値は、応答データの読み取りのタイムアウトではなく、応答の取得のタイムアウトです。 既定値は 00:01:40 です。 | TimeSpan | いいえ | httpRequestTimeout |
要求間隔 (ミリ秒) | 複数のページに対する異なる要求間の間隔 (ミリ秒単位)。 要求間隔の値は、[10, 60000] の間の数値にする必要があります。 | [10, 60000] | いいえ | requestInterval |
追加ヘッダー | 追加の HTTP 要求ヘッダー。 | <実際の追加のヘッダー> | いいえ | additionalHeaders |
改ページの規則 | 次のページ要求を作成する改ページ位置の自動修正規則。 詳細については、「改ページ位置の自動調整のサポート」セクションを参照してください。 | 改ページに移動 | いいえ | paginationRules |
追加の列 | ソース ファイルの相対パスまたは静的な値を格納するためにデータ列をさらに追加します。 後者では式がサポートされています。 | • 名前 • 値 |
いいえ | additionalColumns: • name • value |
コピー先の情報
名前 | Description | Value | 必須 | JSON スクリプト プロパティ |
---|---|---|---|---|
データ ストアの種類 | データ ストアの種類。 | • ワークスペース • 外部 |
はい | type |
接続 | ソース データ ストアへの実際の接続。 | <接続> | はい | つながり |
接続の種類 | 実際の接続の種類。 [REST] を選択します。 | REST | はい | type: RestResource |
相対 URL | データを含むリソースへの相対 URL。 このプロパティが指定されていない場合は、接続定義で指定されている URL のみが使用されます。 HTTP コネクタは、次の結合された URL からデータをコピーします。[URL specified in connection]/[relative URL specified] |
<実際の相対 URL> | いいえ | relativeUrl |
要求メソッド | HTTP メソッド。 使用できる値は、POST (既定値)、PUT、および PATCH です。 | • POST • GET • PATCH |
いいえ | requestMethod |
要求タイムアウト | HTTP 要求が応答を取得する際のタイムアウト (timespan 値)。 この値は、応答データの読み取りのタイムアウトではなく、応答の取得のタイムアウトです。 既定値は 00:01:40 です。 | TimeSpan | いいえ | httpRequestTimeout |
要求間隔 (ミリ秒) | 複数のページに対する異なる要求間の間隔 (ミリ秒単位)。 要求間隔の値は、[10, 60000] の間の数値にする必要があります。 | [10, 60000] | いいえ | requestInterval |
書き込みバッチ サイズ | バッチごとに REST コピー先に書き込むレコードの数。 既定値は 10000 です。 | <行数> (整数) |
いいえ | writeBatchSize |
HTTP 圧縮の種類 | 最適な圧縮レベルでデータを送信するときに使用する HTTP 圧縮の種類。 使用できる値は None と GZip です。 | • None • GZip |
いいえ | httpCompressionType |
追加ヘッダー | 追加の HTTP 要求ヘッダー。 | <実際の追加のヘッダー> | いいえ | additionalHeaders |