Azure Data Factory または Synapse Analytics を使用した Amazon S3 対応ストレージからのデータのコピー

[アーティクル]
10/20/2023

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

この記事では、Amazon Simple Storage Service (Amazon S3) 対応ストレージからデータをコピーする方法を概説します。詳細については、Azure Data Factory と Synapse Analytics の概要記事を参照してください。

サポートされる機能

この Amazon S3 対応ストレージコネクタは、次の機能でサポートされます。

サポートされる機能	IR
Copy アクティビティ (ソース/-)	1.1
Lookup アクティビティ	1.1
GetMetadata アクティビティ	1.1
アクティビティを削除する	1.1

① Azure 統合ランタイム ② セルフホステッド統合ランタイム

具体的には、この Amazon S3 対応ストレージコネクタでは、ファイルをそのままコピーするか、サポートされているファイル形式と圧縮コーデックを使用してファイルを解析することをサポートしています。 S3 への要求を認証するために、コネクタでは AWS Signature Version 4 が使用されます。この Amazon S3 対応ストレージコネクタを使用し、あらゆる S3 対応ストレージプロバイダーからデータをコピーできます。リンクされているサービスの構成で、対応するサービスの URL を指定します。

必要なアクセス許可

Amazon S3 対応ストレージからデータをコピーするには、Amazon S3 オブジェクト操作に対する次のアクセス許可が付与されている必要があります: s3:GetObject および s3:GetObjectVersion。

UI を使用して作成する場合は、リンクされたサービスへの接続のテストやルートからの参照などの操作に対して、追加の s3:ListAllMyBuckets および s3:ListBucket/s3:GetBucketLocation アクセス許可が必要です。これらのアクセス許可を付与しない場合は、UI から [ファイルパスへの接続をテスト] または [指定されたパスから参照] オプションを選択できます。

Amazon S3 のアクセス許可の完全な一覧については、ポリシーでのアクセス許可の指定に関する AWS サイトのページを参照してください。

作業の開始

パイプラインでコピーアクティビティを実行するには、次のいずれかのツールまたは SDK を使用します。

UI を使用して Amazon S3 対応ストレージのリンクサービスを作成する

次の手順を使用して、Azure portal UI で Amazon S3 対応ストレージのリンクサービスを作成します。

Azure Data Factory または Synapse ワークスペースの [管理] タブに移動し、[リンクされたサービス] を選択して、[新規] をクリックします。
- Azure Data Factory
- Azure Synapse
Amazon を検索し、Amazon S3 対応ストレージコネクタを選択します。
サービスの詳細を構成し、接続をテストして、新しいリンクサービスを作成します。

コネクタの構成の詳細

以下のセクションで、Amazon S3 対応ストレージに固有のエンティティを定義するために使用されるプロパティについて詳しく説明します。

リンクされたサービスのプロパティ

Amazon S3 互換のリンクされたサービスでは、次のプロパティがサポートされます。

プロパティ	Description	必須
type	type プロパティは AmazonS3Compatible に設定する必要があります。	はい
accessKeyId	シークレットアクセスキーの ID。	はい
secretAccessKey	シークレットアクセスキー自体。このフィールドを SecureString とマークして安全に保存するか、Azure Key Vault に保存されているシークレットを参照します。	はい
serviceUrl	カスタム S3 エンドポイント `https://<service url>` を指定します。	いいえ
forcePathStyle	仮想ホスト形式のアクセスではなく、S3 のパス形式のアクセスを使用するかどうかを示します。指定できる値は false (既定値)、true です。パス形式のアクセスが必要かどうかについては、各データストアのドキュメントを確認してください。	いいえ
connectVia	データストアに接続するために使用される統合ランタイム。データストアがプライベートネットワーク内にある場合、Azure Integration Runtime またはセルフホステッド統合ランタイムを使用できます。このプロパティが指定されていない場合は、サービスでは、既定の Azure Integration Runtime が使用されます。	いいえ

例:

{
    "name": "AmazonS3CompatibleLinkedService",
    "properties": {
        "type": "AmazonS3Compatible",
        "typeProperties": {
            "accessKeyId": "<access key id>",
            "secretAccessKey": {
                "type": "SecureString",
                "value": "<secret access key>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

データセットのプロパティ

データセットを定義するために使用できるセクションとプロパティの完全な一覧については、データセットに関する記事をご覧ください。

Azure Data Factory では次のファイル形式がサポートされます。形式ベースの設定については、各記事を参照してください。

Amazon S3 互換では、形式ベースのデータセットの location 設定において、次のプロパティがサポートされています。

プロパティ	Description	必須
type	データセットの `location` の type プロパティは、AmazonS3CompatibleLocation に設定する必要があります。	はい
bucketName	S3 互換ストレージバケット名。	はい
folderPath	特定のバケットの下のフォルダーへのパス。ワイルドカードを使用してフォルダーをフィルター処理する場合は、この設定をスキップし、アクティビティのソース設定でこれを指定します。	いいえ
fileName	特定のバケットおよびフォルダーパスの下のファイル名。ワイルドカードを使用してファイルをフィルター処理する場合は、この設定をスキップし、アクティビティのソース設定でこれを指定します。	いいえ
version	S3 互換ストレージのバージョン管理が有効になっている場合、S3 互換ストレージオブジェクトのバージョン。指定しない場合は、最新バージョンがフェッチされます。	いいえ

例:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<Amazon S3 Compatible Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AmazonS3CompatibleLocation",
                "bucketName": "bucketname",
                "folderPath": "folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

コピーアクティビティのプロパティ

アクティビティの定義に利用できるセクションとプロパティの完全な一覧については、パイプラインに関する記事を参照してください。このセクションでは、Amazon S3 互換ストレージソースでサポートされているプロパティの一覧を示します。

ソースタイプとしての Amazon S3 互換ストレージ

Azure Data Factory では次のファイル形式がサポートされます。形式ベースの設定については、各記事を参照してください。

Amazon S3 互換ストレージでは、形式ベースのコピーソースの storeSettings 設定において、次のプロパティがサポートされています。

プロパティ	Description	必須
type	`storeSettings` の type プロパティは AmazonS3CompatibleReadSettings に設定する必要があります。	はい
コピーするファイルを特定する:
オプション 1: 静的パス	データセットに指定されている所定のバケットまたはフォルダー/ファイルパスからコピーします。バケットまたはフォルダーからすべてのファイルをコピーする場合は、さらに `*` として `wildcardFileName` を指定します。
オプション 2: S3 互換ストレージのプレフィックス - prefix	ソース S3 互換ストレージファイルをフィルター処理するために、データセットで構成されている、指定されたバケットにある S3 互換ストレージキー名のプレフィックス。名前が `bucket_in_dataset/this_prefix` で始まる S3 互換ストレージキーが選択されます。ワイルドカードフィルターより優れたパフォーマンスを提供する S3 互換ストレージのサービス側フィルターを利用します。プレフィックスを使用して階層を保持した状態でファイルベースのシンクにコピーする場合は、プレフィックスの最後の "/" の後のサブパスが保持されます。たとえば、ソース `bucket/folder/subfolder/file.txt` があり、プレフィックスを `folder/sub` で構成した場合、保持されるファイルパスは `subfolder/file.txt` です。	いいえ
オプション 3: ワイルドカード - wildcardFolderPath	ソースフォルダーをフィルター処理するためにデータセットで構成されている、特定のバケットの下のワイルドカード文字を含むフォルダーのパス。使用できるワイルドカードは、`*` (ゼロ文字以上の文字に一致) と `?` (ゼロ文字または 1 文字に一致) です。フォルダー名にワイルドカードまたはこのエスケープ文字が含まれている場合は、`^` を使用してエスケープします。「フォルダーとファイルフィルターの例」の他の例をご覧ください。	いいえ
オプション 3: ワイルドカード - wildcardFileName	ソースファイルをフィルター処理するための、特定のバケットおよびフォルダーパス (またはワイルドカードフォルダーパス) の下のワイルドカード文字を含むファイル名。使用できるワイルドカードは、`*` (ゼロ文字以上の文字に一致) と `?` (ゼロ文字または 1 文字に一致) です。ファイル名にワイルドカードまたはこのエスケープ文字が含まれている場合は、`^` を使用してエスケープします。「フォルダーとファイルフィルターの例」の他の例をご覧ください。	はい
オプション 4: ファイルの一覧 - fileListPath	指定されたファイルセットをコピーすることを示します。コピーするファイルの一覧を含むテキストファイルをポイントします。データセットで構成されているパスへの相対パスであるファイルを 1 行につき 1 つずつ指定します。このオプションを使用している場合は、データセットにファイル名を指定しないでください。その他の例については、ファイルリストの例を参照してください。	いいえ
追加の設定:
recursive	データをサブフォルダーから再帰的に読み取るか、指定したフォルダーからのみ読み取るかを指定します。 recursive が true に設定され、シンクがファイルベースのストアである場合、空のフォルダーおよびサブフォルダーはシンクでコピーも作成もされないことに注意してください。使用可能な値: true (既定値) および false。 `fileListPath` を構成する場合、このプロパティは適用されません。	いいえ
deleteFilesAfterCompletion	宛先ストアに正常に移動した後、バイナリファイルをソースストアから削除するかどうかを示します。ファイルの削除はファイルごとに行われるので、コピー操作が失敗した場合、一部のファイルが既に宛先にコピーされソースからは削除されているが、他のファイルはまだソースストアに残っていることがわかります。このプロパティは、バイナリファイルのコピーシナリオでのみ有効です。既定値: false。	いいえ
modifiedDatetimeStart	ファイルは、属性 (最終変更日時) に基づいてフィルター処理されます。ファイルは、最終変更日時が `modifiedDatetimeStart` と同じかそれよりも後であり、`modifiedDatetimeEnd` よりも前である場合に選択されます。時刻は "2018-12-01T05:00:00Z" の形式で UTC タイムゾーンに適用されます。プロパティは、ファイル属性フィルターをデータセットに適用しないことを意味する NULL にすることができます。 `modifiedDatetimeStart` に datetime 値が設定されており、`modifiedDatetimeEnd` が NULL の場合は、最終変更日時属性が datetime 値以上であるファイルが選択されます。 `modifiedDatetimeEnd` に datetime 値が設定されており、`modifiedDatetimeStart` が NULL の場合は、最終変更日時属性が datetime 値未満であるファイルが選択されます。 `fileListPath` を構成する場合、このプロパティは適用されません。	いいえ
modifiedDatetimeEnd	上記と同じです。	いいえ
enablePartitionDiscovery	パーティション分割されているファイルの場合は、ファイルパスのパーティションを解析し、それを追加のソース列として追加するかどうかを指定します。指定できる値は false (既定値) と true です。	いいえ
partitionRootPath	パーティション検出が有効になっている場合は、パーティション分割されたフォルダーをデータ列として読み取るための絶対ルートパスを指定します。これが指定されていない場合は、既定で次のようになります。 - ソース上のデータセットまたはファイルの一覧内のファイルパスを使用する場合、パーティションのルートパスはそのデータセットで構成されているパスです。 - ワイルドカードフォルダーフィルターを使用する場合、パーティションのルートパスは最初のワイルドカードの前のサブパスです。 - プレフィックスを使用する場合、パーティションのルートパスは最後の "/" の前のサブパスです。たとえば、データセット内のパスを "root/folder/year=2020/month=08/day=27" として構成するとします。 - パーティションのルートパスを "root/folder/year=2020" として指定した場合は、コピーアクティビティによって、ファイル内の列とは別に、それぞれ "08" と "27" の値を持つ `month` と `day` という 2 つの追加の列が生成されます。 - パーティションのルートパスが指定されない場合、追加の列は生成されません。	いいえ
maxConcurrentConnections	アクティビティの実行中にデータストアに対して確立されたコンカレント接続数の上限。コンカレント接続を制限する場合にのみ、値を指定します。	いいえ

例:

"activities":[
    {
        "name": "CopyFromAmazonS3CompatibleStorage",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "AmazonS3CompatibleReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

フォルダーとファイルフィルターの例

このセクションでは、ワイルドカードフィルターを使用した結果のフォルダーのパスとファイル名の動作について説明します。

bucket	key	recursive	ソースのフォルダー構造とフィルターの結果 (太字のファイルが取得されます)
bucket	`Folder/`	false	bucket FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
bucket	`Folder/`	true	bucket FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
bucket	`Folder/.csv`	false	bucket FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv
bucket	`Folder/.csv`	true	bucket FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv AnotherFolderB File6.csv

ファイルリストの例

このセクションでは、コピーアクティビティのソースでファイルリストパスを使用した結果の動作について説明します。

次のソースフォルダー構造があり、太字のファイルをコピーするとします。

サンプルのソース構造	FileListToCopy.txt のコンテンツ	構成
bucket FolderA File1.csv File2.json Subfolder1 File3.csv File4.json File5.csv メタデータ FileListToCopy.txt	File1.csv Subfolder1/File3.csv Subfolder1/File5.csv	データセット内: - バケット: `bucket` - フォルダーパス: `FolderA` コピーアクティビティソース内: - ファイルリストのパス: `bucket/Metadata/FileListToCopy.txt` ファイルリストのパスは、コピーするファイルの一覧を含む同じデータストア内のテキストファイルをポイントします。データセットで構成されているパスへの相対パスで 1 行につき 1 つのファイルを指定します。

Lookup アクティビティのプロパティ

プロパティの詳細については、Lookup アクティビティに関するページを参照してください。

GetMetadata アクティビティのプロパティ

プロパティの詳細については、GetMetadata アクティビティに関するページを参照してください。

Delete アクティビティのプロパティ

プロパティの詳細については、Delete アクティビティに関するページを参照してください。

Copy アクティビティでソースおよびシンクとしてサポートされるデータストアの一覧については、サポートされるデータストアに関するページを参照してください。

次の方法で共有

Azure Data Factory または Synapse Analytics を使用した Amazon S3 対応ストレージからのデータのコピー

サポートされる機能

必要なアクセス許可

作業の開始

UI を使用して Amazon S3 対応ストレージのリンクサービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピーアクティビティのプロパティ

ソースタイプとしての Amazon S3 互換ストレージ

フォルダーとファイルフィルターの例

ファイルリストの例

Lookup アクティビティのプロパティ

GetMetadata アクティビティのプロパティ

Delete アクティビティのプロパティ

フィードバック

その他のリソース

次の方法で共有

Azure Data Factory または Synapse Analytics を使用した Amazon S3 対応ストレージからのデータのコピー

サポートされる機能

必要なアクセス許可

作業の開始

UI を使用して Amazon S3 対応ストレージのリンク サービスを作成する

コネクタの構成の詳細

リンクされたサービスのプロパティ

データセットのプロパティ

コピー アクティビティのプロパティ

ソース タイプとしての Amazon S3 互換ストレージ

フォルダーとファイル フィルターの例

ファイル リストの例

Lookup アクティビティのプロパティ

GetMetadata アクティビティのプロパティ

Delete アクティビティのプロパティ

関連するコンテンツ

フィードバック

その他のリソース

UI を使用して Amazon S3 対応ストレージのリンクサービスを作成する

コピーアクティビティのプロパティ

ソースタイプとしての Amazon S3 互換ストレージ

フォルダーとファイルフィルターの例

ファイルリストの例