データのコピーツールを使用し LastModifiedDate に基づいて新しいファイルおよび変更されたファイルを増分コピーする

[アーティクル]
05/15/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

このチュートリアルでは、Azure portal を使用してデータファクトリを作成します。次に、データのコピーツールを使用して、新しいファイルおよび変更されたファイルのみを Azure Blob Storage から Azure Blob Storage に増分的にコピーするパイプラインを作成します。 LastModifiedDate を使用して、どのファイルをコピーするかを決定します。

ここで説明した手順を完了すると Azure Data Factory によってソースストア内のすべてのファイルがスキャンされ、LastModifiedDate によってファイルフィルターが適用されます。また、新しいファイルまたは前回以降に更新されたファイルのみがコピー先ストアにコピーされます。 Data Factory によって多数のファイルがスキャンされる場合は、継続時間が長くなると予想されることに注意してください。コピーされるデータ量を減らしても、ファイルのスキャンには時間がかかります。

Note

Data Factory を初めて使用する場合は、「Azure Data Factory の概要」を参照してください。

このチュートリアルでは、以下のタスクを完了します。

データファクトリを作成します。
データのコピーツールを使用してパイプラインを作成します。
パイプラインとアクティビティの実行を監視します。

前提条件

Azure サブスクリプション:Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。
Microsoft Azure Storage アカウント:Blob ストレージをソースおよびシンクデータストアとして使用します。 Azure Storage アカウントがない場合は、ストレージアカウントの作成に関するページの手順に従ってください。

Blob ストレージに 2 つのコンテナーを作成する

次の手順を実行して、チュートリアル用の Blob ストレージを準備します。

source という名前のコンテナーを作成します。この作業は、Azure Storage Explorer などのさまざまなツールを使用して実行できます。
destination という名前のコンテナーを作成します。

Data Factory の作成

左側のウィンドウで、 [リソースの作成] を選びます。 [統合]>[Data Factory] を選択します。
[新しいデータファクトリ] ページで、 [名前] に「ADFTutorialDataFactory」と入力します。

データファクトリの名前はグローバルに一意にする必要があります。このエラーメッセージが表示されることもあります。

データファクトリの名前の値に関するエラーメッセージが表示された場合は、別の名前を入力してください。たとえば、yournameADFTutorialDataFactory という名前を使用します。 Data Factory アーティファクトの名前付け規則については、Data Factory の名前付け規則に関する記事をご覧ください。
[サブスクリプション] で、新しいデータファクトリの作成先となる Azure サブスクリプションを選択します。
[リソースグループ] で、次の手順のいずれかを行います。
- [既存のものを使用] を選択し、一覧から既存のリソースグループを選択します。
- [新規作成] を選択し、リソースグループの名前を入力します。
リソースグループの詳細については、リソースグループを使用した Azure のリソースの管理に関するページを参照してください。
[バージョン] で、 [V2] を選択します。
[場所] で、データファクトリの場所を選択します。サポートされている場所のみがこの一覧に表示されます。データファクトリで使用されるデータストア (Azure Storage、Azure SQL Database など) やコンピューティング (Azure HDInsight など) は、他の場所やリージョンに存在していてもかまいません。
［作成］ を選択します
データファクトリが作成されるとデータファクトリのホームページが表示されます。
別のタブで Azure Data Factory のユーザーインターフェイス (UI) を開くには、 [Open Azure Data Factory Studio]$Azure Data Factory Studio を開く$ タイルで [開く] を選択します。

データのコピーツールを使用してパイプラインを作成する

Azure Data Factory のホームページで [取り込む] タイルを選択して、データコピーツールを開きます。
[プロパティ] ページで、次の手順を行います。
1. [タスクの種類] で [Built-in copy task]$組み込みコピータスク$ を選択します。
2. [Task cadence or task schedule]$タスクの周期またはタスクのスケジュール$ で、 [Tumbling window]$タンブリングウィンドウ$ を選択します。
3. [Recurrence]$繰り返し$ で、15 分と指定します。
4. [次へ] を選びます。
[ソースデータストア] ページで、次の手順を実行します。
1. [+ 新しい接続] を選択して、接続を追加します。
2. ギャラリーから [Azure Blob Storage] を選び、 [続行] を選択します。
3. [新しい接続 (Azure Blob Storage)] ページで、 [Azure サブスクリプション] の一覧から自分の Azure サブスクリプションを選択し、 [ストレージアカウント名] の一覧から自分のストレージアカウントを選択します。接続をテストし、 [作成] を選択します。
4. [接続] ブロックで新しく作成した接続を選択します。
5. [ファイルまたはフォルダー] セクションで、 [参照] を選択して source フォルダーを選択し、 [OK] を選択します。
6. [File loading behavior]$ファイル読み込み動作$ で、 [Incremental load: LastModifiedDate]$増分読み込み: LastModifiedDate$ を選択して、 [Binary copy]$バイナリコピー$ を選択します。
7. [次へ] を選びます。
[Destination data store]$コピー先データストア$ ページで、次の手順のようにします。
1. 作成した AzureBlobStorage 接続を選択します。これは、コピー元データストアと同じストレージアカウントです。
2. [フォルダーパス] セクションで、destination フォルダーを見つけて選択し、 [OK] を選択します。
3. [次へ] を選びます。
$[Destination data store]$コピー先データストア$ ページを示すスクリーンショット。$
[設定] ページの [タスク名] に「DeltaCopyFromBlobPipeline」と入力し、 [次へ] を選択します。指定したタスク名のパイプラインが Data Factory によって作成されます。
[Summary]$概要$ ページで設定を確認し、 [次へ] を選択します。
[デプロイ] ページで [監視] を選択してパイプライン (タスク) を監視します。

$[Deployment]$デプロイ$ ページ$
左側の [監視] タブが自動的に選択されたことがわかります。アプリケーションの [監視] タブに切り替えます。パイプラインの状態が表示されます。 [最新の情報に更新] を選択して、一覧を更新します。 [パイプライン名] の下にあるリンクを選択して、アクティビティの実行の詳細を表示するか、パイプラインを再実行します。
パイプラインにはアクティビティ (コピーアクティビティ) が 1 つしかないため、エントリが 1 つだけ表示されます。コピー操作の詳細を確認するには、 [アクティビティの実行] ページで、 [アクティビティ名] 列の [詳細] リンク (眼鏡アイコン) を選択します。プロパティの詳細については、コピーアクティビティの概要に関するページを参照してください。

BLOB ストレージアカウントの source コンテナーにはファイルがないので、そのアカウントの destination コンテナーにコピーされたファイルは表示されません。
空のテキストファイルを作成し、file1.txt という名前を付けます。このテキストファイルを、ストレージアカウントの source コンテナーにアップロードします。この作業は、Azure Storage Explorer をはじめとするさまざまなツールを使用して実行できます。
[パイプラインの実行] ビューに戻るには、 [アクティビティの実行] ページの階層リンクメニューで [すべてのパイプラインの実行] を選択し、同じパイプラインが再び自動的にトリガーされるまで待ちます。
2 番目のパイプラインの実行が完了したら、前述と同じ手順に従って、アクティビティの実行の詳細を確認します。

BLOB ストレージアカウントの source コンテナーから destination コンテナーに 1 つのファイル (file1.txt) がコピーされたことが表示されます。
空のテキストファイルをもう 1 つ作成し、file2.txt という名前を付けます。このテキストファイルを BLOB ストレージアカウントの source コンテナーにアップロードします。
2 つ目のテキストファイルに対してステップ 11 と 12 を繰り返します。このパイプライン実行中に、ストレージアカウントの source コンテナーから destination コンテナーに新しいファイル (file2.txt) だけがコピーされたことがわかります。

Azure Storage Explorer を使用してファイルをスキャンすることにより、1 つのファイルだけがコピーされたことを確認することもできます。