データをコピーし、成功および失敗に関するメール通知を送信する

[アーティクル]
10/03/2024

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータサイエンス、リアルタイム分析、ビジネスインテリジェンス、レポートまで、あらゆるものをカバーしています。無料で新しい試用版を開始する方法について説明します。

このチュートリアルでは、いくつかの制御フロー機能を紹介する Data Factory パイプラインを作成します。このパイプラインでは、Azure Blob Storage 内のコンテナーから同じストレージアカウント内の別のコンテナーへの単純なコピーを行います。コピーアクティビティが成功した場合、成功したコピー操作の詳細 (書き込まれたデータの量など) がパイプラインによって成功電子メールで送信されます。コピーアクティビティが失敗した場合、コピー失敗の詳細 (エラーメッセージなど) がパイプラインによって失敗電子メールで送信されます。チュートリアル全体を通じて、パラメーターを渡す方法が示されます。

シナリオの概要: コピー対象である Azure Blob Storage を示す図。成功した場合は詳細を含むメールを送信し、失敗した場合はエラーの詳細を含むメールを送信します。

このチュートリアルでは、以下の手順を実行します。

データファクトリを作成します。
Azure Storage のリンクされたサービスを作成します。
Azure BLOB データセットを作成します。
コピーアクティビティと Web アクティビティを含むパイプラインを作成します。
アクティビティの出力を後続のアクティビティに送信します。
パラメーターの引き渡しとシステム変数を利用します。
パイプラインの実行を開始します。
パイプラインとアクティビティの実行を監視します。

このチュートリアルでは、Azure Portal を使用します。その他のメカニズムを使用して Azure Data Factory を操作する場合は、目次から「クイックスタート」を参照してください。

前提条件

Azure サブスクリプション。 Azure サブスクリプションをお持ちでない場合は、開始する前に無料アカウントを作成してください。
Azure Storage アカウント。 BLOB ストレージをソース データストアとして使用します。 Azure ストレージアカウントがない場合、ストレージアカウントの作成手順については、「ストレージアカウントの作成」を参照してください。
Azure SQL データベース。データベースをシンク データストアとして使用します。 Azure SQL Database のデータベースがない場合の作成手順については、Azure SQL Database のデータベースの作成に関する記事を参照してください。

BLOB テーブルを作成する

メモ帳を起動します。次のテキストをコピーし、input.txt ファイルとしてディスクに保存します。
```
John,Doe
Jane,Doe
```
Azure Storage Explorer などのツールを使用して、次の手順を実行します。
1. adfv2branch コンテナーを作成します。
2. adfv2branch コンテナーに input フォルダーを作成します。
3. input.txt ファイルをコンテナーにアップロードします。

電子メールワークフローエンドポイントを作成する

パイプラインからメール送信をトリガーするには、Azure Logic Apps を使用してワークフローを定義します。ロジックアプリワークフローの作成の詳細については、「従量課金ロジックアプリワークフローの例を作成する」を参照してください。

成功電子メールのワークフロー

CopySuccessEmail という名前の、従量課金ロジックアプリワークフローを作成します。 [HTTP 要求の受信時] という名前の要求トリガーを追加し、[メールの送信] という名前の [Office 365 Outlook] アクションを追加します。メッセージが表示されたら、Office 365 Outlook アカウントにサインインします。

成功メールワークフローのスクリーンショットを示します。

要求トリガーの [要求本文の JSON スキーマ] ボックスに、次の JSON を入力します。

{
    "properties": {
        "dataFactoryName": {
            "type": "string"
        },
        "message": {
            "type": "string"
        },
        "pipelineName": {
            "type": "string"
        },
        "receiver": {
            "type": "string"
        }
    },
    "type": "object"
}

ワークフローデザイナーでの [要求] トリガーは、次の図のようになります。

[要求] トリガーがあるワークフローデザイナーのスクリーンショットが示されています。

[メールの送信] アクションに対しては、[要求本文の JSON スキーマ] で渡されるプロパティを利用して、メールの書式設定をカスタマイズします。たとえば次のようになります。

[メールの送信] という名前のアクションがあるワークフローデザイナーのスクリーンショットが示されています。

ワークフローを保存します。成功電子メールワークフローの HTTP Post 要求 URL をメモしておきます。

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

失敗電子メールのワークフロー

同じ手順に従って、CopyFailEmail という名前の、別のロジックアプリワークフローを作成します。要求トリガーでは、[要求本文の JSON スキーマ] の値は同じです。 Subject のように電子メールの書式を変更し、失敗電子メールになるように調整します。たとえば次のようになります。

失敗メールのワークフローがあるワークフローデザイナーのスクリーンショットが示されています。

ワークフローを保存します。失敗電子メールワークフローの HTTP Post 要求 URL をメモしておきます。

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

2 つのワークフローの URL を取得できました。

//Success Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

//Fail Request Url
https://prodxxx.eastus.logic.azure.com:443/workflows/000000/triggers/manual/paths/invoke?api-version=2016-10-01&sp=%2Ftriggers%2Fmanual%2Frun&sv=1.0&sig=000000

Data Factory の作成

Web ブラウザー (Microsoft Edge または Google Chrome) を起動します。現在、Data Factory の UI がサポートされる Web ブラウザーは Microsoft Edge と Google Chrome だけです。
左上のメニューを展開し、[リソースの作成] を選択します。次に、>[統合]>[Data Factory] を選択します。
[新しいデータファクトリ] ページで、 [名前] に「ADFTutorialDataFactory」と入力します。

Azure データファクトリの名前は グローバルに一意にする必要があります。次のエラーが発生した場合は、データファクトリの名前を変更して (yournameADFTutorialDataFactory など) 作成し直してください。 Data Factory アーティファクトの名前付け規則については、Data Factory の名前付け規則に関する記事を参照してください。

データファクトリ名 "ADFTutorialDataFactory" は利用できません。
データファクトリを作成する Azure サブスクリプションを選択します。
[リソースグループ] について、次の手順のいずれかを行います。
- [Use existing (既存のものを使用)] を選択し、ドロップダウンリストから既存のリソースグループを選択します。
- [新規作成] を選択し、リソースグループの名前を入力します。
  
  リソースグループの詳細については、リソースグループを使用した Azure のリソースの管理に関するページを参照してください。
バージョンとして [V2] を選択します。
データファクトリの場所を選択します。サポートされている場所のみがドロップダウンリストに表示されます。データファクトリで使用するデータストア (Azure Storage、Azure SQL Database など) やコンピューティング (HDInsight など) は他のリージョンに配置できます。
[ダッシュボードにピン留めする] をオンにします。
Create をクリックしてください。
作成が完了すると、図に示されているような [Data Factory] ページが表示されます。
[Azure Data Factory Studio を開く] タイルをクリックして、別のタブで Azure Data Factory ユーザーインターフェイス (UI) を起動します。

パイプラインを作成する

この手順では、1 つのコピーアクティビティと 2 つの Web アクティビティが含まれたパイプラインを作成します。このパイプラインの作成には次の機能を使用します。

データセットによってアクセスされるパイプラインのパラメーター。
成功/失敗電子メールを送信するロジックアプリワークフローを呼び出す Web アクティビティ。
(成功および失敗に基づいた) あるアクティビティと別のアクティビティの接続
アクティビティからの出力を後続のアクティビティへの入力として使用する

Data Factory UI のホームページで [調整] タイルをクリックします。
パイプラインのプロパティウィンドウで [パラメーター] タブに切り替え、 [新規] ボタンを使用して、種類が文字列の 3 つのパラメーター (sourceBlobContainer、sinkBlobContainer、receiver) を追加します。
- sourceBlobContainer - ソース BLOB データセットによって使用されるパイプライン内のパラメーターです。
- sinkBlobContainer - シンク BLOB データセットによって使用されるパイプライン内のパラメーターです。
- receiver - このパラメーターは、このパラメーターによって電子メールアドレスが指定されている受信者に成功または失敗の電子メールを送信するパイプライン内の 2 つの Web アクティビティによって使用されます。
[アクティビティ] ツールボックスで [Copy] を見つけ、パイプラインデザイナー画面に [Copy] アクティビティをドラッグアンドドロップします。
パイプラインデザイナーのサーフェスにドラッグした [Copy] アクティビティを選択します。下部にある [コピー] アクティビティのプロパティ ウィンドウで、 [ソース] タブに切り替えて [+ 新規] をクリックします。この手順でコピーアクティビティのソースデータセットを作成します。
[新しいデータセット] ウィンドウで、上部にある [Azure] タブを選択し、次に [Azure Blob Storage] を選択し、[続行] を選択します。
[書式の選択] ウィンドウで、[DelimitedText] を選択し、[続行] を選択します。
[プロパティの設定] という新しいタブが表示されます。データセットの名前を「SourceBlobDataset」に変更します。 [リンクサービス] ドロップダウンを選択し、[+ 新規] を選択して、ソースデータセットに新しいリンクサービスを作成します。
[新しいリンクサービス] ウィンドウが表示され、リンクサービスに必要なプロパティを入力できます。
[New Linked Service](新しいリンクされたサービス) ウィンドウで、次の手順を完了します。
1. [名前] に「AzureStorageLinkedService」と入力します。
2. [ストレージアカウント名] で Azure ストレージアカウントを選択します。
3. Create をクリックしてください。
次に表示される [プロパティの設定] ウィンドウで、[このデータセットを開く] を選択して、ファイル名のパラメーター化された値を入力します。
フォルダーには「@pipeline().parameters.sourceBlobContainer」、ファイル名には「emp.txt」と入力します。
[パイプライン] タブに戻り (または左側のツリービューでパイプラインをクリック)、デザイナーで [Copy] アクティビティを選択します。 ソースデータセットとして新しいデータセットが選択されていることを確認します。
プロパティウィンドウで [シンク] タブに切り替えて、 [Sink Dataset](シンクデータセット) の [+ 新規] をクリックします。ソースデータセットの作成と同様のこの手順では、コピーアクティビティのシンクデータセットを作成します。
[新しいデータセット] ウィンドウで、[Azure Blob Storage] を選択し、[続行] をクリックし、その後 [書式の選択] ウィンドウでもう一度 [DelimitedText] を選択し、[続行] をもう一度クリックします。
データセットの [プロパティの設定] ページで、[名前] に SinkBlobDataset を入力し、LinkedService に AzureStorageLinkedService を選択します。
プロパティページの [詳細] セクションを展開し、[このデータセットを開く] を選択します。
データセットの [接続] タブで、[ファイルのパス] を編集します。フォルダーには「@pipeline().parameters.sinkBlobContainer」、ファイル名には「@concat(pipeline().RunId, '.txt')」と入力します。この式では、ファイル名に現在のパイプライン実行の ID を使用します。サポートされているシステム変数および式の一覧については、システム変数に関するページと式言語に関するページを参照してください。
上部にあるパイプラインのタブに切り替えて戻ります。検索ボックスで Web を検索し、[Web] アクティビティをパイプラインデザイナー画面にドラッグアンドドロップします。アクティビティの名前を「SendSuccessEmailActivity」に設定します。 Web アクティビティでは、任意の REST エンドポイントを呼び出すことができます。このアクティビティの詳細については、Web アクティビティに関する記事を参照してください。このパイプラインでは、Web アクティビティを使用して Logic Apps 電子メールワークフローを呼び出します。
[General](一般) タブから [設定] タブに切り替えて、次の手順を実行します。
1. [URL] で、成功電子メールを送信するロジックアプリワークフローの URL を指定します。
2. [メソッド] に [POST] を選択します。
3. [ヘッダー] セクションにある + [ヘッダーの追加] リンクをクリックします。
4. [コンテンツの種類] というヘッダーを追加し、それを application/json に設定します。
5. [本文] に次の JSON を指定します。
```
{
    "message": "@{activity('Copy1').output.dataWritten}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}
```
  メッセージの本文には次のプロパティが含まれます。
  - Message - @{activity('Copy1').output.dataWritten から渡される値。前のコピーアクティビティのプロパティにアクセスし、dataWritten の値を渡します。失敗の場合、@{activity('CopyBlobtoBlob').error.message の代わりにエラー出力を渡します。
  - Data Factory Name - @{pipeline().DataFactory} から渡される値。これはシステム変数であり、対応するデータファクトリ名へのアクセスを可能にします。サポートされているシステム変数の一覧については、「システム変数」の記事を参照してください。
  - Pipeline Name - @{pipeline().Pipeline} から渡される値。これもシステム変数であり、対応するパイプライン名へのアクセスを可能にします。
  - Receiver - "@pipeline().parameters.receiver") から渡される値。パイプラインパラメーターにアクセスします。
Copy アクティビティの横にある緑のチェックボックスボタンを Web アクティビティにドラッグアンドドロップして、[Copy] アクティビティを [Web] アクティビティに接続します。
[アクティビティ] ツールボックスからパイプラインデザイナー画面に別の [Web] アクティビティをドラッグアンドドロップし、 [名前] を「SendFailureEmailActivity」に設定します。
[設定] タブに切り替えて、次の手順を実行します。
1. [URL] で、失敗電子メールを送信するロジックアプリワークフローの URL を指定します。
2. [メソッド] に [POST] を選択します。
3. [ヘッダー] セクションにある + [ヘッダーの追加] リンクをクリックします。
4. [コンテンツの種類] というヘッダーを追加し、それを application/json に設定します。
5. [本文] に次の JSON を指定します。
```
{
    "message": "@{activity('Copy1').error.message}",
    "dataFactoryName": "@{pipeline().DataFactory}",
    "pipelineName": "@{pipeline().Pipeline}",
    "receiver": "@pipeline().parameters.receiver"
}
```
パイプラインデザイナーで [Copy] アクティビティの右側にある赤い [X] ボタンを選択し、先ほど作成した SendFailureEmailActivity にドラッグアンドドロップします。
パイプラインを検証するために、ツールバーの [検証] ボタンをクリックします。 >> ボタンをクリックして [Pipeline Validation Output](パイプラインの検証の出力) ウィンドウを閉じます。
エンティティ (データセットやパイプラインなど) を Data Factory サービスに発行するには、 [すべて公開] を選択します。 [正常に発行されました] というメッセージが表示されるまで待機します。

成功するパイプラインの実行をトリガーする

パイプラインの実行をトリガーするために、ツールバーの [トリガー] をクリックし、 [Trigger Now](今すぐトリガー) をクリックします。
[Pipeline Run](パイプラインの実行) ウィンドウで、次の手順を実行します。
1. sourceBlobContainer パラメーターに「adftutorial/adfv2branch/input」を入力します。
2. sinkBlobContainer パラメーターに「adftutorial/adfv2branch/output」を入力します。
3. receiver のメールアドレスを入力します。
4. [完了] をクリックします。

成功したパイプラインの実行を監視する

パイプラインの実行を監視するには、左側の [監視] タブに切り替えます。手動でトリガーしたパイプラインの実行が表示されます。 [最新の情報に更新] ボタンを使用して、一覧を更新します。
このパイプラインの実行に関連付けられているアクティビティの実行を表示するには、 [アクション] 列にある最初のリンクをクリックします。上部の [パイプライン] をクリックすると、前のビューに戻ることができます。 [最新の情報に更新] ボタンを使用して、一覧を更新します。

失敗するパイプラインの実行をトリガーする

左側で [編集] タブに切り替えます。
パイプラインの実行をトリガーするために、ツールバーの [トリガー] をクリックし、 [Trigger Now](今すぐトリガー) をクリックします。
[Pipeline Run](パイプラインの実行) ウィンドウで、次の手順を実行します。
1. sourceBlobContainer パラメーターに「adftutorial/dummy/input」を入力します。ダミーフォルダーが adftutorial コンテナーに存在しないことを確認します。
2. sinkBlobContainer パラメーターに「adftutorial/dummy/output」を入力します。
3. receiver のメールアドレスを入力します。
4. [完了] をクリックします。

失敗したパイプラインの実行を監視する

パイプラインの実行を監視するには、左側の [監視] タブに切り替えます。手動でトリガーしたパイプラインの実行が表示されます。 [最新の情報に更新] ボタンを使用して、一覧を更新します。
エラーの詳細を表示するには、パイプラインの実行の [エラー] リンクをクリックします。
このパイプラインの実行に関連付けられているアクティビティの実行を表示するには、 [アクション] 列にある最初のリンクをクリックします。 [最新の情報に更新] ボタンを使用して、一覧を更新します。パイプラインのコピーアクティビティが失敗したことがわかります。 Web アクティビティによる指定された受信者への失敗電子メールの送信は成功しました。
[アクション] 列の [エラー] リンクをクリックして、エラーの詳細を表示します。

このチュートリアルでは、以下の手順を実行しました。

データファクトリを作成します。
Azure Storage のリンクされたサービスを作成します。
Azure BLOB データセットを作成します。
コピーアクティビティと Web アクティビティを含むパイプラインを作成します。
アクティビティの出力を後続のアクティビティに送信します。
パラメーターの引き渡しとシステム変数を利用します。
パイプラインの実行を開始します。
パイプラインとアクティビティの実行を監視します。

これで、「概念」セクションに進み、Azure Data Factory の詳細について学習できるようになりました。

パイプラインとアクティビティ

次の方法で共有

データをコピーし、成功および失敗に関するメール通知を送信する

前提条件

BLOB テーブルを作成する

電子メールワークフローエンドポイントを作成する

成功電子メールのワークフロー

失敗電子メールのワークフロー

Data Factory の作成

パイプラインを作成する

成功するパイプラインの実行をトリガーする

成功したパイプラインの実行を監視する

失敗するパイプラインの実行をトリガーする

失敗したパイプラインの実行を監視する

フィードバック

その他のリソース

次の方法で共有

データをコピーし、成功および失敗に関するメール通知を送信する

前提条件

BLOB テーブルを作成する

電子メール ワークフロー エンドポイントを作成する

成功電子メールのワークフロー

失敗電子メールのワークフロー

Data Factory の作成

パイプラインを作成する

成功するパイプラインの実行をトリガーする

成功したパイプラインの実行を監視する

失敗するパイプラインの実行をトリガーする

失敗したパイプラインの実行を監視する

関連するコンテンツ

フィードバック

その他のリソース

電子メールワークフローエンドポイントを作成する