データ パイプラインのサービス レベル アグリーメントを提供する
適用対象: 
Azure Data Factory 
Azure Synapse Analytics
ヒント
企業向けのオールインワン分析ソリューション、Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。
Azure Data Factory は世界中の企業に支持され、信頼されています。 これは、スケールアウトのサーバーレス データ統合とデータ変換のための Azure のネイティブ クラウド ETL サービスとして、データ パイプラインを実装してデータを準備、処理し、エンタープライズ データ ウェアハウスまたはデータ レイクに読み込むために、広く使用されています。
データ パイプラインは、Git モードで継続的インテグレーションと継続的デリバリー (CI/CD) を通じて、またはライブ モードで直接公開された後、通常はオートパイロットで実行されます。 これらは、スケジュール トリガーまたはタンブリング ウィンドウ トリガーを使用して、定義済みのタイムテーブルに基づいて実行するか、ストレージ イベント トリガーまたはカスタム イベント トリガーを使用してイベント駆動型アーキテクチャで実行できます。 これらにはミッション クリティカル ワークロードが託されており、ビジネス レポートまたはデータ分析と機械学習プロジェクト用のデータが準備されます。
実行時間の長いジョブに関する事前警告
これらのデータ パイプラインのサービス レベル アグリーメント (SLA) を提供する場合、2 つの大きな課題があります。
- アクティビティのコンピューティング環境 (たとえば、ストアド プロシージャ アクティビティの SQL) でスロットルが実行され、データ パイプライン全体の速度が低下し、パイプラインの SLA が損なわれる可能性があります。
- パイプライン開発者は、常にファクトリを積極的に監視し、SLA を満たさない実行時間の長いパイプラインを事前に探しているわけではありません。
これらの問題に対処するため、適切に構成されていれば、SLA が満たされない場合にパイプラインの実行によって "経過時間パイプライン実行" メトリックが出力されます。 Data Factory のアラートと組み合わせることで、データ パイプライン開発者はより適切に SLA をお客様に提供することができます。パイプラインの予想実行時間を Microsoft に知らせておくと、パイプラインの実行時間が予想より長いときに Microsoft から事前に通知されます。
作成フェーズ中、アラートを作成する各パイプラインで、パイプライン キャンバスの空白領域をクリックしてパイプラインの設定に移動します。
[設定] タブで、[Elapsed time metric]\(経過時間メトリック\) をオンにし、予想されるパイプラインの実行時間を D.HH:MM:SS 形式で指定します。 これは、ビジネス SLA (パイプラインがビジネス ニーズを満たすのにかかると思われる時間) に設定することを強くお勧めします。 パイプラインの期間がこの設定を超えると、Data Factory によって "経過時間パイプライン実行" メトリック (メトリック ID: PipelineElapsedTimeRuns) が Azure Monitor にログされます。 つまり、パイプラインが最終的に終了する前に、実行時間の長いパイプラインについて "事前に" 通知されます。
Microsoft では、一部のパイプラインは他のものより多くの手順を含んでいたり、より多くのデータを移動したりするために、完了により多くの時間がかかるのは当然であると理解しています。 実行時間の長いパイプラインでは、すべてに適した定義はありません。 SLA が必要なすべてのパイプラインで、それぞれしきい値を定義することをお勧めします。 また、特定のパイプラインのメトリックをログする場合は、予想される実行時間に関するそのユーザー定義の設定と比較されます。
Note
これは、パイプラインごとのオプトイン機能です。 前述のパイプラインに予想される実行時間が指定されていない場合、パイプラインのメトリックがログされることはありません。
手順に従って、メトリックに Data Factory のアラートを設定してください。 エンジニアには、介入して SLA を満たすための手順を行うように、電子メールまたは SMS を通じて通知が送られます。