データフローの更新
データフローを使用すると、ダウンストリームで使用するために、データの接続、変換、結合、ストレージへの読み込みを行えます。 データフローの重要な要素は更新プロセスです。更新プロセスでは、作成中に定義された変換手順を適用して、データを抽出、変換、およびターゲット ストレージに読み込みます。
データフローの更新は、オンデマンドまたは更新スケジュールの設定のいずれかの方法でトリガーできます。 スケジュールされた更新は、指定した特定の日時に基づいて実行されます。
前提条件
データフローを更新するための前提条件を次に示します:
オンデマンドの更新
データフローをオンデマンドで更新するには、ワークスペースの一覧または系列ビューにある [更新] アイコンを選択します。
オンデマンド データフロー更新をトリガーする方法は他にもあります。 データフローの発行が正常に完了すると、オンデマンドの更新が開始されます。 オンデマンド更新は、データフロー アクティビティを含むパイプライン を介してトリガーすることもできます。
スケジュールされている更新
スケジュールに従ってデータフローを自動的に更新するには、ワークスペースの一覧ビューにある [スケジュールされた更新] アイコンを選択します:
更新セクションでは、データフローを更新する頻度と時間枠を、1 日最大 48 時間までに定義します。 次のスクリーンショットは、12 時間間隔の更新スケジュールを示しています。
更新のキャンセル
データフローの更新の取り消しは、ピーク時に更新を停止する場合、容量が制限に近い場合、または更新に予想以上に時間がかかっている場合に便利です。 更新キャンセル機能を使用して、データフローの更新を停止します。
データフローの更新を取り消すには、ワークスペースの一覧にある [キャンセル] アイコンを選択するか、進行中の更新を含むデータフローの系列ビューを選択します。
データフローの更新が取り消されると、データフローの更新履歴の状態が更新され、取り消し状態が反映されます:
更新に関する制限事項
データフローの更新には、いくつかの制限があります。
- データフローごとに、24 時間 (ローリング ウィンドウ) あたり 150 回の更新のみが許可されます。 この制限を超えると、更新履歴にエラーが表示され、制限を下回った後に更新が再開されます。
- スケジュールされたデータフローの更新が連続して失敗した場合、データフロー更新スケジュールが一時停止され、データフローの所有者に電子メールが送信されます。 この場合、次の規則が適用されます。
- 72 時間 (3 日)
- 72 時間にわたって 100% の障害率
- 少なくとも 6 回の更新 (1 日に 2 回更新)
- 168 時間 (1週間)
- 168 時間にわたって 100% の障害率
- 少なくとも 5 回の更新 (1 日に 1 回の更新)
- 72 時間 (3 日)
- クエリの 1 回の評価には、8 時間の制限があります。
- データフローの 1 回の更新の合計更新時間は、最大 24 時間に制限されます。
- データフローごとに、最大 50 個のステージング クエリ、または出力先を持つクエリ、またはその両方の組み合わせを使用できます。
出力データに対する取り消しの影響を更新する
データフローの更新は、更新の取り消し機能を使用して、またはデータフローのクエリの処理中にエラーが発生した場合に停止できます。 宛先の種類や更新が停止されたタイミングに応じて、さまざまな結果を確認できます。 クエリの 2 種類のデータ変換先に対して考えられる結果を次に示します:
- クエリがステージングにデータを読み込んでいます。最後に正常に更新されたデータを使用できます。
- クエリがデータ変換先にデータを読み込んでいます。取り消し時点まで書き込まれたデータを使用できます。
データフロー内のすべてのクエリが同時に処理されるわけではありません。たとえば、データフローに多数のクエリが含まれている場合や、一部のクエリが他のクエリに依存している場合などです。 変換先にデータを読み込むクエリの評価が開始される前に更新が取り消された場合、そのクエリの変換先のデータは変更されません。