増分更新のクエリと分析
Microsoft Dataverse データ (Dynamics 365 アプリや財務と運用のデータを含む) は、トランザクションの作成、更新、削除によって継続的に変更されます。 増分更新オプションを使用すると、これらの変更を下流のシステムやデータベースに適用する増分データ パイプラインを構築できます。 Dataverse に対応した Synapse Link は、ユーザーが指定した時間間隔で変更されたデータを含むタイムスタンプ付きフォルダに増分データをエクスポートします。
増分更新機能は、次のようないくつかのシナリオで活用できます:
下流のデータストアまたはデータ ウェアハウスを更新します。 Power Apps および Dynamics 365 データからの変更を下流のデータストアに適用する必要がある場合があります。 差分更新は、(Azure Data Factory など) 大部分のデータ変換ツールの標準機能です。 ただし、差分更新機能を使用するには、ソース テーブルで変更されたレコードを識別する必要があります。 増分更新機能では、変更されたデータがファイル セットとして提供されるため、テーブルの前後のイメージを比較して変更を検出する必要がありません。
大規模なデータセットの変更を分析する。 大規模なデータセットの変更を分析する必要がある場合、増分更新機能により、小さなバッチで継続的なデータ ストリームが提供されるため、すべてのデータを保存する必要がなくなります。 このオプションを使用すると、古くなったデータや停滞したデータを削除してデータ ストレージ コストを節約できるほか、ユーザーが指定した期間に関連するデータの変更を追跡することもできます。
Azure Synapse Link for Dataverse また、Azure Data Lake (Gen 2) ストレージ内のテーブルのレプリカをエクスポートして維持するオプションも提供されます。 Azure Synapse Link を構成して、テーブルのレプリカをエクスポートするだけでなく、増分データをエクスポートすることもできます。 各構成 (「Synapse Link プロファイル」と呼ばれる) では、テーブルまたは増分データのいずれかをエクスポートできます。 複数のプロファイルを作成することはできますが、同じプロファイル内でテーブルと増分更新の両方を構成することはできません。
重要
この機能を有効にすると、データのコピーを含む初期のタイムスタンプ付きフォルダーが作成されます。 後続のタイムスタンプおよびテーブル フォルダは、ユーザーが指定した時間間隔中にデータの更新があった場合にのみ作成されます。
増分更新機能を使用して Synapse Link プロファイルを作成すると、その構成は Synapse Link プロファイル内の選択されたすべてのテーブルに適用されます。
この機能はオプションでは有効化できません: Azure Synapse workspace に接続する。 Azure Synapse 分析にアクセスする必要がある場合は、この手順に従ってリンクを設定してください: Azure Synapse workspace で Azure Synapse Link for Dataverse を作成する
この機能は、Dynamics 365財務と運用アプリに搭載された データ レイクへのエクスポート内の変更のフィード 機能 に相当します。 変更フィード 機能を使用しているお客様には、テーブル データをエクスポートしなくても、変更データを含む Synapse Link プロファイルを有効にするオプションがあります。
前提条件
このガイドは、Azure Synapse Link 作成の前提条件をすでに満たしていることを前提としています。 詳細: Azure Data Lake で Azure Synapse Link for Dataverse を作成する
増分データをエクスポートするための Synapse Link プロファイルを作成する
Power Apps に移動して環境を選択します。
左側のナビゲーション ウィンドウで、Azure Synapse Link を選択します。 項目がサイド パネル ウィンドウに表示されない場合は、…さらに表示 を選択して、目的の項目を選択します。
コマンド バーで、+ 新規リンクを選択します。
サブスクリプション、リソース グループ、ストレージ アカウントを選択します。 次へを選択します。
Azure Synapse Workspace への接続 オプションを選択しないでください。 このオプションを選択すると、増分更新機能は無効になります。
エクスポートするテーブルを追加します。 Dataverse 環境が財務と運用アプリにリンクされている場合、財務と運用アプリからテーブルを選択することもできます。
詳細 をクリックします。
詳細な構成設定を表示すると増分更新フォルダー構造を有効にするをオンにします。
増分更新をキャプチャする頻度の時間間隔 (分単位) を入力してから、保存を選択します。
注意
最小の時間間隔は 5 分です。 つまり、増分更新フォルダは 5 分ごとに作成され、その間に発生した変更が含まれます。 この設定は、テーブルの管理からリンク作成後に構成することもできます。 最大の時間間隔は 1140 分 (または 24 時間) です。
設定の最初のページで Azure Synapse workspace Azure Synapse workspaceに接続する がチェックされていないことを確認します。
タイム スタンプ フォルダの増分データは、カンマ区切り値のテキスト ファイル (CSV ファイル) として保存されます。 増分データに Delta 変換機能を使用し、Delta parquet 形式の増分ファイルを取得することはできません。
Microsoft Azure Storage で増分フォルダーを表示する
増分データを含む Synapse Lin kプロファイルを作成すると、システムはすべてのテーブルの初期コピーを作成し、最初の増分更新フォルダに保存します。 最初のコピーが作成されると、システムは変更されたデータを含む後続の更新フォルダを作成します。 選択したテーブルのいずれにも変更がない場合、増分データ フォルダーは表示されません。
ストレージ アカウント内の増分データ フォルダーを表示するには:
希望の Azure Synapse Link を選択してから、コマンド バーで Azure Data Lake に移動するを選択します。
データ ストレージで、コンテナーを選択します。
dataverse-environmentName-organizationUniqueName を選択します。 増分更新フォルダーは、UTC の作成タイムスタンプ ("yyyy-MM-dd'T'HH:mm:ss.SSSz") によって名前が付けられます。 タイムスタンプが付けられたフォルダー間の時間差は、詳細設定で指定した時間間隔であることに注意してください。
タイムスタンプが付けられた各フォルダー内には、各テーブルのフォルダーが存在します。 選択したすべてのテーブルが時間間隔中に変更されたわけではなく、データが変更したテーブルに対応するフォルダーのみが表示されます。
注意
再試行メカニズムの機能により、ユーザーが指定した時間間隔内に空のタイムスタンプ フォルダーがさらに作成される場合があります。
増分データを利用する
Azure Data Factory や Azure Synapse Analytics パイプラインなどのデータ統合ツールを使用して、増分データを Azure SQL Database またはデータ ウェアハウスにコピーできます。 この目的に使用できるサンプル データ パイプラインを提供します。 詳細については、「データを Azure SQL にコピー Dataverse する」を参照してください。
変更フィード機能から移行する Dynamics 365 財務と運用アプリの顧客の場合は、GitHub で提供されているデータ統合サンプル ツールを使用して、変更フィード機能で使用されている既存のデータパイプラインを更新することができます。
増分データを消費するための独自のデータ パイプラインを構築することもできます。 ただし、独自のパイプラインを設計する場合は、次のベスト プラクティスを考慮する必要があります。
- 以前のタイムスタンプ付きフォルダのデータのみを消費する: こうすることで、現在のフォルダのデータを継続的に更新している可能性のある Synapse Link サービスとの読み取り/書き込みの競合を回避できます。 現在のフォルダーは、 Changelog/changelog.info ファイルを表示することで見つけることができます。 このファイルは読み取り専用ファイルで、現在更新されているフォルダー名を含む 1 行が含まれています。 システムが不安定になる可能性があるため、このファイルを更新しないでください。
- 各タイムスタンプ付きフォルダー内にある model.json ファイルを表示して、テーブル フォルダーに含まれるデータの列名などのメタデータを読み取ることができます。 タイムスタンプ付きフォルダー内にあるフォルダーの各 model.json ファイルには、タイムスタンプ付きフォルダー内に含まれるテーブルだけでなく、すべてのテーブルのメタデータが含まれていることに注意してください。
- Synapse.log ファイルなどの他のログ ファイルの使用は避けてください。 このファイルは内部目的で使用されるため、正確なデータが反映されない可能性があります。
- 処理が完了したら、Azure Data Lake から古い増分フォルダーを削除することを検討してください。 現在、Synapse Link は、不具合から回復できるように、Azure Storage 内のこれらのファイルのリースを維持しています。 システムはしばらくするとリースを解放する可能性があります。
