Data Factory for Microsoft Fabric の Copy ジョブ (プレビュー) とは
Fabric の Data Factory を使用すると、ユーザーは、視覚的に直感的なインターフェイスを介して、100 を超える組み込みコネクタ (ソースとコピー先の両方) のデータをシームレスに統合できます。 データ パイプライン内で動作する Copy "アクティビティ" により、データ インジェストが容易になります。 一方、Dataflow Gen2 はデータ変換をサポートし、パイプラインは統合のフローを調整します。
Copy ジョブの利点
データ パイプライン内の Copy アクティビティは、一括またはバッチ操作によるデータ インジェストを処理しますが、Data Factory でデータ パイプラインを作成することは、この分野の初心者ユーザーの多くにとって依然として困難であり、学習曲線が急になります。 そのため、Microsoft では Copy ジョブを導入しました。これにより、任意のソースから任意のコピー先へのデータ インジェスト エクスペリエンスがより効率化されます。 データのコピーがこれまでよりもさらに簡単になりました。 さらに、Copy ジョブを使用すると、バッチ コピーと増分コピーの両方を含むさまざまなデータ配信スタイルがサポートされ、特定のニーズを満たす柔軟性が提供されます。
他のデータ移動方法と比較した Copy ジョブの利点は次のとおりです。
- 直感的なエクスペリエンス: 妥協することなく、これまで以上に簡単にシームレスなデータ コピーを体験できます。
- 効率性: 増分コピーを簡単に実行でき、手動による介入が削減されます。 この効率性により、リソースの使用量が削減され、コピー時間が短縮されます。
- 柔軟性: シンプルさを享受しながら、データ移動を制御する柔軟性も得られます。 コピーするテーブルと列を選択し、データをマップし、読み取り/書き込み動作を定義し、1 回限りのタスクでも定期的な操作でも、ニーズに合ったスケジュールを設定します。
- 堅牢なパフォーマンス: サーバーレス セットアップにより、大規模な並列処理によるデータ転送が可能になり、システムのデータ移動スループットが最大化されます。
サポートされているコネクタ
現在、Copy ジョブは、クラウド データ転送、またはゲートウェイを経由したオンプレミス データ ストアからのデータのコピーに使用できます。 Copy ジョブでは、ソースおよびコピー先の両方として次のデータ ストアがサポートされます。
- Azure SQL DB
- オンプレミスの SQL Server
- Fabric Warehouse
- Fabric Lakehouse
- Amazon S3
- Azure Data Lake Storage Gen2
- Azure Blob Storage
- Amazon RDS for SQL Server
製品チームは、コネクタのサポートについてさらに調査しているので、最新情報を随時お知らせします。
コピー動作
次のデータ配信スタイルから選択できます。
- 完全コピー モード: コピー ジョブを実行するたびに、ソースからコピー先にすべてのデータが一度にコピーされます。
- 増分コピー モード: 最初のジョブ実行ですべてのデータがコピーされ、後続のジョブ実行では前回の実行以降の変更のみがコピーされます。 変更されたデータは、コピー先ストアに追加されます。
また、コピー先ストアにデータを書き込む方法も選択できます。
変更履歴が失われないように、Copy ジョブでは、既定により、データをコピー先に追加します。 ただし、書き込み動作を調整して、アップサートまたは上書きを設定することもできます。
- データをストレージ ストアにコピーする場合: テーブルまたはファイルの新しい行は、コピー先の新しいファイルにコピーされます。 同じ名前を持つファイルがターゲット ストアに既に存在する場合、そのファイルは上書きされます。
- データをデータベースにコピーする場合: テーブルまたはファイルの新しい行は、コピー先テーブルに追加されます。 書き込み動作をアップサート (SQL DB または SQL Server の場合)、または上書き (Fabric Lakehouse テーブルの場合) に変更できます。
増分列
増分コピー モードでは、各テーブルで、変更を識別するための増分列を選択する必要があります。 この列は、Copy ジョブでウォーターマークとして使用され、新しいデータまたは更新されたデータのみをコピーするために、列の値を、前回の実行時の同じ列の値と比較します。 増分列は、タイムスタンプまたは増加する INT である必要があります。
利用可能なリージョン
Copy ジョブのリージョン別の提供状況は、パイプラインと同じです。
価格
Copy ジョブでは、データ移動と同じ課金メーター (同じ従量課金レート) が使用されます。