Microsoft Fabric の Data Factory における Copy ジョブ (プレビュー) とは
Fabric の Data Factory を使用すると、ユーザーは、視覚的に直感的なインターフェイスを介して、100 を超える組み込みコネクタ (ソースとコピー先の両方) のデータをシームレスに統合できます。 データ パイプライン内で動作する Copy "アクティビティ" により、データ インジェストが容易になります。 一方、Dataflow Gen2 はデータ変換をサポートし、パイプラインは統合のフローを調整します。
コピー作業の利点
データ パイプライン内のコピー アクティビティは一括/バッチ操作によるデータ インジェストを処理しますが、Data Factory でデータ パイプラインを作成することは、現場を初めて使用する多くのユーザーにとって、より急な学習曲線で課題となることが引き続き証明されます。 そのため、私たちは大いに喜びつつ Copy ジョブを導入しました。これにより、任意のソースから任意の目的地へのデータインジェスト エクスペリエンスがより効率的でユーザーフレンドリーなものになります。 データのコピーがこれまでよりもさらに簡単になりました。 さらに、Copy ジョブを使用すると、バッチ コピーと増分コピーの両方を含むさまざまなデータ配信スタイルがサポートされ、特定のニーズを満たす柔軟性が提供されます。
他のデータ移動方法と比較した Copy ジョブの利点は次のとおりです。
- 直感的なエクスペリエンス: 妥協することなく、これまで以上に簡単にシームレスなデータ コピーを体験できます。
- 効率性: 増分コピーを簡単に実行でき、手動による介入が削減されます。 この効率性により、リソースの使用量が削減され、コピー時間が短縮されます。
- 柔軟性: シンプルさを享受しながら、データ移動を制御する柔軟性も得られます。 コピーするテーブルと列を選択し、データをマップし、読み取り/書き込み動作を定義し、1 回限りのタスクでも定期的な操作でも、ニーズに合ったスケジュールを設定します。
- 堅牢なパフォーマンス: サーバーレス セットアップにより、大規模な並列処理によるデータ転送が可能になり、システムのデータ移動スループットが最大化されます。
サポートされているコネクタ
現在、Copy ジョブは、クラウド データ転送、またはゲートウェイを経由したオンプレミス データ ストアからのデータのコピーに使用できます。 Copy ジョブでは、ソースおよびコピー先の両方として次のデータ ストアがサポートされます。
- Azure SQL DB
- オラクル
- オンプレミスの SQL Server
- Fabric Warehouse
- Fabric Lakehouse
- Amazon S3
- Azure Data Lake Storage Gen2
- Azure Blob Storage（アジュール ブロブ ストレージ）
- Azure SQL MI
- Snowflake
- Azure Synapse Analytics
- アジュール データ エクスプローラー (Azure Data Explorer)
- Azure PostgreSQL
- Google Cloud Storage
- MySQL
- Azure MySQL
注
- 一部のコネクタはまだ増分コピーをサポートしていませんが、近日中に使用できるようになります。
- 製品チームは、より多くのコネクタのサポートを迅速に調査しているため、更新プログラムについてご期待ください。
コピー動作
次のデータ配信スタイルから選択できます。
完全コピー モード: コピー ジョブを実行するたびに、ソースからコピー先にすべてのデータが一度にコピーされます。
増分コピー モード: 最初のジョブ実行ですべてのデータがコピーされ、後続のジョブ実行では前回の実行以降の変更のみがコピーされます。 変更されたデータは、宛先ストアに追加されます。
注
増分コピー モードはまだプレビュー段階ですが、近日中に一般公開される予定です。
また、転送先ストアにデータを書き込む方法を選択することもできます。
既定では、コピー ジョブ は、変更履歴を見逃さないように、 データを宛先に追加します。 ただし、更新方法をマージまたは上書きに調整することもできます。 マージを実行するときは、キー列を指定する必要があります。 既定では、主キーが存在する場合はそれが使われます。
- データをストレージ ストアにコピーする場合: テーブルまたはファイルの新しい行は、コピー先の新しいファイルにコピーされます。 同じ名前を持つファイルがターゲット ストアに既に存在する場合、そのファイルは上書きされます。
- データをデータベースにコピーする場合: テーブルまたはファイルの新しい行は、コピー先テーブルに追加されます。 (SQL DB または SQL Server 上の) マージまたは上書き (Fabric Lakehouse テーブルの場合) に更新方法を変更できます。
増分列
増分コピー モードでは、変更を識別するために、各テーブルの増分列を選択する必要があります。 この列は、Copy ジョブでウォーターマークとして使用され、新しいデータまたは更新されたデータのみをコピーするために、列の値を、前回の実行時の同じ列の値と比較します。 増分列は、タイムスタンプまたは増加する INT である必要があります。
利用可能なリージョン
Copy ジョブのリージョン別の提供状況は、パイプラインと同じです。
価格
Copy ジョブでは、データ移動と同じ課金メーター (同じ従量課金レート) が使用されます。