Microsoft Fabric の Data Factory とは

Data Factory を使用すると、豊富なデータ ソース (データベース、データ ウェアハウス、レイクハウス、リアルタイム データなど) からデータを取り込み、準備し、変換するための最新のデータ統合エクスペリエンスが利用できます。 市民開発者であってもプロフェッショナルな開発者であっても、インテリジェントな変換でデータを変換し、豊富なアクティビティ セットを活用できます。 1 つ以上のアクティビティを実行するパイプラインを作成したり、接続を介してデータ ソースやサービスにアクセスしたり、パイプラインを作成した後、特定の時刻またはシナリオの変化に応じてプロセスを自動的に実行するトリガーを追加したりできます。 Microsoft Fabric の Data Factory には、データフローとデータ パイプラインの両方に高速コピー (データ移動) 機能が導入されています。 高速コピーを使用すると、お気に入りのデータ ストア間でデータを超高速で移動できます。 最も重要なのは、高速コピーを使用すると、分析のために Microsoft Fabric でレイクハウスとデータ ウェアハウスにデータを取り込めることです。

Data Factory で実装される主要な機能には、データフローとパイプラインの 2 つがあります。

• データフローを使用すると、データフロー デザイナーで 300 を超える変換を活用できるため、スマート AI ベースのデータ変換など、他のどのツールよりも簡単かつ柔軟性の高いデータ変換が可能になります。
• データ パイプラインを使用すると、すぐに使用できる豊富なデータ オーケストレーション機能を利用して、貴社のニーズを満たす柔軟なデータ ワークフローを作成できます。

データフロー

データフローには、数百のデータ ソースからデータを取り込み、300 以上のデータ変換を使用してデータを変換するためのローコードのインターフェイスが用意されています。 その後、結果のデータを複数の宛先 (Azure SQL データベースなど) に読み込むことができます。 データフローは、手動またはスケジュールされた更新を使用して繰り返し実行することも、データ パイプライン オーケストレーションの一部として実行することもできます。

データフローは、Excel、Power BI、Power Platform、Dynamics 365 Insights アプリケーションなど、いくつかの Microsoft 製品やサービスで現在利用できる、使い慣れた Power Query エクスペリエンスを使用して構築されています。 Power Query を活用すると、市民からプロのデータ インテグレーターまで、すべてのユーザーが自分のデータ資産全体でデータ インジェストとデータ変換を実行できるようになります。 結合、集計、データ クレンジング、カスタム変換などは、すべて使いやすく、視覚的に優れたローコード UI から実行できます。

データ パイプライン

データ パイプラインにより、クラウド規模で強力なワークフロー機能を実現できます。 データ パイプラインを使用すると、データフローの更新、PB サイズのデータの移動、高度な制御フロー パイプラインの定義ができる複雑なワークフローを構築できます。

さまざまなタスクを大規模に実行できる複雑な ETL ワークフローとデータ ファクトリ ワークフローを構築するには、データ パイプラインを使用します。 データ パイプラインには制御フロー機能が組み込まれており、ループと条件を提供するワークフロー ロジックを構築できます。

エンド ツー エンドの ETL データ パイプライン用に、構成駆動型のコピー アクティビティをローコードのデータフロー更新とともに 1 つのパイプラインに追加します。 Spark Notebook、SQL スクリプト、ストアド プロシージャなどのコードファースト アクティビティを追加することもできます。

関連するコンテンツ

Microsoft Fabric の使用を開始するには、「クイック スタート: データを取得して変換するための最初の Dataflow Gen2 を作成する」を参照してください。