Microsoft Fabric の Data Factory の新機能と予定されている機能
重要
リリース計画で説明されている機能は、まだリリースされていない場合があります。 提供タイムラインおよび予定されている機能は、変更される可能性、またはリリースされない可能性があります。 詳細については、「Microsoft ポリシー」をご覧ください。
Microsoft Fabric の Data Factory は、市民データ統合機能とプロ データ統合機能を 1 つの最新のデータ統合エクスペリエンスに組み合わせています。 100 を超えるリレーショナル データベースと非リレーショナル データベース、レイクハウス、データ ウェアハウスの他、REST API、OData などの汎用インターフェイスへの接続を提供します。
データフロー: データフロー Gen2 を使用すると、大規模なデータ変換を実行でき、Azure SQL Database、Lakehouse、Data Warehouse などへの書き込みのさまざまな出力先をサポートします。 データフロー エディターは、AI ベースのオプションを含む 300 を超える変換を提供し、他のどのツールよりも優れた柔軟性でデータを簡単に変換できます。 Web ページなどの非構造化データ ソースからデータを抽出する場合でも、Power Query エディターで既存のテーブルを再作成する場合でも、人工知能 (AI) を使用してプロセスを簡略化する Power Query の Data Extraction By Example を簡単に適用できます。
データ パイプライン: データ パイプラインは、データ抽出、優先データ ストアへの読み込み、Notebook の実行、SQL スクリプトの実行などのタスクをまとめる、汎用性の高いデータ オーケストレーション ワークフローを作成する機能を提供します。 反復的なタスクを自動化する強力なメタデータ駆動型データ パイプラインをすばやく構築できます。 たとえば、データベース内の異なるテーブルのデータの読み込みと抽出、Azure Blob Storage 内の複数のコンテナーの反復処理などです。 さらに、データ パイプラインを使用すると、Microsoft Graph データ接続 (MGDC) コネクタを使用して Microsoft 365 のデータにアクセスできます。
コピー ジョブ: コピー ジョブは、任意のソースから任意の宛先にペタバイト規模でデータを移動する、合理化されたユーザーフレンドリーなプロセスにより、データ インジェスト エクスペリエンスを簡素化します。 バッチ コピー、増分コピーなど、さまざまなデータ配信スタイルでデータをコピーできます。
Apache エアフロー ジョブ: Apache エアフロー ジョブは、Azure Data Factory のワークフロー オーケストレーション マネージャーの次世代です。 Apache エアフロー オーケストレーション ジョブを簡単かつ効率的に作成および管理できるため、Directed Acyclic Graph (DAG) を簡単に大規模に実行できます。 Apache エアフロー ジョブを使用すると、コードを使用して豊富なデータ ソースのデータを取り込み、準備、変換、調整するための最新のデータ統合エクスペリエンスを利用できます。
Fabric のデータベース ミラーリング: データベース ミラーリングは、オープン標準 (Delta Lake テーブル形式など) を使用して設計された、低コストで待機時間の短いソリューションです。 これにより、さまざまなシステムからデータとメタデータをすばやくレプリケートできます。 データベース ミラーリングを使用すると、分析のためにデータ資産を Microsoft Fabric OneLake に継続的にレプリケートできます。 高度に統合された使いやすいエクスペリエンスにより、分析ニーズを開始する方法を簡略化できるようになりました。
詳細については、このドキュメントを参照してください。
投資分野
今後数か月間に、Microsoft Fabric の Data Factory は接続オプションを拡張し、変換とデータ パイプライン アクティビティの豊富なライブラリに引き続き追加します。 さらに、運用データベースからリアルタイムで高パフォーマンスのデータ レプリケーションを実行し、分析のためにこのデータをレイクに取り込むことができます。
Dataflow Gen2 CI/CD とパブリック API のサポート
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
データフロー Gen2 の機能が強化され、次のような Fabric の機能がサポートされます。
- ALM デプロイ パイプラインにデータフロー Gen2 項目を含めることができます。
- ソース管理 (Git 統合) 機能を使用して Dataflow Gen2 項目を活用できること。
- Dataflow Gen2 項目のパブリック CRUDLE API。
これらは、多くのお客様から高い要望を受けた機能であり、プレビュー機能として利用できるようにすることに興奮しています。
セマンティック モデルのテーブルとパーティションの更新
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
パイプライン ユーザーは、非常に一般的なセマンティック モデル更新パイプライン アクティビティに非常に興奮しています。 一般的な質問は、モデル内の特定のテーブルとパーティションを更新することで、ELT 処理パイプラインを改善することです。 これで、この機能が有効になり、パイプライン アクティビティが Fabric セマンティック モデルを更新するための最も効果的な方法になりました。
Fabric Data Factory パイプラインのインポートとエクスポート
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: 一般提供
Data Factory パイプライン開発者は、多くの場合、パイプライン定義をエクスポートして他の開発者と共有したり、他のワークスペースで再利用したりする必要があります。 これで、Fabric ワークスペースから Data Factory パイプラインをエクスポートおよびインポートする機能が追加されました。 この強力な機能により、さらに共同作業が可能になり、サポート チームと共にパイプラインのトラブルシューティングを行う際に非常に役立ちます。
Data Factory の Copilot (データ パイプライン)
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
Data Factory の Copilot (データ パイプライン) を使用すると、お客様は自然言語を使用してデータ パイプラインを構築でき、トラブルシューティング ガイダンスが提供されます。
Azure SQL DB のミラーリング
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: 一般提供
ミラーリングでは、既存の Azure SQL DB データを Microsoft Fabric の残りのデータと統合するためのシームレスな ETL なしのエクスペリエンスが提供されます。 トランザクション ワークロードのパフォーマンスに影響を与えることなく、Azure SQL DB データをほぼリアルタイムで Fabric OneLake に直接レプリケートできます。
ミラーリングを開く
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
Open Mirroring は、任意のアプリケーションまたはデータ プロバイダーが最小限の労力でデータ資産を OneLake に直接取り込むことにより、Fabric の拡張性を強化する強力な機能です。 データ プロバイダーとアプリケーションが Fabric 内のミラー化されたデータベースに変更データを直接書き込みできるようにすることで、Open Mirroring を使用すると、複雑なデータ変更の処理が簡素化され、ミラー化されたすべてのデータが継続的に最新の状態に保たれ、分析の準備が整います。
データ パイプラインパブリック API SPN のサポート
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
Fabric でパイプライン REST API をより簡単かつ安全に使用できるように、パブリック API の SPN (サービス プリンシパル) サポートを有効にします。
Fabric ワークスペース変数に対するデータ パイプラインのサポート
リリース予定のタイムライン: 2024 年第 4 四半期
リリースの種類: パブリック プレビュー
Fabric Data Factory パイプライン環境全体に CICD を実装する場合、開発からテストなどに値を更新することが非常に重要です。Fabric 内で変数を使用すると、環境間で値を置き換えたり、ADF のグローバル パラメーターと同様のパイプライン間で値を共有したりできます。
オンプレミス データ ゲートウェイの自動更新
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
オンプレミス データ ゲートウェイの自動アップグレード機能を使用すると、ゲートウェイが常に最新バージョンを実行し、手動による介入なしに機能の向上、セキュリティ更新プログラム、新機能が提供されます。 この機能を使用すると、更新プログラムが利用可能になったときに自動的にダウンロードしてインストールすることで、ゲートウェイの管理が簡素化されます。
VNET ゲートウェイのデータ パイプラインのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
VNET データ ゲートウェイは、パイプライン コピー アクティビティやその他のパイプライン アクティビティを含む Fabric データ パイプラインをサポートします。 お客様は、VNET データ ゲートウェイ経由でパイプライン内のデータ ソースに安全に接続できます。
SharePoint ファイルへのデータフロー Gen2 出力先
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
データフロー Gen 2 を使用してデータをクリーニングして準備した後、この機能を使用すると、SharePoint ファイルをそのデータ変換先として選択できます。 この機能を使用すると、変換されたデータを CSV ファイルにエクスポートし、Microsoft SharePoint に保存して、サイトへのアクセス許可を持つすべてのユーザーが利用できるようになります。
タンブリング ウィンドウ トリガーに対するデータ パイプラインのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
重複しない"再生" できる時間枠を使用してパイプラインを実行するスケジュールは、多くの ADF ユーザーが使用して楽しんだパイプラインの非常に重要な機能です。 このタンブリング ウィンドウ機能を Fabric Data Factory へのパイプライン スケジューリングに取り入れたことを非常に楽しみにしています。
Azure Data Factory 項目
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: 一般提供
Fabric での Azure Data Factory 項目の一般提供についてお知らせします。 この新機能により、既存の ADF ユーザーは、Azure のデータ ファクトリを Fabric ワークスペースですばやく簡単に使用できるようになります。 これで、Fabric から直接 ADF パイプラインを管理、編集、呼び出すことができます。
追加のソースに対するデータ パイプライン コピー アクティビティのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: 一般提供
Microsoft では、Copy アクティビティでより多くのソース コネクタのサポートを拡大しています。これにより、Teradata、Spark、Azure databricks delta lake、HubSpot、Cassandra、Salesforce Service Cloud、Oracle (バンドル) など、さまざまなソースからデータをシームレスにコピーできます。
データフロー Gen 2 の並列実行
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
"ユーザーは、Dataflow Gen2 変換のロジックを柔軟に定義し、さまざまな引数で実行を並列化する方法を求めています。 現在、異なる引数で再利用できるロジックを使用するには、1 つのデータフロー内に複数のデータフローまたは複数のクエリを作成する必要があります。
この機能強化の一環として、パラメーター値の一覧として機能するスタンドアロン クエリから駆動されるデータフロー項目全体に対して"foreach"ループを設定し、並列化および動的実行のためにこのコンテナー化されたアプローチを反復処理して推進する方法をユーザーに提供します。
データ ソース ID 管理 (Azure Key Vault)
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
Azure Key Vault のサポート - キーとシークレットを Azure Key Vault に保存し、それに接続できます。 こうして、キーを 1 か所で管理できます。
CosmosDB のミラーリング
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: 一般提供
ミラーリングでは、既存の Azure Cosmos DB データを Microsoft Fabric の残りのデータと統合するためのシームレスな ETL なしのエクスペリエンスが提供されます。 トランザクション ワークロードのパフォーマンスに影響を与えることなく、ほぼリアルタイムで Azure Cosmos DB データを Fabric OneLake に継続的にレプリケートできます。
Dataflow Gen2 CI/CD とパブリック API のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: 一般提供
データフロー Gen2 項目では、ソース管理 (Git 統合) や ALM デプロイ パイプラインなど、Fabric の CI/CD 機能がサポートされます。 さらに、お客様は Fabric REST API を介して Fabric の Dataflow Gen2 項目をプログラムで操作でき、Dataflow Gen2 項目に対する CRUDLE 操作をサポートできます。
Dataflow Gen2 パブリック API SPN のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
データフロー Gen2 項目は、サービス プリンシパル認証をサポートする Fabric REST API を介してサポートされます。
データフロー Gen2 の増分更新
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: 一般提供
2024 年 9 月末に、パブリック プレビュー機能として Dataflow Gen2 増分更新をリリースしました。 お客様からのフィードバックを引き続き監視し、この機能を強化して、Q1CY2025の終わりに予定されている一般提供に至ります。
Lakehouse 変換先に対するデータフロー Gen2 増分更新のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
データフロー Gen2 増分更新では、datetime パーティション列に基づいて、データフローのデータ ソースで変更された最新のデータのみを取得するために、データフローの実行が最適化されます。 これにより、ダウンストリーム変換またはデータフロー出力先への出力のために、データを OneLake に増分読み込むことができます。
この機能強化の一環として、データを Fabric Lakehouse テーブルに直接出力するための増分更新を直接サポートします。
データフロー Gen2 のパラメーター化
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
ユーザーは、メタデータ駆動型パイプラインを実行することに慣れているため、パイプラインのさまざまなアクティビティに変数やパラメーターを挿入し、より動的な方法で実行できます。1 回作成し、複数回再利用します。
この機能強化の一環として、Fabric のデータ パイプラインを介して実行されるデータフローに、既存のデータフロー パラメーターのパラメーター値を指定できるようにします。
新しい項目として保存するためのデータフロー Gen2 のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
お客様は、多くの場合、新しいデータフローとして既存のデータフローを再作成したいと考えています。 現在、これを実現するには、新しい Dataflow Gen2 項目を最初から作成し、既存のクエリをコピーして貼り付けるか、Power Query テンプレートのエクスポート/インポート機能を利用する必要があります。 ただし、これは不要な手順のために不便であるだけでなく、スケジュールされた更新や他の項目のプロパティ (名前、説明、秘密度ラベルなど) などの追加のデータフロー設定も引き継ぐことはありません。
この機能強化の一環として、Dataflow Gen2 編集エクスペリエンス内ですばやく "名前を付けて保存" ジェスチャを提供し、ユーザーが既存のデータフローを新しいデータフローとして保存できるようにします。
Dataflow Gen1 での Save As Dataflow Gen2 の新しい項目のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
お客様は、多くの場合、既存の Dataflow Gen1 項目を新しい Dataflow Gen2 項目として再作成したいと考えています。 現在、これを実現するには、新しい Dataflow Gen2 項目を最初から作成し、既存のクエリをコピーして貼り付けるか、Power Query テンプレートのエクスポート/インポート機能を利用する必要があります。 ただし、これは不要な手順のために不便であるだけでなく、スケジュールされた更新や他の項目のプロパティ (名前、説明、秘密度ラベルなど) などの追加のデータフロー設定も引き継ぐことはありません。
この機能強化の一環として、Dataflow Gen1 編集エクスペリエンス内ですばやく "名前を付けて保存" ジェスチャを提供し、ユーザーは既存の Dataflow Gen1 項目を新しい Dataflow Gen2 項目として保存できるようにします。
コピー ジョブ - ユーザーが基準値列を指定する必要のない増分コピー
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
キー コネクタのコピー ジョブでネイティブ CDC (Change Data Capture) 機能を導入します。 つまり、増分コピーは変更を自動的に検出します。お客様が増分列を指定する必要はありません。
ジョブのコピー
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: 一般提供
Data Factory のコピー ジョブは、データ インジェスト エクスペリエンスを、任意のソースから任意の宛先に、より合理化されたユーザー フレンドリ なプロセスに昇格させます。 データのコピーがこれまでよりもさらに簡単になりました。 コピー ジョブでは、バッチ コピーと増分コピーの両方を含むさまざまなデータ配信スタイルがサポートされており、特定のニーズを柔軟に満たすことができます。
コピー ジョブ CI/CD のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
コピー ジョブ項目は、ソース管理 (Git 統合) や ALM デプロイ パイプラインなど、Fabric の CI/CD 機能をサポートします。
コピー ジョブパブリック API のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
お客様は、Fabric パブリック API を介して Fabric のコピー ジョブ項目をプログラムで操作でき、ジョブ 項目のコピーに対する CRUDLE 操作のサポートを提供します。
追加の高速コピー ソースに対するデータフロー Gen2 のサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
より多くのソース コネクタをサポートするために、Dataflow Gen2 の高速コピーを拡張しています。これにより、お客様はより高いパフォーマンスでデータを読み込むことができます。 新しいコネクタには、Fabric Lakehouse ファイル、Google BigQuery、Amazon Redshift などが含まれるので、より迅速かつ効率的なデータ統合が可能になります。
その他のソースに対するコピー ジョブのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
コピー ジョブでは、より多くのソース コネクタのサポートが拡大され、お客様はさまざまなソースからシームレスにデータをコピーできます。 同時に、完全コピーと増分コピーの両方を含む多様なコピー パターンを提供しながら、簡略化されたエクスペリエンスを維持します。
OneLake ストレージ イベント トリガーに対するデータ パイプラインのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
Fabric Data Factory でパイプラインを呼び出すために使用される一般的なメカニズムは、ファイル トリガーを使用することです。 BLOB ストアまたは ADLS Gen2 に対してファイル イベント (ファイルの到着、ファイルの削除 ...) が検出されると、Fabric Data Factory パイプラインが呼び出されます。 これで、Fabric のトリガー イベントの種類に OneLake ファイル イベントが追加されました。
お客様による接続のパラメーター化が可能になる
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
接続は、データ ストアの接続性と認証を定義するための一般的なフレームワークを提供します。 これらの接続は、異なる項目間で共有できます。 パラメーター化のサポートにより、複雑で再利用可能なパイプライン、ノートブック、データフロー、およびその他の項目の種類を構築できます。
DBT のデータ パイプラインのサポート
リリース予定のタイムライン: 2025 年第 1 四半期
リリースの種類: パブリック プレビュー
DBT CLI オーケストレーション (データ ビルド ツール): データ変換ワークフロー用のデータ ビルド ツール (dbt) が組み込まれています。
接続でのユーザー割り当てマネージド ID のサポート
推定リリース タイムライン: 2025 年第 2 四半期
リリースの種類: パブリック プレビュー
Connections でユーザー割り当てマネージド ID をサポートするこの拡張機能は、データ リソースにアクセスするためのより安全で柔軟な認証方法を提供することで、大きな価値を提供します。 資格情報のハードコーディングを回避し、シークレットをローテーションする必要をなくすことで管理を簡素化し、セキュリティ ポリシーへの準拠を確保し、Azure サービスとシームレスに統合し、複数のインスタンスが同じ ID を共有できるようにすることで接続のスケーラビリティをサポートします。
出荷済み機能
Fabric の Azure Data Factory
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
既存の Azure Data Factory (ADF) を Fabric ワークスペースに移動します。 これは、Fabric ワークスペースから既存の ADF ファクトリに接続できる新しいプレビュー機能です。
これで、Fabric ワークスペース UI から直接 ADF ファクトリを完全に管理できるようになります。 ADF が Fabric ワークスペースにリンクされると、ADF の場合と同様に、Fabric 内で直接パイプラインをトリガー、実行、監視できるようになります。
ワークスペース間データ パイプラインの呼び出しのサポート
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
パイプラインの呼び出しアクティビティの更新: パイプラインの呼び出しアクティビティに対して、いくつかの新しいエキサイティングな更新が有効になります。 お客様やコミュニティからの圧倒的な要求に応えて、ワークスペース間でのデータ パイプラインの実行が可能になります。 これで、実行するアクセス権を持つ他のワークスペースからパイプラインを呼び出すことができるようになります。 これにより、ワークスペース間および機能チーム間でデータ エンジニアリングチームと統合チームのコラボレーションを利用できる、非常に魅力的なデータ ワークフロー パターンが可能になります。
オンプレミス データ ゲートウェイ (OPDG) のサポートをデータ パイプラインに追加
出荷済み (2024 年第 3 四半期)
リリースの種類: 一般提供
この機能により、データ パイプラインは Fabric データ ゲートウェイを使用して、オンプレミスや仮想ネットワークの背後にあるデータにアクセスできます。 セルフホステッド統合ランタイム (SHIR) を使用しているユーザーは、Fabric のオンプレミス データ ゲートウェイに移動できます。
ジョブのコピー
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
コピー ジョブを使用すると、データフローまたはデータ パイプラインを作成しなくても、データを取り込む必要があるお客様のエクスペリエンスが簡素化されます。 コピー ジョブでは、任意のデータ ソースから任意のデータ変換先への完全な増分コピーがサポートされます。 今すぐプライベート プレビューにサインアップ。
Snowflake のミラーリング
出荷済み (2024 年第 3 四半期)
リリースの種類: 一般提供
ミラーリングでは、既存の Snowflake データを Microsoft Fabric の残りのデータと統合するためのシームレスな ETL なしのエクスペリエンスが提供されます。 トランザクション ワークロードのパフォーマンスに影響を与えることなく、ほぼリアルタイムで Snowflake データを Fabric OneLake に継続的に直接レプリケートできます。
更新エラーに関する電子メール通知の改善
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
電子メール通知を使用すると、Dataflow Gen2 作成者はデータフローの更新操作の結果 (成功/失敗) を監視できます。
Dataflows Gen2 での高速コピーのサポート
出荷済み (2024 年第 3 四半期)
リリースの種類: 一般提供
パイプラインのコピー アクティビティ機能を利用した、直接 Dataflow Gen2 エクスペリエンス内での大規模なデータ インジェストのサポートが追加されます。 この機能強化により、Dataflow Gen2 のデータ処理能力が大幅にスケールアップされ、高スケールの ELT (抽出、読み込み、変換) 機能が提供されます。
Dataflow Gen2 での増分更新のサポート
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
Dataflow Gen2 で増分更新のサポートを追加しています。 この機能を使用すると、データ ソースからデータを増分抽出し、Power Query 変換を適用して、さまざまな出力先に読み込むことができます。
データ ソース ID 管理 (マネージド ID)
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
これにより、マネージド ID をワークスペース レベルで構成できます。 Fabric マネージド ID を使用すると、データ ソースに安全に接続できます。
Azure Databricks ジョブのデータ パイプラインのサポート
出荷済み (2024 年第 3 四半期)
リリースの種類: パブリック プレビュー
最新のジョブ API を使用するように Data Factory データ パイプラインの Azure Databricks アクティビティを更新し、DLT ジョブの実行などのエキサイティングなワークフロー機能を実現しています。
Data Factory 用 Copilot (データフロー)
出荷済み (2024 年第 3 四半期)
リリースの種類: 一般提供
Data Factory 用 Copilot (データフロー) を使用すると、お客様は Dataflows Gen2 を使用してデータ統合ソリューションを作成するときに、自然言語を使用して要件を表現できるようになります。
データ パイプラインの SparkJobDefinition のサポート
出荷済み (2024 年第 2 四半期)
リリースの種類: 一般提供
これで、パイプライン アクティビティから直接、JAR ファイルを含む Spark コードを実行できるようになります。 Spark コードを参照するだけで、パイプラインは Fabric の Spark クラスターでジョブを実行します。 この新しいアクティビティにより、ファブリックの Spark エンジンの機能を活用しながら、Spark ジョブと同じパイプラインに Data Factory 制御フローとデータ フロー機能を組み込むエキサイティングなデータ ワークフロー パターンが可能になります。
データ パイプラインのイベント ドリブン トリガーのサポート
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Data Factory データ パイプラインを呼び出す一般的なユース ケースは、ファイルの到着やファイルの削除などのファイル イベントに対してパイプラインをトリガーすることです。 ADF または Synapse から Fabric に移行するお客様の場合、ADLS/Blog ストレージ イベントを使用することは、新しいパイプラインの実行を通知したり、作成されたファイルの名前を取得したりする方法として非常に一般的です。 Fabric Data Factory のトリガーでは、Eventstream や Reflex トリガーなどの Fabric プラットフォーム機能が活用されます。 Fabric Data Factory パイプライン デザイン キャンバス内には、パイプラインの Reflex トリガーを作成するための [トリガー] ボタンがあります。または、Data Activator 環境から直接トリガーを作成できます。
データフロー Gen 2 出力先のステージングの既定値
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Dataflow Gen2 には、さまざまなデータ ソースから Fabric OneLake にデータを取り込む機能が用意されています。 このデータをステージングすると、(Fabric Lakehouse/Warehouse SQL コンピューティングに基づいて) 高スケールのデータフロー Gen2 エンジンを利用して、高スケールで変換できます。
OneLake でデータをステージングして大規模なデータ変換を有効にすることが、Dataflows Gen2 の既定の動作です。 これは大規模なシナリオではうまく機能しますが、データフロー出力先に最終的に読み込まれる前にデータに追加ホップ (ステージング) が導入されることを考慮すると、少量のデータが取り込まれるシナリオには適していません。
計画的な機能強化により、ステージングを必要としない出力先 (つまり、Fabric Lakehouse と Azure SQL Database) を使用するクエリに対して、既定のステージング動作を無効にするように微調整しています。
ステージング動作は、クエリ設定ペインまたはクエリ ペインのクエリ コンテキスト メニューを使用して、クエリごとに手動で構成できます。
データ パイプラインの Azure HDInsight のサポート
出荷済み (2024 年第 2 四半期)
リリースの種類: 一般提供
HDInsight は Hadoop 向けの Azure PaaS サービスであり、これを利用すると、開発者はクラウドで非常に強力なビッグ データ ソリューションを構築できます。 新しい HDI パイプライン アクティビティにより、Data Factory データ パイプライン内の HDInsights ジョブ アクティビティが有効になります。これは、ADF および Synapse パイプラインで長年活用してきた既存の機能と似ています。 これで、この機能が Fabric データ パイプラインに直接取り込まれました。
Copy アクティビティ用の新しいコネクタ
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
データ パイプラインを活用しながら、お客様が Oracle、MySQL、Azure AI Search、Azure Files、Dynamics AX、Google BigQuery の各ソースから取り込める Copy アクティビティ用の新しいコネクタが追加されます。
Apache エアフロー ジョブ: Apache エアフローを利用してデータ パイプラインを構築する
出荷済み (2024 年第 2 四半期)
リリースの種類: パブリック プレビュー
Apache エアフロー ジョブ (以前はデータ ワークフローと呼ばれた) は Apache エアフローを利用し、統合された Apache エアフロー ランタイム環境を提供します。これにより、Python DAG を簡単に作成、実行、スケジュールできます。
データ ソース ID 管理 (SPN)
出荷済み (2024 年第 2 四半期)
リリースの種類: 一般提供
サービス プリンシパル - Azure AD テナントによってセキュリティ保護されているリソースにアクセスするには、アクセスを必要とするエンティティをセキュリティ プリンシパルで表す必要があります。 サービス プリンシパルを使用してデータ ソースに接続できるようになります。
データ パイプライン用の Data Factory Git 統合
出荷済み (2024 年第 1 四半期)
リリースの種類: パブリック プレビュー
Git リポジトリに接続して、共同でデータ パイプラインを開発できます。 データ パイプラインと Fabric プラットフォームのアプリケーション ライフサイクル管理 (ALM) 機能の統合により、バージョン管理、分岐、コミット、プル要求が可能になります。
Dataflow Gen2 の出力先の機能強化 (クエリ スキーマ)
出荷済み (2024 年第 1 四半期)
リリースの種類: パブリック プレビュー
要望の多い次の機能を追加して、Dataflow Gen2 の出力先を強化しています。
- 出力先の構成後にクエリ スキーマの変更を処理する機能。
- データフローの作成を高速化するための既定の宛先設定。
詳細については、Dataflow Gen2 データの保存先とマネージド設定をご覧ください
データ取得エクスペリエンスの向上 (Azure リソースの参照)
出荷済み (2024 年第 1 四半期)
リリースの種類: パブリック プレビュー
Azure リソースを参照すると、Azure リソースを参照するためのシームレスなナビゲーションが可能になります。 直感的なユーザー インターフェイスを使用して、Azure サブスクリプション間を簡単に移動し、データ ソースに接続できます。 必要なデータをすばやく見つけて接続するのに役立ちます。
オンプレミス データ ゲートウェイ (OPDG) のサポートをデータ パイプラインに追加
出荷済み (2024 年第 1 四半期)
リリースの種類: パブリック プレビュー
この機能により、データ パイプラインは Fabric データ ゲートウェイを使用して、オンプレミスや仮想ネットワークの背後にあるデータにアクセスできます。 セルフホステッド統合ランタイム (SHIR) を使用しているユーザーは、Fabric のオンプレミス データ ゲートウェイに移動できます。
Dataflows Gen2 での高速コピーのサポート
出荷済み (2024 年第 1 四半期)
リリースの種類: パブリック プレビュー
パイプラインのコピー アクティビティ機能を利用した、直接 Dataflow Gen2 エクスペリエンス内での大規模なデータ インジェストのサポートが追加されます。 これにより、Azure Data Lake Storage や Blob Storage 内の Azure SQL Database、CSV、Parquet ファイルなどのソースがサポートされます。
この機能強化により、Dataflow Gen2 のデータ処理能力が大幅にスケールアップされ、高スケールの ELT (抽出、読み込み、変換) 機能が提供されます。
Dataflow Gen2 での更新の取り消しのサポート
出荷済み (2023 年第 4 四半期)
リリースの種類: パブリック プレビュー
ワークスペース項目ビューから進行中の Dataflow Gen2 更新を取り消す機能のサポートを追加しています。