Spark ジョブ定義アクティビティを実行してデータを変換する

Data Factory for Microsoft Fabric の Spark ジョブ定義アクティビティを使用すると、Spark ジョブ定義への接続を作成し、データ パイプラインから実行できます。

前提 条件

開始するには、次の前提条件を満たす必要があります。

• アクティブなサブスクリプションを持つテナント アカウント。 無料用のアカウントを作成します。
• ワークスペースが作成されます。

UI を使用して Spark ジョブ定義アクティビティをパイプラインに追加する

1. ワークスペースに新しいデータ パイプラインを作成します。

2. ホーム画面カードから Spark ジョブ定義を検索し、それを選択するか、アクティビティ バーからアクティビティを選択してパイプライン キャンバスに追加します。

   • ホーム画面カードからのアクティビティの作成:

     

   • アクティビティ バーからのアクティビティの作成:

     

3. パイプライン エディター キャンバスで新しい Spark ジョブ定義アクティビティがまだ選択されていない場合は選択します。

   

   全般設定 ガイダンスを参照して、[全般設定] タブにあるオプションを構成します。

Spark ジョブ定義アクティビティの設定

アクティビティのプロパティ ウィンドウで [設定] タブを選択し、実行する Spark ジョブ定義を含むファブリック ワークスペースを選択します。

既知の制限事項

Fabric Data Factory の Spark ジョブ定義アクティビティの現在の制限事項を次に示します。 このセクションは変更される可能性があります。

• 現在、アクティビティ内での新しい Spark ジョブ定義アクティビティの作成はサポートされていません ([設定] の下)
• パラメーター化のサポートは利用できません。
• 出力タブを使用したアクティビティの監視はサポートされていますが、Spark ジョブ定義をより詳細なレベルで監視することはできません。 たとえば、監視ページ、状態、期間、および以前の Spark ジョブ定義の実行へのリンクは、Data Factory では直接使用できません。 ただし、詳細については、Spark ジョブ定義の監視ページを参照してください。

パイプラインを保存して実行またはスケジュールする

パイプラインに必要なその他のアクティビティを構成したら、パイプライン エディターの上部にある [ホーム] タブに切り替え、保存ボタンを選択してパイプラインを保存します。 [実行] を選択して直接実行するか、[スケジュール] を選択してスケジュールを設定します。 ここで実行履歴を表示したり、他の設定を構成したりすることもできます。

関連コンテンツ

パイプラインの実行を監視する方法