アクティビティの概要
この記事では、Microsoft Fabric のアクティビティの概要、およびそれらを利用して、データ移動シナリオやデータ処理シナリオ用のエンド ツー エンドのデータ主導ワークフローを作成する方法について説明します。
概要
Microsoft Fabric ワークスペースには、1 つ以上のパイプラインを設定できます。 パイプラインは、1 つのタスクを連携して実行するアクティビティの論理的なグループです。 たとえば、ログ データを取り込んでクリーニングしてから、マッピング データ フローを開始してそのログ データを分析するアクティビティのセットをパイプラインに組み込むこともできます。 パイプラインを使用すると、各アクティビティを個別に管理するのではなく、セットとして管理できます。 デプロイとスケジュール設定を、アクティビティごとではなく、パイプライン単位で行うことができます。
パイプライン内の複数のアクティビティは、データに対して実行するアクションを定義します。 たとえば、Copy アクティビティを使用すると、SQL Server から Azure BLOB ストレージにデータをコピーできます。 次に、データ フロー アクティビティまたはノートブック アクティビティでデータを処理して、BLOB ストレージから Azure Synapse Analytics プールに変換し、その上に構築されているビジネス インテリジェンス レポート ソリューションを使用できます。
Microsoft Fabric では 3 種類のアクティビティがあります: データ移動アクティビティ、データ変換アクティビティ、制御アクティビティ。
データ移動アクティビティ
Microsoft Fabric の Copy アクティビティは、ソース データ ストアからシンク データ ストアにデータをコピーします。 Fabric では、「コネクタの概要」記事に記載されているデータ ストアがサポートされています。 また、任意のソースのデータを任意のシンクに書き込むことができます。
詳細については、「Copy アクティビティを使用してデータをコピーする方法」を参照してください。
データ変換アクティビティ
Microsoft Fabric は、次の変換アクティビティをサポートしています。これらのアクティビティは、個別または他のアクティビティと連結した状態で追加できます。
詳細については、データ変換アクティビティに関する記事を参照してください。
データ変換アクティビティ | Compute 環境 |
---|---|
データをコピーする | Microsoft Fabric によるコンピューティング マネージャー |
Dataflow Gen2 | Microsoft Fabric によるコンピューティング マネージャー |
データの削除 | Microsoft Fabric によるコンピューティング マネージャー |
Fabric Notebook | Microsoft Fabric によって管理される Apache Spark クラスター |
HDInsight アクティビティ | Microsoft Fabric によって管理される Apache Spark クラスター |
Spark ジョブ定義 | Microsoft Fabric によって管理される Apache Spark クラスター |
ストアド プロシージャ | Azure SQL、Azure Synapse Analytics、または SQL Server |
SQL スクリプト | Azure SQL、Azure Synapse Analytics、または SQL Server |
制御フロー アクティビティ
次の制御フロー アクティビティがサポートされています。
制御アクティビティ | 説明 |
---|---|
変数の追加 | 既存の配列変数に値を追加します。 |
Azure Batch アクティビティ | Azure Batch スクリプトを実行します。 |
Azure Databricks アクティビティ | Azure Databricks ジョブ (Notebook、Jar、Python) を実行します。 |
Azure Machine Learning アクティビティ | Azure Machine Learning ジョブを実行します。 |
アクティビティの非アクティブ化 | 別のアクティビティを非アクティブ化します。 |
失敗 | カスタマイズされたエラー メッセージとエラー コードが表示されてパイプラインの実行が失敗します。 |
Assert | 入力配列にフィルター式を適用する |
ForEach | ForEach アクティビティは、パイプライン内の繰り返し制御フローを定義します。 このアクティビティは、コレクションを反復処理するために使用され、指定されたアクティビティをループで実行します。 このアクティビティのループの実装は、プログラミング言語の Foreach ループ構造に似ています。 |
Functions アクティビティ | Azure 関数を実行します。 |
メタデータの取得 | GetMetadata アクティビティを使用すると、Data Factory または Synapse のパイプラインで任意のデータのメタデータを取得できます。 |
If Condition | If Condition は、true または false として評価される条件に基づき分岐を行うために使用できます。 If Condition アクティビティは、プログラミング言語における if ステートメントと同じ働きを持ちます。 条件が true に評価されたときの一連のアクティビティと false に評価されたときの一連のアクティビティが評価されます。 |
Invoke パイプライン | Execute Pipeline アクティビティを使用すると、Data Factory または Synapse の 1 つのパイプラインから別のパイプラインを呼び出すことができます。 |
KQL アクティビティ | Kusto インスタンスに対して KQL スクリプトを実行します。 |
ルックアップ アクティビティ | ルックアップ アクティビティを使用して、任意の外部ソースからレコード/テーブル名/値を読み取ったり検索したりできます。 この出力は、後続のアクティビティによってさらに参照できます。 |
変数の設定 | 既存の変数の値を設定します。 |
Switch アクティビティ | switch 式を実装します。これにより、この式がもたらす可能性のある結果ごとに、複数の後続のアクティビティが可能になります。 |
Teams アクティビティ | Teams チャネルまたはグループ チャットにメッセージを投稿します。 |
Until アクティビティ | プログラミング言語の Do-Until ループ構造に似た Do-Until ループを実装します。 Until アクティビティでは、そこに関連付けられている条件が true に評価されるまで、一連のアクティビティがループ実行されます。 Until アクティビティにはタイムアウト値を指定できます。 |
Wait アクティビティ | パイプラインで Wait アクティビティを使用すると、パイプラインは、指定した期間待った後、後続のアクティビティの実行を続行します。 |
Web アクティビティ | Web アクティビティを使用すると、パイプラインからカスタム REST エンドポイントを呼び出すことができます。 |
Webhook アクティビティ | Webhook アクティビティを使用すると、エンドポイントを呼び出し、コールバック URL を渡すことができます。 パイプラインの実行は、コールバックが呼び出されるのを待ってから、次のアクティビティに進みます。 |
Microsoft Fabric UI を使用したパイプラインへのアクティビティの追加
次の手順を使用して、Microsoft Fabric パイプラインでアクティビティを追加および構成します:
- ワークスペースに新しいパイプラインを作成します。
- パイプラインの [アクティビティ] タブで、表示されているアクティビティを参照し、必要に応じて右にスクロールしてすべてのアクティビティを表示します。 アクティビティを選択してパイプライン エディターに追加します。
- アクティビティを追加してパイプライン エディター キャンバスで選択すると、その [全般] 設定がキャンバスの下のプロパティ ウィンドウに表示されます。
- 各アクティビティには、プロパティ ウィンドウの他のタブでの構成に固有のカスタム プロパティも含まれています。
全般設定
パイプラインに新しいアクティビティを追加して選択すると、画面の下部にある領域にそのプロパティ ペインが表示されます。 これらのプロパティ ウィンドウには、[全般]、[設定]、および場合によっては他のウィンドウも含まれます。
全般設定には、すべてのアクティビティの [名前] フィールドと [説明] フィールドが常に含まれます。 一部のアクティビティには、次のものも含まれます:
設定 | 説明 |
---|---|
タイムアウト | アクティビティを実行できる最大時間。 既定値は 12 時間で、許容される最大時間は 7 日です。 タイムアウトの形式は D.HH:MM:SS です。 |
再試行 | 再試行の最大数。 |
(詳細プロパティ) 再試行間隔 (秒) | 各再試行の間の秒数。 |
(詳細プロパティ) セキュリティで保護された出力 | オンにした場合、アクティビティからの出力がログにキャプチャされません。 |
(詳細プロパティ) セキュリティで保護された入力 | オンにした場合、アクティビティからの入力がログにキャプチャされません。 |
Note
パイプラインごとに最大 80 個のアクティビティのデフォルトの制限があります。これには、コンテナーの内部アクティビティが含まれます。