リアルタイム データの取り込みと変換

  • 15 分

Microsoft Fabric の Eventstream は、幅広いストリーミング データ ソースからリアルタイム データをキャプチャ、変換、読み込むために使用します。 システム内に Eventstream を設定する場合は、リアルタイム データの取り込みと変換のために常に実行されているデータ処理エンジンを定義します。 データの取得元、データの送信先、また必要な場合は途中でデータを変更する方法を指示します。

Microsoft Fabric の Eventstream のスクリーンショット。

Eventstream のデータ ソース

Microsoft Fabric の Eventstream は、次のような幅広いデータ ソースをサポートしています。

  • 外部サービス (Azure Storage、Azure Event Hubs、Azure IoT Hubs、Apache Kafka ハブ、リレーショナル データベース サービスでの変更データ キャプチャ (CDC) フィードなど)。
  • Fabric イベント (Fabric ワークスペース内の項目に対する変更、OneLake データ ストアでのデータ変更、Fabric ジョブに関連付けられているイベントなど)。
  • サンプル データ (Microsoft Fabric でのリアルタイム分析シナリオの探索に役立つさまざまなサンプルを含みます)。

ヒント

サポートされているソースの詳細については、「Fabric リアルタイム ハブのサポートされているソース」を参照してください。

Eventstream でのデータ変換

データは、Eventstream に流れるときに変換でき、格納する前にフィルター処理、要約、再形成することができます。 実行可能な変換には、次が含まれます。

  • フィルター:フィルター変換を使用すると、入力内のフィールドの値に基づいてイベントをフィルター処理できます。 データ型 (数値またはテキスト) に応じて、変換は null や is not null などの選択された条件に一致する値を保持します。
  • フィールドの管理:この変換を使用すると、データ型の追加、削除、変更を行ったり、入力や別の変換から入って来るフィールドの名前の変更を行うことができます。
  • 集計:集計変換を使用すると、一定期間内に新しいイベントが発生するたびに、集計 (合計、最小、最大、または平均) を計算できます。 この操作では、これらの計算列の名前を変更したり、データ内の他のディメンションに基づいて集計をフィルター処理したりスライスしたりすることもできます。 同じ変換に 1 つ以上の集計を含めることができます。
  • Group by: Group by 変換は、特定の時間枠内のすべてのイベントの集計を計算するために使用します。 1 つまたは複数のフィールドの値でグループ化することができます。 これは集計変換で列の名前を変更できることに似ていますが、より多くの集計オプションが用意されており、より複雑な時間枠のオプションが含まれています。 集計と同様に、変換ごとに複数の集計を追加できます。
  • 和集合:和集合変換を使用すると、2 つ以上のノードを接続し、(名前とデータ型が同じ) 共有フィールドを持つイベントを 1 つのテーブルに追加できます。 一致しないフィールドは削除され、出力に含まれません。
  • 展開:この配列変換を使用すると、配列内の値ごとに新しい行を作成できます。
  • 結合: これは、2 つのストリームのデータを、それらの間の一致条件に基づいて結合する変換です。

ヒント

サポートされている変換の詳細については、「イベント プロセッサ エディターを使用してイベント データを処理する」を参照してください。

Eventstream でのデータ同期先

ストリームからのデータは、次の同期先に読み込むことができます。

  • Eventhouse:この同期先を指定すると、Kusto 照会言語 (KQL) を使用してデータのクエリと分析を行うことができる Eventhouse にリアルタイム イベント データを取り込むことができます。
  • レイクハウス:この同期先を指定すると、リアルタイム イベントを変換してからレイクハウスに取り込むことができます。 リアルタイム イベントは、Delta Lake 形式に変換してから、指定されたレイクハウス テーブルに保存します。
  • 派生ストリーム:派生ストリームは、ユーザーの Eventstream の出力を別の Eventstream へリダイレクトするために使用されます。 派生ストリームは、ストリーム処理の後に変換された既定のストリームを表します。
  • Fabric Activator:この同期先を指定すると、ストリーム内の値に基づきアクションを自動化できるインテリジェントなエージェントである Fabric Activator に、リアルタイム イベント データを直接接続できます。
  • カスタム エンドポイント:この同期先では、リアルタイム イベントをカスタム エンドポイントにルーティングできます。 この同期先は、リアルタイム データを外部システムまたは Microsoft Fabric の外部のカスタム アプリケーションに送信する場合に便利です。

ヒント

サポートされているソースの詳細については、「イベントストリームの宛先を追加および管理する」を参照してください。