Freigeben über

Hinzufügen eines Lakehouse-Ziels zu einem Eventstream

  • Artikel

In diesem Artikel wird veranschaulicht, wie Sie ein Lakehouse als Ziel zu einem Eventstream in Microsoft Fabric-Eventstream hinzufügen. Für eine optimierte Streamingleistung und Echtzeitabfrage sollten Sie Daten mit Hinzufügen eines Eventhouseziels zu einem Eventstream in ein Eventhouse streamen und dann Verfügbarkeit von Eventhouse OneLake aktivieren.

Hinweis

Erweiterte Funktionen sind standardmäßig aktiviert, wenn Sie jetzt Eventstreams erstellen. Wenn Sie Ereignisstreams haben, die mit Standardfunktionen erstellt wurden, funktionieren diese Ereignisstreams weiterhin. Sie können sie weiterhin wie gewohnt bearbeiten und verwenden. Es wird empfohlen, einen neuen Eventstream zu erstellen, um Standardereignisstreams zu ersetzen, damit Sie zusätzliche Funktionen und Vorteile erweiterter Eventstreams nutzen können.

Wichtig

Es gibt eine Schemaerzwingung zum Schreiben von Daten in eine Zieltabelle im Lakehouse. Alle neuen Schreibvorgänge in einer Tabelle müssen zum Zeitpunkt des Schreibvorgangs mit dem Schema der Zieltabelle kompatibel sein, um die Qualität der Daten zu gewährleisten.

Wenn die Ausgabe in eine neue Delta-Tabelle geschrieben wird, wird das Tabellenschema basierend auf dem ersten Datensatz erstellt. Alle Datensätze der Ausgabedaten werden auf das Schema der vorhandenen Tabelle projiziert.

Wenn die eingehenden Daten Spalten enthalten, die sich nicht im vorhandenen Tabellenschema befinden, werden die zusätzlichen Spalten nicht in die in die Tabelle geschriebenen Daten einbezogen. Wenn in den eingehenden Daten Spalten fehlen, die im vorhandenen Tabellenschema enthalten sind, werden die fehlenden Spalten in die Tabelle geschrieben und die Werte auf Null gesetzt.

Voraussetzungen

  • Zugriff auf einen Arbeitsbereich im Fabric-Kapazitätslizenzmodus (oder) im Testlizenzmodus mit Mitwirkenden oder höheren Berechtigungen.
  • Zugriff auf den Arbeitsbereich, wo Ihr Lakehouse sich befindet mit Mitwirkender-Berechtigungen oder höher.

Hinweis

Die maximale Anzahl der Quellen und Ziele für einen Eventstream beträgt 11.

Hinzufügen eines Lakehouses als Ziel

Führen Sie die folgenden Schritte aus, um einem Standard- oder abgeleiteten Eventstream ein Lakehouse-Ziel hinzuzufügen.

  1. Wählen Sie im Bearbeitungsmodus Ihres Eventstreams im Band die Option Ziel hinzufügen und wählen Sie Lakehouse aus der Dropdownliste.

    Ein Screenshot der Dropdownliste „Ziel hinzufügen“ mit hervorgehobener Option „Lakehouse“.

  2. Verbinden sie den Lakehouse-Node zu Ihrem Stream-Node oder Operator.

  3. Füllen Sie auf der Seite zur Konfiguration von Lakehouse die folgenden Informationen aus:

    1. Geben Sie einen Zielnamen ein.
    2. Wählen Sie den Arbeitsbereich aus, der Ihr Lakehouse enthält.
    3. Wählen Sie ein vorhandenes Lakehouse aus dem von Ihnen angegebenen Arbeitsbereich aus.
    4. Wählen Sie eine vorhandene Delta-Tabelle aus, oder erstellen Sie eine neue Tabelle, um Daten zu empfangen.
    5. Wählen Sie das Datenformat für die Daten aus, die an Ihr Lakehouse gesendet werden. Die unterstützten Datenformate sind JSON, Avro und CSV (mit Header).

    Screenshot des oberen Teils der Anzeige zur Lakehouse-Konfiguration.

  4. Wählen Sie Erweitert.

  5. Für ein Lakehouse-Ziel stehen zwei Erfassungsmodi zur Verfügung. Konfigurieren Sie diese Modi je nach Ihrem Szenario, um zu optimieren, wie Fabric Event Streams in das Lakehouse schreibt.

    • Mindestanzahl an Zeilen ist die Mindestanzahl an Zeilen, die Lakehouse in einer einzelnen Datei erfasst. Das Minimum beträgt 1 Zeile und maximal 2 Millionen Zeilen pro Datei. Je kleiner die Mindestanzahl von Zeilen ist, desto mehr Dateien erstellt Lakehouse während der Erfassung.

    • Maximale Dauer ist die maximale Dauer, die Lakehouse zum Erfassen einer einzelnen Datei benötigt. Der Mindestwert beträgt 1 Minute und maximal 2 Stunden. Je länger die Dauer ist, werden weitere Zeilen in einer Datei erfasst.

    Screenshot des Abschnitts „Erweitert“ der Anzeige zur Lakehouse-Konfiguration.

  6. Wählen Sie Speichern.

  7. Um das neu hinzugefügte Lakehouse-Ziel zu implementieren, wählen Sie Veröffentlichen aus.

    Screenshot des Stream- und Lakehouse-Ziels im Bearbeitungsmodus mit hervorgehobener Taste „Veröffentlichen“.

Sobald Sie diese Schritte abgeschlossen haben, ist das Lakehouse-Ziel für die Visualisierung in der Live-Ansicht verfügbar. Im Detailbereich können Sie die Verknüpfung Tabelle optimieren im Notebook auswählen, um einen Apache Spark-Auftrag in einem Notebook zu starten, der die kleinen Streaming-Dateien innerhalb der Ziel-Lakehouse-Tabelle konsolidiert.

Screenshot des Ziels des Lakehouse und der Tabellenoptimierungs-Taste in der Live-Ansicht.

Zugehöriger Inhalt

Wie Sie andere Ziele zu einem Eventstream hinzufügen können, erfahren Sie in den folgenden Artikeln:

Voraussetzungen

Bevor Sie beginnen, müssen die folgenden Voraussetzungen erfüllt sein:

  • Zugriff auf einen Arbeitsbereich im Fabric-Kapazitätslizenzmodus (oder) im Testlizenzmodus mit Mitwirkenden oder höheren Berechtigungen.
  • Erhalten Sie Zugriff auf einen Premium-Arbeitsbereich mit Mitwirkender-Berechtigungen oder höher, in dem sich Ihr Lakehouse befindet.

Hinweis

Die maximale Anzahl der Quellen und Ziele für einen Eventstream beträgt 11.

Hinzufügen eines Lakehouses als Ziel

Wenn Sie in Ihrem Arbeitsbereich ein Lakehouse erstellt haben, führen Sie die folgenden Schritte aus, um das Lakehouse Ihrem Eventstream als Ziel hinzuzufügen:

  1. Wählen Sie im Menüband Neues Ziel oder in der Canvas des Haupt-Editors „+“ und dann Lakehouse aus. Der Konfigurationsbildschirm für das Lakehouseziel wird angezeigt.

  2. Geben Sie einen Namen für das Eventstreamziel ein, und tragen Sie die Informationen zu Ihrem Lakehouse ein.

    Screenshot des Konfigurationsbildschirms für das Lakehouseziel

    1. Lakehouse: Wählen Sie ein vorhandenes Lakehouse aus dem von Ihnen angegebenen Arbeitsbereich aus.

    2. Delta-Tabelle: Wählen Sie eine vorhandene Delta-Tabelle aus, oder erstellen Sie eine neue Tabelle, um Daten zu empfangen.

      Hinweis

      Beim Schreiben von Daten in die Lakehouse-Tabelle erfolgt die Schemaerzwingung. Dies bedeutet, dass alle neuen Schreibvorgänge in einer Tabelle zum Zeitpunkt des Schreibvorgangs mit dem Schema der Zieltabelle kompatibel sein müssen, um die Qualität der Daten zu gewährleisten.

      Alle Datensätze der Ausgabedaten werden auf das Schema der vorhandenen Tabelle projiziert. Wenn die Ausgabe in eine neue Delta-Tabelle geschrieben wird, wird das Tabellenschema basierend auf dem ersten Datensatz erstellt. Wenn die eingehenden Daten eine zusätzliche Spalte im Vergleich zum vorhandenen Tabellenschema aufweisen, werden sie ohne Übernahme der zusätzlichen Spalte in die Tabelle geschrieben. Wenn umgekehrt den eingehenden Daten eine zusätzliche Spalte im Vergleich zum vorhandenen Tabellenschema fehlt, wird sie in die Tabelle geschrieben, wobei der Wert der Spalte auf Null festgelegt wird.

    3. Eingabedatenformat: Wählen Sie das Format für die Daten (Eingabedaten) aus, die an Ihr Lakehouse gesendet werden.

      Hinweis

      Die unterstützten Datenformate für Eingabeereignisse sind JSON, Avro und CSV (mit Kopfzeile).

    4. Ereignisverarbeitung: Sie können unseren Ereignisprozessor-Editor verwenden, um anzugeben, wie die Daten verarbeitet werden sollen, bevor sie an Ihr Lakehouse gesendet werden. Wählen Sie Ereignisprozessor öffnen aus, um den Ereignisverarbeitungs-Editor zu öffnen. Weitere Informationen zur Echtzeitverarbeitung mithilfe des Ereignisprozessors finden Sie unter Verarbeiten von Ereignisdaten mit dem Ereignisprozessor-Editor. Wenn Sie mit dem Editor fertig sind, wählen Sie Fertig aus, um zum Konfigurationsbildschirm des Lakehouseziels zurückzukehren.

      Screenshot des Ereignisprozessor-Editors.

  3. Für ein Lakehouse-Ziel stehen zwei Erfassungsmodi zur Verfügung. Wählen Sie einen dieser Modi aus, um zu optimieren, wie das Fabric-Eventstream-Feature basierend auf Ihrem Szenario in das Lakehouse schreibt.

    1. Zeilen pro Datei – Die Mindestanzahl an Zeilen, die Lakehouse in einer einzelnen Datei erfasst. Je kleiner die Mindestanzahl von Zeilen ist, desto mehr Dateien erstellt Lakehouse während der Erfassung. Das Minimum ist 1 Zeile. Das Maximum sind 2M Zeilen pro Datei.

    2. Dauer – Die maximale Dauer, die Lakehouse zum Erfassen einer einzelnen Datei benötigt. Je länger die Dauer ist, werden weitere Zeilen in einer Datei erfasst. Der Mindestwert beträgt 1 Minute und maximal 2 Stunden.

      Screenshot der Ingestion-Modi.

  4. Wählen Sie Hinzufügen aus, um das Lakehouse-Ziel hinzuzufügen.

  5. Verknüpfung zur Optimierung der Tabelle innerhalb des Lakehouse-Ziels verfügbar. Diese Lösung erleichtert es Ihnen, einen Spark-Auftrag in einem Notebook zu starten, der diese kleinen Streamingdateien in der Ziel-Lakehouse-Tabelle konsolidiert.

    Ein Screenshot zeigt die Einstellungen für die Tabellenoptimierung.

  6. Auf der Canvas wird ein Lakehouseziel mit einer sich drehenden Statusanzeige angezeigt. Das System benötigt einige Minuten, um den Status in Aktiv zu ändern.

    Screenshot des Ziels „Lakehouse“.

Verwalten eines Ziels

Bearbeiten/Entfernen: Sie können ein Eventstreamziel entweder über den Navigationsbereich oder die Canvas bearbeiten oder entfernen.

Wenn Sie Bearbeiten auswählen, wird der Bearbeitungsbereich rechts im Haupt-Editor geöffnet. Sie können die Konfiguration wie gewünscht ändern, einschließlich der Ereignistransformationslogik, über den Ereignisprozessor-Editor.

Screenshot, auf dem gezeigt wird, wo Sie die Optionen für Ziele auf der Canvas ändern und löschen können

Zugehöriger Inhalt

Wie Sie andere Ziele zu einem Eventstream hinzufügen können, erfahren Sie in den folgenden Artikeln: