Erstellen einer Event Hubs-Datenverbindung für Azure Data Explorer

Azure Data Explorer ermöglicht die Datenerfassung aus Event Hubs. Dabei handelt es sich um eine Big-Data-Streamingplattform und einen Ereigniserfassungsdienst. Event Hubs kann Millionen von Ereignissen pro Sekunde nahezu in Echtzeit verarbeiten.

In diesem Artikel stellen Sie eine Verbindung mit einem Event Hub her und erfassen Daten in Azure Data Explorer. Eine Übersicht über die Erfassung aus Event Hubs finden Sie unter Azure Event Hubs-Datenverbindung.

Informationen zum Erstellen der Verbindung mithilfe der Kusto-SDKs finden Sie unter Erstellen einer Event Hubs-Datenverbindung mit SDKs.

Codebeispiele, die auf früheren SDK-Versionen basieren, finden Sie im archivierten Artikel.

Erstellen einer Event Hub-Datenverbindung

In diesem Abschnitt richten Sie eine Verbindung zwischen dem Event Hub und Ihrer Azure Data Explorer-Tabelle ein. Solange diese Verbindung besteht, werden Daten vom Event Hub in Ihre Zieltabelle übertragen. Wenn der Event Hub in eine andere Ressource oder ein anderes Abonnement verschoben wird, müssen Sie die Verbindung aktualisieren oder neu erstellen.

Abrufen von Daten

Voraussetzungen

• Ein Microsoft-Konto oder eine Microsoft Entra-Benutzeridentität. Ein Azure-Abonnement ist nicht erforderlich.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Die Streamingaufnahme muss auf Ihrem Azure Data Explorer-Cluster konfiguriert werden.

Datensammlung

1. Wählen Sie im linken Menü " Abfrage" aus.

2. Klicken Sie mit der rechten Maustaste auf die Datenbank, in der Sie die Daten aufnehmen möchten. Wählen Sie Daten abrufen.

   

Quelle

Im Fenster Daten abrufen ist die Registerkarte Quelle ausgewählt.

Wählen Sie die Datenquelle aus der verfügbaren Liste aus. In diesem Beispiel nehmen Sie Daten aus Event Hubsauf.

Konfigurieren

1. Wählen Sie eine Zieldatenbank und -tabelle aus. Wenn Sie Daten in einer neuen Tabelle erfassen möchten, wählen Sie +Neue Tabelle aus, und geben Sie einen Tabellennamen ein.

   Hinweis

   Tabellennamen können bis zu 1024 Zeichen umfassen und alphanumerische Zeichen, Bindestriche und Unterstriche enthalten. Sonderzeichen werden nicht unterstützt.

   

2. Füllen Sie die folgenden Felder aus:

   Einstellung	Feldbeschreibung
   Abonnement	Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace	Der Name, der Ihren Namespace bezeichnet
   Event Hub	Der Event Hub, den Sie wünschen
   Consumergruppe	Die in Ihrem Ereignis definierte Verbrauchergruppe
   Name der Datenverbindung	Der Name, der Ihre Datenverbindung bezeichnet
   Erweiterte Filter
   Komprimierung	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
   Ereignissystemeigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Startdatum des Ereignisabrufs	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Es können nur Ereignisse abgerufen werden, die vom Aufbewahrungszeitraum von Event Hubs aufbewahrt werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit die Uhrzeit, zu der die Datenverbindung erstellt wird.

3. Klicken Sie auf Weiter.

Inspizieren

Die Registerkarte Prüfen wird mit einer Vorschau der Daten geöffnet.

Um den Erfassungsvorgang abzuschließen, wählen Sie Fertig stellen aus.

Optional:

• Sind die im Vorschaufenster angezeigten Daten nicht vollständig, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:

  • Verwerfen und Abrufen neuer Daten: Verwirft die angezeigten Daten und sucht nach neuen Ereignissen.

  • Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.

    Hinweis

    Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.

• Wählen Sie die Befehlsanzeige, um die aus Ihren Eingaben generierten automatischen Befehle anzuzeigen und zu kopieren.

• Verwenden Sie die Dateidropdownliste Schemadefinition, um die Datei zu ändern, von der das Schema abgeleitet wird.

• Ändern Sie das automatisch abgeleitete Datenformat, indem Sie das gewünschte Format aus der Dropdownliste auswählen. Informationen zum Aufnehmen finden Sie unter Datenformate, die vom Azure-Daten-Explorer unterstützt werden.

• Spalten bearbeiten.

• Erkunden Sie Erweiterte Optionen basierend auf dem Datentyp.

Bearbeiten von Spalten

Hinweis

• Bei Tabellenformaten (CSV, TSV, PSV) können Sie eine Spalte nicht zweimal zuordnen. Löschen Sie bei einer Zuordnung zu einer vorhandenen Spalte zunächst die neue Spalte.
• Der Typ einer vorhandenen Spalte kann nicht geändert werden. Wenn Sie als Zuordnungsziel eine Spalte mit einem anderen Format verwenden, erhalten Sie ggf. leere Spalten.

Die Änderungen, die Sie an einer Tabelle vornehmen können, hängen von den folgenden Parametern ab:

• Die Tabelle ist neu oder vorhanden.
• Die Zuordnung ist neu oder vorhanden.

Tabellentyp	Zuordnungstyp	Verfügbare Anpassungen
Neue Tabelle	Neue Zuordnung	Spalte umbenennen, Datentyp ändern, Datenquelle ändern, Zuordnungstransformation, Spalte hinzufügen, Spalte löschen
Vorhandene Tabelle	Neue Zuordnung	Spalte hinzufügen (für die Sie dann den Datentyp ändern und die Sie umbenennen und aktualisieren können)
Vorhandene Tabelle	Vorhandene Zuordnung	keine

Zuordnungstransformationen

Einige der Datenformatzuordnungen (Parquet, JSON und Avro) unterstützen einfache Transformationen während der Erfassung. Erstellen oder aktualisieren Sie zum Anwenden von Zuordnungstransformationen eine Spalte im Fenster Spalten bearbeiten.

Zuordnungstransformationen können für eine Spalte ausgeführt werden, für die als Typ der Wert „string“ oder „datetime“ und für Quelle der Datentyp „int“ oder „long“ angegeben ist. Die folgenden Zuordnungstransformationen werden unterstützt:

• DateTimeFromUnixSeconds
• DateTimeFromUnixMilliseconds
• DateTimeFromUnixMicroseconds
• DateTimeFromUnixNanoseconds

Erweiterte Optionen basierend auf dem Datentyp

Tabellarisch (CSV, TSV, PSV):

• Wenn Sie tabellarische Formate in einer vorhandenen Tabelle aufnehmen, können Sie "Erweitertes>Aktuelles Tabellenschema beibehalten" auswählen. Tabellendaten enthalten nicht unbedingt die Spaltennamen, die verwendet werden, um Quelldaten den vorhandenen Spalten zuzuordnen. Wenn diese Option aktiviert ist, wird die Zuordnung nach der geltenden Reihenfolge durchgeführt, und das Tabellenschema bleibt unverändert. Wenn diese Option deaktiviert ist, werden unabhängig von der Datenstruktur neue Spalten für eingehende Daten erstellt.

• Wählen Sie Erweitert>Erste Zeile ist Spaltenüberschrift, um die erste Zeile als Spaltennamen zu verwenden.

  

JSON:

• Wählen Sie Erweitert>Verschachtelte Ebenen, von 1 bis 100, um die Spaltenaufteilung der JSON-Daten festzulegen.

• Wenn Sie "Erweitertes>Ignorieren von Datenformatfehlern" auswählen, werden die Daten im JSON-Format aufgenommen. Wenn Sie das Kontrollkästchen nicht aktivieren, werden die Daten im MultiJSON-Format erfasst.

  

Zusammenfassung

Im Fenster Datenaufbereitung werden alle drei Schritte mit grünen Häkchen markiert, wenn die Datenerfassung erfolgreich abgeschlossen wurde. Sie können die Befehle anzeigen, die für jeden Schritt verwendet wurden, oder eine Karte zum Abfragen, Visualisieren oder Ablegen der aufgenommenen Daten auswählen.

Portal – Azure Data Explorer-Seite

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle: Erstellen Sie eine Tabelle, oder verwenden Sie eine vorhandene.
• Eine Erfassungszuordnung für die Tabelle
• Ein Event Hub mit Daten für die Erfassung

Datensammlung

1. Wechseln Sie im Azure-Portal zu Ihrem Cluster, und wählen Sie "Datenbanken" aus. Wählen Sie dann die Datenbank aus, die Ihre Zieltabelle enthält.

   

2. Wählen Sie im linken Menü "Datenaufnahme" aus. Wählen Sie dann in der oberen Leiste "Datenverbindung hinzufügen" aus.

3. Füllen Sie das Formular mit den folgenden Informationen aus, und wählen Sie dann Erstellen aus.

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Name der Datenverbindung	test-hub-connection	Der Name der Verbindung, die Sie im Azure-Daten-Explorer erstellen möchten.
   Abonnement		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace	Ein eindeutiger Namespacename	Der von Ihnen zuvor ausgewählte Name, der Ihren Namespace identifiziert.
   Event Hub	test-hub	Der von Ihnen erstellte Event Hub.
   Consumergruppe	test-group	Die Consumergruppe, die in dem von Ihnen erstellten Event Hub definiert ist.
   Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Komprimierung	None	Der Komprimierungstyp der Event Hub-Nachrichtennutzlast. Unterstützte Komprimierungstypen: Keine, gzip.
   Verwaltete Identität (empfohlen)	Systemseitig zugewiesen	Die verwaltete Identität, die vom Data Explorer-Cluster für den Zugriff zum Lesen im Event Hub verwendet wird. Es wird empfohlen, verwaltete Identitäten zu verwenden, um den Zugriff auf Ihren Event Hub zu steuern. Hinweis: Wenn die Datenverbindung erstellt wird: * Systemseitig zugewiesene Identitäten werden automatisch erstellt, wenn sie nicht vorhanden sind. * Der verwalteten Identität wird automatisch die Rolle Azure Event Hubs-Datenempfänger zugewiesen, und sie wird Ihrem Data Explorer-Cluster hinzugefügt. Es wird empfohlen, zu überprüfen, ob die Rolle zugewiesen und die Identität dem Cluster hinzugefügt wurde.

   Hinweis

   Wenn Sie über eine vorhandene Datenverbindung verfügen, die keine verwalteten Identitäten verwendet, wird empfohlen, sie für die Verwendung verwalteter Identitäten zu aktualisieren.

Portal – Azure Event Hubs-Seite

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle: Erstellen Sie eine Tabelle, oder verwenden Sie eine vorhandene.
• Eine Erfassungszuordnung für die Tabelle
• Ein Event Hub mit Daten für die Erfassung

Datensammlung

1. Navigieren Sie im Azure-Portal zu Ihrer Event Hubs-Instanz.

2. Wählen Sie im Menü "Features " die Option "Daten mit Kusto analysieren" aus.

3. Wählen Sie "Start" aus, um den Aufnahme-Assistenten im Azure-Daten-Explorer zu öffnen.

   

   Hinweis

   • Sie müssen mindestens über Datenbankbenutzerberechtigungen verfügen.
   • Informationen zum Aktivieren des Zugriffs zwischen einem Cluster und einem Speicherkonto ohne öffentlichen Zugriff finden Sie unter Erstellen eines verwalteten privaten Endpunkts.
   • Der Cluster und der Event Hub sollten denselben Mandanten zugeordnet sein. Verwenden Sie andernfalls eine der SDK-Optionen, z. B. C# oder Python.

4. Der Bereich "Daten aufnehmen" wird geöffnet, wobei die Registerkarte "Ziel " ausgewählt ist. Wählen Sie die Felder "Cluster " und "Datenbank " aus den Dropdowns aus. Stellen Sie sicher, dass Sie einen Cluster auswählen, der ausgeführt wird. Andernfalls können Sie die Datenbank nicht auswählen und mit dem Aufnahmevorgang fortfahren.

5. Wählen Sie unter "Tabelle" die Option "Neue Tabelle " aus, und geben Sie einen Namen für die neue Tabelle ein. Alternativ können Sie eine vorhandene Tabelle verwenden.

6. Wählen Sie die Option Weiter: Quelle aus.

7. Unter "Quelltyp" werden der Ereignishubtyp und die Details basierend auf der Event Hubs-Instanz, von der Sie gestartet haben, automatisch aufgefüllt.

8. Geben Sie unter "Datenverbindung" die folgenden Felder ein, und wählen Sie "Weiter: Schema" aus.

   Einstellung	Empfohlener Wert	Feldbeschreibung
   Abonnement		Die Abonnement-ID, unter der sich die Event Hub-Ressource befindet
   Event Hub-Namespace		Der Name, der Ihren Namespace bezeichnet
   Event Hub		Der zu verwendende Event Hub
   Name der Datenverbindung	TestDataConnection	Der Name, der Ihre Datenverbindung bezeichnet
   Consumergruppe		Die in Ihrem Event Hub definierte Consumergruppe
   Komprimierung		Der Komprimierungstyp der Event Hub-Nachrichtennutzlast.
   Ereignissystemeigenschaften	Auswählen relevanter Eigenschaften	Die Event Hub-Systemeigenschaften. Wenn pro Ereignisnachricht mehrere Datensätze vorhanden sind, werden die Systemeigenschaften dem ersten Datensatz hinzugefügt. Beim Hinzufügen von Systemeigenschaften erstellen oder aktualisieren Sie das Tabellenschema und die Zuordnung, um die ausgewählten Eigenschaften einzubeziehen.
   Startdatum des Ereignisabrufs	Koordinierte Weltzeit (UTC)	Die Datenverbindung ruft vorhandene Event Hubs-Ereignisse ab, die nach dem Startdatum des Ereignisabrufs erstellt wurden. Es können nur Ereignisse abgerufen werden, die vom Aufbewahrungszeitraum von Event Hubs aufbewahrt werden. Wenn das Startdatum des Ereignisabrufs nicht angegeben ist, ist die Standardzeit die Uhrzeit, zu der die Datenverbindung erstellt wird.

9. Wenn Streaming für den Cluster aktiviert ist, können Sie "Streaming-Aufnahme" auswählen. Wenn Streaming für den Cluster nicht aktiviert ist, legen Sie die Latenz für den Datenbatch fest. Bei Event Hubs beträgt die empfohlene Batchverarbeitungszeit 30 Sekunden.

   

10. Wählen Sie das Datenformat aus. Ignorieren Sie für CSV-formatierte Daten den ersten Datensatz, um die Überschriftenzeile der Datei zu ignorieren. Wählen Sie für JSON-formatierte Daten die Option "Datenformatfehler ignorieren" aus, um die Daten im JSON-Format aufzunehmen oder nicht ausgewählt zu lassen, um die Daten im Multijson-Format aufzunehmen. Wählen Sie die geschachtelten Ebenen aus, um die Tabellenspaltendatenteilung zu bestimmen.

11. Sind die im Vorschaufenster angezeigten Daten nicht vollständig, benötigen Sie möglicherweise mehr Daten, um eine Tabelle mit allen erforderlichen Datenfeldern zu erstellen. Verwenden Sie die folgenden Befehle, um neue Daten aus Ihrem Event Hub abzurufen:

    • Verwerfen und neue Daten abrufen: Die dargestellten Daten werden verworfen, und es wird nach neuen Ereignissen gesucht.
    • Fetch more data (Weitere Daten abrufen): Zusätzlich zu den bereits gefundenen Ereignissen wird nach weiteren Ereignissen gesucht.

    Hinweis

    Damit Sie eine Vorschau Ihrer Daten anzeigen können, muss Ihr Event Hub Ereignisse senden.

12. Wählen Sie Weiter: Zusammenfassung aus.

13. Im eingerichteten Ereignishubfenster werden alle Schritte mit grünen Häkchen gekennzeichnet, wenn die Einrichtung erfolgreich abgeschlossen ist.

ARM-Vorlage

Voraussetzungen

• Ein Azure-Abonnement. Erstellen Sie ein kostenloses Azure-Konto.
• Schnellstart: Erstellen eines Azure Data Explorer-Clusters und einer Datenbank. Erstellen eines Clusters und einer Datenbank
• Eine Zieltabelle: Erstellen Sie eine Tabelle, oder verwenden Sie eine vorhandene.
• Eine Erfassungszuordnung für die Tabelle
• Ein Event Hub mit Daten für die Erfassung

ARM-Vorlage

Das folgende Beispiel zeigt eine Azure Resource Manager-Vorlage für das Hinzufügen einer Event Hubs-Datenverbindung. Sie können die Vorlage im Azure-Portal mithilfe des Formulars bearbeiten und bereitstellen.

{
    "$schema": "https://schema.management.azure.com/schemas/2015-01-01/deploymentTemplate.json#",
    "contentVersion": "1.0.0.0",
    "parameters": {
        "namespaces_eventhubns_name": {
            "type": "string",
            "defaultValue": "eventhubns",
            "metadata": {
                "description": "Specifies the Event Hubs Namespace name."
            }
        },
        "EventHubs_eventhubdemo_name": {
            "type": "string",
            "defaultValue": "eventhubdemo",
            "metadata": {
                "description": "Specifies the event hub name."
            }
        },
        "consumergroup_default_name": {
            "type": "string",
            "defaultValue": "$Default",
            "metadata": {
                "description": "Specifies the consumer group of the event hub."
            }
        },
        "Clusters_kustocluster_name": {
            "type": "string",
            "defaultValue": "kustocluster",
            "metadata": {
                "description": "Specifies the name of the cluster"
            }
        },
        "databases_kustodb_name": {
            "type": "string",
            "defaultValue": "kustodb",
            "metadata": {
                "description": "Specifies the name of the database"
            }
        },
        "tables_kustotable_name": {
            "type": "string",
            "defaultValue": "kustotable",
            "metadata": {
                "description": "Specifies the name of the table"
            }
        },
        "mapping_kustomapping_name": {
            "type": "string",
            "defaultValue": "kustomapping",
            "metadata": {
                "description": "Specifies the name of the mapping rule"
            }
        },
        "dataformat_type": {
            "type": "string",
            "defaultValue": "csv",
            "metadata": {
                "description": "Specifies the data format"
            }
        },
        "databaseRouting_type": {
            "type": "string",
            "defaultValue": "Single",
            "metadata": {
                "description": "The database routing for the connection. If you set the value to **Single**, the data connection will be routed to a single database in the cluster as specified in the *databaseName* setting. If you set the value to **Multi**, you can override the default target database using the *Database* EventData property."
            }
        },
        "dataconnections_kustodc_name": {
            "type": "string",
            "defaultValue": "kustodc",
            "metadata": {
                "description": "Name of the data connection to create"
            }
        },
        "subscriptionId": {
            "type": "string",
            "defaultValue": "[subscription().subscriptionId]",
            "metadata": {
                "description": "Specifies the subscriptionId of the event hub"
            }
        },
        "resourceGroup": {
            "type": "string",
            "defaultValue": "[resourceGroup().name]",
            "metadata": {
                "description": "Specifies the resourceGroup of the event hub"
            }
        },
        "location": {
            "type": "string",
            "defaultValue": "[resourceGroup().location]",
            "metadata": {
                "description": "Location for all resources."
            }
        }
    },
    "variables": {
    },
    "resources": [{
            "type": "Microsoft.Kusto/Clusters/Databases/DataConnections",
            "apiVersion": "2022-02-01",
            "name": "[concat(parameters('Clusters_kustocluster_name'), '/', parameters('databases_kustodb_name'), '/', parameters('dataconnections_kustodc_name'))]",
            "location": "[parameters('location')]",
            "kind": "EventHub",
            "properties": {
                "managedIdentityResourceId": "[resourceId('Microsoft.Kusto/clusters', parameters('clusters_kustocluster_name'))]",
                "eventHubResourceId": "[resourceId(parameters('subscriptionId'), parameters('resourceGroup'), 'Microsoft.EventHub/namespaces/eventhubs', parameters('namespaces_eventhubns_name'), parameters('EventHubs_eventhubdemo_name'))]",
                "consumerGroup": "[parameters('consumergroup_default_name')]",
                "tableName": "[parameters('tables_kustotable_name')]",
                "mappingRuleName": "[parameters('mapping_kustomapping_name')]",
                "dataFormat": "[parameters('dataformat_type')]",
                "databaseRouting": "[parameters('databaseRouting_type')]"
            }
        }
    ]
}

Entfernen einer Event Hub-Datenverbindung

Abrufen von Daten

Entfernen Sie die Datenverbindung über die Azure-Portal, wie auf der Registerkarte "Portal" erläutert.

Portal

Gehen Sie wie folgt vor, um die Event Hub-Verbindung aus dem Azure-Portal zu entfernen:

1. Zum Custer wechseln Wählen Sie im linken Menü Einstellungen aus. Wählen Sie dann die Datenbank aus, die die Zieltabelle enthält.
2. Wählen Sie im linken Menü Datenverbindungen aus. Aktivieren Sie dann das Kontrollkästchen neben der relevanten Event Hub-Datenverbindung.
3. Wählen Sie in der oberen Menüleiste Löschen aus.

Zugehöriger Inhalt

• Überprüfen der Verbindung mit der Event Hub-App für Beispielnachrichten
• Abfragen von Daten in der Webbenutzeroberfläche