Freigeben über

Verwenden von Azure Data Lake Storage Gen1 zum Erfassen von Daten aus Event Hubs

  • Artikel

Erfahren Sie, wie Sie Azure Data Lake Storage Gen1 zum Erfassen von Daten verwenden, die von Azure Event Hubs empfangen werden.

Voraussetzungen

Zuweisen von Berechtigungen zu Event Hubs

In diesem Abschnitt erstellen Sie einen Ordner innerhalb des Kontos, in dem Sie die Daten aus Event Hubs erfassen möchten. Außerdem weisen Sie Event Hubs Berechtigungen zu, damit daten in ein Data Lake Storage Gen1-Konto geschrieben werden können.

  1. Öffnen Sie das Data Lake Storage Gen1-Konto, in dem Sie Daten aus Event Hubs erfassen möchten, und klicken Sie dann auf Daten-Explorer.

    Data Lake Storage Gen1-Daten-Explorer

  2. Klicken Sie auf Neuen Ordner und geben Sie dann einen Namen für den Ordner ein, in dem Sie die Daten erfassen möchten.

    Erstellen eines neuen Ordners in Data Lake Storage Gen1

  3. Berechtigungen im Stammverzeichnis von Data Lake Storage Gen1 vergeben.

    a) Klicken Sie auf Daten-Explorer-, wählen Sie den Stamm des Data Lake Storage Gen1-Kontos aus, und klicken Sie dann auf Access.

    Screenshot des Daten-Explorers mit dem Stammverzeichnis des Kontos und der hervorgehobenen Zugriffsoption.

    b. Klicken Sie unter Accessauf Hinzufügen, klicken Sie auf Benutzer oder Gruppeauswählen, und suchen Sie dann nach Microsoft.EventHubs.

    Screenshot der Access-Seite mit der Option

    Klicke auf Auswählen.

    c. Klicken Sie unter Zuweisen von Berechtigungenauf Berechtigungenauswählen. Legen Sie Berechtigungen auf Ausführenfest. Legen Sie zu in diesen Ordner und alle untergeordnetenhinzu. Legen Sie Hinzufügen als auf Ein Zugriffsberechtigungseintrag und einen Standardberechtigungseintragfest.

    Wichtig

    Beim Erstellen einer neuen Ordnerhierarchie zum Erfassen von Daten, die von Azure Event Hubs empfangen werden, ist dies eine einfache Möglichkeit, den Zugriff auf den Zielordner sicherzustellen. Das Hinzufügen von Berechtigungen zu allen untergeordneten Elementen eines Ordners auf oberster Ebene mit vielen untergeordneten Dateien und Ordnern kann jedoch lange dauern. Wenn Ihr Stammordner eine große Anzahl von Dateien und Ordnern enthält, kann es schneller sein, Ausführen Berechtigungen für Microsoft.EventHubs einzelne Ordner im Pfad zu Ihrem endgültigen Zielordner hinzuzufügen.

    Screenshot des Abschnitts

    Klicke auf OK.

  4. Weisen Sie berechtigungen für den Ordner unter dem Data Lake Storage Gen1-Konto zu, in dem Sie Daten erfassen möchten.

    a) Klicken Sie auf Daten-Explorer, wählen Sie den Ordner im Data Lake Storage Gen1-Konto aus, und klicken Sie dann auf Access.

    Screenshot des Daten-Explorers mit einem Ordner im Konto und der Access-Option, die aufgerufen wurde.

    b. Klicken Sie unter Accessauf Hinzufügen, klicken Sie auf Benutzer oder Gruppe auswählen, und suchen Sie dann nach Microsoft.EventHubs.

    Screenshot der Seite

    Klicke auf Auswählen.

    c. Klicken Sie unter Zuweisen von Berechtigungenauf Berechtigungenauswählen. Legen Sie Berechtigungen fest,Lese-, Schreib-,- und Ausführen-. Legen Sie fest, um zu diesen Ordner und alle untergeordnetenhinzuzufügen. Legen Sie schließlich sowohl den Zugriffsberechtigungseintrag Hinzufügen als auf als auch den Standardberechtigungseintragfest.

    Screenshot des Abschnitts

    Klicke auf OK.

Konfigurieren von Event Hubs zum Erfassen von Daten in Data Lake Storage Gen1

In diesem Abschnitt erstellen Sie einen Event Hub in einem Event Hubs-Namespace. Außerdem konfigurieren Sie den Event Hub so, dass Daten in einem Azure Data Lake Storage Gen1-Konto erfasst werden. In diesem Abschnitt wird davon ausgegangen, dass Sie bereits einen Event Hubs-Namespace erstellt haben.

  1. Klicken Sie im Bereich Übersicht des Event-Hubs-Namespace auf + Event Hub.

    Screenshot des Übersichtsbereichs, in dem die Option Event Hub hervorgehoben wird.

  2. Stellen Sie die folgenden Werte bereit, um Event Hubs zum Erfassen von Daten in Data Lake Storage Gen1 zu konfigurieren.

    Screenshot des Dialogfelds

    a) Geben Sie einen Namen für den Event Hub an.

    b. Legen Sie für dieses Lernprogramm Partitionsanzahl und Nachrichtenaufbewahrungs- auf die Standardwerte fest.

    c. Legen Sie Capture auf Onfest. Legen Sie die Zeitfenster- (wie häufig erfasst werden soll) und Größenfenster- (zu erfassende Datengröße) fest.

    d. Wählen Sie für Capture ProviderAzure Data Lake Store und dann das Zuvor erstellte Data Lake Storage Gen1-Konto aus. Geben Sie für Data Lake Pathden Namen des Ordners ein, den Sie im Data Lake Storage Gen1-Konto erstellt haben. Sie müssen nur den relativen Pfad zum Ordner angeben.

    e. Lassen Sie die Beispiel-Aufnahmedateinamen-Formate auf den Standardwert gesetzt. Diese Option steuert die Ordnerstruktur, die unter dem Aufnahmeordner erstellt wird.

    f. Klicken Sie auf Erstellen.

Testen des Setups

Sie können die Lösung jetzt testen, indem Sie Daten an den Azure Event Hub senden. Folgen Sie den Anweisungen unter Senden von Ereignissen an Azure Event Hubs. Nachdem Sie mit dem Senden der Daten begonnen haben, werden die Daten in Data Lake Storage Gen1 mithilfe der von Ihnen angegebenen Ordnerstruktur angezeigt. Sie sehen beispielsweise eine Ordnerstruktur, wie im folgenden Screenshot gezeigt, in Ihrem Data Lake Storage Gen1-Konto.

EventHub-Beispieldaten in Data Lake Storage Gen1

Hinweis

Auch wenn keine Nachrichten in Event Hubs eingehen, schreibt Event Hubs leere Dateien mit nur den Headern in das Data Lake Storage Gen1-Konto. Die Dateien werden in dem von Ihnen beim Erstellen der Event Hubs angegebenen Zeitintervall geschrieben.

Analysieren von Daten in Data Lake Storage Gen1

Sobald sich die Daten in Data Lake Storage Gen1 befinden, können Sie Analyseaufträge ausführen, um die Daten zu verarbeiten und zu crunchen. Siehe USQL Avro-Beispiel dazu, wie Sie dies mit Azure Data Lake Analytics tun können.

Siehe auch