Udostępnij za pośrednictwem

Używanie usługi Azure Data Lake Storage Gen1 do przechwytywania danych z usługi Event Hubs

  • Artykuł

Dowiedz się, jak używać usługi Azure Data Lake Storage Gen1 do przechwytywania danych odebranych przez usługę Azure Event Hubs.

Wymagania wstępne

Przypisywanie uprawnień do usługi Event Hubs

W tej sekcji utworzysz folder w ramach konta, w którym chcesz przechwycić dane z usługi Event Hubs. Możesz również przypisać uprawnienia do usługi Event Hubs, aby umożliwić zapisywanie danych na koncie usługi Data Lake Storage Gen1.

  1. Otwórz konto usługi Data Lake Storage Gen1, na którym chcesz przechwycić dane z usługi Event Hubs, a następnie kliknij pozycję Data Explorer.

    Eksplorator danych usługi Data Lake Storage Gen1 Eksplorator danych usługi Data Lake Storage Gen1

  2. Kliknij Nowy folder, a następnie wpisz nazwę folderu, w którym chcesz zapisać dane.

    Utwórz nowy folder w usłudze Data Lake Storage Gen1

  3. Przypisz uprawnienia na poziomie root usługi Data Lake Storage Gen1.

    a. Kliknij pozycję Eksplorator danych, wybierz katalog główny konta usługi Data Lake Storage Gen1, a następnie kliknij pozycję Access.

    Zrzut ekranu eksploratora danych z głównym katalogiem konta i wybraną opcją Dostęp.

    b. W sekcji Accesskliknij Dodaj, kliknij Wybierz użytkownika lub grupę, a następnie wyszukaj Microsoft.EventHubs.

    Zrzut ekranu przedstawiający stronę Dostęp z opcją Dodaj, Wybierz użytkownika lub grupę i wywołaną opcję Microsoft Eventhubs. usługi Data Lake Storage Gen1

    Kliknij opcję Wybierz.

    c. W obszarze Przypisz uprawnieniakliknij pozycję Wybierz uprawnienia. Ustaw uprawnienia na Wykonaj. Ustaw Dodaj do na wartość Ten folder i wszystkie elementy podrzędne. Ustaw jako, aby dodać do wpis uprawnień dostępu i domyślny wpis uprawnień.

    Ważne

    Podczas tworzenia nowej hierarchii folderów do przechwytywania danych odbieranych przez usługę Azure Event Hubs jest to łatwy sposób zapewnienia dostępu do folderu docelowego. Jednak dodawanie uprawnień do wszystkich elementów podrzędnych folderu najwyższego poziomu z wieloma plikami podrzędnymi i folderami może zająć dużo czasu. Jeśli folder główny zawiera dużą liczbę plików i folderów, może być szybsze dodawanie wykonywanie uprawnień do Microsoft.EventHubs indywidualnie do każdego folderu w ścieżce do końcowego folderu docelowego.

    zrzut ekranu sekcji Przypisywanie uprawnień z wywołaną opcją Wybierz uprawnienia. Sekcja Wybierz uprawnienia znajduje się obok niej z opcją Wykonaj, Dodaj do i Dodaj jako wybraną opcją. usługi Data Lake Storage Gen1

    Kliknij przycisk OK.

  4. Przypisz uprawnienia do folderu na koncie usługi Data Lake Storage Gen1, w którym chcesz przechwytywać dane.

    a. Kliknij pozycję Eksplorator danych, wybierz folder na koncie usługi Data Lake Storage Gen1, a następnie kliknij pozycję Access.

    Zrzut ekranu eksploratora danych z folderem na koncie i wybraną opcją Dostęp.

    b. W obszarze Accesskliknij Dodaj, kliknij Wybierz użytkownika lub grupę, a następnie wyszukaj Microsoft.EventHubs.

    Zrzut ekranu przedstawiający stronę dostępu do Eksploratora danych z zaznaczoną opcją Dodaj, opcją Wybierz użytkownika lub grupę oraz opcją Microsoft Eventhubs.

    Kliknij opcję Wybierz.

    c. W obszarze Przypisz uprawnieniakliknij Wybierz uprawnienia. Ustaw uprawnienia na odczyt, zapis, i wykonaj. Ustaw Dodaj do na wartość Ten folder i wszystkie elementy podrzędne. Na koniec ustaw Dodaj jako dla wpisu uprawnień dostępu oraz domyślnego wpisu uprawnień.

    Zrzut ekranu sekcji Przypisywanie uprawnień z zaznaczoną opcją Wybierz uprawnienia. Sekcja Wybierz uprawnienia znajduje się obok niej z opcjami Odczyt, Zapis, Wykonywanie, Dodaj do oraz z zaznaczoną opcją Dodaj jako.

    Kliknij przycisk OK.

Skonfiguruj Event Hubs do przechwytywania danych w usłudze Data Lake Storage Gen1

W tej sekcji utworzysz Event Hub w przestrzeni nazw Event Hubs. Należy również skonfigurować centrum zdarzeń do przechwytywania danych na koncie usługi Azure Data Lake Storage Gen1. W tej sekcji założono, że utworzono już przestrzeń nazw usługi Event Hubs.

  1. W okienku Przegląd przestrzeni nazw usługi Event Hubs kliknij pozycję + Event Hub.

    Zrzut ekranu przedstawiający okienko Przegląd z wywołaną opcją Centrum zdarzeń.

  2. Podaj następujące wartości, aby skonfigurować usługę Event Hubs do przechwytywania danych w usłudze Data Lake Storage Gen1.

    Zrzut ekranu okna dialogowego Tworzenie centrum zdarzeń z polem tekstowym Nazwa, opcją Przechwytywanie, opcją Dostawca przechwytywania, opcją Wybierz Data Lake Store i opcją o nazwie Ścieżka Data Lake.

    a. Podaj nazwę centrum zdarzeń.

    b. Na potrzeby tego samouczka ustaw liczbę partycji oraz przechowywanie komunikatów na wartości domyślne.

    c. Ustaw przechwytywanie na Włącz. Ustaw przedział czasu (jak często przechwytywać) i rozmiar okna (rozmiar danych do przechwycenia).

    d. W przypadku Capture Providerwybierz opcję Azure Data Lake Store, a następnie wybierz konto, które stworzyłeś wcześniej w usłudze Data Lake Storage Gen1. W przypadku ścieżki usługi Data Lakewprowadź nazwę folderu utworzonego na koncie usługi Data Lake Storage Gen1. Wystarczy podać ścieżkę względną do folderu.

    e. Pozostaw formaty nazw plików przechwytywania jako domyślne. Ta opcja określa strukturę folderów utworzoną w folderze przechwytywania.

    f. Kliknij pozycję Utwórz.

Testowanie konfiguracji

Teraz możesz przetestować rozwiązanie, wysyłając dane do usługi Azure Event Hub. Postępuj zgodnie z instrukcjami w Wysyłanie zdarzeń do usługi Azure Event Hubs. Po rozpoczęciu wysyłania danych zobaczysz dane odzwierciedlone w usłudze Data Lake Storage Gen1 przy użyciu określonej struktury folderów. Na przykład na koncie usługi Data Lake Storage Gen1 zostanie wyświetlona struktura folderów, jak pokazano na poniższym zrzucie ekranu.

przykładowe dane usługi EventHub w usłudze Data Lake Storage Gen1

Uwaga

Nawet jeśli nie masz komunikatów przychodzących do usługi Event Hubs, usługa Event Hubs zapisuje puste pliki z tylko nagłówkami na koncie usługi Data Lake Storage Gen1. Pliki są zapisywane w tym samym interwale czasu, który został podany podczas tworzenia usługi Event Hubs.

Analizowanie danych w usłudze Data Lake Storage Gen1

Gdy dane znajdują się w usłudze Data Lake Storage Gen1, możesz uruchamiać zadania analityczne w celu przetwarzania i analizowania danych. Zobacz przykład USQL Avro,, jak to zrobić przy użyciu usługi Azure Data Lake Analytics.

Zobacz też