Samouczek: przesyłanie strumieniowe i używanie zdarzeń do i z analizy w czasie rzeczywistym przy użyciu punktu końcowego platformy Apache Kafka w strumieniu zdarzeń

Z tego samouczka dowiesz się, jak używać punktu końcowego platformy Apache Kafka dostarczonego przez niestandardowe źródło punktu końcowego w rozszerzonych możliwościach strumieni zdarzeń usługi Microsoft Fabric w celu przesyłania strumieniowego zdarzeń do analizy w czasie rzeczywistym. (Niestandardowy punkt końcowy jest nazywany aplikacją niestandardową w standardowych możliwościach strumieni zdarzeń sieci Szkieletowej). Dowiesz się również, jak korzystać z tych zdarzeń przesyłania strumieniowego przy użyciu punktu końcowego platformy Apache Kafka z niestandardowego miejsca docelowego punktu końcowego strumienia zdarzeń.

W tym samouczku zostały wykonane następujące czynności:

• Utwórz strumień zdarzeń.
• Pobierz punkt końcowy platformy Kafka ze źródła niestandardowego punktu końcowego.
• Wysyłanie zdarzeń za pomocą aplikacji platformy Kafka.
• Pobierz punkt końcowy platformy Kafka z niestandardowego miejsca docelowego punktu końcowego.
• Korzystanie ze zdarzeń za pomocą aplikacji platformy Kafka.

Wymagania wstępne

• Uzyskaj dostęp do obszaru roboczego z uprawnieniami współautora lub wyższymi uprawnieniami, w których znajduje się strumień zdarzeń.
• Pobierz maszynę z systemem Windows i zainstaluj następujące składniki:
  • Zestaw Java Development Kit (JDK) 1.7+
  • Archiwum binarne maven (pobierz i zainstaluj)
  • Usługa Git

Tworzenie strumienia zdarzeń w usłudze Microsoft Fabric

1. Zmień środowisko sieci szkieletowej na inteligencję w czasie rzeczywistym.

   

2. Wykonaj jedną z następujących czynności, aby rozpocząć tworzenie strumienia zdarzeń:

   • Na stronie głównej Analizy w czasie rzeczywistym w sekcji Zalecane elementy do utworzenia wybierz kafelek Strumień zdarzeń:

     

   • Wybierz pozycję Mój obszar roboczy na lewym pasku nawigacyjnym . Na stronie Mój obszar roboczy wybierz pozycję Nowy element, a następnie pozycję Eventstream:

     

3. Wprowadź nazwę nowego strumienia zdarzeń, a następnie wybierz pozycję Utwórz.

   

4. Tworzenie nowego strumienia zdarzeń w obszarze roboczym może potrwać kilka sekund. Po utworzeniu strumienia zdarzeń następuje przekierowanie do głównego edytora, w którym można zacząć od dodawania źródeł do strumienia zdarzeń.

   

Pobieranie punktu końcowego platformy Kafka z dodanego niestandardowego źródła punktu końcowego

Aby uzyskać punkt końcowy tematu platformy Kafka, dodaj niestandardowe źródło punktu końcowego do strumienia zdarzeń. Punkt końcowy połączenia platformy Kafka jest następnie łatwo dostępny i udostępniany w niestandardowym źródle punktu końcowego.

Aby dodać niestandardowe źródło punktu końcowego do strumienia zdarzeń:

1. Na stronie głównej strumienia zdarzeń wybierz pozycję Użyj niestandardowego punktu końcowego , jeśli jest to pusty strumień zdarzeń.

   

   Ewentualnie na wstążce wybierz pozycję Dodaj źródłowy punkt>końcowy niestandardowy.

   

2. Wprowadź wartość nazwa źródła dla niestandardowego punktu końcowego, a następnie wybierz pozycję Dodaj.

   

3. Sprawdź, czy niestandardowe źródło punktu końcowego jest wyświetlane na kanwie strumienia zdarzeń w trybie edycji, a następnie wybierz pozycję Publikuj.

   

4. Po pomyślnym opublikowaniu strumienia zdarzeń można pobrać jego szczegóły, w tym informacje o punkcie końcowym platformy Kafka. Wybierz kafelek źródła niestandardowego punktu końcowego na kanwie. Następnie w dolnym okienku węzła źródła niestandardowego punktu końcowego wybierz kartę Kafka .

   Na stronie Uwierzytelnianie za pomocą klucza sygnatury dostępu współdzielonego możesz uzyskać następujące ważne informacje o punkcie końcowym platformy Kafka:

   • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
   • security.protocol=SASL_SSL
   • sasl.mechanism=PLAIN
   • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.CONNECTION.STRING}";

   {YOUR.BOOTSTRAP.SERVER}to wartość serwera Bootstrap na stronie Uwierzytelnianie za pomocą klucza sygnatury dostępu współdzielonego. {YOUR.CONNECTION.STRING}może być wartością parametrów połączenia klucz podstawowy lub parametrami połączenia- wartość klucza pomocniczego. Wybierz jeden do użycia.

   

   Aby uzyskać więcej informacji na temat uwierzytelniania klucza sygnatury dostępu współdzielonego i przykładowych stron kodu, zobacz Szczegóły punktu końcowego platformy Kafka.

Wysyłanie zdarzeń za pomocą aplikacji platformy Kafka

Dzięki ważnym informacjom platformy Kafka uzyskanym z poprzedniego kroku możesz zastąpić konfiguracje połączeń w istniejącej aplikacji platformy Kafka. Następnie możesz wysłać zdarzenia do strumienia zdarzeń.

Oto jedna aplikacja oparta na zestawie SDK usługi Azure Event Hubs napisanym w języku Java, postępując zgodnie z protokołem Platformy Kafka. Aby użyć tej aplikacji do przesyłania strumieniowego zdarzeń do strumienia zdarzeń, wykonaj następujące kroki, aby zastąpić informacje o punkcie końcowym platformy Kafka i wykonać je prawidłowo:

1. Sklonuj repozytorium usługi Azure Event Hubs dla platformy Kafka.

2. Przejdź do witryny azure-event-hubs-for-kafka/quickstart/java/producer.

3. Zaktualizuj szczegóły konfiguracji producenta w pliku src/main/resources/producer.config w następujący sposób:

   • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
   • security.protocol=SASL_SSL
   • sasl.mechanism=PLAIN
   • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.CONNECTION.STRING}";

   Zastąp {YOUR.BOOTSTRAP.SERVER} wartość serwera Bootstrap. Zastąp {YOUR.CONNECTION.STRING} ciąg wartością Parametry połączenia klucz podstawowy lub wartość klucz pomocniczy Parametry połączenia. Wybierz jeden do użycia.

4. Zaktualizuj nazwę tematu przy użyciu nowej nazwy tematu w src/main/java/TestProducer.java następujący sposób: private final static String TOPIC = "{YOUR.TOPIC.NAME}";.

   Wartość można znaleźć {YOUR.TOPIC.NAME} na stronie Uwierzytelnianie za pomocą klucza sygnatury dostępu współdzielonego na karcie Kafka .

5. Uruchom kod producenta i przesyłaj strumieniowo zdarzenia do strumienia zdarzeń:

   • mvn clean package
   • mvn exec:java -Dexec.mainClass="TestProducer"

   

6. Wyświetl podgląd danych wysłanych za pomocą tej aplikacji platformy Kafka. Wybierz węzeł strumienia zdarzeń, czyli środkowy węzeł, który wyświetla nazwę strumienia zdarzeń.

   Wybierz format danych CSV z przecinkiem ogranicznika bez nagłówka. Ten wybór jest zgodny z formatem, w którym aplikacja przesyłała strumieniowo dane zdarzenia.

   

Pobieranie punktu końcowego platformy Kafka z dodanego niestandardowego miejsca docelowego punktu końcowego

Możesz dodać niestandardowe miejsce docelowe punktu końcowego, aby uzyskać szczegóły punktu końcowego połączenia platformy Kafka dotyczące korzystania z zdarzeń ze strumienia zdarzeń. Po dodaniu miejsca docelowego możesz uzyskać informacje z okienka Szczegóły miejsca docelowego w widoku na żywo.

Na stronie Podstawowa możesz pobrać wartość Grupa odbiorców. Ta wartość jest potrzebna do późniejszego skonfigurowania aplikacji konsumenta platformy Kafka.

Na stronie Uwierzytelnianie za pomocą klucza sygnatury dostępu współdzielonego możesz uzyskać ważne informacje o punkcie końcowym platformy Kafka:

• bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
• security.protocol=SASL_SSL
• sasl.mechanism=PLAIN
• sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.CONNECTION.STRING}";

{YOUR.BOOTSTRAP.SERVER}to wartość serwera Bootstrap. {YOUR.CONNECTION.STRING}może być wartością parametrów połączenia klucz podstawowy lub parametrami połączenia- wartość klucza pomocniczego. Wybierz jeden do użycia.

Korzystanie ze zdarzeń za pomocą aplikacji platformy Kafka

Teraz możesz użyć innej aplikacji w repozytorium Usługi Azure Event Hubs dla platformy Kafka, aby korzystać ze zdarzeń z strumienia zdarzeń. Aby użyć tej aplikacji do korzystania ze zdarzeń ze strumienia zdarzeń, wykonaj następujące kroki, aby zastąpić szczegóły punktu końcowego platformy Kafka i uruchomić je odpowiednio:

1. Sklonuj repozytorium usługi Azure Event Hubs dla platformy Kafka.

2. Przejdź do witryny azure-event-hubs-for-kafka/quickstart/java/consumer.

3. Zaktualizuj szczegóły konfiguracji użytkownika w pliku src/main/resources/consumer.config w następujący sposób:

   • bootstrap.servers={YOUR.BOOTSTRAP.SERVER}
   • group.id={YOUR.EVENTHUBS.CONSUMER.GROUP}
   • security.protocol=SASL_SSL
   • sasl.mechanism=PLAIN
   • sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString"
   • password="{YOUR.CONNECTION.STRING}";

   Zastąp {YOUR.BOOTSTRAP.SERVER} wartość serwera Bootstrap. Wartość można pobrać ze strony Podstawowa {YOUR.EVENTHUBS.CONSUMER.GROUP} w okienku Szczegóły dla niestandardowego miejsca docelowego punktu końcowego. Zastąp {YOUR.CONNECTION.STRING} ciąg wartością Parametry połączenia klucz podstawowy lub wartość klucz pomocniczy Parametry połączenia. Wybierz jeden do użycia.

4. Zaktualizuj nazwę tematu przy użyciu nowej nazwy tematu na stronie uwierzytelniania klucza sygnatury dostępu współdzielonego w pliku src/main/java/TestConsumer.java w następujący sposób: private final static String TOPIC = "{YOUR.TOPIC.NAME}";.

   Wartość można znaleźć {YOUR.TOPIC.NAME} na stronie Uwierzytelnianie za pomocą klucza sygnatury dostępu współdzielonego na karcie Kafka .

5. Uruchom kod odbiorcy i przesyłaj strumieniowo zdarzenia do strumienia zdarzeń:

   • mvn clean package
   • mvn exec:java -Dexec.mainClass="TestConsumer"

Jeśli strumień zdarzeń zawiera zdarzenia przychodzące (na przykład poprzednia aplikacja producenta jest nadal uruchomiona), sprawdź, czy odbiorca odbiera teraz zdarzenia z tematu eventstream.

Domyślnie użytkownicy platformy Kafka odczytują od końca strumienia, a nie od początku. Użytkownik platformy Kafka nie odczytuje żadnych zdarzeń, które są umieszczone w kolejce przed rozpoczęciem uruchamiania konsumenta. Jeśli uruchomisz konsumenta, ale nie otrzymujesz żadnych zdarzeń, spróbuj ponownie uruchomić producenta, gdy odbiorca sonduje.

Podsumowanie

Gratulacje. Wiesz już, jak używać punktu końcowego platformy Kafka uwidocznionego ze strumienia zdarzeń w celu przesyłania strumieniowego i używania zdarzeń w strumieniu zdarzeń. Jeśli masz już aplikację, która wysyła lub korzysta z tematu platformy Kafka, możesz użyć tej samej aplikacji do wysyłania lub używania zdarzeń w strumieniu zdarzeń bez żadnych zmian w kodzie. Wystarczy zmienić informacje o konfiguracji połączenia.