Filtrowanie i pozyskiwanie do usługi Azure Synapse SQL przy użyciu edytora kodu usługi Stream Analytics

W tym artykule opisano, jak łatwo utworzyć zadanie usługi Stream Analytics za pomocą edytora kodu bez edytora kodu. Stale odczytuje z usługi Event Hubs, filtruje dane przychodzące, a następnie zapisuje wyniki w sposób ciągły w tabeli SQL usługi Synapse.

Wymagania wstępne

• Zasoby usługi Azure Event Hubs muszą być publicznie dostępne i nie mogą znajdować się za zaporą ani zabezpieczone w usłudze Azure Virtual Network.
• Dane w usłudze Event Hubs muszą być serializowane w formacie JSON, CSV lub Avro.

Opracowywanie zadania usługi Stream Analytics w celu filtrowania i pozyskiwania danych

Wykonaj poniższe kroki, aby opracować zadanie usługi Stream Analytics w celu filtrowania i pozyskiwania danych w czasie rzeczywistym do tabeli usługi Synapse SQL.

1. W witrynie Azure Portal znajdź i wybierz wystąpienie usługi Azure Event Hubs.

2. Wybierz pozycję Funkcje Process Data (Dane przetwarzania funkcji>) i wybierz pozycję Start (Rozpocznij) na karcie Filter and est to Synapse SQL card (Filtrowanie i pozyskiwanie na karcie Synapse SQL).
   

3. Wprowadź nazwę, aby zidentyfikować zadanie usługi Stream Analytics, a następnie wybierz pozycję Utwórz.
   

4. Określ typ serializacji danych w oknie usługi Event Hubs i metodę uwierzytelniania, która będzie używana przez zadanie w celu nawiązania połączenia z usługą Event Hubs. Następnie wybierz pozycję Połącz.
   

5. Gdy połączenie zostanie nawiązane pomyślnie i masz strumienie danych przepływające do wystąpienia usługi Event Hubs, natychmiast zobaczysz dwie rzeczy:

   • Pola, które znajdują się w danych wejściowych. Możesz wybrać pozycję Dodaj pole lub wybrać trzy symbol kropki obok pola, aby usunąć, zmienić nazwę lub zmienić jego typ.
     
   • Przykład na żywo danych przychodzących w tabeli Podgląd danych w widoku diagramu. Jest on okresowo odświeżany. Możesz wybrać pozycję Wstrzymaj podgląd przesyłania strumieniowego, aby wyświetlić statyczny widok przykładowych danych wejściowych.
     

6. W obszarze Filtr wybierz pole, aby filtrować dane przychodzące za pomocą warunku.
   

7. Wybierz tabelę Synapse SQL, aby wysłać przefiltrowane dane:

   1. Wybierz opcję Subskrypcja, Baza danych (dedykowana nazwa puli SQL) i Metoda uwierzytelniania z menu rozwijanego.
   2. Wprowadź nazwę tabeli, w której będą pozyskiwane przefiltrowane dane. Wybierz pozycję Połącz.
      

   Uwaga

   Schemat tabeli musi dokładnie odpowiadać liczbie pól i ich typów generowanych przez podgląd danych.

8. Opcjonalnie wybierz pozycję Pobierz statyczną wersję zapoznawcza /Odśwież podgląd statyczny, aby wyświetlić podgląd danych, który zostanie pozyskany w wybranej tabeli sql usługi Synapse.
   

9. Wybierz pozycję Zapisz , a następnie wybierz pozycję Uruchom zadanie usługi Stream Analytics.
   

10. Aby uruchomić zadanie, określ:

    • Liczba jednostek przesyłania strumieniowego (SU) uruchamianych przez zadanie. Jednostki SU reprezentują ilość zasobów obliczeniowych i pamięci przydzielonych do zadania. Zalecamy rozpoczęcie od trzech, a następnie dostosowanie zgodnie z potrzebami.
    • Obsługa błędów danych wyjściowych — umożliwia określenie zachowania, które ma nastąpić, gdy dane wyjściowe zadania do miejsca docelowego kończą się niepowodzeniem z powodu błędów danych. Domyślnie zadanie ponawia próbę, dopóki operacja zapisu nie powiedzie się. Możesz również zrezygnować z takich zdarzeń wyjściowych.
      

11. Po wybraniu pozycji Uruchom zadanie zostanie uruchomione w ciągu dwóch minut, a metryki zostaną otwarte w poniższej sekcji karty.

    Zadanie można również wyświetlić w sekcji Przetwarzanie danych na karcie Zadania usługi Stream Analytics. Wybierz pozycję Otwórz metryki , aby je monitorować lub zatrzymać i uruchomić ponownie, zgodnie z potrzebami.

    

Zagadnienia dotyczące korzystania z funkcji replikacji geograficznej usługi Event Hubs

Usługa Azure Event Hubs niedawno uruchomiła funkcję replikacji geograficznej w publicznej wersji zapoznawczej. Ta funkcja różni się od funkcji odzyskiwania po awarii geograficznej w usłudze Azure Event Hubs.

Gdy typ trybu failover jest wymuszony , a spójność replikacji jest asynchroniczna, zadanie usługi Stream Analytics nie gwarantuje dokładnie raz danych wyjściowych danych wyjściowych usługi Azure Event Hubs.

Usługa Azure Stream Analytics, jako producent z centrum zdarzeń, może obserwować opóźnienie limitu w zadaniu w czasie trwania pracy w trybie failover i podczas ograniczania przepustowości przez usługę Event Hubs w przypadku opóźnienia replikacji między główną i pomocniczą osiąga maksymalne skonfigurowane opóźnienie.

Usługa Azure Stream Analytics, jako użytkownik z usługą Event Hubs jako dane wejściowe, może obserwować opóźnienie limitu w zadaniu podczas trwania trybu failover i może pominąć dane lub znaleźć zduplikowane dane po zakończeniu pracy w trybie failover.

Ze względu na te zastrzeżenia zalecamy ponowne uruchomienie zadania usługi Stream Analytics z odpowiednim czasem rozpoczęcia bezpośrednio po zakończeniu pracy w trybie failover usługi Event Hubs. Ponadto, ponieważ funkcja replikacji geograficznej usługi Event Hubs jest dostępna w publicznej wersji zapoznawczej, nie zalecamy używania tego wzorca dla produkcyjnych zadań usługi Stream Analytics. Bieżące zachowanie usługi Stream Analytics poprawi się, zanim funkcja replikacji geograficznej usługi Event Hubs będzie ogólnie dostępna i może być używana w zadaniach produkcyjnych usługi Stream Analytics.

Następne kroki

Dowiedz się więcej o usłudze Azure Stream Analytics i sposobie monitorowania utworzonego zadania.

• Wprowadzenie do usługi Azure Stream Analytics
• Monitorowanie zadania usługi Stream Analytics za pomocą witryny Azure Portal