Dela via

Filtrera och mata in till Azure Synapse SQL med Stream Analytics utan kodredigerare

  • Artikel

Den här artikeln beskriver hur du kan använda redigeringsprogrammet utan kod för att enkelt skapa ett Stream Analytics-jobb. Den läser kontinuerligt från dina händelsehubbar, filtrerar inkommande data och skriver sedan resultatet kontinuerligt till Synapse SQL-tabellen.

Förutsättningar

  • Dina Azure Event Hubs-resurser måste vara offentligt tillgängliga och får inte finnas bakom en brandvägg eller skyddas i ett virtuellt Azure-nätverk.
  • Data i dina Event Hubs måste serialiseras i antingen JSON-, CSV- eller Avro-format.

Utveckla ett Stream Analytics-jobb för att filtrera och mata in data

Använd följande steg för att utveckla ett Stream Analytics-jobb för att filtrera och mata in realtidsdata i en Synapse SQL-tabell.

  1. I Azure Portal letar du upp och väljer din Azure Event Hubs-instans.

  2. Välj Funktioner>Bearbeta data och välj Starta på kortet Filtrera och mata in till Synapse SQL.
    Skärmbild som visar startkorten för Process Event Hubs-data.

  3. Ange ett namn för att identifiera ditt Stream Analytics-jobb och välj sedan Skapa.
    Skärmbild som visar fönstret Nytt Stream Analytics-jobb där du anger jobbnamnet.

  4. Ange serialiseringstypen för dina data i fönstret Event Hubs och den autentiseringsmetod som jobbet ska använda för att ansluta till Händelsehubbar. Välj sedan Anslut.
    Skärmbild som visar konfigurationen av Event Hubs-anslutningen.

  5. När anslutningen har upprättats och du har dataströmmar som flödar till din Event Hubs-instans ser du omedelbart två saker:

    • Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid ett fält för att ta bort, byta namn på eller ändra dess typ.
      Skärmbild som visar fältlistan för Event Hubs där du kan ta bort, byta namn på eller ändra fälttyp.
    • Ett live-exempel på inkommande data i tabellen Dataförhandsgranskning under diagramvyn. Den uppdateras automatiskt med jämna mellanrum. Du kan välja Pausa förhandsversionen av direktuppspelning för att se en statisk vy över exempelindata.
      Skärmbild som visar exempeldata under Förhandsversion av data.

  6. I området Filter väljer du ett fält för att filtrera inkommande data med ett villkor.
    Skärmbild som visar området Filter där du kan filtrera inkommande data med ett villkor.

  7. Välj tabellen Synapse SQL för att skicka filtrerade data:

    1. Välj metoden Prenumeration, Databas (dedikerat SQL-poolnamn) och Autentisering på den nedrullningsbara menyn.
    2. Ange tabellnamn där filtrerade data ska matas in. Välj Anslut.
      Skärmbild som visar anslutningsinformation för Synapse SQL-tabell.

    Kommentar

    Tabellschemat måste exakt matcha antalet fält och deras typer som dataförhandsgranskningen genererar.

  8. Du kan också välja Hämta statisk förhandsversion/Uppdatera statisk förhandsversion för att se den dataförhandsgranskning som ska matas in i den valda Synapse SQL-tabellen.
    Skärmbild som visar alternativet Hämta statisk förhandsversion/Uppdatera statisk förhandsversion.

  9. Välj Spara och välj sedan Starta Stream Analytics-jobbet.
    Skärmbild som visar alternativen Spara och Starta.

  10. Om du vill starta jobbet anger du:

    • Antalet strömningsenheter (SUs) som jobbet körs med. SUs representerar mängden beräkning och minne som allokerats till jobbet. Vi rekommenderar att du börjar med tre och sedan justerar efter behov.
    • Hantering av utdatafel – Du kan ange vilket beteende du vill ha när ett jobbs utdata till målet misslyckas på grund av datafel. Jobbet försöker som standard igen tills skrivåtgärden har slutförts. Du kan också välja att släppa sådana utdatahändelser.
      Skärmbild som visar jobbalternativen Starta Stream Analytics där du kan ändra utdatatiden, ange antalet enheter för direktuppspelning och välja alternativen för hantering av utdatafel.

  11. När du har valt Start börjar jobbet köras inom två minuter och måtten öppnas i flikavsnittet nedan.

    Du kan också se jobbet under avsnittet Processdata på fliken Stream Analytics-jobb . Välj Öppna mått om du vill övervaka det eller stoppa och starta om det efter behov.

    Skärmbild av fliken Stream Analytics-jobb där du visar jobbstatusen som körs.

Överväganden vid användning av geo-replikeringsfunktionen i Event Hubs

Azure Event Hubs lanserade nyligen geo-replikeringsfunktionen i offentlig förhandsversion. Den här funktionen skiljer sig från geo-haveriberedskapsfunktionen i Azure Event Hubs.

När redundanstypen är Tvingad och replikeringskonsekvensen är asynkron garanterar Stream Analytics-jobbet inte exakt en gång utdata till en Azure Event Hubs-utdata.

Azure Stream Analytics, som producent med en händelsehubb som utdata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och under begränsningen av Event Hubs om replikeringsfördröjningen mellan primär och sekundär når den maximala konfigurerade fördröjningen.

Azure Stream Analytics, som konsument med Event Hubs som indata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och kan hoppa över data eller hitta duplicerade data när redundansväxlingen är klar.

På grund av dessa varningar rekommenderar vi att du startar om Stream Analytics-jobbet med lämplig starttid direkt efter att Event Hubs-redundansväxlingen har slutförts. Eftersom Geo-replikeringsfunktionen i Event Hubs är en offentlig förhandsversion rekommenderar vi inte heller att du använder det här mönstret för stream analytics-produktionsjobb just nu. Det aktuella Stream Analytics-beteendet förbättras innan funktionen Event Hubs Geo-replikering är allmänt tillgänglig och kan användas i Stream Analytics-produktionsjobb.

Nästa steg

Läs mer om Azure Stream Analytics och hur du övervakar det jobb du har skapat.