Dela via

Använda Azure Stream Analytics-redigeraren utan kod för att transformera och lagra data i Azure SQL Database

  • Artikel

Den här artikeln beskriver hur du kan använda redigeringsprogrammet utan kod för att enkelt skapa ett Stream Analytics-jobb, som kontinuerligt läser data från en Event Hubs-instans (händelsehubb), transformerar data och sedan skriver resultat till en Azure SQL-databas.

Förutsättningar

Dina Azure Event Hubs- och Azure SQL Database-resurser måste vara offentligt tillgängliga och inte ligga bakom en brandvägg eller skyddas i ett virtuellt Azure-nätverk. Data i dina Event Hubs måste serialiseras i antingen JSON-, CSV- eller Avro-format.

Följ de här stegen om du vill prova stegen i den här artikeln.

  • Skapa en händelsehubb om du inte redan har en. Generera data i händelsehubben. På sidan Event Hubs-instans väljer du Generera data (förhandsversion) på den vänstra menyn, väljer Lagerdata för Datauppsättning och väljer sedan Skicka för att skicka exempeldata till händelsehubben. Det här steget krävs om du vill testa stegen i den här artikeln.

    Skärmbild som visar sidan Generera data (förhandsversion) för en Event Hubs-instans.

  • Skapa en Azure SQL-databas. Här följer några viktiga punkter att tänka på när du skapar databasen.

    1. På sidan Grundläggande väljer du Skapa ny för server. På sidan Skapa SQL Database-server väljer du Sedan Använd SQL-autentisering och anger administratörsanvändar-ID och lösenord.

    2. Följ dessa steg på sidan Nätverk :

      1. Aktivera offentlig slutpunkt.
      2. Välj Ja för Tillåt att Azure-tjänster och resurser får åtkomst till den här servern.
      3. Välj Ja för Lägg till aktuell klient-IP-adress.

    3. På sidan Ytterligare inställningar väljer du Ingen för Använd befintliga data.

    4. I artikeln hoppar du över stegen i avsnittet Fråga efter databasen och Rensa resurser .

    5. Om du vill testa steg skapar du en tabell i SQL-databasen med hjälp av frågeredigeraren (förhandsversion).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Använda redigeringsprogrammet utan kod för att skapa ett Stream Analytics-jobb

I det här avsnittet skapar du ett Azure Stream Analytics-jobb med redigeringsprogrammet utan kod. Jobbet transformerar dataströmning från en Event Hubs-instans (händelsehubb) och lagrar resultatdata i en Azure SQL-databas.

  1. I Azure Portal går du till sidan Event Hubs-instans för din händelsehubb.

  2. Välj Funktioner>Bearbeta data på den vänstra menyn och välj sedan Starta på kortet Transformera och lagra data till SQL-databas.

    Skärmbild som visar kortet Filtrera och mata in till ADLS Gen2 där du väljer Start.

  3. Ange ett namn för Stream Analytics-jobbet och välj sedan Skapa. Du ser Stream Analytics-jobbdiagrammet med fönstret Event Hubs till höger.

    Skärmbild som visar var du anger ett jobbnamn.

  4. I fönstret Händelsehubb granskar du inställningarna för serialiserings - och autentiseringsläge och väljer Anslut.

    Skärmbild som visar konfigurationen av Event Hubs-anslutningen.

  5. När anslutningen har upprättats och du har data i din Event Hubs-instans ser du två saker:

    • Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid ett fält för att ta bort, byta namn på eller ändra dess typ.

      Skärmbild som visar fältlistan för Event Hubs där du kan ta bort, byta namn på eller ändra fälttyp.

    • Ett live-exempel på inkommande data i tabellen Dataförhandsgranskning under diagramvyn. Den uppdateras automatiskt med jämna mellanrum. Du kan välja Pausa förhandsversionen av direktuppspelning för att se en statisk vy över exempelindata.

      Skärmbild som visar exempeldata under Förhandsversion av data.

  6. Välj panelen Gruppera efter för att aggregera data. I panelen Gruppera efter konfiguration kan du ange det fält som du vill gruppera efter tillsammans med fönstret Tid.

    I följande exempel används medelvärdet av pris och symbol .

    Skärmbild som visar gruppen efter operatörskonfiguration.

  7. Du kan verifiera resultatet av steget i avsnittet Dataförhandsgranskning .

    Skärmbild som visar dataförhandsgranskningen för gruppen efter operatör.

  8. Välj panelen Hantera fält . I konfigurationspanelen Hantera fält väljer du de fält som du vill mata ut genom att välja Lägg till fältet ->Importerat schema -> fält.

    Om du vill lägga till alla fält väljer du Lägg till alla fält. När du lägger till ett fält kan du ange ett annat namn för utdata. Till exempel AVG_Value till Value. När du har sparat markeringen visas data i fönstret Dataförhandsgranskning .

    I följande exempel väljs Symbol och AVG_Value . Symbolen mappas till symbolen och AVG_Value mappas till pris.

    Skärmbild som visar konfigurationen av operatorn hantera fält.

  9. Välj SQL-panel . I konfigurationspanelen för SQL Database fyller du i nödvändiga parametrar och ansluter. Välj Läs in befintlig tabell om du vill att tabellen ska väljas automatiskt. I följande exempel [dbo].[stocks] väljs. Välj sedan Anslut.

    Kommentar

    Schemat för tabellen som du väljer att skriva måste exakt matcha antalet fält och deras typer som dataförhandsgranskningen genererar.

    Skärmbild som visar sql Database-utdatakonfigurationen.

  10. I fönstret Dataförhandsgranskning visas den dataförhandsgranskning som matas in i SQL-databasen.

    Skärmbild som visar alternativet Hämta statisk förhandsversion/Uppdatera statisk förhandsversion.

  11. Välj Spara och välj sedan Starta Stream Analytics-jobbet.

    Skärmbild som visar alternativen Spara och Starta.

  12. Om du vill starta jobbet anger du:

    • Antalet strömningsenheter (SUs) som jobbet körs med. SUs representerar mängden beräkning och minne som allokerats till jobbet. Vi rekommenderar att du börjar med tre och sedan justerar efter behov.

    • Hantering av utdatafel – Du kan ange vilket beteende du vill ha när ett jobbs utdata till målet misslyckas på grund av datafel. Jobbet försöker som standard igen tills skrivåtgärden har slutförts. Du kan också välja att släppa sådana utdatahändelser.

      Skärmbild som visar jobbalternativen Starta Stream Analytics där du kan ändra utdatatiden, ange antalet enheter för direktuppspelning och välja alternativen för hantering av utdatafel.

  13. När du har valt Start börjar jobbet köras inom två minuter. Du ser måttpanelen i den nedre rutan öppen. Det tar någon gång innan panelen uppdateras. Välj Uppdatera i det övre högra hörnet på panelen för att uppdatera diagrammet. Gå vidare till nästa steg i en separat flik eller ett fönster i webbläsaren.

    Skärmbild som visar jobbmåtten när det har startats.

    Du kan också se jobbet under avsnittet Processdata på fliken Stream Analytics-jobb . Välj Öppna mått om du vill övervaka det eller stoppa och starta om det efter behov.

    Skärmbild av fliken Stream Analytics-jobb där du visar jobbstatusen som körs.

  14. Gå till händelsehubben i portalen i ett separat webbläsarfönster eller en separat flik och skicka exempel på lagerdata igen (som du gjorde i förutsättningarna). På sidan Event Hubs-instans väljer du Generera data (förhandsversion) på den vänstra menyn, väljer Lagerdata för Datauppsättning och väljer sedan Skicka för att skicka exempeldata till händelsehubben. Det tar några minuter att se panelen Mått uppdaterad.

  15. Du bör se poster som infogats i Azure SQL-databasen.

    Skärmbild som visar innehållet i lagertabellen i databasen.

Överväganden vid användning av geo-replikeringsfunktionen i Event Hubs

Azure Event Hubs lanserade nyligen geo-replikeringsfunktionen i offentlig förhandsversion. Den här funktionen skiljer sig från geo-haveriberedskapsfunktionen i Azure Event Hubs.

När redundanstypen är Tvingad och replikeringskonsekvensen är asynkron garanterar Stream Analytics-jobbet inte exakt en gång utdata till en Azure Event Hubs-utdata.

Azure Stream Analytics, som producent med en händelsehubb som utdata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och under begränsningen av Event Hubs om replikeringsfördröjningen mellan primär och sekundär når den maximala konfigurerade fördröjningen.

Azure Stream Analytics, som konsument med Event Hubs som indata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och kan hoppa över data eller hitta duplicerade data när redundansväxlingen är klar.

På grund av dessa varningar rekommenderar vi att du startar om Stream Analytics-jobbet med lämplig starttid direkt efter att Event Hubs-redundansväxlingen har slutförts. Eftersom Geo-replikeringsfunktionen i Event Hubs är en offentlig förhandsversion rekommenderar vi inte heller att du använder det här mönstret för stream analytics-produktionsjobb just nu. Det aktuella Stream Analytics-beteendet förbättras innan funktionen Event Hubs Geo-replikering är allmänt tillgänglig och kan användas i Stream Analytics-produktionsjobb.

Nästa steg

Läs mer om Azure Stream Analytics och hur du övervakar det jobb du har skapat.