Delen via

Azure Stream Analytics zonder code-editor gebruiken om gegevens te transformeren en op te slaan in Azure SQL-database

  • Artikel

In dit artikel wordt beschreven hoe u de code-editor zonder code kunt gebruiken om eenvoudig een Stream Analytics-taak te maken, die continu gegevens leest van een Event Hubs-exemplaar (Event Hub), de gegevens transformeert en vervolgens resultaten naar een Azure SQL-database schrijft.

Vereisten

Uw Azure Event Hubs- en Azure SQL Database-resources moeten openbaar toegankelijk zijn en zich niet achter een firewall bevinden of zijn beveiligd in een virtueel Azure-netwerk. De gegevens in uw Event Hubs moeten worden geserialiseerd in JSON-, CSV- of Avro-indeling.

Als u de stappen in dit artikel wilt proberen, volgt u deze stappen.

  • Maak een Event Hub als u er nog geen hebt. Genereer gegevens in de Event Hub. Selecteer op de pagina Event Hubs Instance de optie Gegevens genereren (preview) in het linkermenu, selecteer Aandelengegevens voor gegevensset en selecteer vervolgens Verzenden om voorbeeldgegevens naar de Event Hub te verzenden. Deze stap is vereist als u de stappen in dit artikel wilt testen.

    Schermopname van de pagina Gegevens genereren (preview) van een Event Hubs-exemplaar.

  • Maak een Azure SQL database. Hier volgen enkele belangrijke punten die u moet noteren tijdens het maken van de database.

    1. Selecteer Op de pagina Basisbeginselen de optie Nieuwe maken voor Server. Selecteer vervolgens op de pagina SQL Database-server maken de optie SQL-verificatie gebruiken en geef de gebruikers-id en het wachtwoord van de beheerder op.

    2. Voer op de pagina Netwerken de volgende stappen uit:

      1. Openbaar eindpunt inschakelen.
      2. Selecteer Ja als u Azure-services en -resources toegang wilt geven tot deze server.
      3. Selecteer Ja voor huidig IP-adres van client toevoegen.

    3. Selecteer Op de pagina Aanvullende instellingen geen voor bestaande gegevens gebruiken.

    4. In het artikel slaat u de stappen in de secties Query's op in de database en schoon resources op.

    5. Als u de stappen wilt testen, maakt u een tabel in de SQL-database met behulp van de Query-editor (preview).

      create table stocks (
    symbol varchar(4),
    price decimal
)

No-code-editor gebruiken om een Stream Analytics-taak te maken

In deze sectie maakt u een Azure Stream Analytics-taak met behulp van de no-code-editor. De taak transformeert gegevensstreaming vanuit een Event Hubs-exemplaar (Event Hub) en slaat resultaatgegevens op in een Azure SQL-database.

  1. Navigeer in Azure Portal naar de pagina Event Hubs Instance voor uw Event Hubs.

  2. Selecteer Onderdelenprocesgegevens> in het linkermenu en selecteer vervolgens Start op de kaart Transformeren en gegevens opslaan in DE SQL-databasekaart.

    Schermopname van de kaart Filter en opname naar ADLS Gen2 waar u Start selecteert.

  3. Voer een naam in voor de Stream Analytics-taak en selecteer Vervolgens Maken. U ziet het Stream Analytics-taakdiagram met het Event Hubs-venster aan de rechterkant.

    Schermopname die laat zien waar een taaknaam moet worden ingevoerd.

  4. Controleer in het Event Hub-venster de instellingen voor serialisatie en verificatiemodus en selecteer Verbinding maken.

    Schermopname van de configuratie van de Event Hubs-verbinding.

  5. Wanneer de verbinding tot stand is gebracht en u gegevens in uw Event Hubs-exemplaar hebt, ziet u twee dingen:

    • Velden die aanwezig zijn in de invoergegevens. U kunt veld toevoegen kiezen of het drie puntsymbool naast een veld selecteren om het type te verwijderen, de naam ervan te wijzigen of te wijzigen.

      Schermopname van de lijst met Event Hubs-velden waar u het veldtype kunt verwijderen, een andere naam kunt geven of wijzigen.

    • Een livevoorbeeld van binnenkomende gegevens in de tabel Gegevensvoorbeeld onder de diagramweergave. Het wordt automatisch periodiek vernieuwd. U kunt streamingvoorbeeld onderbreken selecteren om een statische weergave van de voorbeeldinvoergegevens te bekijken.

      Schermopname van voorbeeldgegevens onder Gegevensvoorbeeld.

  6. Selecteer de tegel Groeperen op om de gegevens samen te voegen. In het deelvenster Groeperen op configuratie kunt u het veld opgeven waarop u wilt groeperen , samen met het tijdvenster.

    In het volgende voorbeeld wordt het gemiddelde van de prijs en het symbool gebruikt.

    Schermopname van de configuratie van de groep op operator.

  7. U kunt de resultaten van de stap valideren in de sectie Gegevensvoorbeeld .

    Schermopname van de voorbeeldweergave van de gegevens voor de operator group by.

  8. Selecteer de tegel Velden beheren. Kies in het deelvenster Velden configureren de velden die u wilt uitvoeren door het veld Add field ->Imported Schema -> field te selecteren.

    Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. Tijdens het toevoegen van een veld kunt u een andere naam voor de uitvoer opgeven. Bijvoorbeeld AVG_Value naar Value. Nadat u de selecties hebt opgeslagen, ziet u gegevens in het deelvenster Voorbeeld van gegevens.

    In het volgende voorbeeld worden Symbool en AVG_Value geselecteerd. Symbool is toegewezen aan symbool en AVG_Value is toegewezen aan de prijs.

    Schermopname van de configuratie van de veldoperator beheren.

  9. Selecteer de SQL-tegel . Vul in het configuratievenster van SQL Database de benodigde parameters in en maak verbinding. Selecteer Bestaande tabel laden om de tabel automatisch te laten kiezen. In het volgende voorbeeld [dbo].[stocks] wordt gekozen. Selecteer vervolgens Verbinding maken.

    Notitie

    Het schema van de tabel die u wilt schrijven, moet exact overeenkomen met het aantal velden en de bijbehorende typen die uw gegevensvoorbeeld genereert.

    Schermopname van de uitvoerconfiguratie van de SQL-database.

  10. In het deelvenster Gegevensvoorbeeld ziet u de gegevensvoorbeeld die is opgenomen in de SQL-database.

    Schermopname van de optie Statische preview ophalen/Statische preview vernieuwen.

  11. Selecteer Opslaan en selecteer vervolgens De Stream Analytics-taak starten.

    Schermopname met de opties Opslaan en Starten.

  12. Geef het volgende op om de taak te starten:

    • Het aantal streaming-eenheden (RU's) waarmee de taak wordt uitgevoerd. SUs vertegenwoordigt de hoeveelheid rekenkracht en geheugen die aan de taak is toegewezen. We raden u aan om met drie te beginnen en vervolgens naar behoefte aan te passen.

    • Verwerking van uitvoergegevensfouten : hiermee kunt u het gewenste gedrag opgeven wanneer de uitvoer van een taak naar uw bestemming mislukt vanwege gegevensfouten. Uw taak wordt standaard opnieuw uitgevoerd totdat de schrijfbewerking is voltooid. U kunt er ook voor kiezen om dergelijke uitvoer gebeurtenissen te verwijderen.

      Schermopname van de opties voor de Stream Analytics-taak starten, waar u de uitvoertijd kunt wijzigen, het aantal streaming-eenheden kunt instellen en de opties voor het verwerken van uitvoergegevensfouten kunt selecteren.

  13. Nadat u Start hebt geselecteerd, wordt de taak binnen twee minuten uitgevoerd. U ziet het deelvenster met metrische gegevens in het onderste deelvenster geopend. Het duurt even voordat dit deelvenster is bijgewerkt. Selecteer Vernieuwen in de rechterbovenhoek van het deelvenster om de grafiek te vernieuwen. Ga verder met de volgende stap in een afzonderlijk tabblad of venster van de webbrowser.

    Schermopname van de metrische gegevens van de taak nadat deze is gestart.

    U kunt de taak ook zien onder de sectie Procesgegevens op het tabblad Stream Analytics-taken . Selecteer Metrische gegevens openen om deze te bewaken of te stoppen en opnieuw op te starten, indien nodig.

    Schermopname van het tabblad Stream Analytics-taken waarin u de status van de actieve taken bekijkt.

  14. Navigeer naar uw Event Hub in de portal in een afzonderlijk browservenster of -tabblad en verzend opnieuw voorbeeldgegevens (zoals u hebt gedaan in de vereisten). Selecteer op de pagina Event Hubs Instance de optie Gegevens genereren (preview) in het linkermenu, selecteer Aandelengegevens voor gegevensset en selecteer vervolgens Verzenden om voorbeeldgegevens naar de Event Hub te verzenden. Het duurt enkele minuten voordat het deelvenster Metrische gegevens is bijgewerkt.

  15. U ziet nu records die zijn ingevoegd in de Azure SQL-database.

    Schermopname van de inhoud van de tabel aandelen in de database.

Overwegingen bij het gebruik van de functie Geo-replicatie van Event Hubs

Azure Event Hubs heeft onlangs de functie Geo-replicatie gelanceerd in de openbare preview. Deze functie verschilt van de functie Geo Disaster Recovery van Azure Event Hubs.

Wanneer het failovertype geforceerd is en replicatieconsistentie Asynchroon is, garandeert de Stream Analytics-taak niet precies één keer uitvoer naar een Azure Event Hubs-uitvoer.

Azure Stream Analytics, als producent met een Event Hub een uitvoer, kan de watermerkvertraging van de taak observeren tijdens de failoverduur en tijdens het beperken door Event Hubs in het geval replicatievertraging tussen primaire en secundaire vertraging de maximaal geconfigureerde vertraging bereikt.

Azure Stream Analytics, als consument met Event Hubs als invoer, kan tijdens de failover de watermerkvertraging van de taak observeren en mogelijk gegevens overslaan of dubbele gegevens vinden nadat de failover is voltooid.

Vanwege deze opmerkingen raden we u aan om de Stream Analytics-taak opnieuw te starten met de juiste begintijd direct nadat de Failover van Event Hubs is voltooid. Omdat de functie Geo-replicatie van Event Hubs in openbare preview is, raden we u ook op dit moment niet aan dit patroon te gebruiken voor productie Stream Analytics-taken. Het huidige Gedrag van Stream Analytics wordt verbeterd voordat de functie Geo-replicatie van Event Hubs algemeen beschikbaar is en kan worden gebruikt in Stream Analytics-productietaken.

Volgende stappen

Meer informatie over Azure Stream Analytics en het bewaken van de taak die u hebt gemaakt.