Delen via

Filteren en opnemen in Azure Data Lake Storage Gen2 met behulp van de Stream Analytics geen code-editor

  • Artikel

In dit artikel wordt beschreven hoe u de code-editor zonder code kunt gebruiken om eenvoudig een Stream Analytics-taak te maken. Het leest continu vanuit uw Event Hubs, filtert de binnenkomende gegevens en schrijft vervolgens de resultaten continu naar Azure Data Lake Storage Gen2.

Vereisten

  • Uw Azure Event Hubs-resources moeten openbaar toegankelijk zijn en zich niet achter een firewall bevinden of zijn beveiligd in een virtueel Azure-netwerk
  • De gegevens in uw Event Hubs moeten worden geserialiseerd in JSON-, CSV- of Avro-indeling.

Een Stream Analytics-taak ontwikkelen om realtime gegevens te filteren en op te nemen

  1. Zoek en selecteer in Azure Portal de Azure Event Hubs-instantie.

  2. Selecteer Functieprocesgegevens> en selecteer vervolgens Starten op de kaart Filter en opnemen in ADLS Gen2.
    Schermopname van de kaart Filter en opname naar ADLS Gen2 waar u Start selecteert.

  3. Voer een naam in voor de Stream Analytics-taak en selecteer Vervolgens Maken.
    Schermopname die laat zien waar een taaknaam moet worden ingevoerd.

  4. Geef het serialisatietype van uw gegevens op in het Event Hubs-venster en de verificatiemethode die door de taak wordt gebruikt om verbinding te maken met de Event Hubs. Selecteer vervolgens Connect.
    Schermopname van het gebied Event Hubs waarin u serialisatie en verificatiemethode selecteert.

  5. Als de verbinding tot stand is gebracht en er gegevensstromen naar het Event Hubs-exemplaar stromen, ziet u onmiddellijk twee dingen:

    1. Velden die aanwezig zijn in de invoergegevens. U kunt veld toevoegen kiezen of het drie puntsymbool naast elk veld selecteren om het type te verwijderen, de naam ervan te wijzigen of te wijzigen.
      Schermopname die laat zien waar u een veld kunt toevoegen of een veldtype kunt verwijderen, een andere naam kunt geven of wijzigen.
    2. Een livevoorbeeld van binnenkomende gegevens in de voorbeeldtabel Gegevens onder de diagramweergave. Het wordt automatisch periodiek vernieuwd. U kunt streamingvoorbeeld onderbreken selecteren om een statische weergave van voorbeeldinvoergegevens weer te geven.
      Schermopname van voorbeeldgegevens op het tabblad Voorbeeld van gegevens.

  6. Selecteer de tegel Filter . Selecteer in het filtergebied een veld om de binnenkomende gegevens met een voorwaarde te filteren.
    Schermopname van het filtergebied waar u een voorwaardelijk filter kunt toevoegen.

  7. Selecteer de tegel Azure Data Lake Storage Gen2 . Selecteer het Azure Data Lake Gen2-account om uw gefilterde gegevens te verzenden:

    1. Selecteer het abonnement, de naam van het opslagaccount en de container in de vervolgkeuzelijst.
    2. Nadat het abonnement is geselecteerd, moeten de verificatiemethode en de sleutel van het opslagaccount automatisch worden ingevuld. Selecteer Verbinding maken.
      Zie Blob Storage en Azure Data Lake Gen2-uitvoer van Azure Stream Analytics voor meer informatie over de velden en voorbeelden van padpatronen.
      Schermopname van de configuratie-instellingen voor de azure Data Lake Gen2-blobcontainerverbinding.

  8. Selecteer eventueel Statische preview ophalen/Statische preview vernieuwen om de gegevensvoorbeeld te bekijken die wordt opgenomen in Azure Data Lake Storage Gen2.
    Schermopname van de optie Gegevensvoorbeeld en Statische preview vernieuwen.

  9. Selecteer Opslaan en selecteer vervolgens De Stream Analytics-taak starten.
    Schermopname van de opties Opslaan en Starten van de taak.

  10. Als u de taak wilt starten, geeft u het aantal streaming-eenheden (RU's) op waarmee de taak wordt uitgevoerd. SUs vertegenwoordigt de hoeveelheid rekenkracht en geheugen die aan de taak is toegewezen. We raden u aan om met drie te beginnen en vervolgens naar behoefte aan te passen.

  11. Nadat u Start hebt geselecteerd, wordt de taak binnen twee minuten uitgevoerd en worden de metrische gegevens geopend in de sectie met tabbladen hieronder.

    Schermopname van het venster Stream Analytics-taak starten.

    U kunt de taak zien onder de sectie Procesgegevens op het tabblad Stream Analytics-taken . Selecteer Vernieuwen totdat u de taakstatus ziet als Actief. Selecteer Metrische gegevens openen om deze te bewaken of te stoppen en opnieuw op te starten, indien nodig.

    Schermopname van het tabblad Stream Analytics-taken.

    Hier volgt een voorbeeldpagina met metrische gegevens :

    Schermopname van de pagina Metrische gegevens.

Gegevens controleren in Data Lake Storage

  1. U ziet nu bestanden die zijn gemaakt in de container die u hebt opgegeven.

    Schermopname van het gegenereerde bestand met gefilterde gegevens in Azure Data Lake Storage.

  2. Download en open het bestand om te bevestigen dat alleen de gefilterde gegevens worden weergegeven. In het volgende voorbeeld ziet u gegevens met SwitchNum ingesteld op VS.

    {"RecordType":"MO","SystemIdentity":"d0","FileNum":"548","SwitchNum":"US","CallingNum":"345697969","CallingIMSI":"466921402416657","CalledNum":"012332886","CalledIMSI":"466923101048691","DateS":"20220524","TimeType":0,"CallPeriod":0,"ServiceType":"S","Transfer":0,"OutgoingTrunk":"419","MSRN":"1416960750071","callrecTime":"2022-05-25T02:07:10Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:09.5140000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"552","SwitchNum":"US","CallingNum":"012351287","CallingIMSI":"262021390056324","CalledNum":"012301973","CalledIMSI":"466922202613463","DateS":"20220524","TimeType":3,"CallPeriod":0,"ServiceType":"V","Transfer":0,"OutgoingTrunk":"442","MSRN":"886932428242","callrecTime":"2022-05-25T02:07:13Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:12.7350000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}
{"RecordType":"MO","SystemIdentity":"d0","FileNum":"559","SwitchNum":"US","CallingNum":"456757102","CallingIMSI":"466920401237309","CalledNum":"345617823","CalledIMSI":"466923000886460","DateS":"20220524","TimeType":1,"CallPeriod":696,"ServiceType":"V","Transfer":1,"OutgoingTrunk":"419","MSRN":"886932429155","callrecTime":"2022-05-25T02:07:22Z","EventProcessedUtcTime":"2022-05-25T02:07:50.5478116Z","PartitionId":0,"EventEnqueuedUtcTime":"2022-05-25T02:07:21.9190000Z", "TimeS":null,"CallingCellID":null,"CalledCellID":null,"IncomingTrunk":null,"CalledNum2":null,"FCIFlag":null}

Overwegingen bij het gebruik van de functie Geo-replicatie van Event Hubs

Azure Event Hubs heeft onlangs de functie Geo-replicatie gelanceerd in de openbare preview. Deze functie verschilt van de functie Geo Disaster Recovery van Azure Event Hubs.

Wanneer het failovertype geforceerd is en replicatieconsistentie Asynchroon is, garandeert de Stream Analytics-taak niet precies één keer uitvoer naar een Azure Event Hubs-uitvoer.

Azure Stream Analytics, als producent met een Event Hub een uitvoer, kan de watermerkvertraging van de taak observeren tijdens de failoverduur en tijdens het beperken door Event Hubs in het geval replicatievertraging tussen primaire en secundaire vertraging de maximaal geconfigureerde vertraging bereikt.

Azure Stream Analytics, als consument met Event Hubs als invoer, kan tijdens de failover de watermerkvertraging van de taak observeren en mogelijk gegevens overslaan of dubbele gegevens vinden nadat de failover is voltooid.

Vanwege deze opmerkingen raden we u aan om de Stream Analytics-taak opnieuw te starten met de juiste begintijd direct nadat de Failover van Event Hubs is voltooid. Omdat de functie Geo-replicatie van Event Hubs in openbare preview is, raden we u ook op dit moment niet aan dit patroon te gebruiken voor productie Stream Analytics-taken. Het huidige Gedrag van Stream Analytics wordt verbeterd voordat de functie Geo-replicatie van Event Hubs algemeen beschikbaar is en kan worden gebruikt in Stream Analytics-productietaken.

Volgende stappen

Meer informatie over Azure Stream Analytics en het bewaken van de taak die u hebt gemaakt.