Delen via

Gegevens materialiseren in Azure Cosmos DB met behulp van de Stream Analytics-code-editor

  • Artikel

In dit artikel wordt beschreven hoe u de code-editor zonder code kunt gebruiken om eenvoudig een Stream Analytics-taak te maken. De taak leest continu uit uw Event Hubs en voert aggregaties uit, zoals count, sum en average. U selecteert velden waarop u wilt groeperen in een tijdvenster en vervolgens schrijft de taak de resultaten continu naar Azure Cosmos DB.

Vereisten

  • Uw Azure Event Hubs- en Azure Cosmos DB-resources moeten openbaar toegankelijk zijn en kunnen zich niet achter een firewall bevinden of zijn beveiligd in een virtueel Azure-netwerk.
  • De gegevens in uw Event Hubs moeten worden geserialiseerd in JSON-, CSV- of Avro-indeling.

Een Stream Analytics-taak ontwikkelen

Gebruik de volgende stappen om een Stream Analytics-taak te ontwikkelen om gegevens in Azure Cosmos DB te materialiseren.

  1. Zoek en selecteer uw Azure Event Hubs-exemplaar in Azure Portal.
  2. Selecteer Onder Functies de optie Procesgegevens. Selecteer vervolgens Beginnen op de kaart getiteld Materialize Data in Azure Cosmos DB.
    Schermopname van de Gegevensstroom Start Materialize.
  3. Voer een naam in voor uw taak en selecteer Maken.
  4. Geef het serialisatietype van uw gegevens op in de Event Hub en de verificatiemethode die door de taak wordt gebruikt om verbinding te maken met de Event Hubs. Selecteer vervolgens Connect.
  5. Als de verbinding tot stand is gebracht en er gegevensstromen naar uw Event Hubs-exemplaar stromen, ziet u onmiddellijk twee dingen:
    • Velden die aanwezig zijn in de nettolading van uw invoer. Selecteer het drie puntsymbool naast een veld optioneel verwijderen, de naam ervan wijzigen of het gegevenstype van het veld wijzigen.
      Schermopname van de Event Hub-velden met invoer die u kunt controleren.
    • Een voorbeeld van uw invoergegevens in het onderste deelvenster onder Voorbeeld van gegevens die automatisch periodiek worden vernieuwd. U kunt streamingvoorbeeld onderbreken selecteren als u liever een statische weergave van uw voorbeeldinvoergegevens hebt.
      Schermopname van voorbeeldinvoergegevens.
  6. In de volgende stap geeft u het veld en de aggregaties op die u wilt berekenen, zoals Gemiddelde en Aantal. U kunt ook het veld opgeven waarop u wilt groeperen , samen met het tijdvenster. Vervolgens kunt u de resultaten van de stap in de sectie Gegevensvoorbeeld valideren.
    Schermopname van het gebied Groeperen op.
  7. Kies de Cosmos DB-database en -container waar u resultaten wilt schrijven.
  8. Start de Stream Analytics-taak door Start te selecteren.
    Schermopname van uw definitie waarin u Start selecteert.
    Als u de taak wilt starten, moet u het volgende opgeven:
    • Het aantal streaming-eenheden (SU) waarmee de taak wordt uitgevoerd. RU's vertegenwoordigen de hoeveelheid reken- en geheugen die aan de taak is toegewezen. We raden u aan om te beginnen met drie en zo nodig aan te passen.
    • Met de verwerking van uitvoergegevensfouten kunt u het gewenste gedrag opgeven wanneer de uitvoer van een taak naar uw bestemming mislukt vanwege gegevensfouten. Uw taak wordt standaard opnieuw uitgevoerd totdat de schrijfbewerking is voltooid. U kunt er ook voor kiezen om uitvoer gebeurtenissen te verwijderen.
  9. Nadat u Start hebt geselecteerd, wordt de taak binnen twee minuten uitgevoerd. Bekijk de taak onder de sectie Procesgegevens op het tabblad Stream Analytics-taken. U kunt de metrische gegevens van taken verkennen en deze indien nodig stoppen en opnieuw starten.

Overwegingen bij het gebruik van de functie Geo-replicatie van Event Hubs

Azure Event Hubs heeft onlangs de functie Geo-replicatie gelanceerd in de openbare preview. Deze functie verschilt van de functie Geo Disaster Recovery van Azure Event Hubs.

Wanneer het failovertype geforceerd is en replicatieconsistentie Asynchroon is, garandeert de Stream Analytics-taak niet precies één keer uitvoer naar een Azure Event Hubs-uitvoer.

Azure Stream Analytics, als producent met een Event Hub een uitvoer, kan de watermerkvertraging van de taak observeren tijdens de failoverduur en tijdens het beperken door Event Hubs in het geval replicatievertraging tussen primaire en secundaire vertraging de maximaal geconfigureerde vertraging bereikt.

Azure Stream Analytics, als consument met Event Hubs als invoer, kan tijdens de failover de watermerkvertraging van de taak observeren en mogelijk gegevens overslaan of dubbele gegevens vinden nadat de failover is voltooid.

Vanwege deze opmerkingen raden we u aan om de Stream Analytics-taak opnieuw te starten met de juiste begintijd direct nadat de Failover van Event Hubs is voltooid. Omdat de functie Geo-replicatie van Event Hubs in openbare preview is, raden we u ook op dit moment niet aan dit patroon te gebruiken voor productie Stream Analytics-taken. Het huidige Gedrag van Stream Analytics wordt verbeterd voordat de functie Geo-replicatie van Event Hubs algemeen beschikbaar is en kan worden gebruikt in Stream Analytics-productietaken.

Volgende stappen

U weet nu hoe u de Stream Analytics-code-editor kunt gebruiken om een taak te ontwikkelen die uit Event Hubs leest en aggregaties berekent, zoals aantallen, gemiddelden en schrijft naar uw Azure Cosmos DB-resource.