Realtime gegevens opnemen en transformeren

  • 15 minuten

Eventstreams in Microsoft Fabric worden gebruikt voor het vastleggen, transformeren en laden van realtime gegevens uit een breed scala aan streaminggegevensbronnen. Wanneer u een eventstream in het systeem instelt, definieert u een engine voor gegevensverwerking die permanent wordt uitgevoerd om realtime gegevens op te nemen en te transformeren. U geeft aan waar gegevens moeten worden opgehaald, waar ze moeten worden verzonden en hoe u deze zo nodig kunt wijzigen.

Schermopname van een eventstream in Microsoft Fabric.

Gegevensbronnen voor eventstreams

Eventstreams in Microsoft Fabric ondersteunen een breed scala aan gegevensbronnen, waaronder:

  • Externe services, zoals Azure Storage, Azure Event Hubs, Azure IoT Hubs, Apache Kafka-hubs, CDC-feeds (Change Data Capture) in relationele databaseservices en andere.
  • Fabric-gebeurtenissen, zoals wijzigingen in items in een Infrastructuurwerkruimte, gegevenswijzigingen in OneLake-gegevensarchieven en gebeurtenissen die zijn gekoppeld aan Fabric-taken.
  • Voorbeeldgegevens, die een reeks voorbeelden bevatten waarmee u realtime analysescenario's in Microsoft Fabric kunt verkennen.

Tip

Zie Ondersteunde bronnen voor Fabric Realtime-hub voor meer informatie over ondersteunde bronnen.

Gegevenstransformaties in eventstreams

U kunt de gegevens transformeren terwijl deze stromen in de eventstream, zodat u deze kunt filteren, samenvatten en de vorm ervan kunt wijzigen voordat u deze opslaat. Beschikbare transformaties zijn onder andere:

  • Filter: Gebruik de filtertransformatie om gebeurtenissen te filteren op basis van de waarde van een veld in de invoer. Afhankelijk van het gegevenstype (getal of tekst) behoudt de transformatie de waarden die overeenkomen met de geselecteerde voorwaarde, zoals is null of is not null.
  • Velden beheren: met deze transformatie kunt u velden toevoegen, verwijderen, wijzigen of de naam van velden wijzigen die afkomstig zijn van een invoer of een andere transformatie.
  • Aggregaat: Gebruik de aggregatietransformatie om elke keer dat een nieuwe gebeurtenis plaatsvindt, te berekenen (Som, Minimum, Maximum of Gemiddelde). Met deze bewerking kunt u ook de naam van deze berekende kolommen wijzigen en de aggregatie filteren of segmenteren op basis van andere dimensies in uw gegevens. U kunt een of meer aggregaties in dezelfde transformatie hebben.
  • Groeperen op: Gebruik de groep op transformatie om aggregaties te berekenen voor alle gebeurtenissen binnen een bepaald tijdvenster. U kunt groeperen op de waarden in een of meer velden. Het is net zoals de aggregatietransformatie de naam van kolommen kan wijzigen, maar biedt meer opties voor aggregatie en bevat complexere opties voor tijdvensters. Net als Aggregatie kunt u meer dan één aggregatie per transformatie toevoegen.
  • Union: Gebruik de transformatie union om twee of meer knooppunten te verbinden en gebeurtenissen toe te voegen met gedeelde velden (met dezelfde naam en hetzelfde gegevenstype) in één tabel. Velden die niet overeenkomen, worden verwijderd en niet opgenomen in de uitvoer.
  • Uitvouwen: Gebruik deze matrixtransformatie om een nieuwe rij te maken voor elke waarde in een matrix.
  • Join: dit is een transformatie voor het combineren van gegevens uit twee streams op basis van een overeenkomende voorwaarde tussen deze stromen.

Tip

Zie Gebeurtenisgegevens verwerken met de editor voor gebeurtenisprocessor voor meer informatie over ondersteunde transformaties.

Gegevensbestemmingen in eventstreams

U kunt de gegevens uit uw stream laden naar de volgende bestemmingen:

  • Eventhouse: Met deze bestemming kunt u uw realtime gebeurtenisgegevens opnemen in een eventhouse, waar u Kusto-querytaal (KQL) kunt gebruiken om query's uit te voeren en de gegevens te analyseren.
  • Lakehouse: Deze bestemming biedt u de mogelijkheid om uw realtime gebeurtenissen te transformeren voordat u ze in uw lakehouse opneemt. Realtime gebeurtenissen worden omgezet in Delta Lake-indeling en worden vervolgens opgeslagen in de aangewezen lakehouse-tabellen.
  • Afgeleide stroom: Afgeleide stream wordt gebruikt om de uitvoer van uw eventstream om te leiden naar een andere eventstream. De afgeleide stream vertegenwoordigt de getransformeerde standaardstroom na stroomverwerking.
  • Fabric Activator: Met deze bestemming kunt u uw realtime gebeurtenisgegevens rechtstreeks verbinden met een Fabric Activator. Dit is een intelligente agent waarmee acties kunnen worden geautomatiseerd op basis van waarden in de stroom.
  • Aangepast eindpunt: Met deze bestemming kunt u uw realtimegebeurtenissen doorsturen naar een aangepast eindpunt. Deze bestemming is handig als u realtime gegevens wilt doorsturen naar een extern systeem of aangepaste toepassing buiten Microsoft Fabric.

Tip

Zie Een bestemming toevoegen en beheren in een eventstream voor meer informatie over ondersteunde bronnen.