Delen via


Gebeurtenisgegevens verwerken met de gebeurtenisprocessoreditor

De gebeurtenisprocessoreditor is een ervaring zonder code waarmee u de logica voor gebeurtenisgegevensverwerking kunt slepen en neerzetten. In dit artikel wordt beschreven hoe u de editor gebruikt om uw verwerkingslogica te ontwerpen.

Notitie

Verbeterde mogelijkheden zijn standaard ingeschakeld wanneer u nu eventstreams maakt. Als u eventstreams hebt die zijn gemaakt met behulp van standaardmogelijkheden, blijven deze eventstreams werken. U kunt ze nog steeds bewerken en gebruiken zoals gebruikelijk. U wordt aangeraden een nieuwe eventstream te maken om standaard eventstreams te vervangen, zodat u kunt profiteren van extra mogelijkheden en voordelen van verbeterde eventstreams.

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Toegang tot een werkruimte in de Fabric-capaciteit licentiemodus of de proef-licentiemodus met Bijdrager- of hogere machtigingen.

De gebeurtenisverwerking ontwerpen met de editor

Voer de volgende stappen uit om stroomverwerkingsbewerkingen uit te voeren op uw gegevensstromen met behulp van een editor zonder code:

  1. Selecteer Bewerken op het lint als u zich nog niet in de bewerkingsmodus bevindt. Zorg ervoor dat het upstream-knooppunt voor de bewerkingen die zijn verbonden, een schema heeft.

    Schermopname van de gebeurtenisprocessoreditor in de bewerkingsmodus.

  2. Als u een operator voor gebeurtenisverwerking wilt invoegen tussen het stroomknooppunt en de bestemming in de bewerkingsmodus, kunt u een van de volgende twee methoden gebruiken:

    • Voeg de operator rechtstreeks vanaf de verbindingslijn in. Beweeg de muisaanwijzer over de verbindingslijn en selecteer de + knop. Er wordt een vervolgkeuzelijst weergegeven op de verbindingslijn en u kunt een operator selecteren in dit menu.

      Schermopname van de selectie van de +-knop op de verbindingslijn.

    • Voeg de operator in vanuit het lintmenu of het canvas.

      1. U kunt een operator selecteren in het menu Gebeurtenissen transformeren op het lint.

        Schermopname van de selectie Velden beheren op het lint.

        U kunt ook de muisaanwijzer op een van de knooppunten plaatsen en vervolgens de + knop selecteren als u de verbindingslijn hebt verwijderd. Er wordt een vervolgkeuzelijst naast dat knooppunt weergegeven en u kunt een operator selecteren in dit menu.

        Schermopname van de selectie van de pluskoppeling op de verbindingslijn.

      2. Nadat u de operator hebt ingevoegd, moet u deze knooppunten opnieuw verbinden. Beweeg de muisaanwijzer naar de linkerrand van het stroomknooppunt, selecteer vervolgens de groene cirkel en sleep deze om te verbinden met het knooppunt voor het beheren van velden. Volg hetzelfde proces om het operatorknooppunt Velden beheren te verbinden met uw bestemming.

        Schermopname die laat zien hoe u de tegel

  3. Selecteer het Beheer velden operator-knooppunt. Selecteer in het Configuratiescherm Velden beheren de velden die u wilt uitvoeren. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. U kunt ook een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in tekenreeksfuncties, datum- en tijdfuncties, wiskundige functies. Als u ze wilt vinden, zoekt u op built-in.)

    Schermopname die laat zien hoe u de tegel 'Velden beheren' kunt configureren.

  4. Nadat u de operator Velden beheren hebt geconfigureerd, selecteert u Vernieuwen om het testresultaat te valideren dat door deze operator is geproduceerd.

    Schermopname van de vernieuwde pagina.

  5. Als u configuratiefouten hebt, worden deze weergegeven op het tabblad Ontwerpfouten in het onderste deelvenster.

    Schermopname van het tabblad Ontwerpfouten.

  6. Als het testresultaat er correct uitziet, selecteert u Publiceren om de logica voor gebeurtenisverwerking op te slaan en terug te keren naar de liveweergave.

    Schermopname van de knop Publiceren op het lint geselecteerd.

  7. Nadat u deze stappen hebt voltooid, kunt u visualiseren hoe uw eventstream gegevens gaat streamen en verwerken in liveweergave.

    Schermopname van de liveweergave.

Editor voor gebeurtenisverwerking

Met de gebeurtenisprocessoreditor (het canvas in de bewerkingsmodus) kunt u gegevens transformeren naar verschillende bestemmingen. Voer de bewerkingsmodus Bewerken in om stroomverwerkingsbewerkingen voor uw gegevensstromen te ontwerpen.

Schermopname van de editor voor gebeurtenisverwerking voor een eventstream met verbeterde mogelijkheden.

De bewerkingsmodus bevat een canvas en een lager deelvenster, waar u het volgende kunt doen:

  • Bouw de logica voor transformatie van gebeurtenisgegevens met slepen en neerzetten.
  • Voorbeeldtestresultaat in elk van de verwerkingsknooppunten van begin tot eind.
  • Detecteer eventuele ontwerpfouten binnen de verwerkingsknooppunten.

Editorindeling

Schermopname van de indeling van de editor voor gebeurtenisverwerking voor een eventstream met verbeterde mogelijkheden.

  • Lintmenu en Canvas (nummer één op de afbeelding): In dit deelvenster kunt u de logica voor data-transformatie ontwerpen door een operator te selecteren (uit het menu Transformatie-gebeurtenissen) en de stroom- en doellocaties te verbinden via het nieuw gecreëerde operatorknooppunt. U kunt verbindingslijnen slepen en neerzetten of verbindingen selecteren en verwijderen.
  • Rechterdeelvenster voor bewerken (twee in de afbeelding): in dit deelvenster kunt u het geselecteerde knooppunt configureren of de naam van de stream weergeven.
  • Onderste deelvenster met tabbladen voor gegevensvoorbeelden en ontwerpfouten (drie in de afbeelding): Bekijk in dit deelvenster een voorbeeld van het testresultaat in een geselecteerd knooppunt met het tabblad Testresultaat. Het tabblad Ontwerpfouten geeft onvolledige of onjuiste configuraties in de bewerkingsknooppunten weer.

Ondersteunde knooppunttypen en voorbeelden

Dit zijn de doeltypen die ondersteuning bieden voor het toevoegen van operators vóór opname:

  • Lakehouse
  • Eventhouse (gebeurtenisverwerking vóór opname)
  • Afgeleide stroom
  • Activeringsmiddel

Notitie

Voor bestemmingen die geen ondersteuning bieden voor de toevoeging van operatoren vóór opname, kunt u eerst een afgeleide gegevensstroom toevoegen als uitvoer van uw operator. Voeg vervolgens uw beoogde bestemming toe aan deze afgeleide stream.

Schermopname van de indeling van de editor voor gebeurtenisverwerking met filteruitvoer naar een niet-ondersteunde bestemming.

Met de gebeurtenisprocessor in Lakehouse en KQL Database (gebeurtenisverwerking vóór opname) kunt u uw gegevens verwerken voordat deze worden opgenomen in uw bestemming.

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Toegang tot een werkruimte in de Fabric-capaciteit licentiemodus of de proef-licentiemodus met Bijdrager- of hogere machtigingen.
  • Krijg toegang tot een werkruimte met inzender- of bovenstaande machtigingen waar uw Lakehouse- of KQL-database zich bevindt.

De gebeurtenisverwerking ontwerpen met de editor

Uw gebeurtenisverwerking ontwerpen met de gebeurtenisprocessoreditor:

  1. Voeg een Lakehouse-bestemming toe en voer de benodigde parameters in het rechterdeelvenster in. (Zie Voeg een bestemming toe en beheer deze in een eventstream voor gedetailleerde instructies. )

  2. Selecteer Gebeurtenisprocessor openen. Het gebeurtenisverwerkingseditorscherm verschijnt.

    Schermopname waarin wordt weergegeven waar u gebeurtenisprocessor openen selecteert in het configuratiescherm van de Lakehouse-bestemming.

  3. Selecteer in het canvas van de gebeurtenisverwerkingseditor het eventstream-knooppunt. U kunt een voorbeeld van het gegevensschema bekijken of het gegevenstype wijzigen in het rechter deelvenster Eventstream .

    Schermopname van het gegevensschema in het rechterdeelvenster van het scherm Gebeurtenisverwerkingseditor.

  4. U kunt een van de volgende twee methoden gebruiken om een operator voor gebeurtenisverwerking in te voegen tussen deze gebeurtenisstream en het doel in de gebeurtenisprocessoreditor:

    1. Voeg de operator rechtstreeks vanaf de verbindingslijn in. Beweeg de muisaanwijzer over de verbindingslijn en selecteer vervolgens de knop +. Er wordt een vervolgkeuzelijst weergegeven op de verbindingslijn en u kunt een operator selecteren in dit menu.

      Schermopname die laat zien waar u de muisaanwijzer op de verbindingslijn plaatst om een knooppunt in te voegen.

    2. Voeg de operator in vanuit het lintmenu of het canvas.

      1. U kunt een operator selecteren in het menu Bewerkingen op het lint. U kunt ook de muisaanwijzer op een van de knooppunten plaatsen en vervolgens de knop +selecteren als u de verbindingslijn hebt verwijderd. Er wordt een vervolgkeuzelijst naast dat knooppunt weergegeven en u kunt een operator selecteren in dit menu.

        Schermopname die laat zien waar u een operator selecteert in het menu Bewerkingen.

        Schermopname die laat zien waar u de muisaanwijzer op knooppunten plaatst om een knooppunt in te voegen.

      2. Ten slotte moet u deze knooppunten opnieuw verbinden. Beweeg de muisaanwijzer aan de linkerkant van het eventstream-knooppunt en selecteer en sleep de groene cirkel om deze te verbinden met het operatorknooppunt Velden beheren. Volg hetzelfde proces om de Manage fields operator node te verbinden met het lakehouse-knooppunt.

        Schermopname die laat zien waar de knooppunten moeten worden verbonden.

  5. Selecteer het Beheer velden operator-knooppunt. Selecteer in het Configuratiescherm Velden beheren de velden die u wilt uitvoeren. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. U kunt ook een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in Tekenreeksfuncties, datum- en tijdfuncties, wiskundige functies. Als u ze wilt vinden, zoekt u op 'ingebouwd'.)

    Schermopname van het configureren van de operator.

  6. Nadat u de operator Velden beheren hebt geconfigureerd, selecteert u Statische preview vernieuwen om een voorbeeld te bekijken van de gegevens die deze operator produceert.

    Schermopname die laat zien hoe u een voorbeeld van gegevens bekijkt in de editor van de gebeurtenisprocessor.

  7. Als u configuratiefouten hebt, worden deze weergegeven op het tabblad Ontwerpfout in het onderste deelvenster.

    Schermopname van het tabblad Fout bij het aanmaken in de gebeurtenisprocessoreditor.

  8. Als uw voorbeeldgegevens er correct uitzien, selecteert u Gereed om de logica voor gebeurtenisverwerking op te slaan en terug te keren naar het configuratiescherm van de Lakehouse-bestemming.

  9. Selecteer Toevoegen om het maken van uw lakehouse-bestemming te voltooien.

Editor voor gebeurtenisprocessor

Met de gebeurtenisprocessor kunt u de gegevens die u opneemt, transformeren naar een lakehouse-bestemming. Wanneer u uw Lakehouse-bestemming configureert, vindt u de optie Gebeurtenisprocessor openen in het midden van het configuratiescherm van de Lakehouse-bestemming .

Schermopname die laat zien waar u de editor voor de gebeurtenisprocessor opent.

Als u Gebeurtenisprocessor openen selecteert, wordt het scherm gebeurtenisverwerkingseditor gestart, waarin u de logica voor gegevenstransformatie kunt definiëren.

De gebeurtenisprocessoreditor bevat een canvas en een lager deelvenster, waar u het volgende kunt doen:

  • Bouw de logica voor transformatie van gebeurtenisgegevens met slepen en neerzetten.
  • Bekijk een voorbeeld van de gegevens in elk van de verwerkingsknooppunten van begin tot eind.
  • Detecteer eventuele ontwerpfouten binnen de verwerkingsknooppunten.

De schermindeling is net als de hoofdeditor. Het bestaat uit drie secties, weergegeven in de volgende afbeelding:

Schermopname van het scherm Gebeurtenisverwerkingseditor, waarmee de drie hoofdsecties worden aangegeven.

  1. Canvas met diagramweergave: In dit deelvenster kunt u de logica voor gegevenstransformatie ontwerpen door een operator te selecteren (in het menu Operations ) en de eventstream en de doelknooppunten te verbinden via het zojuist gemaakte operatorknooppunt. U kunt verbindingslijnen slepen en neerzetten of verbindingen selecteren en verwijderen.

  2. Rechterdeelvenster bewerken: in dit deelvenster kunt u het geselecteerde bewerkingsknooppunt configureren of het schema van de gebeurtenisstroom en het doel weergeven.

  3. Onderste deelvenster met tabbladen voor gegevensvoorbeeld en ontwerpfouten: In dit deelvenster bekijkt u een voorbeeld van de gegevens in een geselecteerd knooppunt met het tabblad Gegevensvoorbeeld. Het tabblad Ontwerpfouten geeft een lijst van eventuele onvolledige of onjuiste configuraties in de bewerkingsknooppunten weer.

Ontwerpfouten

Ontwerpfouten verwijzen naar de fouten die optreden in de gebeurtenisprocessoreditor vanwege onvolledige of onjuiste configuratie van de bewerkingsknooppunten, zodat u potentiële problemen in uw gebeurtenisprocessor kunt vinden en oplossen.

U kunt ontwerpfouten weergeven in het onderste deelvenster van de gebeurtenisprocessoreditor. In het onderste deelvenster worden alle ontwerpfouten vermeld. Elke ontwerpfout heeft vier kolommen:

  • Knooppunt-id: Geeft de id aan van het bewerkingsknooppunt waar de bewerkingsfout is opgetreden.
  • Knooppunttype: Geeft het type van het bewerkingsknooppunt aan waar de bewerkingsfout is opgetreden.
  • Niveau: Geeft de ernst van de ontwerpfout aan, er zijn twee niveaus, Fatal en Information. Een fatale ontwerpfout van niveau betekent dat uw gebeurtenisprocessor ernstige problemen heeft en niet kan worden opgeslagen of uitgevoerd. Fout bij het ontwerpen op informatieniveau betekent dat uw gebeurtenisprocessor enkele tips of suggesties bevat waarmee u uw gebeurtenisprocessor kunt optimaliseren of verbeteren.
  • Fout: Geeft de specifieke informatie van de ontwerpfout aan, kort een beschrijving van de oorzaak en impact van de ontwerpfout. U kunt het tabblad Details weergeven selecteren om details weer te geven.

Omdat Eventstream en Eventhouse verschillende gegevenstypen ondersteunen, kan het proces van conversie van gegevenstypen leiden tot ontwerpfouten.

In de volgende tabel ziet u de resultaten van de conversie van het gegevenstype van Eventstream naar Eventhouse. De kolommen vertegenwoordigen de gegevenstypen die door Eventstream worden ondersteund en de rijen vertegenwoordigen de gegevenstypen die door Eventhouse worden ondersteund. De cellen geven de conversieresultaten aan, die een van de volgende drie kunnen zijn:

✔️ Geeft aan dat de conversie is geslaagd, dat er geen fouten of waarschuwingen worden gegenereerd.

❌ Geeft een onmogelijke conversie aan, er wordt een onherstelbare ontwerpfout gegenereerd. Het foutbericht is vergelijkbaar met: het gegevenstype '{1}' voor de kolom '{0}' komt niet overeen met het verwachte type '{2}' in de geselecteerde KQL-tabel en kan niet automatisch worden teruggezet.

⚠ϑ Geeft mogelijke maar onjuiste conversie aan, fout bij het ontwerpen van informatie wordt gegenereerd. Het foutbericht is vergelijkbaar met: het gegevenstype '{1}' voor de kolom '{0}' komt niet exact overeen met het verwachte type '{2}' in de geselecteerde KQL-tabel. Het wordt automatisch teruggezet naar '{2}'.

tekenreeks bool datumtijd dynamisch GUID int lang echt tijdsbestek decimaal
Int64 ✔️ ⚠️ ✔️ ⚠️ ✔️
Dubbel ✔️ ⚠️ ⚠️
String ✔️ ✔️
Datum/tijd ⚠️ ✔️ ✔️
Record ⚠️ ✔️
Array ⚠️ ✔️

Zoals u in de tabel kunt zien, zijn sommige conversies van gegevenstypen geslaagd, zoals string naar string. Deze conversies genereren geen ontwerpfouten en hebben geen invloed op de werking van uw gebeurtenisprocessor.

Sommige conversies van gegevenstypen zijn onmogelijk, zoals int naar tekenreeks. Deze conversies genereren fatale ontwerpfouten, waardoor uw gebeurtenisprocessor niet kan opslaan. U moet uw gegevenstype wijzigen in uw Eventstream of in de KQL-tabel om deze fouten te voorkomen.

Sommige conversies van gegevenstypen zijn mogelijk, maar niet nauwkeurig, zoals int naar echt. Deze conversies genereren ontwerpfouten op informatieniveau, wat aangeeft dat de gegevenstypen niet overeenkomen en de resultaten van de automatische conversie. Deze conversies kunnen ertoe leiden dat uw gegevens precisie of structuur verliezen. U kunt kiezen of u deze fouten wilt negeren of uw gegevenstype wilt wijzigen in uw Eventstream of in de KQL-tabel om uw gebeurtenisprocessor te optimaliseren.

Transformatieoperators

De gebeurtenisprocessor biedt zeven operators, die u kunt gebruiken om uw gebeurtenisgegevens te transformeren op basis van de behoeften van uw bedrijf.

Schermopname van de operators die beschikbaar zijn in het menu Operations.

Samenvoegen

Gebruik de aggregatietransformatie om telkens wanneer een nieuwe gebeurtenis plaatsvindt in een bepaalde periode een aggregatie (Som, Minimum, Maximum of Gemiddelde) te berekenen. Met deze bewerking kunt u ook de naam van deze berekende kolommen wijzigen en de aggregatie filteren of segmenteren op basis van andere dimensies in uw gegevens. U kunt een of meer aggregaties in dezelfde transformatie hebben.

  • Operatornaam: Geef de naam van de aggregatiebewerking op.
  • Statistische functie toevoegen: Voeg een of meer aggregaties toe in de statistische bewerking.
  • Type: Kies een aggregatietype: Som, Minimum, Maximum of Gemiddelde.
  • Veld: Selecteer de kolom die u wilt verwerken.
  • Naam: Definieer een naam voor deze aggregatiefunctie.
  • Partitioneren op: Selecteer een kolom om de aggregatie te groeperen.
  • Geaggregeerde waarden binnen de laatste seconden: Geef een tijdvenster in voor aggregatie (standaard is 5 seconden).

Schermopname van de configuratie van de aggregatiesoperator en het testresultaat.

Uitvouwen

Gebruik de matrixtransformatie Uitvouwen om een nieuwe rij te maken voor elke waarde in een matrix. U kunt een rij maken voor ontbrekende/lege matrix of geen rij maken voor ontbrekende/lege matrix.

Schermopname met de configuratie en het testresultaat van de uitvouwoperator.

Filter

Gebruik de filtertransformatie om gebeurtenissen te filteren op basis van de waarde van een veld in de invoer. Afhankelijk van het gegevenstype (getal of tekst) behoudt de transformatie de waarden die overeenkomen met de geselecteerde voorwaarde, zoals null of niet null.

Groeperen op

Gebruik de transformatie Groeperen op om aggregaties te berekenen voor alle gebeurtenissen binnen een bepaald tijdvenster. U kunt groeperen op de waarden in een of meer velden. Het is alsof de aggregatietransformatie kolommen kan hernoemen en biedt meer opties voor aggregatie en bevat complexere opties voor tijdvensters. Net als Aggregatie kunt u meer dan één aggregatie per transformatie toevoegen.

De aggregaties die beschikbaar zijn in de transformatie zijn:

  • Gemiddeld
  • Tellen
  • Maximaal
  • Minimum
  • Percentiel (doorlopend en discreet)
  • Standaardafwijking
  • Som
  • Verschil

In tijdstreamingscenario's is het uitvoeren van bewerkingen op de gegevens in tijdelijke vensters een gemeenschappelijk patroon. De gebeurtenisprocessor ondersteunt vensterfuncties, die zijn geïntegreerd met de operator Group by . U kunt deze definiëren in de instelling van deze operator.

Schermopname van de Groeperen per operator die beschikbaar is in de evenementprocessor-editor.

Velden beheren

Met de transformatie Velden beheren kunt u velden toevoegen, verwijderen, wijzigen of de naam van velden wijzigen die afkomstig zijn van een invoer of een andere transformatie. Met de instellingen voor het zijvenster kunt u een nieuw veld toevoegen door veld toevoegen te selecteren, meerdere velden toe te voegen of alle velden tegelijk toe te voegen.

Schermopname van de operator Velden beheren die beschikbaar is in de gebeurtenisprocessoreditor.

Bovendien kunt u een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in Tekenreeksfuncties, datum- en tijdfuncties en wiskundige functies. Als u ze wilt vinden, zoekt u op 'ingebouwd'.)

Schermopname met de ingebouwde functies van het beheerveld.

In de volgende tabel ziet u de resultaten van het wijzigen van het gegevenstype met behulp van velden beheren. De kolommen vertegenwoordigen de oorspronkelijke gegevenstypen en de rijen vertegenwoordigen het doelgegevenstype.

  • Als er een ✔️ in de cel staat, betekent dit dat deze rechtstreeks kan worden geconverteerd en dat de optie voor het doelgegevenstype wordt weergegeven in het uitklapmenu.
  • Als de cel een ❌ cel bevat, betekent dit dat deze niet kan worden geconverteerd en dat de optie voor het doelgegevenstype niet wordt weergegeven in de vervolgkeuzelijst.
  • Als er een ⚠ in de cel staat, betekent dit dat deze kan worden geconverteerd, maar moet voldoen aan bepaalde voorwaarden, zoals dat de tekenreeksindeling moet voldoen aan de vereisten van het doelgegevenstype. Als u bijvoorbeeld converteert van tekenreeks naar int, moet de tekenreeks een geldig geheel getal zijn, zoals 123, niet abc.
Int64 Dubbel String Datum/tijd Opnemen Array
Int64 ✔️ ✔️ ✔️
Dubbel ✔️ ✔️ ✔️
String ⚠️ ⚠️ ✔️ ⚠️
Datum/tijd ✔️ ✔️
Record ✔️ ✔️
Array ✔️ ✔️

Vakbond

Gebruik de samenvoegtransformatie om twee of meer knooppunten te verbinden en gebeurtenissen toe te voegen die gedeelde velden (met dezelfde naam en hetzelfde gegevenstype) in één tabel hebben. Velden die niet overeenkomen, worden verwijderd en niet opgenomen in de uitvoer.

Deelnemen

Gebruik de jointransformatie om gebeurtenissen van twee invoer te combineren op basis van de veldparen die u selecteert. Als u geen veldpaar selecteert, is de join standaard gebaseerd op tijd. De standaardinstelling is wat deze transformatie anders maakt dan een batch.

Net als bij gewone joins hebt u opties voor uw joinlogica:

  • Inner join: Neem alleen records samen uit beide tabellen waarbij het paar overeenkomt.
  • Left outer join: Neem alle records van de eerste (linker) tabel op en alleen de records van de tweede die overeenkomen met een paar velden. Als er geen overeenkomst is, zijn de velden uit de tweede invoer leeg.