Delen via


Gebeurtenisgegevens verwerken met de gebeurtenisprocessoreditor

De gebeurtenisprocessoreditor is een ervaring zonder code waarmee u de logica voor gebeurtenisgegevensverwerking kunt slepen en neerzetten. In dit artikel wordt beschreven hoe u de editor gebruikt om uw verwerkingslogica te ontwerpen.

Notitie

Verbeterde mogelijkheden zijn standaard ingeschakeld wanneer u nu eventstreams maakt. Als u eventstreams hebt die zijn gemaakt met behulp van standaardmogelijkheden, blijven deze eventstreams werken. U kunt ze nog steeds bewerken en gebruiken zoals gebruikelijk. U wordt aangeraden een nieuwe eventstream te maken om standaard eventstreams te vervangen, zodat u kunt profiteren van extra mogelijkheden en voordelen van verbeterde eventstreams.

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Toegang tot een werkruimte in de licentiemodus voor Fabric-capaciteit of de proeflicentiemodus met Bijdrager- of hogere machtigingen.

De gebeurtenisverwerking ontwerpen met de editor

Voer de volgende stappen uit om stroomverwerkingsbewerkingen uit te voeren op uw gegevensstromen met behulp van een editor zonder code:

  1. Selecteer Bewerken op het lint als u zich nog niet in de bewerkingsmodus bevindt. Zorg ervoor dat het upstream-knooppunt voor de bewerkingen die zijn verbonden, een schema heeft.

    Schermopname van de gebeurtenisprocessoreditor in de bewerkingsmodus.

  2. Als u een operator voor gebeurtenisverwerking wilt invoegen tussen het stroomknooppunt en de bestemming in de bewerkingsmodus, kunt u een van de volgende twee methoden gebruiken:

    • Voeg de operator rechtstreeks vanaf de verbindingslijn in. Beweeg de muisaanwijzer over de verbindingslijn en selecteer de + knop. Er wordt een vervolgkeuzelijst weergegeven op de verbindingslijn en u kunt een operator selecteren in dit menu.

      Schermopname van de selectie van de +-knop op de verbindingslijn.

    • Voeg de operator in vanuit het lintmenu of op het canvas.

      1. U kunt een operator selecteren in het menu Gebeurtenissen transformeren op het lint.

        Schermopname van de selectie Velden beheren op het lint.

        U kunt ook de muisaanwijzer op een van de knooppunten plaatsen en vervolgens de + knop selecteren als u de verbindingslijn hebt verwijderd. Er wordt een vervolgkeuzelijst naast dat knooppunt weergegeven en u kunt een operator selecteren in dit menu.

        Schermopname van de selectie van de pluskoppeling op de verbindingslijn.

      2. Nadat u de operator hebt ingevoegd, moet u deze knooppunten opnieuw verbinden. Beweeg de muisaanwijzer aan de linker rand van het stroomknooppunt, selecteer en sleep vervolgens de groene cirkel om deze te verbinden met het Velden beheren operatorknooppunt. Volg hetzelfde proces om het Beheer velden-operatorknooppunt te verbinden met uw bestemming.

        Schermopname die laat zien hoe u de tegel Velden beheren verbindt.

  3. Selecteer het operatorknooppunt Velden beheren. Selecteer in het configuratievenster Velden beheren de velden die u wilt uitvoeren. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. U kunt ook een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in tekenreeksfuncties, datum- en tijdfuncties, wiskundige functies. Als u ze wilt vinden, zoekt u op built-in.)

    Schermopname die laat zien hoe u de tegel Velden beheren configureert.

  4. Nadat u de operator Velden beheren hebt geconfigureerd, selecteert u Vernieuwen om het testresultaat te valideren dat door deze operator is geproduceerd.

    Schermopname van de vernieuwde pagina.

  5. Als u configuratiefouten hebt, worden deze weergegeven op het tabblad Ontwerpfouten in het onderste deelvenster.

    Schermopname van het tabblad Ontwerpfouten.

  6. Als het testresultaat er correct uitziet, selecteert u Publiceren om de logica voor gebeurtenisverwerking op te slaan en terug te keren naar de liveweergave.

    Schermopname van de knop Publiceren op het lint geselecteerd.

  7. Nadat u deze stappen hebt voltooid, kunt u visualiseren hoe uw eventstream gegevens gaat streamen en verwerken in liveweergave.

    Schermopname van de liveweergave.

Editor voor gebeurtenisverwerking

Met de gebeurtenisprocessoreditor (het canvas in de bewerkingsmodus) kunt u gegevens transformeren naar verschillende bestemmingen. Voer de bewerkingsmodus Bewerken in om stroomverwerkingsbewerkingen voor uw gegevensstromen te ontwerpen.

Schermopname van de editor voor gebeurtenisverwerking voor een eventstream met verbeterde mogelijkheden.

De bewerkingsmodus bevat een canvas en een lager deelvenster, waar u het volgende kunt doen:

  • Bouw de logica voor gebeurtenisgegevenstransformatie met slepen en neerzetten.
  • Voorbeeldtestresultaat in elk van de verwerkingsknooppunten van begin tot eind.
  • Detecteer eventuele ontwerpfouten binnen de verwerkingsknooppunten.

Editorindeling

Schermopname van de indeling van de editor voor gebeurtenisverwerking voor een eventstream met verbeterde mogelijkheden.

  • Lintmenu en Canvas (genummerd in de afbeelding): In dit deelvenster kunt u de logica voor gegevenstransformatie ontwerpen door een operator te selecteren (in het menu Gebeurtenissen transformeren) en de stream en de doelknooppunten te verbinden via het zojuist gemaakte operatorknooppunt. U kunt verbindingslijnen slepen en neerzetten of verbindingen selecteren en verwijderen.
  • Rechterdeelvenster voor bewerken (twee in de afbeelding): in dit deelvenster kunt u het geselecteerde knooppunt configureren of de naam van de stream weergeven.
  • Onderste deelvenster met gegevensvoorbeeld- en ontwerpfoutentabbladen (drie in de afbeelding): In dit deelvenster kunt u een voorbeeld van het testresultaat bekijken in een geselecteerd knooppunt met het tabblad Testresultaat. Het tabblad Ontwerpfouten somt alle onvolledige of onjuiste configuraties in de bewerkingsknooppunten op.

Ondersteunde knooppunttypen en voorbeelden

Dit zijn de doeltypen die ondersteuning bieden voor het toevoegen van operators vóór opname:

  • Lakehouse
  • Eventhouse (verwerking van gebeurtenissen vóór invoer)
  • Afgeleide stroom
  • Activator

Notitie

Voor bestemmingen die geen ondersteuning bieden voor het toevoegen van vooraf opgenomen operatoren, kunt u eerst een afgeleide stroom toevoegen als uitvoer van uw operator. Voeg vervolgens uw beoogde bestemming toe aan deze afgeleide stream.

Schermopname van de indeling van de editor voor gebeurtenisverwerking met filteruitvoer naar een niet-ondersteunde bestemming.

Met de gebeurtenisprocessor in Lakehouse en KQL Database (gebeurtenisverwerking vóór opname) kunt u uw gegevens verwerken voordat deze worden opgenomen in uw bestemming.

Vereisten

Voordat u begint, moet u de volgende vereisten voltooien:

  • Toegang tot een werkruimte in de Fabric capaciteit licentiemodus of de proeflicentie modus met bijdrager- of hogere machtigingen.
  • Krijg toegang tot een werkruimte met inzender- of bovenstaande machtigingen waar uw Lakehouse- of KQL-database zich bevindt.

De gebeurtenisverwerking ontwerpen met de editor

Uw gebeurtenisverwerking ontwerpen met de gebeurtenisprocessoreditor:

  1. Voeg een Lakehouse-bestemming toe en voer de benodigde parameters in het rechterdeelvenster in. (Zie Voeg een bestemming toe en beheer deze in een eventstream voor gedetailleerde instructies. )

  2. Selecteer Gegevensprocessor openen. Het scherm van de gebeurtenisverwerkingseditor wordt weergegeven.

    Schermopname waarin wordt weergegeven waar u gebeurtenisprocessor openen selecteert in het configuratiescherm van de Lakehouse-bestemming.

  3. Selecteer in het canvas van de gebeurtenisverwerkingseditor het eventstream-knooppunt. U kunt een voorbeeld van het gegevensschema bekijken of het gegevenstype wijzigen in het rechter deelvenster Eventstream .

    Schermopname van het gegevensschema in het rechterdeelvenster van het scherm Gebeurtenisverwerkingseditor.

  4. U kunt een van de volgende twee methoden gebruiken om een operator voor gebeurtenisverwerking in te voegen tussen deze gebeurtenisstream en het doel in de gebeurtenisprocessoreditor:

    1. Voeg de operator rechtstreeks vanaf de verbindingslijn in. Beweeg de muisaanwijzer over de verbindingslijn en selecteer vervolgens de knop +. Er wordt een vervolgkeuzelijst weergegeven op de verbindingslijn en u kunt een operator selecteren in dit menu.

      Schermopname die laat zien waar u de muisaanwijzer op de verbindingslijn plaatst om een knooppunt in te voegen.

    2. De operator invoegen vanuit het lintmenu of canvas.

      1. U kunt een operator selecteren in het menu Bewerkingen op het lint. U kunt ook de muisaanwijzer op een van de knooppunten plaatsen en vervolgens de knop +selecteren als u de verbindingslijn hebt verwijderd. Er wordt een vervolgkeuzelijst naast dat knooppunt weergegeven en u kunt een operator selecteren in dit menu.

        Schermopname die laat zien waar u een operator selecteert in het menu Bewerkingen.

        Schermopname die laat zien waar u de muisaanwijzer op knooppunten plaatst om een knooppunt in te voegen.

      2. Ten slotte moet u deze knooppunten opnieuw verbinden. Beweeg de muisaanwijzer aan de linkerkant van het eventstream-knooppunt en selecteer en sleep de groene cirkel om deze te verbinden met het operatorknooppunt Velden beheren. Volg hetzelfde proces om het Velden beheren operatorknooppunt te verbinden met het lakehouse-knooppunt.

        Schermopname die laat zien waar de knooppunten moeten worden verbonden.

  5. Selecteer het Velden beheren operatorknooppunt. Selecteer in het deelvenster Velden beheren de velden die u wilt uitvoeren. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen. U kunt ook een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in Tekenreeksfuncties, datum- en tijdfuncties, wiskundige functies. Als u ze wilt vinden, zoekt u op 'ingebouwd'.)

    Schermopname van het configureren van de operator.

  6. Nadat u de operator Velden beheren hebt geconfigureerd, selecteert u Statische preview vernieuwen om een voorbeeld te bekijken van de gegevens die deze operator produceert.

    Schermopname die laat zien hoe u een voorbeeld van gegevens bekijkt in de editor van de gebeurtenisprocessor.

  7. Als u configuratiefouten hebt, worden deze weergegeven op het tabblad Ontwerpfout in het onderste deelvenster.

    Schermopname van het tabblad Ontwerpfout in de gebeurtenisprocessoreditor.

  8. Als uw voorbeeldgegevens er correct uitzien, selecteert u Gereed om de logica voor gebeurtenisverwerking op te slaan en terug te keren naar het configuratiescherm van de Lakehouse-bestemming.

  9. Selecteer Toevoegen om het maken van uw lakehouse-bestemming te voltooien.

Editor voor gebeurtenisprocessor

Met de gebeurtenisprocessor kunt u de gegevens die u opneemt, transformeren naar een lakehouse-bestemming. Wanneer u uw Lakehouse-bestemming configureert, vindt u de optie Open event processor in het midden van het configuratiescherm van de Lakehouse-bestemming.

Schermopname die laat zien waar u de editor voor de gebeurtenisprocessor opent.

Als u Gebeurtenisprocessor openen selecteert, wordt het scherm gebeurtenisverwerkingseditor gestart, waarin u de logica voor gegevenstransformatie kunt definiëren.

De gebeurtenisprocessoreditor bevat een canvas en een lager deelvenster, waar u het volgende kunt doen:

  • Bouw de logica voor gebeurtenisgegevenstransformatie met slepen en neerzetten.
  • Bekijk een voorbeeld van de gegevens in elk van de verwerkingsknooppunten van begin tot eind.
  • Detecteer eventuele ontwerpfouten binnen de verwerkingsknooppunten.

De schermindeling is net als de hoofdeditor. Het bestaat uit drie secties, weergegeven in de volgende afbeelding:

Schermopname van het scherm Gebeurtenisverwerkingseditor, waarmee de drie hoofdsecties worden aangegeven.

  1. Canvas met diagramweergave: In dit deelvenster kunt u de logica voor gegevenstransformatie ontwerpen door een operator te selecteren (in het menu Operations ) en de eventstream en de doelknooppunten te verbinden via het zojuist gemaakte operatorknooppunt. U kunt verbindingslijnen slepen en neerzetten of verbindingen selecteren en verwijderen.

  2. Rechterdeelvenster bewerken: in dit deelvenster kunt u het geselecteerde bewerkingsknooppunt configureren of het schema van de gebeurtenisstroom en het doel weergeven.

  3. Onderste deelvenster met gegevensvoorbeeld en ontwerpfouten-tabbladen: In dit deelvenster kunt u een voorbeeld van de gegevens in een geselecteerd knooppunt bekijken met het tabblad Gegevensvoorbeeld. Het tabblad Ontwerpfouten bevat een lijst van onvolledige of onjuiste configuraties in de bewerkingsknooppunten.

Ontwerpfouten

Ontwerpfouten verwijzen naar de fouten die optreden in de gebeurtenisprocessoreditor vanwege onvolledige of onjuiste configuratie van de bewerkingsknooppunten, zodat u potentiële problemen in uw gebeurtenisprocessor kunt vinden en oplossen.

U kunt ontwerpfouten weergeven in het onderste deelvenster van de gebeurtenisprocessoreditor. In het onderste deelvenster worden alle ontwerpfouten vermeld. Elke ontwerpfout heeft vier kolommen:

  • Knooppunt-id: Geeft de id aan van het bewerkingsknooppunt waar de bewerkingsfout is opgetreden.
  • Knooppunttype: Geeft het type van het bewerkingsknooppunt aan waar de bewerkingsfout is opgetreden.
  • Niveau: Geeft de ernst van de ontwerpfout aan, er zijn twee niveaus, Fatal en Information. Fatale ontwerpfout wil zeggen dat uw gebeurtenisverwerker ernstige problemen heeft en niet kan worden opgeslagen of uitgevoerd. Fout bij het ontwerpen op informatieniveau betekent dat uw gebeurtenisprocessor enkele tips of suggesties bevat waarmee u uw gebeurtenisprocessor kunt optimaliseren of verbeteren.
  • Fout: Geeft de specifieke informatie van de ontwerpfout aan, kort een beschrijving van de oorzaak en impact van de ontwerpfout. U kunt het tabblad Details weergeven selecteren om details weer te geven.

Omdat Eventstream en Eventhouse verschillende gegevenstypen ondersteunen, kan het proces van conversie van gegevenstypen leiden tot ontwerpfouten.

In de volgende tabel ziet u de resultaten van de conversie van het gegevenstype van Eventstream naar Eventhouse. De kolommen vertegenwoordigen de gegevenstypen die door Eventstream worden ondersteund en de rijen vertegenwoordigen de gegevenstypen die door Eventhouse worden ondersteund. De cellen geven de conversieresultaten aan, die een van de volgende drie kunnen zijn:

✔️ Geeft aan dat de conversie is geslaagd, dat er geen fouten of waarschuwingen worden gegenereerd.

❌ Geeft een onmogelijke conversie aan, er wordt een onherstelbare ontwerpfout gegenereerd. Het foutbericht is vergelijkbaar met: het gegevenstype '{1}' voor de kolom '{0}' komt niet overeen met het verwachte type '{2}' in de geselecteerde KQL-tabel en kan niet automatisch worden teruggezet.

⚠ Geeft een mogelijke maar onjuiste conversie aan, fout bij het opstellen van informatie wordt gegenereerd. Het foutbericht is vergelijkbaar met: het gegevenstype '{1}' voor de kolom '{0}' komt niet exact overeen met het verwachte type '{2}' in de geselecteerde KQL-tabel. Het wordt automatisch teruggezet naar '{2}'.

string bool datum en tijd dynamisch GUID (Globally Unique Identifier) int lang echt tijdsbestek decimaal
Int64 ✔️ ⚠️ ✔️ ⚠️ ✔️
Dubbel ✔️ ⚠️ ⚠️
Tekenreeks ✔️ ✔️
Datum/tijd ⚠️ ✔️ ✔️
Record ⚠️ ✔️
Array ⚠️ ✔️

Zoals u in de tabel kunt zien, zijn sommige conversies van gegevenstypen geslaagd, zoals string naar string. Deze conversies genereren geen ontwerpfouten en hebben geen invloed op de werking van uw gebeurtenisprocessor.

Sommige conversies van gegevenstypen zijn onmogelijk, zoals int naar tekenreeks. Deze conversies genereren fatale niveau ontwerpfouten, waardoor je gebeurtenisprocessor niet kan opslaan. U moet uw gegevenstype wijzigen in uw Eventstream of in de KQL-tabel om deze fouten te voorkomen.

Sommige conversies van gegevenstypen zijn mogelijk, maar niet nauwkeurig, zoals int naar echt. Deze conversies genereren ontwerpfouten op informatieniveau, wat aangeeft dat de gegevenstypen niet overeenkomen en de resultaten van de automatische conversie. Deze conversies kunnen ertoe leiden dat uw gegevens precisie of structuur verliezen. U kunt kiezen of u deze fouten wilt negeren of uw gegevenstype wilt wijzigen in uw Eventstream of in de KQL-tabel om uw gebeurtenisprocessor te optimaliseren.

Transformatieoperators

De gebeurtenisprocessor biedt zeven operators, die u kunt gebruiken om uw gebeurtenisgegevens te transformeren op basis van de behoeften van uw bedrijf.

Schermopname van de operators die beschikbaar zijn in het menu Operations.

Samenvoegen

Gebruik de aggregatietransformatie om telkens wanneer een nieuwe gebeurtenis plaatsvindt in een bepaalde periode een aggregatie (Som, Minimum, Maximum of Gemiddelde) te berekenen. Met deze bewerking kunt u ook de naam van deze berekende kolommen wijzigen en de aggregatie filteren of segmenteren op basis van andere dimensies in uw gegevens. U kunt een of meer aggregaties in dezelfde transformatie hebben.

  • Operatornaam: Geef de naam van de aggregatiebewerking op.
  • Statistische functie toevoegen: Voeg een of meer aggregaties toe in de statistische bewerking.
  • Type: Kies een aggregatietype: Som, Minimum, Maximum of Gemiddelde.
  • Veld: Selecteer de kolom die u wilt verwerken.
  • Naam: Definieer een naam voor deze aggregatiefunctie.
  • Partitioneren op: Selecteer een kolom om de aggregatie te groeperen.
  • Geaggregeerde waarden binnen de afgelopen periode: Geef een tijdvenster op voor aggregatie (standaard is 5 seconden).

Schermopname van de configuratie van de aggregatiesoperator en het testresultaat.

Uitvouwen

Gebruik de matrixtransformatie Uitvouwen om een nieuwe rij te maken voor elke waarde in een matrix. U kunt een rij maken voor ontbrekende/lege matrix of geen rij maken voor ontbrekende/lege matrix.

Schermopname van de configuratie en het testresultaat van de uitklapoperator.

Filter

Gebruik de filtertransformatie om gebeurtenissen te filteren op basis van de waarde van een veld in de invoer. Afhankelijk van het gegevenstype (getal of tekst) behoudt de transformatie de waarden die overeenkomen met de geselecteerde voorwaarde, zoals null of niet null.

Groeperen op

Gebruik de transformatie Groeperen op om aggregaties te berekenen voor alle gebeurtenissen binnen een bepaald tijdvenster. U kunt groeperen op de waarden in een of meer velden. Het is alsof de aggregatietransformatie de namen van kolommen kan wijzigen, maar meer opties biedt voor aggregatie en complexere opties voor tijdvensters. Net als Aggregatie kunt u meer dan één aggregatie per transformatie toevoegen.

De aggregaties die beschikbaar zijn in de transformatie zijn:

  • Gemiddeld
  • Tellen
  • Maximum
  • Minimum
  • Percentiel (doorlopend en discreet)
  • Standaardafwijking
  • Som
  • Verschil

In tijdstreamingscenario's is het uitvoeren van bewerkingen op de gegevens in tijdelijke vensters een gemeenschappelijk patroon. De gebeurtenisprocessor ondersteunt vensterfuncties, die zijn geïntegreerd met de operator Group by . U kunt deze definiëren in de instelling van deze operator.

Schermopname van de operator Groeperen volgens die beschikbaar is in de gebeurtenisprocessoreditor.

Velden beheren

Met de transformatie Velden beheren kunt u velden toevoegen, verwijderen, wijzigen of de naam van velden wijzigen die afkomstig zijn van een invoer of een andere transformatie. Met de instellingen voor het zijvenster kunt u een nieuw veld toevoegen door veld toevoegen te selecteren, meerdere velden toe te voegen of alle velden tegelijk toe te voegen.

Schermopname van de operator Velden beheren die beschikbaar is in de gebeurtenisprocessoreditor.

Bovendien kunt u een nieuw veld met de ingebouwde functies toevoegen om de gegevens van upstream te aggregeren. (Momenteel zijn de ingebouwde functies die we ondersteunen enkele functies in Tekenreeksfuncties, datum- en tijdfuncties en wiskundige functies. Als u ze wilt vinden, zoekt u op 'ingebouwd'.)

Schermopname van de ingebouwde functies van het veld

In de volgende tabel ziet u de resultaten van het wijzigen van het gegevenstype met behulp van velden beheren. De kolommen vertegenwoordigen de oorspronkelijke gegevenstypen en de rijen vertegenwoordigen het doelgegevenstype.

  • Als er een ✔️ in de cel staat, betekent dit dat deze rechtstreeks kan worden geconverteerd en dat de optie voor het doeltype wordt weergegeven in de vervolgkeuzelijst.
  • Als de cel een ❌ cel bevat, betekent dit dat deze niet kan worden geconverteerd en dat de optie voor het doelgegevenstype niet wordt weergegeven in de vervolgkeuzelijst.
  • Als er een ⚠️ in de cel staat, betekent dit dat deze kan worden geconverteerd, maar het moet voldoen aan bepaalde voorwaarden, zoals dat de tekenreeksindeling moet voldoen aan de vereisten van het doelgegeven type. Als u bijvoorbeeld converteert van tekenreeks naar int, moet de tekenreeks een geldig geheel getal zijn, zoals 123, niet abc.
Int64 Dubbel Snaar Datum/tijd Opnemen Array
Int64 ✔️ ✔️ ✔️
Dubbel ✔️ ✔️ ✔️
Tekenreeks ⚠️ ⚠️ ✔️ ⚠️
Datum/tijd ✔️ ✔️
Record ✔️ ✔️
Array ✔️ ✔️

Vakbond

Gebruik de samenvoegtransformatie om twee of meer knooppunten te verbinden en gebeurtenissen toe te voegen die gedeelde velden (met dezelfde naam en hetzelfde gegevenstype) in één tabel hebben. Velden die niet overeenkomen, worden verwijderd en niet opgenomen in de uitvoer.

Deelnemen

Gebruik de jointransformatie om gebeurtenissen van twee invoer te combineren op basis van de veldparen die u selecteert. Als u geen veldpaar selecteert, is de join standaard gebaseerd op tijd. De standaardinstelling is wat deze transformatie anders maakt dan een batch.

Net als bij gewone joins hebt u opties voor uw joinlogica:

  • Inner join: Alleen records opnemen uit beide tabellen waar de koppeling overeenkomt.
  • Left outer join: neem alle records uit de linkertabel (eerste) op en alleen de records uit de tweede die overeenkomen met het paar velden. Als er geen overeenkomst is, zijn de velden uit de tweede invoer leeg.