Mata in och transformera realtidsdata

  • 15 minuter

Eventstreams i Microsoft Fabric används för att samla in, transformera och läsa in realtidsdata från en mängd olika strömmande datakällor. När du konfigurerar en händelseström i systemet definierar du en databearbetningsmotor som körs ständigt för att mata in och transformera realtidsdata. Du berättar var du ska hämta data från, var du ska skicka dem och hur du ändrar dem längs vägen om det behövs.

Skärmbild av en händelseström i Microsoft Fabric.

Datakällor för eventstreams

Eventstreams i Microsoft Fabric har stöd för en mängd olika datakällor, bland annat:

  • Externa tjänster som Azure Storage, Azure Event Hubs, Azure IoT Hubs, Apache Kafka Hubs, CDC-feeds (Change Data Capture) i relationsdatabastjänster och andra.
  • Infrastrukturhändelser, till exempel ändringar av objekt i en infrastrukturarbetsyta, dataändringar i OneLake-datalager och händelser som är associerade med infrastrukturjobb.
  • Exempeldata, som innehåller en rad exempel som kan hjälpa dig att utforska analysscenarier i realtid i Microsoft Fabric.

Dricks

Mer information om källor som stöds finns i Källor som stöds för infrastrukturresursens realtidshubb.

Datatransformeringar i eventstreams

Du kan transformera data när de flödar i händelseströmmen, så att du kan filtrera, sammanfatta och omforma dem innan du lagrar dem. Tillgängliga transformeringar är:

  • Filter: Använd filtertransformeringen för att filtrera händelser baserat på värdet för ett fält i indata. Beroende på datatypen (tal eller text) behåller omvandlingen de värden som matchar det valda villkoret, till exempel är null eller is not null.
  • Hantera fält: Med den här omvandlingen kan du lägga till, ta bort, ändra datatyp eller byta namn på fält som kommer in från en indata eller en annan transformering.
  • Aggregering: Använd aggregeringstransformationen för att beräkna en aggregering (summa, minimum, maximum eller medelvärde) varje gång en ny händelse inträffar under en tidsperiod. Den här åtgärden gör det också möjligt att byta namn på dessa beräknade kolumner och filtrera eller segmentera aggregeringen baserat på andra dimensioner i dina data. Du kan ha en eller flera sammansättningar i samma transformering.
  • Gruppera efter: Använd gruppen efter transformering för att beräkna aggregeringar för alla händelser inom ett visst tidsfönster. Du kan gruppera efter värden i ett eller flera fält. Det är som om aggregeringstransformeringen tillåter namnbyte av kolumner, men ger fler alternativ för aggregering och innehåller mer komplexa alternativ för tidsfönster. Precis som aggregering kan du lägga till mer än en aggregering per transformering.
  • Union: Använd unionstransformeringen för att ansluta två eller flera noder och lägga till händelser med delade fält (med samma namn och datatyp) i en tabell. Fält som inte matchar tas bort och ingår inte i utdata.
  • Expandera: Använd den här matristransformeringen för att skapa en ny rad för varje värde i en matris.
  • Anslut: det här är en transformering för att kombinera data från två strömmar baserat på ett matchande villkor mellan dem.

Dricks

Mer information om omvandlingar som stöds finns i Bearbeta händelsedata med redigeraren för händelseprocessor.

Datamål i eventstreams

Du kan läsa in data från dataströmmen till följande mål:

  • Eventhouse: Med det här målet kan du mata in dina realtidshändelsedata i ett händelsehus, där du kan använda Kusto-frågespråk (KQL) för att fråga och analysera data.
  • Lakehouse: Det här målet ger dig möjlighet att omvandla dina realtidshändelser innan du matar in dem i ditt sjöhus. Realtidshändelser konverteras till Delta Lake-format och lagras sedan i de avsedda lakehouse-tabellerna.
  • Härledd ström: Härledd dataström används för att omdirigera utdata från din händelseström till en annan händelseström. Den härledda strömmen representerar den transformerade standardströmmen efter dataströmbearbetning.
  • Infrastrukturaktivator: Med det här målet kan du ansluta dina realtidshändelsedata direkt till en infrastrukturaktivator, vilket är en intelligent agent som kan automatisera åtgärder baserat på värden i dataströmmen.
  • Anpassad slutpunkt: Med det här målet kan du dirigera dina realtidshändelser till en anpassad slutpunkt. Det här målet är användbart när du vill dirigera realtidsdata till ett externt system eller anpassat program utanför Microsoft Fabric.

Dricks

Mer information om källor som stöds finns i Lägga till och hantera ett mål i en händelseström.