Microsoft Fabric-hændelsesstrømme – oversigt
Eventstreams-funktionen i Microsoft Fabric Real-Time Intelligence-oplevelsen giver dig mulighed for at overføre begivenheder i realtid til Fabric, transformere dem og derefter dirigere dem til forskellige destinationer uden at skrive kode (ingen kode). Du opretter en hændelsesstream, som er en forekomst af Eventstream-elementet i Fabric, føjer hændelsesdatakilder til streamen, eventuelt tilføjer transformationer for at transformere hændelsesdataene og derefter dirigerer dataene til understøttede destinationer. Derudover kan du med Apache Kafka-slutpunkter, der er tilgængelige på Eventstream-elementet, sende eller forbruge hændelser i realtid ved hjælp af Kafka-protokollen.
Hent hændelser i Fabric
Funktionen eventstreams giver dig forskellige kildeconnectors til at hente hændelsesdata fra de forskellige kilder. Der er flere tilgængelige kilder, når du aktiverer udvidede funktioner på det tidspunkt, hvor du opretter en hændelsesstream.
| Kilder | Beskrivelse |
|---|---|
| Azure Event Hubs | Hvis du har en Azure-hændelseshub, kan du indføde hændelseshubdata i Microsoft Fabric ved hjælp af Eventstream. |
| Azure IoT Hub | Hvis du har en Azure IoT-hub, kan du indføde IoT-data i Microsoft Fabric ved hjælp af Eventstream. |
| Azure SQL Database Change Data Capture (CDC) | Azure SQL Database CDC-kildeconnectoren giver dig mulighed for at hente et snapshot af de aktuelle data i en Azure SQL-database. Connectoren overvåger og registrerer derefter eventuelle fremtidige ændringer af disse data på rækkeniveau. |
| PostgreSQL Database CDC | Med POSTgreSQL-kildeconnectoren (Change Data Capture) til Database Change Data Capture (CDC) kan du hente et snapshot af de aktuelle data i en PostgreSQL-database. Connectoren overvåger og registrerer derefter eventuelle fremtidige ændringer af disse data på rækkeniveau. |
| Cdc til MySQL-database | Azure MySQL Database Change Data Capture (CDC) Source-connectoren giver dig mulighed for at hente et snapshot af de aktuelle data i en Azure Database til MySQL-database. Du kan angive de tabeller, der skal overvåges, og eventstream registrerer eventuelle fremtidige ændringer af tabellerne på rækkeniveau. |
| Azure Cosmos DB CDC | Azure Cosmos DB CDC-kildeconnectoren (Change Data Capture) til Microsoft Fabric-hændelsesstrømme giver dig mulighed for at hente et snapshot af de aktuelle data i en Azure Cosmos DB-database. Connectoren overvåger og registrerer derefter eventuelle fremtidige ændringer af disse data på rækkeniveau. |
| SQL Server på CDC (Virtual Machine ( VM) Database (DB) | SQL Server på CDC-kildeconnectoren (VMC) til Fabric-hændelsesstrømme giver dig mulighed for at hente et snapshot af de aktuelle data i en SQL Server-database på VM. Connectoren overvåger og registrerer derefter eventuelle fremtidige ændringer af dataene på rækkeniveau. |
| Azure SQL Managed Instance CDC | Azure SQL Managed Instance CDC-kildeconnectoren til Microsoft Fabric-hændelsesstrømme giver dig mulighed for at hente et snapshot af de aktuelle data i en SQL Managed Instance-database. Connectoren overvåger og registrerer derefter eventuelle fremtidige ændringer af disse data på rækkeniveau. |
| Google Cloud Pub/Sub | Google Pub/Sub er en meddelelsestjeneste, der giver dig mulighed for at publicere og abonnere på streams af begivenheder. Du kan føje Google Pub/Sub som kilde til din eventstream for at registrere, transformere og dirigere begivenheder i realtid til forskellige destinationer i Fabric. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams er en enormt skalerbar, yderst holdbar dataindtagelse og behandlingstjeneste, der er optimeret til streamingdata. Ved at integrere Amazon Kinesis Data Streams som en kilde i din eventstream kan du problemfrit behandle datastrømme i realtid, før du distribuerer dem til flere destinationer i Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka er en streamingplatform, der tilbyder effektive funktioner til datastreaming og -behandling ved hjælp af Apache Kafka. Ved at integrere Confluent Cloud Kafka som en kilde i din eventstream kan du problemfrit behandle datastrømme i realtid, før du distribuerer dem til flere destinationer i Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka er en fuldt administreret Kafka-tjeneste, der forenkler konfiguration, skalering og administration. Ved at integrere Amazon MSK Kafka som en kilde i din eventstream kan du problemfrit hente hændelserne i realtid fra din MSK Kafka og behandle dem, før du distribuerer dem til flere destinationer i Fabric. |
| Eksempeldata | Du kan vælge Cykler, Gul taxa eller Aktiemarkedshændelser som en eksempeldatakilde for at teste dataindtagelse, mens du konfigurerer en hændelsesstream. |
| Brugerdefineret slutpunkt (dvs. brugerdefineret app i standardfunktionalitet) | Den brugerdefinerede slutpunktsfunktion gør det muligt for dine programmer eller Kafka-klienter at oprette forbindelse til Eventstream ved hjælp af en forbindelsesstreng, hvilket muliggør problemfri indtagelse af streamingdata til Eventstream. |
| Azure Service Bus (prøveversion) | Du kan hente data fra en Azure Service Bus-kø eller et emnes abonnement i Microsoft Fabric ved hjælp af Eventstream. |
| Apache Kafka (prøveversion) | Apache Kafka er en distribueret platform med åben kildekode til opbygning af skalerbare datasystemer i realtid. Ved at integrere Apache Kafka som en kilde i din eventstream kan du problemfrit medbringe hændelser i realtid fra din Apache Kafka og behandle dem, før du distribuerer dem til flere destinationer i Fabric. |
| Azure Blob Storage-hændelser (prøveversion) | Azure Blob Storage-hændelser udløses, når en klient opretter, erstatter eller sletter en blob. Med connectoren kan du linke Blob Storage-hændelser til Fabric-hændelser i realtidshubben. Du kan konvertere disse hændelser til fortløbende datastrømme og transformere dem, før du distribuerer dem til forskellige destinationer i Fabric. |
| Fabric Workspace Item-hændelser (prøveversion) | Fabric Workspace Item-hændelser er diskrete Fabric-hændelser, der opstår, når der foretages ændringer i dit Fabric Workspace. Disse ændringer omfatter oprettelse, opdatering eller sletning af et Fabric-element. Med Fabric-hændelsesstrømme kan du registrere disse Fabric-arbejdsområdehændelser, transformere dem og dirigere dem til forskellige destinationer i Fabric for yderligere analyse. |
| Fabric OneLake-hændelser (prøveversion) | Med OneLake-hændelser kan du abonnere på ændringer i filer og mapper i OneLake og derefter reagere på disse ændringer i realtid. Med Fabric-hændelsesstrømme kan du fange disse OneLake-begivenheder, transformere dem og dirigere dem til forskellige destinationer i Fabric for at få yderligere analyse. Denne problemfrie integration af OneLake-hændelser i Fabric-hændelsesstrømme giver dig større fleksibilitet til at overvåge og analysere aktiviteter i din OneLake. |
| Fabric Job-begivenheder (prøveversion) | Jobhændelser giver dig mulighed for at abonnere på ændringer, der er produceret, når Fabric kører et job. Du kan f.eks. reagere på ændringer, når du opdaterer en semantisk model, kører en planlagt pipeline eller kører en notesbog. Hver af disse aktiviteter kan generere et tilsvarende job, hvilket igen genererer et sæt tilsvarende jobhændelser. Med Fabric-hændelsesstrømme kan du registrere disse Job-begivenheder, transformere dem og dirigere dem til forskellige destinationer i Fabric for yderligere analyse. Denne problemfrie integration af Job-begivenheder i Fabric-hændelsesstrømme giver dig større fleksibilitet til at overvåge og analysere aktiviteter i dit job. |
Behandl hændelser ved hjælp af ingen kodeoplevelse
Træk og slip-oplevelsen giver dig en intuitiv og nem måde at oprette din hændelsesbehandling, transformering og routinglogik på uden at skrive kode. Et komplet datarutediagram i en eventstream kan give dig en omfattende forståelse af dataflowet og organisationen. Hændelsesbehandlereditoren er en oplevelse uden kode, der giver dig mulighed for at trække og slippe for at designe hændelsesdatabehandlingslogikken.
| Transformation | Beskrivelse |
|---|---|
| Filtrer | Brug transformationen Filter til at filtrere hændelser baseret på værdien af et felt i inputtet. Afhængigt af datatypen (tal eller tekst) bevarer transformationen de værdier, der svarer til den valgte betingelse, f.eks is null . eller is not null. |
| Administrer felter | Transformationen Administrer felter giver dig mulighed for at tilføje, fjerne, ændre datatype eller omdøbe felter, der kommer ind fra et input eller en anden transformation. |
| Aggregering | Brug transformationen Aggregering til at beregne en aggregering (Sum, Minimum, Maksimum eller Gennemsnit), hver gang en ny hændelse indtræffer over en periode. Denne handling giver også mulighed for omdøbning af disse beregnede kolonner og filtrering eller udsnit af sammenlægningen baseret på andre dimensioner i dine data. Du kan have en eller flere sammenlægninger i den samme transformation. |
| Gruppér efter | Brug transformationen Gruppér efter til at beregne sammenlægninger på tværs af alle hændelser inden for et bestemt tidsvindue. Du kan gruppere efter værdierne i et eller flere felter. Det er ligesom transformationen Aggregering giver mulighed for omdøbning af kolonner, men giver flere muligheder for sammenlægning og indeholder mere komplekse indstillinger for tidsvinduer. På samme måde som aggregering kan du tilføje mere end én aggregering pr. transformation. |
| Fagforening | Brug transformationen Union til at forbinde to eller flere noder og føje hændelser med delte felter (med samme navn og datatype) til én tabel. Felter, der ikke stemmer overens, slippes og medtages ikke i outputtet. |
| Udvid | Brug transformationen Udvid matrix til at oprette en ny række for hver værdi i en matrix. |
| Deltag | Brug transformationen Join til at kombinere data fra to streams baseret på en matchende betingelse mellem dem. |
Hvis du har aktiveret udvidede funktioner , mens du oprettede en hændelsesstream, understøttes transformationshandlinger for alle destinationer (med afledt stream, der fungerer som en mellemliggende bro for nogle destinationer, f.eks. Brugerdefineret slutpunkt, Fabric Activator). Hvis du ikke gjorde det, er transformationshandlinger kun tilgængelige for destinationerne Lakehouse og Eventhouse (hændelsesbehandling før indtagelse).
Rutehændelser til destinationer
Funktionen Fabric-hændelsesstreams understøtter afsendelse af data til følgende understøttede destinationer.
| Destination | Beskrivelse |
|---|---|
| Brugerdefineret slutpunkt (dvs. brugerdefineret app i standardfunktionalitet) | Med denne destination kan du nemt dirigere dine hændelser i realtid til et brugerdefineret slutpunkt. Du kan forbinde dine egne programmer til eventstream og forbruge hændelsesdataene i realtid. Denne destination er nyttig, når du vil sende data i realtid til et eksternt system uden for Microsoft Fabric. |
| Eventhouse | Denne destination giver dig mulighed for at indtage dine hændelsesdata i realtid i et Eventhouse, hvor du kan bruge det effektive KQL (Kusto Query Language) til at forespørge og analysere dataene. Med dataene i Eventhouse kan du få mere indsigt i dine hændelsesdata og oprette omfattende rapporter og dashboards. Du kan vælge mellem to indtagelsestilstande: Direkte indtagelse og hændelsesbehandling før indtagelse. |
| Lakehouse | Denne destination giver dig mulighed for at transformere dine begivenheder i realtid, før du indtager dem i dit lakehouse. Hændelser i realtid konverteres til Delta Lake-format og gemmes derefter i de angivne lakehouse-tabeller. Denne destination understøtter datawarehousing-scenarier. |
| Afledt stream | Afledt stream er en specialiseret type destination, som du kan oprette, når du har føjet streamhandlinger, f.eks. Filter eller Administrer felter, til en hændelsesstream. Den afledte stream repræsenterer den transformerede standardstream efter behandling af stream. Du kan dirigere den afledte stream til flere destinationer i Fabric og få vist den afledte stream i realtidshubben. |
| Stofaktivering (prøveversion) | Denne destination giver dig mulighed for direkte at forbinde dine hændelsesdata i realtid til en Fabric Activator. Activator er en type intelligent agent, der indeholder alle de oplysninger, der er nødvendige for at oprette forbindelse til data, overvåge betingelser og handle. Når dataene når visse tærskler eller stemmer overens med andre mønstre, udfører Aktivator automatisk de nødvendige handlinger, f.eks. at advare brugerne eller starte Power Automate-arbejdsprocesser. |
Du kan vedhæfte flere destinationer i en eventstream for samtidig at modtage data fra dine eventstreams uden at forstyrre hinanden.
Bemærk
Vi anbefaler, at du bruger funktionen Microsoft Fabric-hændelsesstrømme med mindst 4 kapacitetsenheder (SKU: F4)
Apache Kafka på Fabric-hændelsesstrømme
Funktionen Fabric-hændelsesstrømme tilbyder et Apache Kafka-slutpunkt på Eventstream-elementet, så brugerne kan oprette forbindelse til og forbruge streaminghændelser via Kafka-protokollen. Hvis du allerede har et program, der bruger Apache Kafka-protokollen til at sende eller forbruge streaminghændelser med specifikke Kafka-emner, kan du nemt tilpasse det samme program til at sende eller forbruge streaminghændelser i din eventstream ved blot at opdatere dine forbindelsesindstillinger, så de peger på det Kafka-slutpunkt, der er angivet i din eventstream.
Funktionen Fabric-hændelsesstrømme er drevet af Azure Event Hubs, en fuldt administreret cloudbaseret tjeneste. Når der oprettes en hændelsesstream, klargøres der automatisk et hændelseshub-navneområde, og en hændelseshub allokeres til standardstreamen, uden at der kræves nogen klargøringskonfigurationer. Hvis du vil vide mere om de Kafka-kompatible funktioner i Azure Event Hubs-tjenesten, skal du se Azure Event Hubs for Apache Kafka.
Hvis du vil vide mere om, hvordan du får oplysninger om Kafka-slutpunktet for afsendelse af hændelser til hændelsesstream, skal du se Føj brugerdefineret slutpunktskilde til en hændelsesstream, og for at bruge hændelser fra eventstream, skal du se Føj en brugerdefineret slutpunktsdestination til en hændelsesstream.
Forbedrede funktioner
Der er flere tilgængelige funktioner, kilder og destinationer, når du aktiverer indstillingen Udvidede funktioner , mens du opretter en hændelsesstream. Brug fanerne Udvidet funktionalitet og Standardegenskaber til at få mere at vide om yderligere kilder og destinationer, der understøttes med de forbedrede funktioner.
Her er et par andre bemærkelsesværdige funktioner i udvidede funktioner:
- Redigeringstilstand og direkte visning. Udforsk to forskellige tilstande til visualisering og design af streambehandling.
- Standardstreams og afledte streams. Opret et kontinuerligt flow af streams med det format, du designer, med en hændelsesprocessor, der kan forbruges senere i realtidshubben.
- Datastreamdistribution baseret på indhold. Transformér og distribuer dine datastrømme overalt i Fabric baseret på det datastreamindhold, du designede med hændelsesprocessoren.