Fabric Eventstream – oversikt
Eventstreams-funksjonen i Microsoft Fabric Real-Time Intelligence-opplevelsen lar deg bringe sanntidshendelser til Fabric, transformere dem og deretter rute dem til ulike destinasjoner uten å skrive noen kode (ingen kode). Du oppretter en hendelsesstrøm, som er en forekomst av Eventstream-elementet i Fabric, legger til datakilder for hendelser i strømmen, legger eventuelt til transformasjoner for å transformere hendelsesdataene og deretter rute dataene til støttede mål. I tillegg, med Apache Kafka-endepunkter tilgjengelig på Eventstream-elementet, kan du sende eller bruke hendelser i sanntid ved hjelp av Kafka-protokollen.
Ta med hendelser inn i Fabric
Eventstreams-funksjonen gir deg ulike kildekoblinger for å hente hendelsesdata fra de ulike kildene. Det finnes flere kilder tilgjengelig når du aktiverer forbedrede funksjoner på tidspunktet for oppretting av en hendelsesstrøm.
| Kilder | Bekrivelse |
|---|---|
| Azure Event Hubs | Hvis du har en Azure-hendelseshub, kan du innta hendelseshubdata i Microsoft Fabric ved hjelp av Eventstream. |
| Azure IoT Hub | Hvis du har en Azure IoT-hub, kan du innta IoT-data i Microsoft Fabric ved hjelp av Eventstream. |
| Azure SQL Database Change Data Capture (CDC) | Med azure SQL Database CDC-kildekoblingen kan du ta et øyeblikksbilde av gjeldende data i en Azure SQL-database. Koblingen overvåker og registrerer deretter eventuelle fremtidige endringer på radnivå i disse dataene. |
| PostgreSQL Database CDC | Med kildekoblingen PostgreSQL Database Change Data Capture (CDC) kan du ta et øyeblikksbilde av gjeldende data i en PostgreSQL-database. Koblingen overvåker og registrerer deretter eventuelle fremtidige endringer på radnivå i disse dataene. |
| MySQL Database CDC | Med kildekoblingen Azure MySQL Database Change Data Capture (CDC) kan du ta et øyeblikksbilde av gjeldende data i en Azure Database for MySQL-database. Du kan angi tabellene som skal overvåkes, og eventstreamen registrerer eventuelle fremtidige endringer på radnivå i tabellene. |
| Azure Cosmos DB CDC | Azure Cosmos DB Change Data Capture (CDC)-kildekoblingen for Microsoft Fabric-hendelsesstrømmer lar deg ta et øyeblikksbilde av gjeldende data i en Azure Cosmos DB-database. Koblingen overvåker og registrerer deretter eventuelle fremtidige endringer på radnivå i disse dataene. |
| SQL Server på virtual machine (VM) Database (DB) CDC | Med SQL Server på VM DB-kildekoblingen (CDC) for fabric-hendelsesstrømmer kan du ta et øyeblikksbilde av gjeldende data i en SQL Server-database på VM. Koblingen overvåker og registrerer deretter eventuelle fremtidige endringer på radnivå i dataene. |
| Azure SQL administrert forekomst CDC | Azure SQL administrert forekomst CDC-kildekobling for Microsoft Fabric-hendelsesstrømmer lar deg ta et øyeblikksbilde av gjeldende data i en SQL administrert forekomst-database. Koblingen overvåker og registrerer deretter eventuelle fremtidige endringer på radnivå i disse dataene. |
| Google Cloud Pub/Sub | Google Pub/Sub er en meldingstjeneste som lar deg publisere og abonnere på strømmer av hendelser. Du kan legge til Google Pub/Sub som en kilde i eventstreamen for å registrere, transformere og rute sanntidshendelser til ulike destinasjoner i Fabric. |
| Amazon Kinesis Data Streams | Amazon Kinesis Data Streams er en massivt skalerbar, svært holdbar datainntak og behandlingstjeneste optimalisert for streaming av data. Ved å integrere Amazon Kinesis Data Streams som en kilde i hendelsesstrømmen, kan du sømløst behandle sanntids datastrømmer før du dirigerer dem til flere destinasjoner i Fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka er en strømmeplattform som tilbyr kraftige datastrømmings- og behandlingsfunksjonaliteter ved hjelp av Apache Kafka. Ved å integrere Confluent Cloud Kafka som en kilde i hendelsesstrømmen, kan du sømløst behandle sanntids datastrømmer før du ruter dem til flere destinasjoner i Fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka er en fullstendig administrert Kafka-tjeneste som forenkler oppsettet, skaleringen og ledelsen. Ved å integrere Amazon MSK Kafka som en kilde i eventstreamen, kan du sømløst ta med sanntidshendelser fra MSK Kafka og behandle dem før du ruter dem til flere destinasjoner i Fabric. |
| Eksempeldata | Du kan velge sykler, gul taxi eller børshendelser som en eksempeldatakilde for å teste datainntaket mens du konfigurerer en hendelsesstrøm. |
| Egendefinert endepunkt (det vil eksempel: Egendefinert app i standardfunksjonalitet) | Med den egendefinerte endepunktfunksjonen kan programmene eller Kafka-klientene koble til Eventstream ved hjelp av en tilkoblingsstreng, noe som muliggjør jevn inntak av strømming av data i Eventstream. |
| Azure Service Bus (forhåndsversjon) | Du kan innta data fra en Azure Service Bus-kø eller et emneabonnement i Microsoft Fabric ved hjelp av Eventstream. |
| Apache Kafka (forhåndsversjon) | Apache Kafka er en åpen kildekode, distribuert plattform for bygging av skalerbare datasystemer i sanntid. Ved å integrere Apache Kafka som en kilde i eventstreamen, kan du sømløst ta med hendelser i sanntid fra Apache Kafka og behandle dem før du dirigerer dem til flere destinasjoner i Fabric. |
| Azure Blob Storage-hendelser (forhåndsversjon) | Azure Blob Storage-hendelser utløses når en klient oppretter, erstatter eller sletter en blob. Koblingen lar deg koble Blob Storage-hendelser til Fabric-hendelser i Sanntidshub. Du kan konvertere disse hendelsene til kontinuerlige datastrømmer og transformere dem før du distribuerer dem til ulike mål i Fabric. |
| Fabric Workspace Item-hendelser (forhåndsversjon) | Fabric Workspace Item-hendelser er diskrete Fabric-hendelser som oppstår når endringer gjøres i Fabric Workspace. Disse endringene omfatter oppretting, oppdatering eller sletting av et stoffelement. Med Fabric-hendelsesstrømmer kan du fange opp disse Fabric-arbeidsområdehendelsene, transformere dem og rute dem til ulike destinasjoner i Fabric for videre analyse. |
| Fabric OneLake-hendelser (forhåndsversjon) | OneLake-hendelser lar deg abonnere på endringer i filer og mapper i OneLake, og deretter reagere på disse endringene i sanntid. Med Fabric-hendelsesstrømmer kan du fange opp disse OneLake-hendelsene, transformere dem og rute dem til ulike destinasjoner i Fabric for videre analyse. Denne sømløse integreringen av OneLake-hendelser i Fabric-hendelsesstrømmer gir deg større fleksibilitet til å overvåke og analysere aktiviteter i OneLake. |
| Fabric Job-hendelser (forhåndsversjon) | Med jobbhendelser kan du abonnere på endringer som produseres når Fabric kjører en jobb. Du kan for eksempel reagere på endringer når du oppdaterer en semantisk modell, kjører et planlagt datasamlebånd eller kjører en notatblokk. Hver av disse aktivitetene kan generere en tilsvarende jobb, som igjen genererer et sett med tilsvarende jobbhendelser. Med Fabric-hendelsesstrømmer kan du fange opp disse jobbhendelsene, transformere dem og rute dem til ulike destinasjoner i Fabric for videre analyse. Denne sømløse integreringen av jobbhendelser i Fabric-hendelsesstrømmer gir deg større fleksibilitet til å overvåke og analysere aktiviteter i jobben din. |
Behandle hendelser ved hjelp av no-code experience
Dra og slipp-opplevelsen gir deg en intuitiv og enkel måte å opprette hendelsesdatabehandling, transformering og rutinglogikk uten å skrive kode. Et ende-til-ende-dataflytdiagram i en hendelsesstrøm kan gi deg en omfattende forståelse av dataflyten og organisasjonen. Redigeringsprogrammet for hendelsesbehandling er en no-code-opplevelse som lar deg dra og slippe for å utforme behandlingslogikken for hendelsesdata.
| Transformasjon | Bekrivelse |
|---|---|
| Filtrer | Bruk filtertransformasjonen til å filtrere hendelser basert på verdien for et felt i inndataene. Avhengig av datatypen (tall eller tekst) beholder transformasjonen verdiene som samsvarer med den valgte betingelsen, for eksempel is null eller is not null. |
| Behandle felt | Med transformasjonen Behandle felt kan du legge til, fjerne, endre datatype eller gi nytt navn til felt som kommer inn fra en inndata eller en annen transformasjon. |
| Mengde | Bruk mengdetransformasjonen til å beregne en aggregasjon (sum, minimum, maksimum eller gjennomsnitt) hver gang en ny hendelse forekommer over en tidsperiode. Denne operasjonen gjør det også mulig å gi nytt navn til disse beregnede kolonnene, og filtrere eller kutte aggregasjonen basert på andre dimensjoner i dataene. Du kan ha én eller flere aggregasjoner i samme transformasjon. |
| Grupper etter | Bruk grupper etter transformasjon til å beregne aggregasjoner på tvers av alle hendelser i et bestemt tidsvindu. Du kan gruppere etter verdiene i ett eller flere felt. Det er som om aggregeringstransformasjonen gir mulighet for å gi nytt navn til kolonner, men gir flere alternativer for aggregering og inneholder mer komplekse alternativer for tidsvinduer. I likhet med Aggregate kan du legge til mer enn én aggregasjon per transformasjon. |
| Forening | Bruk unionstransformasjonen til å koble sammen to eller flere noder og legge til hendelser med delte felt (med samme navn og datatype) i én tabell. Felt som ikke samsvarer, slippes og inkluderes ikke i utdataene. |
| Utvid | Bruk utvid matrisetransformasjonen til å opprette en ny rad for hver verdi i en matrise. |
| Bli med | Bruk Sammenføyning-transformasjonen til å kombinere data fra to strømmer basert på en samsvarende betingelse mellom dem. |
Hvis du aktiverte forbedrede funksjoner under oppretting av en hendelsesstrøm, støttes transformasjonsoperasjonene for alle mål (med avledet strøm som fungerer som en mellomliggende bro for enkelte mål, for eksempel egendefinert endepunkt, stoffaktivator). Hvis du ikke gjorde det, er transformasjonsoperasjonene bare tilgjengelige for Lakehouse- og Eventhouse-destinasjonene (hendelsesbehandling før inntak).
Rute hendelser til destinasjoner
Funksjonen for fabric-hendelsesstrømmer støtter sending av data til følgende støttede mål.
| Mål | Bekrivelse |
|---|---|
| Egendefinert endepunkt (dvs. egendefinert app i standardfunksjonalitet) | Med dette målet kan du enkelt rute sanntidshendelser til et egendefinert endepunkt. Du kan koble dine egne programmer til eventstreamen og bruke hendelsesdataene i sanntid. Dette målet er nyttig når du vil gå ut av sanntidsdata til et eksternt system utenfor Microsoft Fabric. |
| Eventhouse | Med dette målet kan du innta hendelsesdataene i sanntid til et eventhouse, der du kan bruke det kraftige Kusto-spørringsspråket (KQL) til å spørre og analysere dataene. Med dataene i Eventhouse kan du få dypere innsikt i hendelsesdataene og opprette rike rapporter og instrumentbord. Du kan velge mellom to inntaksmoduser: Direkteinntak og hendelsesbehandling før inntak. |
| Lakehouse | Dette målet gir deg muligheten til å transformere dine sanntidshendelser før du inntar dem til lakehouse. Sanntidshendelser konverteres til Delta Lake-format og lagres deretter i de angitte lakehouse-tabellene. Dette målet støtter scenarioer for datalagring. |
| Avledet strøm | Avledet strøm er en spesialisert måltype som du kan opprette etter at du har lagt til strømoperasjoner, for eksempel Filter eller Behandle felt, i en hendelsesstrøm. Den avledede strømmen representerer den transformerte standardstrømmen etter strømbehandling. Du kan rute den avledede strømmen til flere mål i Fabric, og vise den avledede strømmen i sanntidshuben. |
| Stoffaktivator (forhåndsversjon) | Med dette målet kan du koble hendelsesdataene i sanntid direkte til en stoffaktivator. Aktivator er en type intelligent agent som inneholder all nødvendig informasjon for å koble til data, overvåke for betingelser og handle. Når dataene når bestemte terskler eller samsvarer med andre mønstre, utfører Aktivator automatisk nødvendige handlinger, for eksempel å varsle brukere eller starte Power Automate-arbeidsflyter. |
Du kan legge ved flere mål i en hendelsesstrøm for å motta data fra hendelsesstrømmene samtidig uten å forstyrre hverandre.
Merk
Vi anbefaler at du bruker funksjonen Microsoft Fabric-hendelsesstrømmer med minst fire kapasitetsenheter (SKU-: F4)
Apache Kafka på Fabric-hendelsesstrømmer
Fabric-funksjonen for hendelsesstrømmer tilbyr et Apache Kafka-endepunkt på Eventstream-elementet, slik at brukere kan koble til og bruke strømmehendelser gjennom Kafka-protokollen. Hvis programmet allerede bruker Apache Kafka-protokollen til å sende eller motta strømmingshendelser med bestemte emner, kan du enkelt koble den til Eventstream. Bare oppdater tilkoblingsinnstillingene for å bruke Kafka-endepunktet som er angitt i Eventstream.
Funksjonen for stoffhendelsesstrømmer drives av Azure Event Hubs, en fullstendig administrert skybasert tjeneste. Når en hendelsesstrøm opprettes, klargjøres et navneområde for hendelseshuben automatisk, og en hendelseshub tildeles standardstrømmen uten å kreve klargjøring av konfigurasjoner. Hvis du vil lære mer om de Kafka-kompatible funksjonene i Azure Event Hubs-tjenesten, kan du se Azure Event Hubs for Apache Kafka.
Hvis du vil lære mer om hvordan du får tak i Kafka-endepunktdetaljene for å sende hendelser til eventstream, kan du se Legge til egendefinert endepunktkilde i en hendelsesstrøm, og for å bruke hendelser fra eventstream, kan du se Legge til et egendefinert endepunktmål i en hendelsesstrøm.
Begrensninger
Fabric Eventstream har følgende generelle begrensninger. Før du arbeider med Eventstream, kan du se gjennom disse begrensningene for å sikre at de samsvarer med kravene dine.
| Grense | Størrelse |
|---|---|
| Maksimal meldingsstørrelse | 1 MB |
| Maksimal oppbevaringsperiode for hendelsesdata | 90 dager |