Fabric Eventstream – yleiskatsaus
Microsoft Fabricin reaaliaikaisen älykkyyden tapahtumatoimintojen avulla voit tuoda reaaliaikaisia tapahtumia Fabriciin, muuntaa niitä ja reitittää ne sitten eri kohteisiin kirjoittamatta koodia (ei koodaa). Luot tapahtumavirran, joka on Eventstream-kohteen esiintymä Fabric-palvelussa, lisäät tapahtumatietolähteitä tietovirtaan, voit halutessasi lisätä muunnoksia tapahtuman tietojen muuntamiseen ja reitittää sitten tiedot tuettuihin kohteisiin. Lisäksi Kun Apache Kafka -päätepisteet ovat käytettävissä Eventstream-kohteessa, voit lähettää tai kuluttaa reaaliaikaisia tapahtumia Kafka-protokollan avulla.
Tuo tapahtumia Fabriciin
Eventstreams-ominaisuus tarjoaa useita lähdeyhdistimiä tapahtumatietojen noutamiseen eri lähteistä. Saatavilla on enemmän lähteitä, kun otat parannetut ominaisuudet käyttöön tapahtumavirran luomisen aikana.
| Lähteet | Kuvaus |
|---|---|
| Azure Tapahtumatoiminnot | Jos sinulla on Azure-tapahtumatoiminto, voit käyttää tapahtumatoiminnon tietoja Microsoft Fabricissa Eventstreamin avulla. |
| Azure IoT Hub | Jos sinulla on Azure IoT -keskitin, voit käyttää IoT-tietoja Microsoft Fabriciin Eventstreamin avulla. |
| Azure SQL -tietokannan muutos tietokaappaus (CDC) | Azure SQL -tietokannan CDC-lähdeliittimen avulla voit siepata tilannevedoksen nykyisistä tiedoista Azure SQL -tietokannassa. Liitin valvoo ja kirjaa mahdolliset tulevat rivitason muutokset näihin tietoihin. |
| PostgreSQL-tietokannan CDC | PostgreSQL-tietokannan Change Data Capture (CDC) -lähdeliittimen avulla voit kaapata tilannevedoksen nykyisistä tiedoista PostgreSQL-tietokantaan. Liitin valvoo ja kirjaa mahdolliset tulevat rivitason muutokset näihin tietoihin. |
| MySQL-tietokannan CDC | Azure MySQL -tietokannan Change Data Capture (CDC) Source -liittimen avulla voit siepata tilannevedoksen nykyisistä tiedoista Azure Database for MySQL -tietokannassa. Voit määrittää valvottavat taulukot, ja tapahtumavirta kirjaa mahdolliset tulevat rivitason muutokset taulukoihin. |
| Azure Cosmos DB CDC | Microsoft Fabric -tapahtumavirtojen Azure Cosmos DB Change Data Capture (CDC) -lähdeliittimen avulla voit tallentaa tilannevedoksen nykyisistä tiedoista Azure Cosmos DB -tietokannassa. Liitin valvoo ja kirjaa mahdolliset tulevat rivitason muutokset näihin tietoihin. |
| SQL Server näennäiskoneen (VM) tietokannassa (DB) CDC | Fabric-tapahtumavirtojen SQL Server on VM DB (CDC) -lähdeliittimen avulla voit siepata tilannevedoksen nykyisistä tiedoista SQL Server -tietokannassa näennäiskoneessa. Liitin valvoo ja kirjaa mahdolliset tulevat rivitason muutokset tietoihin. |
| Azure SQL:n hallittu esiintymä CDC | Microsoft Fabric -tapahtumavirtojen Azure SQL:n hallitun esiintymän CDC-lähdeliittimen avulla voit tallentaa tilannevedoksen nykyisistä tiedoista SQL:n hallittuun esiintymään. Liitin valvoo ja kirjaa mahdolliset tulevat rivitason muutokset näihin tietoihin. |
| Google Cloud Pub/Sub | Google Pub/Sub on viestipalvelu, jonka avulla voit julkaista ja tilata tapahtumavirtoja. Voit lisätä Google Pub/Subin lähteeksi tapahtumavirtaasi reaaliaikaisten tapahtumien sieppaamiseksi, muuntamiseksi ja reitittämiseksi eri kohteisiin Fabricissa. |
| Amazon Kinesis -tietovirrat | Amazon Kinesis Data Streams on erittäin skaalattava, erittäin kestävä tietojen käsittely ja käsittelypalvelu, joka on optimoitu tietojen suoratoistoa varten. Integroimalla Amazon Kinesis Data Streamsin lähteeksi tapahtumavirtaasi voit käsitellä reaaliaikaisia tietovirtoja saumattomasti, ennen kuin reitität ne useisiin kohteisiin Fabricissa. |
| Confluent Cloud Kafka | Confluent Cloud Kafka on suoratoistoympäristö, joka tarjoaa tehokkaita tietojen suoratoisto- ja käsittelytoimintoja Apache Kafkan avulla. Integroimalla Confluent Cloud Kafkan lähteeksi tapahtumavirtaasi voit käsitellä reaaliaikaisia tietovirtoja saumattomasti, ennen kuin reitität ne useisiin kohteisiin Fabricissa. |
| Amazon MSK Kafka | Amazon MSK Kafka on täysin hallittu Kafka-palvelu, joka yksinkertaistaa asennusta, skaalausta ja hallintaa. Integroimalla Amazon MSK Kafkan lähteeksi tapahtumavirtaasi voit tuoda reaaliaikaiset tapahtumat saumattomasti MSK Kafkasta ja käsitellä ne ennen niiden reititystä useisiin kohteisiin Fabricissa. |
| Mallitiedot | Voit valita polkupyöriä, keltaista taksia tai pörssitapahtumia mallitietolähteeksi tietojen käsittelytestauksen aikana tapahtumavirran määrittämisen aikana. |
| Mukautettu päätepiste (eli mukautettu sovellus vakiotoiminnossa) | Mukautetun päätepisteen ominaisuuden avulla sovelluksesi tai Kafka-asiakasohjelmasi voivat muodostaa yhteyden Eventstreamiin yhteysmerkkijonolla, mikä mahdollistaa suoratoistettavien tietojen sujuvan käsittelytapahtumiin. |
| Azuren palveluväylä (esikatselu) | Voit käsitellä Azuren palveluväylä jonon tai aiheen tilauksen tietoja Microsoft Fabricissa Eventstreamin avulla. |
| Apache Kafka (esikatselu) | Apache Kafka on avoimen lähdekoodin hajautettu ympäristö skaalautuvien, reaaliaikaisten tietojärjestelmien rakentamiseen. Integroimalla Apache Kafkan lähteeksi tapahtumavirtaasi voit tuoda saumattomasti reaaliaikaisia tapahtumia Apache Kafkasta ja käsitellä niitä ennen niiden reititystä useisiin kohteisiin Fabricissa. |
| Azure Blob -säilön tapahtumat (esikatselu) | Azure Blob -säilön tapahtumat käynnistyvät, kun asiakas luo, korvaa tai poistaa blob-objektin. Liittimen avulla voit linkittää Blob-säilön tapahtumat Fabric-tapahtumiin reaaliaikaisessa keskuksessa. Voit muuntaa nämä tapahtumat jatkuviksi tietovirroiksi ja muuntaa ne ennen niiden reititystä eri kohteisiin Fabricissa. |
| Fabric Workspace Item -tapahtumat (esikatselu) | Fabric Workspace Item -tapahtumat ovat erillisiä Fabric-tapahtumia, jotka ilmenevät, kun Fabric-työtilaan tehdään muutoksia. Näihin muutoksiin kuuluu Fabric-kohteen luominen, päivittäminen tai poistaminen. Fabric-tapahtumavirtojen avulla voit siepata nämä Fabric-työtilatapahtumat, muuntaa niitä ja reitittää ne eri kohteisiin Fabricissa jatkoanalyyseja varten. |
| Fabric OneLake -tapahtumien (esikatselu) | OneLake-tapahtumien avulla voit tilata muutoksia OneLaken tiedostoihin ja kansioihin ja reagoida näihin muutoksiin reaaliaikaisesti. Fabric-tapahtumavirtojen avulla voit siepata nämä OneLake-tapahtumat, muuntaa niitä ja reitittää ne eri kohteisiin Fabricissa lisäanalyyseja varten. Tämä OneLake-tapahtumien saumaton integrointi Fabric-tapahtumavirtoihin tarjoaa paremman joustavuuden OneLake-tapahtumien valvontaan ja analysointiin. |
| Fabric Job -tapahtumien (esikatselu) | Työtapahtumien avulla voit tilata tuotetut muutokset, kun Fabric suorittaa työtä. Voit esimerkiksi reagoida muutoksiin päivittäessäsi semanttista mallia, käyttäessäsi ajoitettua putkea tai käyttäessäsi muistikirjaa. Jokainen näistä toiminnoista voi luoda vastaavan työn, joka puolestaan luo joukon vastaavia työtapahtumia. Fabric-tapahtumavirtojen avulla voit siepata nämä Työtapahtumat, muuntaa niitä ja reitittää ne eri kohteisiin Fabricissa lisäanalyyseja varten. Tämä Työtapahtumien saumaton integrointi Fabric-tapahtumavirtoihin antaa sinulle enemmän joustavuutta työn seurantaan ja analysointiin. |
Tapahtumien käsittely koodittamatta -käyttökokemusta käyttämällä
Vedä ja pudota -käyttökokemus tarjoaa intuitiivisen ja helpon tavan luoda tapahtuman tietojen käsittely-, muuntamis- ja reitityslogiikka kirjoittamatta koodia. Päästä päähän -tietovuon kaavio tapahtumavirrassa voi tarjota kattavan käsityksen tiedonkulusta ja organisaatiosta. Tapahtumankäsittelyeditori on koodittomuuskokemus, jonka avulla voit suunnitella tapahtuman tietojen käsittelylogiikan vetämällä ja pudottamalla.
| Muunnos | Kuvaus |
|---|---|
| Suodata | Suodata muunnos -toiminnolla voit suodattaa tapahtumia syötteessä olevan kentän arvon perusteella. Tietotyypistä (luvusta tai tekstistä) riippuen muunnos säilyttää valittua ehtoa vastaavat arvot, kuten is null tai is not null. |
| Kenttien hallinta | Hallitse kenttiä -muunnoksen avulla voit lisätä, poistaa, muuttaa tietotyyppiä tai nimetä uudelleen syöte- tai toisesta muunnoksesta peräisin olevia kenttiä. |
| Yhdistelmä | Koosteen muunnoksen avulla voit laskea koosteen (Summa, Pienin, Suurin tai Keskiarvo) aina, kun uusi tapahtuma ilmenee tietyn ajanjakson aikana. Tämä toiminto sallii myös näiden laskettujen sarakkeiden uudelleennimeämisen sekä koosteen suodattamisen tai osittamisen tietojen muiden dimensioiden perusteella. Samassa muunnoksen koosteessa voi olla yksi tai useampi kooste. |
| Ryhmittele | Ryhmittely muunnoksen avulla voit laskea koosteita kaikista tapahtumista tietyn aikaikkunan sisällä. Voit ryhmitellä yhden tai useamman kentän arvojen mukaan. Koostemuunnos sallii sarakkeiden uudelleennimeämisen, mutta tarjoaa enemmän koostamisvaihtoehtoja ja monimutkaisempia aikaikkunoiden asetuksia. Koosteen tavoin voit lisätä useamman kuin yhden koosteen muunnoksen mukaan. |
| Liitto | Yhdistä-muunnoksen avulla voit yhdistää vähintään kaksi solmua ja lisätä tapahtumia, joissa on jaettuja kenttiä (samalla nimellä ja tietotyypillä) yhteen taulukkoon. Kentät, jotka eivät täsmää, pudotetaan eikä niitä sisällytetä tulokseen. |
| Laajenna | Laajenna matriisi -muunnoksen avulla voit luoda uuden rivin matriisin kullekin arvolle. |
| Liittyminen | Liity-muunnoksen avulla voit yhdistää tietoja kahdesta tietovirrasta niiden välisen ehdon perusteella. |
Jos otit parannetut ominaisuudet käyttöön luodessasi tapahtumavirtaa, muunnostoimintoja tuetaan kaikissa kohteissa (johdettu tietovirta toimii välisiltana joissakin kohteissa, kuten mukautettu päätepiste, Fabric Activator). Jos et ole tehnyt niin, muunnostoiminnot ovat käytettävissä vain Lakehousen ja Eventhousen (tapahtumien käsittely ennen tietojen käsittelyä) kohteissa.
Tapahtumien reititys kohteisiin
Fabric-tapahtumavirrat-ominaisuus tukee tietojen lähettämistä seuraaviin tuettuihin kohteisiin.
| Kohde | Kuvaus |
|---|---|
| Mukautettu päätepiste (eli mukautettu sovellus vakiotoiminnossa) | Tämän kohteen avulla voit helposti reitittää reaaliaikaiset tapahtumat mukautettuun päätepisteeseen. Voit yhdistää omat sovelluksesi tapahtumavirtaan ja käyttää tapahtuman tietoja reaaliaikaisesti. Tämä kohde on hyödyllinen, kun haluat reaaliaikaisten tietojen lähtevän ulkoiseen järjestelmään Microsoft Fabricin ulkopuolella. |
| Eventhouse | Tämän kohteen avulla voit käsitellä reaaliaikaisia tapahtumatietoja Eventhousessa, jossa voit käyttää tehokasta Kusto Query Languagea (KQL) tietojen kyselyyn ja analysointiin. Eventhouse-tietojen avulla voit saada syvällisempää tietoa tapahtumatiedoistasi ja luoda monipuolisia raportteja ja koontinäyttöjä. Voit valita kahdesta käsittelytilasta: Suora käsittely ja Tapahtumien käsittely ennen käsittelyä. |
| Lakehouse | Tämän kohteen avulla voit muuntaa reaaliaikaisia tapahtumiasi ennen niiden sisäänomista Lakehouse-taloosi. Reaaliaikaiset tapahtumat muuntuvat Delta Lake -muotoon ja tallentavat sitten nimetyt Lakehouse-taulukot. Tämä kohde tukee tietovarastointitilanteita. |
| Johdettu tietovirta | Johdettu tietovirta on erityinen kohdetyyppi, jonka voit luoda lisättyäsi tietovirtatoimintoja, kuten Suodata tai Hallitse kenttiä, tapahtumavirtaan. Johdettu tietovirta edustaa muunnettua oletusvirtaa suoratoiston käsittelyn jälkeen. Voit reitittää johdetun tietovirran useisiin kohteisiin Fabricissa ja tarkastella johdettua tietovirtaa reaaliaikaisessa keskuksessa. |
| Fabric Activator (esiversio) | Tämän kohteen avulla voit yhdistää reaaliaikaiset tapahtumatietosi suoraan Fabric Activatoriin. Activator on älykäs agenttityyppi, joka sisältää kaikki tiedot, joita tarvitaan tietoihin yhdistämiseen, ehtojen valvontaan ja toimiin. Kun tiedot saavuttavat tietyt raja-arvot tai vastaavat muita malleja, aktivointitoiminto suorittaa automaattisesti asianmukaisia toimia, kuten ilmoittaa käyttäjille tai käynnistää Power Automate -työnkulut. |
Voit liittää useita kohteita tapahtumavirrassa vastaanottamaan tietoja samanaikaisesti tapahtumavirrasta vuorovaikutuksetta keskenään.
Muistiinpano
Suosittelemme, että käytät Microsoft Fabric -tapahtumavirtaominaisuutta, joka sisältää vähintään neljä kapasiteettiyksikköä (SKU-: F4)
Apache Kafka On Fabric -tapahtumavirroissa
Fabric-tapahtumavirtojen ominaisuus tarjoaa Apache Kafka -päätepisteen Eventstream-kohteeseen, jolloin käyttäjät voivat yhdistää ja kuluttaa suoratoistotapahtumia Kafka-protokollan kautta. Jos sovelluksesi käyttää jo Apache Kafka -protokollaa tiettyjä aiheita sisältävien suoratoistotapahtumien lähettämiseen tai vastaanottamiseen, voit helposti yhdistää ne tapahtumavirtaan. Päivitä vain yhteysasetuksesi ja käytä Eventstreamissa annettua Kafka-päätepistettä.
Fabric-tapahtumavirtojen ominaisuutta tarjoaa Azure Event Hubs, joka on täysin hallittu pilvipohjainen palvelu. Kun tapahtumavirta luodaan, tapahtumatoiminnon nimitila valmistellaan automaattisesti ja tapahtumatoiminto kohdennetaan oletusvirtaan ilman valmistelumäärityksiä. Lisätietoja Azure Event Hubs -palvelun Kafka-yhteensopivista ominaisuuksista on artikkelissa Apache Kafkan Azure-tapahtumatoiminnot.
Lisätietoja siitä, miten saat Kafka-päätepisteen tiedot tapahtumien lähettämiseksi tapahtumavirtaan, on artikkelissa Mukautetun päätepisteen lähteen lisääminen tapahtumavirtaan ja tapahtumien kuluttaminen tapahtumavirran kautta artikkelista Mukautetun päätepisteen kohteen lisääminen tapahtumavirtaan.
Rajoitukset
Fabric Eventstream sisältää seuraavat yleiset rajoitukset. Ennen kuin käsittelet Eventstreamia, tutustu näihin rajoituksiin varmistaaksesi, että ne ovat vaatimusten mukaisia.
| Raja | Koko |
|---|---|
| Sanoman enimmäiskoko | 1 Mt |
| Tapahtumatietojen enimmäispidätysaika | 90 päivää |