Streamy událostí Microsoft Fabric – přehled
Funkce eventstreams v prostředí Microsoft Fabric v reálném čase umožňuje přenést události v reálném čase do prostředků infrastruktury, transformovat je a pak je směrovat do různých cílů bez psaní kódu (bez kódu). Vytvoříte eventstream, což je instance položky Eventstream v prostředcích infrastruktury, přidáte do datového proudu zdroje dat událostí, volitelně přidáte transformace pro transformaci dat události a pak směrujete data do podporovaných cílů. Kromě toho můžete s koncovými body Apache Kafka dostupnými u položky Eventstream odesílat nebo využívat události v reálném čase pomocí protokolu Kafka.
Přenesení událostí do prostředků infrastruktury
Funkce eventstreams poskytuje různé zdrojové konektory pro načtení dat událostí z různých zdrojů. Při vytváření streamu událostí je k dispozici více zdrojů.
| Zdroje | Popis |
|---|---|
| Azure Event Hubs | Pokud máte centrum událostí Azure, můžete ingestovat data centra událostí do Microsoft Fabric pomocí eventstreamu. |
| Azure IoT Hub | Pokud máte centrum Azure IoT, můžete ingestovat data IoT do Microsoft Fabric pomocí eventstreamu. |
| Azure SQL Database Change Data Capture (CDC) | Zdrojový konektor Azure SQL Database CDC umožňuje zachytit snímek aktuálních dat v databázi Azure SQL. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| Databáze PostgreSQL – CDC | Zdrojový konektor PostgreSQL Database Change Data Capture (CDC) umožňuje zachytit snímek aktuálních dat v databázi PostgreSQL. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| CdC databáze MySQL | Zdrojový konektor Azure MySQL Database Change Data Capture (CDC) umožňuje zachytit snímek aktuálních dat v databázi Azure Database for MySQL. Můžete určit tabulky, které se mají monitorovat, a eventstream zaznamenává všechny budoucí změny na úrovni řádků v tabulkách. |
| Azure Cosmos DB CDC | Zdrojový konektor Azure Cosmos DB Change Data Capture (CDC) pro streamy událostí Microsoft Fabric umožňuje zachytit snímek aktuálních dat v databázi Azure Cosmos DB. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| SQL Server na virtuálním počítači (DATABÁZE) CDC | Zdrojový konektor SQL Serveru na databázi virtuálních počítačů (CDC) pro streamy událostí Fabric umožňuje zachytit snímek aktuálních dat v databázi SQL Serveru na virtuálním počítači. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků dat. |
| Azure SQL Managed Instance CDC | Zdrojový konektor Azure SQL Managed Instance CDC pro streamy událostí Microsoft Fabric umožňuje zachytit snímek aktuálních dat v databázi služby SQL Managed Instance. Konektor pak monitoruje a zaznamenává všechny budoucí změny na úrovni řádků na těchto datech. |
| Google Cloud Pub/Sub | Google Pub/Sub je služba zasílání zpráv, která umožňuje publikovat a odebírat streamy událostí. Do streamu událostí můžete přidat Google Pub/Sub jako zdroj, abyste mohli zaznamenávat, transformovat a směrovat události v reálném čase do různých cílů v Prostředcích infrastruktury. |
| Datové proudy Amazon Kinesis | Amazon Kinesis Data Streams je široce škálovatelná, vysoce odolná služba pro příjem dat a zpracování optimalizovaná pro streamovaná data. Integrací datových proudů Amazon Kinesis jako zdroje v rámci streamu událostí můžete bez problémů zpracovávat datové proudy v reálném čase, než je směrujete do více cílů v rámci fabric. |
| Confluent Cloud Kafka | Confluent Cloud Kafka je streamovací platforma nabízející výkonné funkce streamování a zpracování dat pomocí Apache Kafka. Integrací Confluent Cloud Kafka jako zdroje v rámci eventstreamu můžete bez problémů zpracovávat datové proudy v reálném čase, než je směrujete do více cílů v rámci fabric. |
| Amazon MSK Kafka | Amazon MSK Kafka je plně spravovaná služba Kafka, která zjednodušuje nastavení, škálování a správu. Integrací Amazon MSK Kafka jako zdroje do vašeho eventstreamu můžete bezproblémově přenést události v reálném čase z MSK Kafka a zpracovat je před jejich směrováním do více cílů v rámci fabric. |
| Ukázková data | Jako ukázkový zdroj dat můžete zvolit události Kolo, Žlutá taxi nebo Burzovní trh a otestovat příjem dat při nastavování eventstreamu. |
| Vlastní koncový bod (tedy vlastní aplikace ve standardních funkcích) | Funkce vlastního koncového bodu umožňuje vašim aplikacím nebo klientům Kafka připojit se k Eventstreamu pomocí připojovací řetězec, což umožňuje hladký příjem streamovaných dat do eventstreamu. |
| Azure Service Bus (Preview) | Pomocí eventstreamu můžete ingestovat data z fronty služby Azure Service Bus nebo odběru tématu do Microsoft Fabric. |
| Apache Kafka (Preview) | Apache Kafka je opensourcová distribuovaná platforma pro vytváření škálovatelných datových systémů v reálném čase. Díky integraci Apache Kafka jako zdroje do eventstreamu můžete bezproblémově přenést události v reálném čase z Apache Kafka a zpracovat je před směrováním do více cílů v rámci fabric. |
| Události služby Azure Blob Storage (Preview) | Události služby Azure Blob Storage se aktivují, když klient vytvoří, nahradí nebo odstraní objekt blob. Konektor umožňuje propojit události služby Blob Storage s událostmi infrastruktury v centru v reálném čase. Tyto události můžete převést na průběžné datové proudy a transformovat je před jejich směrováním do různých cílů v prostředcích infrastruktury. |
| Události položek pracovního prostoru infrastruktury (Preview) | Události položek pracovního prostoru infrastruktury jsou samostatné události prostředků infrastruktury, ke kterým dochází, když dojde ke změnám v pracovním prostoru Infrastruktury. Mezi tyto změny patří vytvoření, aktualizace nebo odstranění položky infrastruktury. Pomocí streamů událostí Fabric můžete zachytit tyto události pracovního prostoru Infrastruktury, transformovat je a směrovat je do různých cílů v prostředcích infrastruktury pro další analýzu. |
| Události Fabric OneLake (Preview) | Události OneLake umožňují přihlásit se k odběru změn v souborech a složkách ve OneLake a pak reagovat na tyto změny v reálném čase. Pomocí streamů událostí Fabric můžete zachytit tyto události OneLake, transformovat je a směrovat je do různých cílů v Fabric pro další analýzu. Díky této bezproblémové integraci událostí OneLake v rámci streamů událostí Fabric získáte větší flexibilitu pro monitorování a analýzu aktivit ve oneLake. |
| Události úloh Fabric (preview) | Události 'ob' umožňují přihlásit se k odběru změn, které vzniknou při spuštění úlohy ve Fabric. Můžete například reagovat na změny při aktualizaci sémantického modelu, spuštění naplánovaného kanálu nebo spuštění poznámkového bloku. Každá z těchto aktivit může generovat odpovídající úlohu, která pak vygeneruje sadu odpovídajících událostí úlohy. Pomocí streamů událostí Fabric můžete zachytit tyto události Job, transformovat je a směrovat je do různých cílů v rámci Fabric pro další analýzu. Tato bezproblémová integrace událostí úloh v datových proudech událostí Fabric poskytuje větší flexibilitu pro monitorování a analýzu aktivit ve vaší práci. |
Zpracování událostí pomocí prostředí bez kódu
Prostředí pro přetahování poskytuje intuitivní a snadný způsob, jak vytvořit zpracování, transformaci a směrování dat událostí bez psaní kódu. Kompletní diagram toku dat v eventstreamu vám může poskytnout komplexní přehled o toku dat a organizaci. Editor procesoru událostí je prostředí bez kódu, které umožňuje přetáhnout a navrhnout logiku zpracování dat událostí.
| Transformace | Popis |
|---|---|
| Filtrovat | Pomocí transformace filtru můžete filtrovat události na základě hodnoty pole ve vstupu. V závislosti na datovém typu (číslo nebo text) transformace uchovává hodnoty, které odpovídají vybrané podmínce, například is null nebo is not null. |
| Správa polí | Transformace spravovat pole umožňuje přidávat, odebírat, měnit datový typ nebo přejmenovávat pole přicházející ze vstupu nebo jiné transformace. |
| Agregovat | Pomocí agregační transformace můžete vypočítat agregaci (součet, minimum, maximum nebo průměr) při každém výskytu nové události v určitém časovém období. Tato operace také umožňuje přejmenování těchto počítaných sloupců a filtrování nebo dělení agregace na základě jiných dimenzí v datech. Ve stejné transformaci můžete mít jednu nebo více agregací. |
| Seskupit podle | Pomocí transformace Seskupit můžete vypočítat agregace napříč všemi událostmi v určitém časovém intervalu. Můžete seskupit podle hodnot v jednom nebo více polích. Je to jako agregační transformace umožňuje přejmenování sloupců, ale poskytuje další možnosti agregace a obsahuje složitější možnosti časových oken. Podobně jako agregace můžete přidat více než jednu agregaci na transformaci. |
| Sjednocení | Pomocí transformace Sjednocení můžete propojit dva nebo více uzlů a přidat události se sdílenými poli (se stejným názvem a datovým typem) do jedné tabulky. Pole, která se neshodují, se zahodí a nezahrnou se do výstupu. |
| Rozbalit | Pomocí transformace Rozbalit pole vytvořte nový řádek pro každou hodnotu v rámci pole. |
| Připojení | Pomocí transformace spojení můžete zkombinovat data ze dvou datových proudů na základě odpovídající podmínky mezi nimi. |
Pokud jste při vytváření streamu událostí povolili rozšířené možnosti, podporují se operace transformace pro všechny cíle (s odvozeným streamem fungujícím jako přechodný most pro některé cíle, jako je vlastní koncový bod, aktivace prostředků infrastruktury). Pokud jste to neudělali, jsou transformační operace dostupné jenom pro cíle Lakehouse a Eventhouse (zpracování událostí před příjmem dat).
Směrování událostí do cílů
Funkce streamů událostí Infrastruktury podporuje odesílání dat do následujících podporovaných cílů.
| Cíl | Popis |
|---|---|
| Vlastní koncový bod (tj. vlastní aplikace ve standardních funkcích) | S tímto cílem můžete snadno směrovat události v reálném čase do vlastního koncového bodu. Ke streamu událostí můžete připojit vlastní aplikace a využívat data událostí v reálném čase. Tento cíl je užitečný v případě, že chcete data v reálném čase odvést do externího systému mimo Microsoft Fabric. |
| Eventhouse | Tento cíl umožňuje ingestovat data událostí v reálném čase do eventhouse, kde můžete pomocí výkonných dotazovací jazyk Kusto (KQL) dotazovat a analyzovat data. Díky datům v Eventhouse můžete získat podrobnější přehled o datech událostí a vytvářet bohaté sestavy a řídicí panely. Můžete si vybrat mezi dvěma režimy příjmu dat: přímým příjmem dat a zpracováním událostí před příjmem dat. |
| Jezero | Cílem je možnost transformovat události v reálném čase, než je ingestujete do jezera. Události v reálném čase se převedou do formátu Delta Lake a pak se uloží do určených tabulek lakehouse. Tento cíl podporuje scénáře datových skladů. |
| Odvozený datový proud | Odvozený datový proud je specializovaný typ cíle, který můžete vytvořit po přidání operací datového proudu, jako je filtr nebo správa polí, do streamu událostí. Odvozený datový proud představuje transformovaný výchozí datový proud po zpracování datových proudů. Odvozený datový proud můžete směrovat do více cílů v prostředcích infrastruktury a zobrazit odvozený datový proud v centru v reálném čase. |
| Aktivace prostředků infrastruktury (Preview) | Tento cíl umožňuje přímo připojit data událostí v reálném čase k aktivaci prostředků infrastruktury. Aktivátor je typ inteligentního agenta, který obsahuje všechny informace potřebné pro připojení k datům, monitorování podmínek a akce. Když data dosáhnou určitých prahových hodnot nebo odpovídají jiným vzorům, Aktivuje se automaticky příslušná akce, jako je upozorňování uživatelů nebo spuštění pracovních postupů Power Automate. |
V eventstreamu můžete připojit více cílů, abyste mohli současně přijímat data z událostí, aniž byste vzájemně zasahovali.
Poznámka:
Doporučujeme použít funkci Streamy událostí Microsoft Fabric s alespoň 4 jednotkami kapacity (SKU: F4).
Streamy událostí Apache Kafka v prostředcích infrastruktury
Funkce streamů událostí Infrastruktury nabízí koncový bod Apache Kafka u položky Eventstream, která uživatelům umožňuje připojovat se a využívat streamované události prostřednictvím protokolu Kafka. Pokud už máte aplikaci, která používá protokol Apache Kafka k odesílání nebo využívání streamovaných událostí s konkrétními tématy Kafka, můžete stejnou aplikaci snadno přizpůsobit tak, aby odesílala nebo spotřebovála události streamování v rámci vašeho eventstreamu tak, že jednoduše aktualizujete nastavení připojení tak, aby odkazovalo na koncový bod Kafka zadaný ve vašem eventstreamu.
Funkce streamů událostí infrastruktury využívá službu Azure Event Hubs, která je plně spravovanou cloudovou nativní službou. Při vytvoření streamu událostí se automaticky zřídí obor názvů centra událostí a centrum událostí se přidělí výchozímu datovému proudu bez nutnosti jakýchkoli konfigurací zřizování. Další informace o funkcích kompatibilních se systémem Kafka ve službě Azure Event Hubs najdete v tématu Azure Event Hubs pro Apache Kafka.
Další informace o tom, jak získat podrobnosti o koncovém bodu Kafka pro odesílání událostí do eventstreamu, najdete v tématu Přidání vlastního zdroje koncového bodu do eventstreamu. Pokud chcete využívat události z eventstreamu, přečtěte si téma Přidání vlastního cíle koncového bodu do eventstreamu.
Vylepšené možnosti
Při vytváření eventstreamu máte k dispozici více funkcí, zdrojů a cílů. Na kartách Rozšířené možnosti a Možnosti Standard se dozvíte o dalších zdrojích a cílech podporovaných s rozšířenými možnostmi.
Tady je několik dalších zajímavých funkcí rozšířených funkcí:
- Režim úprav a živé zobrazení Prozkoumejte dva různé režimy pro vizualizaci a navrhování zpracování datových proudů.
- Výchozí a odvozené datové proudy Vytvořte nepřetržitý tok datových proudů s formátem, který navrhujete, s procesorem událostí, který lze využívat později v centru v reálném čase.
- Směrování datových proudů na základě obsahu Transformujte a směrujte datové proudy kdekoli v prostředcích Infrastruktury na základě obsahu datového proudu, který jste navrhli pomocí procesoru událostí.