Sdílet prostřednictvím

Získání dat z Azure Event Hubs

  • Článek

V tomto článku se dozvíte, jak získat data ze služby Event Hubs do databáze KQL v Microsoft Fabric. Azure Event Hubs je platforma pro streamování velkých objemů dat a služba pro příjem událostí, která dokáže zpracovat a směrovat miliony událostí za sekundu.

Pokud chcete streamovat data ze služby Event Hubs do inteligentního zpracování v reálném čase, projděte si dva hlavní kroky. První krok se provede na webu Azure Portal, kde definujete zásady sdíleného přístupu v instanci centra událostí a zachytíte podrobnosti potřebné k pozdějšímu připojení prostřednictvím této zásady.

Druhý krok probíhá v sadě Fabric v reálném čase, kde připojíte databázi KQL k centru událostí a nakonfigurujete schéma pro příchozí data. Tento krok vytvoří dvě připojení. První připojení označované jako "cloudové připojení" propojuje Microsoft Fabric s instancí centra událostí. Druhé připojení připojí "cloudové připojení" k databázi KQL. Po dokončení konfigurace dat a schématu událostí jsou streamovaná data k dispozici pro dotazování pomocí sady dotazů KQL.

Pokud chcete získat data ze služby Event Hubs pomocí eventstreamu, přečtěte si téma Přidání zdroje služby Azure Event Hubs do streamu událostí.

Požadavky

Upozorňující

Vaše centrum událostí nemůže být za bránou firewall.

Nastavení zásad sdíleného přístupu v centru událostí

Než budete moct vytvořit připojení k datům služby Event Hubs, musíte v centru událostí nastavit zásady sdíleného přístupu (SAS) a shromáždit některé informace, které se mají použít později při nastavování připojení. Další informace o autorizaci přístupu k prostředkům služby Event Hubs najdete v tématu Sdílené přístupové podpisy.

  1. Na webu Azure Portal přejděte k instanci služby Event Hubs, kterou chcete připojit.

  2. V části Nastavení vyberte Zásady sdíleného přístupu.

  3. Vyberte +Přidat , pokud chcete přidat novou zásadu SAS, nebo vyberte existující zásadu s oprávněními Spravovat .

    Snímek obrazovky s vytvářením zásad SAS na webu Azure Portal

  4. Zadejte název zásady.

  5. Vyberte Spravovat a potom Vytvořit.

Shromáždění informací o cloudovém připojení

V podokně zásad SAS si poznamenejte následující čtyři pole. Tato pole můžete chtít zkopírovat a vložit někam, třeba poznámkový blok, abyste je mohli použít v pozdějším kroku.

Snímek obrazovky znázorňující, jak vyplnit připojení daty z webu Azure Portal

Odkaz na pole Pole Description Příklad
d Instance služby Event Hubs Název instance centra událostí. iotdata
b Zásady SAS Název zásady SAS vytvořený v předchozím kroku DocsTest
c Primární klíč Klíč přidružený k zásadám SAS V tomto příkladu začíná PGGIISb009...
d Připojovací řetězec – primární klíč V tomto poli chcete zkopírovat pouze obor názvů centra událostí, který lze najít jako součást připojovací řetězec. eventhubpm15910.servicebus.windows.net

Zdroj

  1. Na dolním pásu karet databáze KQL vyberte Získat data.

    V okně Načíst data je vybrána karta Zdroj .

  2. Vyberte zdroj dat z dostupného seznamu. V tomto příkladu ingestujete data ze služby Event Hubs.

    Snímek obrazovky okna Získat data s vybranou kartou Zdroj

Konfigurovat

  1. Vyberte cílovou tabulku. Pokud chcete ingestovat data do nové tabulky, vyberte + Nová tabulka a zadejte název tabulky.

    Poznámka:

    Názvy tabulek můžou mít maximálně 1024 znaků včetně mezer, alfanumerických znaků, pomlček a podtržítka. Speciální znaky nejsou podporované.

  2. Buď vyberte Vytvořit nové připojení, nebo vyberte Existující připojení a přejděte k dalšímu kroku.

Vytvořit nové připojení

  1. Vyplňte nastavení připojení podle následující tabulky:

    Snímek obrazovky s kartou zdroj

    Nastavení Popis Příklad hodnoty
    Obor názvů centra událostí Pole d z výše uvedené tabulky. eventhubpm15910.servicebus.windows.net
    Centrum událostí Pole z výše uvedené tabulky Název instance centra událostí. iotdata
    Connection Pokud chcete použít existující cloudové připojení mezi prostředky infrastruktury a službou Event Hubs, vyberte název tohoto připojení. V opačném případě vyberte Vytvořit nové připojení. Vytvoření nového připojení
    Název připojení Název nového cloudového připojení. Tento název je automaticky vygenerován, ale lze ho přepsat. Musí být jedinečný v rámci tenanta Fabric. Připojení
    Druh ověřování Automaticky vyplněné. V současné době se podporuje jenom sdílený přístupový klíč. Sdílený přístupový klíč
    Název sdíleného přístupového klíče Pole b z výše uvedené tabulky. Název, který jste dali zásadám sdíleného přístupu. DocsTest
    Sdílený přístupový klíč Pole c z výše uvedené tabulky. Primární klíč zásady SAS.

  2. Zvolte Uložit. Vytvoří se nové cloudové datové připojení mezi prostředky infrastruktury a službou Event Hubs.

Připojení cloudového připojení k databázi KQL

Bez ohledu na to, jestli jste vytvořili nové cloudové připojení, nebo používáte existující, musíte definovat skupinu příjemců. Volitelně můžete nastavit parametry, které dále definují aspekty připojení mezi databází KQL a cloudovým připojením.

  1. Vyplňte následující pole podle tabulky:

    Snímek obrazovky s vytvářením připojení k databázi

    Nastavení Popis Příklad hodnoty
    Skupina uživatelů Příslušná skupina příjemců definovaná ve vašem centru událostí. Další informace najdete v tématu Skupiny příjemců. Po přidání nové skupiny příjemců budete muset tuto skupinu vybrat z rozevíracího seznamu. NewConsumer
    Další parametry
    Komprese Komprese dat událostí, jak pochází z centra událostí. Možnosti jsou None (výchozí) nebo Gzip compression. Nic
    Vlastnosti systému událostí Další informace naleznete v tématu Systémové vlastnosti centra událostí. Pokud existuje více záznamů na zprávu události, vlastnosti systému se přidají do prvního záznamu. Viz vlastnosti systému událostí.
    Počáteční datum načítání událostí Datové připojení načte existující události centra událostí vytvořené od data zahájení načítání událostí. Na základě doby uchovávání může načítat pouze události uchováné centrem událostí. Časové pásmo je UTC. Pokud není zadán žádný čas, je výchozím časem čas vytvoření datového připojení.

  2. Chcete-li pokračovat na kartě Kontrola, vyberte Další.

Vlastnosti systému událostí

Vlastnosti systému ukládají vlastnosti nastavené službou Event Hubs v době vytvoření fronty události. Datové připojení k centru událostí může vložit vybranou sadu systémových vlastností do dat přijatých do tabulky na základě daného mapování.

Vlastnost Datový typ Popis
x-opt-enqueued-time datetime Čas UTC, kdy byla událost zapsána do fronty.
x-opt-sequence-number long Logické pořadové číslo události v rámci datového proudu oddílu centra událostí.
x-opt-offset string Posun události ze streamu oddílu centra událostí. Identifikátor posunu je jedinečný v rámci oddílu streamu centra událostí.
x-opt-publisher string Název vydavatele, pokud byla zpráva odeslána do koncového bodu vydavatele.
x-opt-partition-key string Klíč oddílu odpovídajícího oddílu, který událost uložil.

Inspekce

Proces příjmu dat dokončíte výběrem možnosti Dokončit.

Snímek obrazovky s kartou Kontrola

Nepovinná možnost:

  • Výběrem prohlížeče příkazů zobrazíte a zkopírujete automatické příkazy vygenerované z vašich vstupů.

  • Změňte automaticky odvozený formát dat výběrem požadovaného formátu z rozevíracího seznamu. Data se čtou z centra událostí ve formě objektů EventData . Podporované formáty jsou CSV, JSON, PSV, SCsv, SOHsv TSV, TXT a TSVE.

  • Upravte sloupce.

  • Prozkoumejte pokročilé možnosti na základě datového typu.

  • Pokud se data zobrazená v okně náhledu nedokončí, budete možná potřebovat další data k vytvoření tabulky se všemi potřebnými datovými poli. K načtení nových dat z centra událostí použijte následující příkazy:

    • Zahodit a načíst nová data: zahodí zobrazená data a vyhledá nové události.
    • Načtení dalších dat: Vyhledá další události kromě již nalezených událostí.

Upravit sloupce

Poznámka:

  • U tabulkových formátů (CSV, TSV, PSV) nemůžete namapovat sloupec dvakrát. Pokud chcete namapovat na existující sloupec, nejprve odstraňte nový sloupec.
  • Existující typ sloupce nelze změnit. Pokud se pokusíte namapovat na sloupec s jiným formátem, můžete skončit s prázdnými sloupci.

Změny, které můžete provést v tabulce, závisí na následujících parametrech:

  • Typ tabulky je nový nebo existující
  • Typ mapování je nový nebo existující
Typ tabulky Typ mapování Dostupné úpravy
Nová tabulka Nové mapování Přejmenování sloupce, změna datového typu, změna zdroje dat, transformace mapování, přidání sloupce, odstranění sloupce
Existující tabulka Nové mapování Přidejte sloupec (u kterého pak můžete změnit datový typ, přejmenovat a aktualizovat)
Existující tabulka Existující mapování Žádná

Snímek obrazovky s otevřenými sloupci pro úpravy

Mapování transformací

Některá mapování formátu dat (Parquet, JSON a Avro) podporují jednoduché transformace v čase ingestování. Pokud chcete použít transformace mapování, vytvořte nebo aktualizujte sloupec v okně Upravit sloupce .

Transformace mapování je možné provést u sloupce typu řetězec nebo datum a čas, přičemž zdroj má datový typ int nebo long. Podporované transformace mapování jsou:

  • DateTimeFromUnixSeconds
  • DateTimeFromUnixMilliseconds
  • DateTimeFromUnixMicroseconds
  • DateTimeFromUnixNanoseconds

Mapování schématu pro soubory Avro zachycení služby Event Hubs

Jedním ze způsobů, jak využívat data služby Event Hubs, je zachytávat události prostřednictvím služby Azure Event Hubs ve službě Azure Blob Storage nebo Azure Data Lake Storage. Potom můžete ingestovat zachytávání souborů při jejich zápisu pomocí datového připojení Event Gridu.

Schéma zachytávání souborů se liší od schématu původní události odeslané do služby Event Hubs. Měli byste navrhnout schéma cílové tabulky s tímto rozdílem. Datová část události je konkrétně reprezentována v souboru zachycení jako pole bajtů a toto pole není automaticky dekódováno datovým připojením Event Gridu Azure Data Exploreru. Konkrétnější informace o schématu souborů pro zachytávání dat služby Event Hubs Avro najdete v tématu Zkoumání zachycených souborů Avro ve službě Azure Event Hubs.

Správné dekódování datové části události:

  1. Namapujte Body pole zachycené události na sloupec typu dynamic v cílové tabulce.
  2. Použijte zásadu aktualizace, která převede pole bajtů na čitelný řetězec pomocí funkce unicode_codepoints_to_string().

Rozšířené možnosti založené na datovém typu

Tabulkový (CSV, TSV, PSV):

  • Pokud ingestujete tabulkové formáty v existující tabulce, můžete vybrat schéma tabulky Advanced>Keep. Tabulková data nemusí nutně obsahovat názvy sloupců, které se používají k mapování zdrojových dat na existující sloupce. Pokud je tato možnost zaškrtnutá, mapování se provádí podle pořadí a schéma tabulky zůstane stejné. Pokud tato možnost není zaškrtnutá, vytvoří se nové sloupce pro příchozí data bez ohledu na strukturu dat.

  • Pokud chcete použít první řádek jako názvy sloupců, vyberte Upřesnit>první řádek je záhlaví sloupce.

    Snímek obrazovky s rozšířenými možnostmi CSV

JSON:

  • Pokud chcete určit rozdělení sloupců dat JSON, vyberte pokročilé>vnořené úrovně od 1 do 100.

  • Pokud vyberete rozšířené>přeskočení řádků JSON s chybami, data se ingestují ve formátu JSON. Pokud toto políčko nezaškrtnete, data se ingestují ve vícejsonovém formátu.

    Snímek obrazovky s rozšířenými možnostmi JSON

Shrnutí

V okně přípravy dat jsou všechny tři kroky označené zelenými značkami zaškrtnutí, jakmile se příjem dat úspěšně dokončí. Můžete vybrat kartu pro dotazování, vypustit ingestované data nebo zobrazit řídicí panel souhrnu příjmu dat.

Snímek obrazovky se stránkou souhrnu s úspěšným příjmem dat

Související obsah