Sdílet prostřednictvím

Filtrování a ingestování do Azure Data Exploreru pomocí Stream Analytics bez editoru kódu

  • Článek

Tento článek popisuje, jak můžete pomocí editoru kódu snadno vytvořit úlohu Stream Analytics. Průběžně čte ze služby Event Hubs, filtruje příchozí data a výsledky pak průběžně zapisuje do Azure Data Exploreru.

Požadavky

  • Vaše prostředky Azure Event Hubs a Azure Data Exploreru musí být veřejně přístupné a nesmí být za bránou firewall nebo zabezpečenou ve službě Azure Virtual Network.
  • Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Vývoj úlohy Stream Analytics pro filtrování a ingestování dat v reálném čase

  1. Na webu Azure Portal vyhledejte a vyberte instanci služby Azure Event Hubs.

  2. Vyberte Funkce>Zpracovat data a pak na kartě Filtr a uložte data na kartu Azure Data Exploreru.

    Snímek obrazovky znázorňující kartu Filtr a ingestování na kartu Azure Data Lake Storage Gen2, kde vyberete Start

  3. Zadejte název úlohy Stream Analytics a pak vyberte Vytvořit.

    Snímek obrazovky znázorňující, kde zadat název úlohy

  4. V okně Event Hubs zadejte typ serializace dat a metodu ověřování, kterou bude úloha používat pro připojení ke službě Event Hubs. Pak vyberte Připojit.
    Snímek obrazovky znázorňující konfiguraci připojení služby Event Hubs

  5. Když se připojení úspěšně naváže a máte datové proudy, které proudí do instance služby Event Hubs, okamžitě uvidíte dvě věci:

    • Pole, která se nacházejí ve vstupních datech Můžete zvolit Přidat pole nebo vybrat tři tečky vedle pole, které chcete odebrat, přejmenovat nebo změnit jeho typ.
      Snímek obrazovky se seznamem polí služby Event Hubs, kde můžete odebrat, přejmenovat nebo změnit typ pole
    • Živá ukázka příchozích dat v tabulce Náhled dat v zobrazení diagramu Pravidelně se aktualizuje. Pokud chcete zobrazit statické zobrazení ukázkových vstupních dat, můžete vybrat Možnost Pozastavit náhled streamování.
      Snímek obrazovky znázorňující ukázková data v části Náhled dat

  6. Výběrem dlaždice Filtr agregujte data. V oblasti Filtru vyberte pole pro filtrování příchozích dat pomocí podmínky.

    Snímek obrazovky znázorňující konfiguraci operátoru filtru

  7. Vyberte dlaždici Spravovat . Na konfiguračním panelu Spravovat pole zvolte pole, která chcete zobrazit do centra událostí. Pokud chcete přidat všechna pole, vyberte Přidat všechna pole.

    Snímek obrazovky znázorňující konfiguraci operátoru správy polí

  8. Vyberte dlaždici Azure Data Exploreru . Na konfiguračním panelu vyplňte potřebné parametry a připojte se.

    Poznámka:

    Tabulka musí existovat ve vybrané databázi a schéma tabulky musí přesně odpovídat počtu polí a jejich typům, které vygeneruje náhled dat.

    Snímek obrazovky znázorňující konfiguraci výstupu Kusto

  9. Pokud chcete zobrazit náhled dat, který se bude ingestovat v centru událostí, vyberte Získat statický náhled nebo aktualizovat statický náhled .
    Snímek obrazovky znázorňující možnost Získat statický náhled nebo Aktualizovat statický náhled

  10. Vyberte Uložit a pak vyberte Spustit úlohu Stream Analytics.
    Snímek obrazovky s možnostmi Uložit a Spustit

  11. Pokud chcete úlohu spustit, zadejte:

    • Počet jednotek streamování (SU), se kterými se úloha spouští. SU představuje množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme, abyste začali se třemi a pak podle potřeby upravte.
    • Zpracování chyb výstupních dat – Umožňuje určit požadované chování, když se výstup úlohy do cíle nezdaří kvůli chybám dat. Ve výchozím nastavení se vaše úloha opakuje, dokud operace zápisu nebude úspěšná. Můžete se také rozhodnout, že tyto výstupní události zahodíte.
      Snímek obrazovky znázorňující možnosti spuštění úlohy Stream Analytics, kde můžete změnit čas výstupu, nastavit počet jednotek streamování a vybrat možnosti zpracování chyb výstupních dat

  12. Po výběru možnosti Start se úloha spustí během dvou minut a metriky se otevřou v části karta níže.

    Snímek obrazovky znázorňující data metrik úloh po spuštění

    Úlohu můžete zobrazit také v části Zpracovat data na kartě Úlohy Stream Analytics. Vyberte Otevřít metriky , abyste ji mohli monitorovat nebo podle potřeby zastavit a restartovat.

    Snímek obrazovky s kartou Úlohy Stream Analytics, kde vidíte stav spuštěných úloh

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce geografického zotavení po havárii služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezaručuje přesně jeden výstup výstupu do výstupu služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako uživatel se službou Event Hubs jako vstupem, může během doby trvání převzetí služeb při selhání sledovat zpoždění vodoznaku a po dokončení převzetí služeb při selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním doporučujeme restartovat úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nedoporučujeme tento model používat pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Další kroky

Přečtěte si další informace o Azure Stream Analytics a o tom, jak monitorovat úlohu, kterou jste vytvořili.