Sdílet prostřednictvím

Použití editoru bez kódu Azure Stream Analytics k transformaci a ukládání dat v databázi Azure SQL

  • Článek

Tento článek popisuje, jak můžete pomocí editoru kódu snadno vytvořit úlohu Stream Analytics, která průběžně čte data z instance služby Event Hubs (centrum událostí), transformuje data a pak zapisuje výsledky do databáze Azure SQL.

Požadavky

Vaše prostředky služby Azure Event Hubs a Azure SQL Database musí být veřejně přístupné a nesmí se nacházet za bránou firewall nebo zabezpečenou ve službě Azure Virtual Network. Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Pokud chcete vyzkoušet kroky v tomto článku, postupujte takto.

  • Pokud ho ještě nemáte, vytvořte centrum událostí. Vygenerujte data v centru událostí. Na stránce Instance služby Event Hubs v nabídce vlevo vyberte Vygenerovat data (Preview), vyberte Burzovní data pro datovou sadu a pak vyberte Odeslat a odešlete ukázková data do centra událostí. Tento krok je povinný, pokud chcete otestovat kroky v tomto článku.

    Snímek obrazovky se stránkou Generovat data (Preview) instance služby Event Hubs

  • Vytvořte databázi Azure SQL. Tady je několik důležitých bodů, které je potřeba při vytváření databáze poznamenat.

    1. Na stránce Základy vyberte Vytvořit nový pro server. Potom na stránce Vytvořit server služby SQL Database vyberte Použít ověřování SQL a zadejte ID uživatele a heslo správce.

    2. Na stránce Sítě postupujte takto:

      1. Povolte veřejný koncový bod.
      2. U možnosti Povolit službám a prostředkům Azure přístup k tomuto serveru vyberte Ano.
      3. U možnosti Přidat aktuální IP adresu klienta vyberte Ano.

    3. Na stránce Další nastavení vyberte Možnost Žádné pro použití existujících dat.

    4. V článku přeskočte kroky v částech Dotazování databáze a Vyčištění prostředků .

    5. Pokud chcete otestovat kroky, vytvořte v databázi SQL tabulku pomocí editoru dotazů (Preview).

      create table stocks (
    symbol varchar(4),
    price decimal
)

Vytvoření úlohy Stream Analytics pomocí editoru bez kódu

V této části vytvoříte úlohu Azure Stream Analytics pomocí editoru bez kódu. Úloha transformuje streamování dat z instance služby Event Hubs (centrum událostí) a uloží výsledná data do databáze Azure SQL.

  1. Na webu Azure Portal přejděte na stránku Instance služby Event Hubs pro vaše centrum událostí.

  2. V nabídce vlevo vyberte Funkce>Zpracovat data a pak na kartě Transformace a ukládání dat do databázové karty SQL vyberte Start.

    Snímek obrazovky znázorňující kartu Filtr a ingestování na kartu ADLS Gen2, kde vyberete Start

  3. Zadejte název úlohy Stream Analytics a pak vyberte Vytvořit. Vpravo se zobrazí diagram úlohy Stream Analytics s oknem Event Hubs.

    Snímek obrazovky znázorňující, kde zadat název úlohy

  4. V okně centra událostí zkontrolujte nastavení serializace a režimu ověřování a vyberte Připojit.

    Snímek obrazovky znázorňující konfiguraci připojení služby Event Hubs

  5. Když se připojení úspěšně naváže a máte data v instanci služby Event Hubs, zobrazí se dvě věci:

    • Pole, která se nacházejí ve vstupních datech Můžete zvolit Přidat pole nebo vybrat tři tečky vedle pole, které chcete odebrat, přejmenovat nebo změnit jeho typ.

      Snímek obrazovky se seznamem polí služby Event Hubs, kde můžete odebrat, přejmenovat nebo změnit typ pole

    • Živá ukázka příchozích dat v tabulce Náhled dat v zobrazení diagramu Pravidelně se aktualizuje. Pokud chcete zobrazit statické zobrazení ukázkových vstupních dat, můžete vybrat Možnost Pozastavit náhled streamování.

      Snímek obrazovky znázorňující ukázková data v části Náhled dat

  6. Vyberte dlaždici Seskupit podle a agregujte data. Na panelu Seskupit podle konfigurace můžete zadat pole, podle kterého chcete seskupit, spolu s časovým oknem.

    V následujícím příkladu se používá průměr ceny a symbolu .

    Snímek obrazovky znázorňující konfiguraci operátora seskupení

  7. Výsledky kroku můžete ověřit v části Náhled dat.

    Snímek obrazovky znázorňující náhled dat pro skupinu podle operátoru

  8. Vyberte dlaždici Spravovat pole . V konfiguračním panelu Spravovat pole zvolte pole, která chcete zobrazit, výběrem možnosti Přidat pole ->Importované schéma –> pole.

    Pokud chcete přidat všechna pole, vyberte Přidat všechna pole. Při přidávání pole můžete pro výstup zadat jiný název. Například AVG_Value na Value. Po uložení výběrů se data zobrazí v podokně Náhled dat.

    V následujícím příkladu jsou vybrány symboly a AVG_Value . Symbol se mapuje na symbol a AVG_Value se mapuje na cenu.

    Snímek obrazovky znázorňující konfiguraci operátoru správy polí

  9. Vyberte dlaždici SQL . Na konfiguračním panelu služby SQL Database vyplňte potřebné parametry a připojte se. Pokud chcete, aby se tabulka automaticky vybrala, vyberte Možnost Načíst existující tabulku . V následujícím příkladu [dbo].[stocks] je vybrán. Pak vyberte Připojit.

    Poznámka:

    Schéma tabulky, kterou zvolíte k zápisu, musí přesně odpovídat počtu polí a jejich typům, které generuje náhled dat.

    Snímek obrazovky znázorňující konfiguraci výstupu databáze SQL

  10. V podokně Náhled dat se zobrazí náhled dat přijatý v databázi SQL.

    Snímek obrazovky znázorňující možnost Získat statický náhled nebo Aktualizovat statický náhled

  11. Vyberte Uložit a pak vyberte Spustit úlohu Stream Analytics.

    Snímek obrazovky s možnostmi Uložit a Spustit

  12. Pokud chcete úlohu spustit, zadejte:

    • Počet jednotek streamování (SU), se kterými se úloha spouští. SU představuje množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme, abyste začali se třemi a pak podle potřeby upravte.

    • Zpracování chyb výstupních dat – Umožňuje určit požadované chování, když se výstup úlohy do cíle nezdaří kvůli chybám dat. Ve výchozím nastavení se vaše úloha opakuje, dokud operace zápisu nebude úspěšná. Můžete se také rozhodnout, že tyto výstupní události zahodíte.

      Snímek obrazovky znázorňující možnosti spuštění úlohy Stream Analytics, kde můžete změnit čas výstupu, nastavit počet jednotek streamování a vybrat možnosti zpracování chyb výstupních dat

  13. Po výběru možnosti Spustit se úloha spustí do dvou minut. V dolním podokně se zobrazí panel metrik . Aktualizace tohoto panelu nějakou dobu trvá. Výběrem možnosti Aktualizovat v pravém horním rohu panelu graf aktualizujte. Přejděte k dalšímu kroku na samostatné kartě nebo okně webového prohlížeče.

    Snímek obrazovky znázorňující metriky úlohy po jejím spuštění

    Úlohu můžete zobrazit také v části Zpracovat data na kartě Úlohy Stream Analytics. Vyberte Otevřít metriky , abyste ji mohli monitorovat nebo podle potřeby zastavit a restartovat.

    Snímek obrazovky s kartou Úlohy Stream Analytics, kde vidíte stav spuštěných úloh

  14. Přejděte do centra událostí na portálu v samostatném okně prohlížeče nebo kartě a znovu odešlete ukázková data akcií (jak jste to udělali v požadavcích). Na stránce Instance služby Event Hubs v nabídce vlevo vyberte Vygenerovat data (Preview), vyberte Burzovní data pro datovou sadu a pak vyberte Odeslat a odešlete ukázková data do centra událostí. Zobrazení panelu Metriky trvá několik minut.

  15. Měli byste vidět záznamy vložené do databáze Azure SQL.

    Snímek obrazovky znázorňující obsah tabulky akcie v databázi

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce geografického zotavení po havárii služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezaručuje přesně jeden výstup výstupu do výstupu služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako uživatel se službou Event Hubs jako vstupem, může během doby trvání převzetí služeb při selhání sledovat zpoždění vodoznaku a po dokončení převzetí služeb při selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním doporučujeme restartovat úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nedoporučujeme tento model používat pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Další kroky

Přečtěte si další informace o Azure Stream Analytics a o tom, jak monitorovat úlohu, kterou jste vytvořili.