Sdílet prostřednictvím

Materializace dat ve službě Azure Cosmos DB pomocí Stream Analytics bez editoru kódu

  • Článek

Tento článek popisuje, jak můžete pomocí editoru kódu snadno vytvořit úlohu Stream Analytics. Úloha se průběžně čte ze služby Event Hubs a provádí agregace, jako je počet, součet a průměr. Vyberete pole, která se mají seskupit podle časového intervalu, a pak úloha zapíše výsledky nepřetržitě do služby Azure Cosmos DB.

Požadavky

  • Vaše prostředky Azure Event Hubs a Azure Cosmos DB musí být veřejně přístupné a nemůžou být za bránou firewall ani zabezpečeny ve službě Azure Virtual Network.
  • Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Vývoj úlohy Stream Analytics

Pomocí následujících kroků můžete vyvinout úlohu Stream Analytics pro materializaci dat ve službě Azure Cosmos DB.

  1. Na webu Azure Portal vyhledejte a vyberte instanci služby Azure Event Hubs.
  2. V části Funkce vyberte Zpracovat data. Pak na kartě s názvem Materialize Data ve službě Azure Cosmos DB vyberte Spustit.
    Snímek obrazovky znázorňující Tok dat Zahájení materializace
  3. Zadejte název úlohy a vyberte Vytvořit.
  4. Zadejte typ serializace dat v centru událostí a metodu ověřování, kterou úloha použije pro připojení ke službě Event Hubs. Pak vyberte Připojit.
  5. Pokud je připojení úspěšné a máte datové proudy, které proudí do instance služby Event Hubs, okamžitě uvidíte dvě věci:
    • Pole, která jsou ve vstupní datové části. Vyberte tři tečky vedle pole, volitelně odeberte, přejmenujte nebo změňte datový typ pole.
      Snímek obrazovky znázorňující pole centra událostí vstupních dat, která můžete zkontrolovat
    • Ukázka vstupních dat v dolním podokně v náhledu dat , která se pravidelně aktualizují. Pokud dáváte přednost statickému zobrazení ukázkových vstupních dat, můžete vybrat možnost Pozastavit náhled streamování.
      Snímek obrazovky znázorňující ukázková vstupní data
  6. V dalším kroku zadáte pole a agregaci , kterou chcete vypočítat, například Průměr a Počet. Můžete také zadat pole, podle kterého chcete seskupit spolu s časovým oknem. Výsledky kroku pak můžete ověřit v části Náhled dat.
    Snímek obrazovky znázorňující oblast Seskupovat podle
  7. Zvolte databázi a kontejner Cosmos DB, do kterého chcete zapisovat výsledky.
  8. Spusťte úlohu Stream Analytics tak , že vyberete Start.
    Snímek obrazovky znázorňující definici, kde vyberete Start
    Pokud chcete úlohu spustit, musíte zadat:
    • Počet jednotek streamování (SU), se kterými se úloha spouští. SU představují množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme začít se třemi a podle potřeby je upravit.
    • Zpracování chyb výstupních dat umožňuje určit požadované chování, když se výstup úlohy do cíle nezdaří kvůli chybám dat. Ve výchozím nastavení se vaše úloha opakuje, dokud operace zápisu nebude úspěšná. Můžete také zvolit, jestli chcete vynechat výstupní události.
  9. Po výběru možnosti Spustit se úloha spustí do dvou minut. Zobrazte úlohu v části Zpracovat data na kartě Úlohy Stream Analytics. Můžete prozkoumat metriky úloh a podle potřeby je zastavit a restartovat.

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce geografického zotavení po havárii služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezaručuje přesně jeden výstup výstupu do výstupu služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako uživatel se službou Event Hubs jako vstupem, může během doby trvání převzetí služeb při selhání sledovat zpoždění vodoznaku a po dokončení převzetí služeb při selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním doporučujeme restartovat úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nedoporučujeme tento model používat pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Další kroky

Teď víte, jak pomocí editoru kódu Stream Analytics vyvíjet úlohu, která čte ze služby Event Hubs a počítá agregace, jako jsou počty, průměry a zápisy do vašeho prostředku služby Azure Cosmos DB.