Sdílet prostřednictvím

Filtrování a ingestování do Azure Synapse SQL pomocí Stream Analytics bez editoru kódu

  • Článek

Tento článek popisuje, jak můžete pomocí editoru kódu snadno vytvořit úlohu Stream Analytics. Průběžně čte ze služby Event Hubs, filtruje příchozí data a výsledky pak průběžně zapisuje do tabulky Synapse SQL.

Požadavky

  • Vaše prostředky služby Azure Event Hubs musí být veřejně přístupné a nemůžou být za bránou firewall ani zabezpečeny ve službě Azure Virtual Network.
  • Data ve službě Event Hubs musí být serializovaná ve formátu JSON, CSV nebo Avro.

Vývoj úlohy Stream Analytics pro filtrování a ingestování dat

Pomocí následujících kroků můžete vyvinout úlohu Stream Analytics pro filtrování a ingestování dat v reálném čase do tabulky Synapse SQL.

  1. Na webu Azure Portal vyhledejte a vyberte instanci služby Azure Event Hubs.

  2. Vyberte Funkce>zpracovávat data a na kartě Synapse SQL vyberte Spustit na kartě Filtr a ingestování.
    Snímek obrazovky znázorňující úvodní karty dat služby Event Hubs

  3. Zadejte název pro identifikaci úlohy Stream Analytics a pak vyberte Vytvořit.
    Snímek obrazovky s oknem nové úlohy Stream Analytics, kde zadáte název úlohy

  4. V okně Event Hubs zadejte typ serializace dat a metodu ověřování, kterou bude úloha používat pro připojení ke službě Event Hubs. Pak vyberte Připojit.
    Snímek obrazovky znázorňující konfiguraci připojení služby Event Hubs

  5. Když se připojení úspěšně naváže a máte datové proudy, které proudí do instance služby Event Hubs, okamžitě uvidíte dvě věci:

    • Pole, která se nacházejí ve vstupních datech Můžete zvolit Přidat pole nebo vybrat tři tečky vedle pole, které chcete odebrat, přejmenovat nebo změnit jeho typ.
      Snímek obrazovky se seznamem polí služby Event Hubs, kde můžete odebrat, přejmenovat nebo změnit typ pole
    • Živá ukázka příchozích dat v tabulce Náhled dat v zobrazení diagramu Pravidelně se aktualizuje. Pokud chcete zobrazit statické zobrazení ukázkových vstupních dat, můžete vybrat Možnost Pozastavit náhled streamování.
      Snímek obrazovky znázorňující ukázková data v části Náhled dat

  6. V oblasti Filtru vyberte pole pro filtrování příchozích dat pomocí podmínky.
    Snímek obrazovky znázorňující oblast filtru, ve které můžete filtrovat příchozí data pomocí podmínky

  7. Vyberte tabulku Synapse SQL a odešlete filtrovaná data:

    1. V rozevírací nabídce vyberte předplatné, databázi (název vyhrazeného fondu SQL) a metodu ověřování.
    2. Zadejte název tabulky, do které se budou ingestovat filtrovaná data. Vyberte Připojit.
      Snímek obrazovky zobrazující podrobnosti připojení tabulky Synapse SQL

    Poznámka:

    Schéma tabulky musí přesně odpovídat počtu polí a jejich typům, které generuje náhled dat.

  8. Pokud chcete zobrazit náhled dat, který se bude ingestovat ve vybrané tabulce Synapse SQL, můžete také vybrat možnost Získat statickou verzi Preview nebo Aktualizovat statickou verzi Preview .
    Snímek obrazovky znázorňující možnost Získat statický náhled nebo Aktualizovat statický náhled

  9. Vyberte Uložit a pak vyberte Spustit úlohu Stream Analytics.
    Snímek obrazovky s možnostmi Uložit a Spustit

  10. Pokud chcete úlohu spustit, zadejte:

    • Počet jednotek streamování (SU), se kterými se úloha spouští. SU představuje množství výpočetních prostředků a paměti přidělené úloze. Doporučujeme, abyste začali se třemi a pak podle potřeby upravte.
    • Zpracování chyb výstupních dat – Umožňuje určit požadované chování, když se výstup úlohy do cíle nezdaří kvůli chybám dat. Ve výchozím nastavení se vaše úloha opakuje, dokud operace zápisu nebude úspěšná. Můžete se také rozhodnout, že tyto výstupní události zahodíte.
      Snímek obrazovky znázorňující možnosti spuštění úlohy Stream Analytics, kde můžete změnit čas výstupu, nastavit počet jednotek streamování a vybrat možnosti zpracování chyb výstupních dat

  11. Po výběru možnosti Start se úloha spustí během dvou minut a metriky se otevřou v části karta níže.

    Úlohu můžete zobrazit také v části Zpracovat data na kartě Úlohy Stream Analytics. Vyberte Otevřít metriky , abyste ji mohli monitorovat nebo podle potřeby zastavit a restartovat.

    Snímek obrazovky s kartou Úlohy Stream Analytics, kde vidíte stav spuštěných úloh

Důležité informace o použití funkce geografické replikace služby Event Hubs

Služba Azure Event Hubs nedávno spustila funkci geografické replikace ve verzi Public Preview. Tato funkce se liší od funkce geografického zotavení po havárii služby Azure Event Hubs.

Pokud je typ převzetí služeb při selhání vynucený a konzistence replikace asynchronní, úloha Stream Analytics nezaručuje přesně jeden výstup výstupu do výstupu služby Azure Event Hubs.

Azure Stream Analytics, jako producent s centrem událostí výstup, může sledovat zpoždění meze úlohy během doby trvání převzetí služeb při selhání a během omezování službou Event Hubs v případě, že prodleva replikace mezi primární a sekundární dosáhne maximální nakonfigurované prodlevy.

Azure Stream Analytics, jako uživatel se službou Event Hubs jako vstupem, může během doby trvání převzetí služeb při selhání sledovat zpoždění vodoznaku a po dokončení převzetí služeb při selhání může přeskočit data nebo najít duplicitní data.

Vzhledem k těmto upozorněním doporučujeme restartovat úlohu Stream Analytics s odpovídajícím časem spuštění hned po dokončení převzetí služeb při selhání služby Event Hubs. Vzhledem k tomu, že funkce geografické replikace služby Event Hubs je ve verzi Public Preview, nedoporučujeme tento model používat pro produkční úlohy Stream Analytics v tuto chvíli. Aktuální chování Stream Analytics se zlepší, než bude funkce geografické replikace služby Event Hubs obecně dostupná a dá se použít v produkčních úlohách Stream Analytics.

Další kroky

Přečtěte si další informace o Azure Stream Analytics a o tom, jak monitorovat úlohu, kterou jste vytvořili.