Upravit

Sdílet prostřednictvím

Analýzy velkých objemů dat s využitím Azure Data Exploreru

Azure Data Explorer
Azure Event Hubs
Azure IoT Hub
Azure Storage
Azure Synapse Analytics

Nápady na řešení

Tento článek popisuje myšlenku řešení. Váš cloudový architekt může pomocí těchto pokynů vizualizovat hlavní komponenty pro typickou implementaci této architektury. Tento článek slouží jako výchozí bod k návrhu dobře navrženého řešení, které odpovídá konkrétním požadavkům vaší úlohy.

Tato myšlenka řešení ukazuje analýzu velkých objemů dat nad velkými objemy vysokorychlostních dat z různých zdrojů.

Apache® a Apache Kafka® jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.

Architektura

Diagram znázorňující analýzy velkých objemů dat pomocí Azure Data Exploreru

Stáhněte si soubor aplikace Visio s touto architekturou.

Tok dat

  1. Nezpracovaná strukturovaná, částečně strukturovaná a nestrukturovaná (bezplatná textová) data, jako jsou jakýkoli typ protokolů, obchodní události a aktivity uživatelů, je možné ingestovat do Azure Data Exploreru z různých zdrojů.
  2. Ingestování dat do Azure Data Exploreru s nízkou latencí a vysokou propustností pomocí jejích konektorů pro Azure Data Factory, Azure Event Hubs, Azure IoT Hub, Kafka atd. Alternativně můžete ingestovat data prostřednictvím služby Azure Storage (Blob nebo ADLS Gen2), která používá Azure Event Grid a aktivuje kanál příjmu dat do Azure Data Exploreru. Data můžete také průběžně exportovat do Služby Azure Storage v komprimovaném, děleném formátu Parquet a bez problémů dotazovat tato data, jak je podrobně popsáno v přehledu průběžného exportu dat.
  3. Exportujte předem agregovaná data z Azure Data Exploreru do Služby Azure Storage a pak ingestujte data do Synapse Analytics, abyste mohli vytvářet datové modely a sestavy.
  4. Pomocí nativních funkcí Azure Data Exploreru můžete zpracovávat, agregovat a analyzovat data. Pokud chcete získat přehledy rychlostí blesku, sestavte řídicí panely analýzy téměř v reálném čase pomocí řídicích panelů Azure Data Exploreru, Power BI, Grafany nebo jiných nástrojů. Pomocí Azure Synapse Analytics můžete vytvořit moderní datový sklad a kombinovat ho s daty Azure Data Exploreru a generovat sestavy BI na kurátorovaných a agregovaných datových modelech.
  5. Azure Data Explorer poskytuje nativní pokročilé analytické funkce pro analýzu časových řad, rozpoznávání vzorů a detekci anomálií a prognózování. Azure Data Explorer je také dobře integrovaný se službami ML, jako jsou Databricks a Azure Machine Learning. Tato integrace umožňuje vytvářet modely pomocí jiných nástrojů a služeb a exportovat modely ML do Azure Data Exploreru pro vyhodnocování dat.

Komponenty

  • Azure Event Hubs: Plně spravovaná služba pro příjem dat v reálném čase, která je jednoduchá, důvěryhodná a škálovatelná.
  • Azure IoT Hub: Spravovaná služba umožňující obousměrnou komunikaci mezi zařízeními IoT a Azure.
  • Kafka ve službě HDInsight: Snadná nákladově efektivní služba na podnikové úrovni pro opensourcovou analýzu pomocí Apache Kafka.
  • Azure Data Explorer: Rychlá, plně spravovaná a vysoce škálovatelná služba analýzy dat pro analýzu velkých objemů dat streamovaných z aplikací, webů, zařízení IoT a dalších možností v reálném čase.
  • Řídicí panely Azure Data Exploreru: Nativně exportují dotazy Kusto, které byly prozkoumány ve webovém uživatelském rozhraní, do optimalizovaných řídicích panelů.
  • Azure Synapse Analytics: Analytická služba, která spojuje podnikové datové sklady a analýzy velkých objemů dat.

Podrobnosti scénáře

Potenciální případy použití

Toto řešení ukazuje, jak se Azure Data Explorer a Azure Synapse Analytics vzájemně doplňují pro případy použití téměř v reálném čase a moderní datové sklady.

Toto řešení už používají zákazníci Microsoftu. Například singapurské společnost pro jízdy, Grab, implementovala analýzu v reálném čase nad obrovským množstvím dat shromážděných z jejich taxislužby a služeb doručování potravin a také obchodních partnerských aplikací. Tým z Grab představil své řešení na MS Ignite v tomto videu (20:30 dál). Pomocí tohoto vzoru grab zpracoval více než bilión událostí za den.

Toto řešení je optimalizované pro maloobchod.

Přispěvatelé

Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.

Hlavní autor:

Pokud chcete zobrazit neveřejné profily LinkedIn, přihlaste se na LinkedIn.

Další kroky