Nápady na řešení
Tento článek popisuje myšlenku řešení. Váš cloudový architekt může pomocí těchto pokynů vizualizovat hlavní komponenty pro typickou implementaci této architektury. Tento článek slouží jako výchozí bod k návrhu dobře navrženého řešení, které odpovídá konkrétním požadavkům vaší úlohy.
Tato myšlenka řešení popisuje, jak Azure Data Explorer poskytuje analýzy téměř v reálném čase pro rychlé tokování dat s velkým objemem streamovaných dat ze zařízení a senzorů Internetu věcí (IoT). Tento pracovní postup analýzy je součástí celkového řešení IoT, které integruje provozní a analytické úlohy se službou Azure Cosmos DB a Azure Data Explorerem.
Jupyter je ochranná známka příslušné společnosti. Použití této značky nevyžaduje žádné doporučení. Apache® a Apache Kafka® jsou registrované ochranné známky nebo ochranné známky Apache Software Foundation v USA a/nebo v jiných zemích. Použití těchto značek nevyžaduje žádné doporučení Apache Software Foundation.
Architektura
Stáhněte si soubor aplikace Visio s touto architekturou.
Tok dat
Azure Event Hubs, Azure IoT Hub nebo Kafka ingestují širokou škálu rychle proudících streamovaných dat, jako jsou protokoly, obchodní události a aktivity uživatelů.
Azure Functions nebo Azure Stream Analytics zpracovávají data téměř v reálném čase.
Azure Cosmos DB ukládá streamované zprávy ve formátu JSON, aby sloužila provozní aplikaci v reálném čase.
Azure Data Explorer ingestuje data pro analýzy pomocí svých konektorů pro Azure Event Hubs, Azure IoT Hub nebo Kafka pro nízkou latenci a vysokou propustnost.
Alternativně můžete ingestovat objekty blob z účtu Azure Blob Storage nebo Azure Data Lake Storage do Azure Data Exploreru pomocí datového připojení Event Gridu.
Data můžete také průběžně exportovat do Služby Azure Storage v komprimovaném, děleném formátu Apache Parquet a bezproblémově dotazovat data pomocí Azure Data Exploreru. Podrobnosti najdete v tématu Přehled průběžného exportu dat.
Aby data sloužila provozním i analytickým případům použití, můžou data směrovat do Azure Data Exploreru a Azure Cosmos DB paralelně nebo z Azure Cosmos DB do Azure Data Exploreru.
Transakce Azure Cosmos DB můžou aktivovat službu Azure Functions prostřednictvím kanálu změn. Funkce budou streamovat data do služby Event Hubs pro příjem dat do Azure Data Exploreru.
nebo
Azure Functions může volat Službu Azure Digital Twins prostřednictvím svého rozhraní API, která pak streamuje data do služby Event Hubs za účelem příjmu dat do Azure Data Exploreru.
Následující rozhraní získávají přehledy z dat uložených v Azure Data Exploreru:
- Vlastní analytické aplikace, které kombinují data z Azure Digital Twins a rozhraní API Azure Data Exploreru
- Řídicí panely analýzy téměř v reálném čase, které používají řídicí panely Azure Data Exploreru, Power BI nebo Grafana
- Upozornění a oznámení z konektoru Azure Data Exploreru pro Azure Logic Apps
- Webové uživatelské rozhraní Azure Data Exploreru, Kusto.Explorer a poznámkové bloky Jupyter
Azure Data Explorer se integruje s Azure Databricks a Azure Machine Learning a poskytuje služby strojového učení (ML). Modely ML můžete také vytvářet pomocí jiných nástrojů a služeb a exportovat je do Azure Data Exploreru pro vyhodnocování dat.
Komponenty
Tento nápad řešení používá následující komponenty Azure:
Průzkumník dat Azure
Azure Data Explorer je rychlá, plně spravovaná a vysoce škálovatelná analytická služba pro velké objemy dat. Azure Data Explorer dokáže analyzovat velké objemy streamovaných dat z aplikací, webů a zařízení IoT téměř v reálném čase a obsluhovat analytické aplikace a řídicí panely.
Azure Data Explorer poskytuje nativní pokročilou analýzu pro:
- Analýza časových řad.
- Rozpoznávání vzorů
- Detekce a prognózy anomálií
- Diagnostika anomálií pro kořenovou analýzu
Webové uživatelské rozhraní Azure Data Exploreru se připojuje ke clusterům Azure Data Exploreru, které pomáhají psát, spouštět a sdílet dotazovací jazyk Kusto příkazy a dotazy. Řídicí panely Azure Data Exploreru jsou funkcí webového uživatelského rozhraní Průzkumníka dat, která nativně exportuje dotazy Kusto do optimalizovaných řídicích panelů.
Další komponenty Azure
- Azure Cosmos DB je plně spravovaná a rychlá databázová služba NoSQL pro moderní vývoj aplikací s otevřenými rozhraními API pro libovolné škálování.
- Azure Digital Twins ukládá digitální modely fyzických prostředí, které pomáhají vytvářet řešení IoT nové generace, která modelují skutečný svět.
- Azure Event Hubs je plně spravovaná služba pro příjem dat v reálném čase.
- Azure IoT Hub umožňuje obousměrnou komunikaci mezi zařízeními IoT a cloudem Azure.
- Azure Synapse Link pro Azure Cosmos DB běží téměř v reálném čase analýzy provozních dat ve službě Azure Cosmos DB bez jakéhokoli dopadu na výkon nebo náklady na transakční úlohy. Synapse Link používá analytické moduly pro bezserverové a sparkové fondy SQL z pracovního prostoru Azure Synapse.
- Kafka ve službě HDInsight je jednoduchá nákladově efektivní služba na podnikové úrovni pro opensourcovou analýzu pomocí Apache Kafka.
Podrobnosti scénáře
Toto řešení využívá Azure Data Explorer k získání analýzy telemetrie IoT téměř v reálném čase při rychlém toku dat s velkým objemem streamování z široké škály zařízení IoT.
Potenciální případy použití
- Správa vozového parku pro prediktivní údržbu dílů vozidel. Toto řešení je ideální pro automobilový a dopravní průmysl.
- Správa zařízení pro optimalizaci energie a prostředí.
- Kombinace podmínek silničního provozu v reálném čase s daty o počasí pro bezpečnější autonomní řízení
Přispěvatelé
Tento článek spravuje Microsoft. Původně byla napsána následujícími přispěvateli.
Hlavní autor:
- Ornat Spodek | Vedoucí správce obsahu