Co je Azure Data Explorer?
Azure Data Explorer je plně spravovaná vysoce výkonná analytická platforma pro velké objemy dat, která umožňuje snadno analyzovat velké objemy dat téměř v reálném čase. Sada nástrojů Azure Data Exploreru poskytuje ucelené řešení pro příjem dat, dotazování, vizualizaci a správu.
Díky analýze strukturovaných, částečně strukturovaných a nestrukturovaných dat napříč časovými řadami a pomocí Machine Learning umožňuje Azure Data Explorer snadno extrahovat klíčové poznatky, spotové vzory a trendy a vytvářet modely prognóz. Azure Data Explorer používá tradiční relační model, který uspořádá data do tabulek se schématy silného typu. Tabulky jsou uložené v databázích a cluster může spravovat více databází. Azure Data Explorer je škálovatelný, zabezpečený, robustní a připravený pro podniky a je užitečný pro analýzy protokolů, analýzy časových řad, IoT a průzkumné analýzy pro obecné účely.
Funkce Azure Data Exploreru jsou rozšířeny dalšími službami založenými na dotazovacím jazyce: dotazovací jazyk Kusto (KQL). Mezi tyto služby patří protokoly Azure Monitoru, Application Insights, Time Series Insights a Microsoft Defender for Endpoint.
Kdy byste měli použít Azure Data Explorer?
Při rozhodování, jestli je Azure Data Explorer pro váš případ použití správný, vám pomůžou následující otázky:
- Interaktivní analýza: Je interaktivní analýza součástí řešení? Například agregace, korelace nebo detekce anomálií.
- Rozmanitost, rychlost, objem: Je vaše schéma různorodé? Potřebujete ingestovat obrovské objemy dat téměř v reálném čase?
- Organizace dat: Chcete analyzovat nezpracovaná data? Například ne plně kurátorované hvězdicové schéma.
- Souběžnost dotazů: Bude azure Data Explorer používat více uživatelů nebo procesů?
- Build vs Buy: Plánujete přizpůsobení datové platformy?
Azure Data Explorer je ideální pro umožnění interaktivních analytických funkcí s vysokou rychlostí a různorodými nezpracovanými daty. Pomocí následujícího rozhodovacího stromu se můžete rozhodnout, jestli je Azure Data Explorer pro vás nejvhodnější:
Čím je Azure Data Explorer jedinečný?
Rychlost, rozmanitost a objem dat
Pomocí Azure Data Exploreru můžete ingestovat terabajty dat v minutách prostřednictvím příjmu dat ve frontě nebo příjmu streamování. Můžete dotazovat petabajty dat s výsledky vrácenými v milisekundách na sekundy. Azure Data Explorer poskytuje vysokou rychlost (miliony událostí za sekundu), nízkou latenci (sekundy) a lineární příjem nezpracovaných dat. Ingestování dat v různých formátech a strukturách, tok z různých kanálů a zdrojů
Uživatelsky přívětivý dotazovací jazyk
Dotazování Azure Data Exploreru pomocí dotazovací jazyk Kusto (KQL) – opensourcového jazyka, který původně vymyslel tým. Jazyk je jednoduchý k pochopení a učení a k vysoké produktivitě. Můžete použít jednoduché operátory a pokročilou analýzu. Azure Data Explorer také podporuje T-SQL.
Pokročilé analýzy
Azure Data Explorer můžete použít k analýze časových řad s velkou sadou funkcí, mezi které patří: sčítání a odečítání časových řad, filtrování, regrese, zjišťování sezónnosti, geoprostorová analýza, detekce anomálií, skenování a prognózy. Funkce časových řad jsou optimalizované pro zpracování tisíců časových řad v sekundách. Detekce vzorů je snadná pomocí modulů plug-in clusteru, které můžou diagnostikovat anomálie a provádět analýzu původních příčin. Funkce Azure Data Exploreru můžete rozšířit také vložením kódu Pythonu do dotazů KQL.
Snadno použitelný průvodce
Díky prostředí pro získání dat je proces příjmu dat snadný, rychlý a intuitivní. Webové uživatelské rozhraní Azure Data Exploreru poskytuje intuitivní a řízené prostředí, které vám pomůže rychle začít ingestovat data, vytvářet databázové tabulky a mapovat struktury. Umožňuje jednorázově nebo nepřetržitý příjem dat z různých zdrojů a v různých formátech dat. Mapování tabulek a schéma se automaticky navrhují a snadno upravují.
Všestranná vizualizace dat
Vizualizace dat vám pomůže získat důležité přehledy. Azure Data Explorer nabízí předdefinované vizualizace a řídicí panely s podporou různých grafů a vizualizací. Má nativní integraci s Power BI, nativními konektory pro Grafana, Kibana a Databricks, podporu ODBC pro Tableau, Sisense, Qlik a další.
Automatické ingestování, zpracování a export
Azure Data Explorer podporuje uložené funkce na straně serveru, průběžné ingestování a průběžný export do Azure Data Lake Store. Podporuje také transformace mapování času příjmu dat na straně serveru, zásady aktualizace a předem naplánované agregace s materializovanými zobrazeními.
Tok Azure Data Exploreru
Následující diagram znázorňuje různé aspekty práce s Azure Data Explorerem.
Obecně platí, že při interakci s Azure Data Explorerem si projdete následující pracovní postup:
Poznámka:
K prostředkům Azure Data Exploreru můžete přistupovat buď ve webovém uživatelském rozhraní Azure Data Exploreru, nebo pomocí sad SDK.
Vytvoření databáze: Vytvoříte cluster a v něm pak jednu nebo více databází. Každý cluster Azure Data Exploreru může obsahovat až 10 000 databází a každou databázi až 10 000 tabulek. Data v každé tabulce jsou uložená v horizontálních oddílech dat označovaných také jako "rozsahy". Všechna data se automaticky indexují a rozdělují na základě času příjmu dat. To znamená, že můžete ukládat velké množství různých dat a díky tomu, jak jsou uložená, získáte rychlý přístup k dotazování. Rychlý start: Vytvoření clusteru a databáze Azure Data Exploreru
Ingestování dat: Načtete data do databázových tabulek, abyste se na ně mohli dotazovat spouštěním dotazů. Azure Data Explorer podporuje několik metod příjmu dat, z nichž každá má vlastní cílové scénáře. Mezi tyto metody patří nástroje pro příjem dat, konektory a moduly plug-in pro různé služby, spravované kanály, programový příjem dat pomocí sad SDK a přímý přístup k příjmu dat. Začněte pracovat s prostředím pro získání dat.
Databáze dotazů: Azure Data Explorer používá dotazovací jazyk Kusto, což je výrazný, intuitivní a vysoce produktivní dotazovací jazyk. Nabízí hladký přechod z jednoduchých oneřádkovačů na složité skripty pro zpracování dat a podporuje dotazování strukturovaných, částečně strukturovaných a nestrukturovaných dat (vyhledávání textu). Jazyk obsahuje celou řadu operátorů a funkcí dotazovacího jazyka (agregace, filtrování, funkce časových řad, geoprostorové funkce, spojení, sjednocení a další). KQL podporuje dotazy napříč clustery a křížovými databázemi a nabízí bohaté možnosti analýzy (json, XML a další). Jazyk také nativně podporuje pokročilou analýzu.
Pomocí webové aplikace můžete spouštět, kontrolovat a sdílet dotazy a výsledky. Dotazy můžete odesílat také prostřednictvím kódu programu (pomocí sady SDK) nebo do koncového bodu rozhraní REST API. Pokud znáte SQL, začněte s tahákem SQL do Kusto. Rychlý start: Dotazování dat ve webovém uživatelském rozhraní Azure Data Exploreru
Vizualizujte výsledky: Použijte různé vizuální zobrazení dat v nativních řídicích panelech Azure Data Exploreru. Výsledky můžete zobrazit také pomocí konektorů pro některé z předních vizualizačních služeb, jako jsou Power BI a Grafana. Azure Data Explorer má také podporu konektoru ODBC a JDBC pro nástroje, jako jsou Tableau a Sisense.
Jak poskytnout zpětnou vazbu
S radostí uslyšíme vaši zpětnou vazbu k Azure Data Exploreru a dotazovací jazyk Kusto na adrese: