Výstup Azure Data Exploreru z Azure Stream Analytics
Azure Data Explorer můžete použít jako výstup pro analýzu velkých objemů různorodých dat z libovolného zdroje dat, jako jsou weby, aplikace a zařízení IoT (Internet of Things). Azure Data Explorer je rychlá a vysoce škálovatelná služba pro zkoumání dat protokolů a telemetrie. Pomáhá zpracovávat mnoho datových proudů, které moderní software generuje, abyste mohli shromažďovat, ukládat a analyzovat data. Tato data se používají pro diagnostiku, monitorování, vytváření sestav, strojové učení a další možnosti analýzy.
Azure Data Explorer podporuje několik metod příjmu dat, včetně konektorů pro běžné služby, jako jsou Azure Event Hubs, programového příjmu prostřednictvím sad SDK, jako jsou .NET a Python, a přímý přístup k modulu pro účely zkoumání. Azure Data Explorer se integruje se službami analýzy a modelování, díky čemuž umožňuje provádět rozšířené analýzy a vizualizace dat.
Další informace o Azure Data Exploreru najdete v tématu Co je Azure Data Explorer?
Další informace o tom, jak vytvořit cluster Azure Data Exploreru pomocí webu Azure Portal, najdete v tématu Rychlý start: Vytvoření clusteru a databáze Azure Data Exploreru.
Poznámka:
Azure Data Explorer z Azure Stream Analytics podporuje výstup do Azure Synapse Data Exploreru. Pokud chcete zapisovat do clusterů v Průzkumníku dat Azure Synapse, zadejte adresu URL clusteru v podokně konfigurace výstupu Azure Data Exploreru v úloze Azure Stream Analytics.
Konfigurace výstupu
Následující tabulka uvádí názvy vlastností a jejich popisy pro vytvoření výstupu Azure Data Exploreru.
| Název vlastnosti | Popis |
|---|---|
| Alias pro výstup | Popisný název, který se používá v dotazech k nasměrování výstupu dotazu do této databáze. |
| Předplatné | Předplatné Azure, které chcete použít pro váš cluster. |
| Cluster | Jedinečný název, který identifikuje váš cluster. Název domény <region.kusto.windows.net> se připojí k zadanému názvu clusteru. Název může obsahovat jenom malá písmena a číslice. Musí obsahovat 4 až 22 znaků. |
| Databáze | Název databáze, do které odesíláte výstup. Název databáze musí být v rámci clusteru jedinečný. |
| Authentication | Spravovaná identita z Microsoft Entra ID, která vašemu clusteru umožňuje snadný přístup k dalším prostředkům chráněným microsoftem Entra, jako je Azure Key Vault. Identitu spravuje platforma Azure a nevyžaduje, abyste zřizovali nebo rotovali tajné kódy. Konfigurace spravované identity se v současné době podporuje jenom kvůli povolení klíčů spravovaných zákazníkem pro váš cluster. |
| Table | Název tabulky, do které se zapisuje výstup. V názvu tabulky se rozlišují malá a velká písmena. Schéma této tabulky by mělo přesně odpovídat počtu polí a jejich typům, které výstup úlohy vygeneruje. |
dělení na části
Je potřeba povolit dělení a je založená na PARTITION BY klauzuli v dotazu. Pokud je povolená možnost Dědit dělení, řídí se vstupním dělením pro plně paralelizovatelné dotazy.
Kdy použít Azure Stream Analytics a Azure Data Explorer
Mezi charakteristiky Azure Stream Analytics patří:
- Modul pro zpracování datových proudů: průběžná analýza v reálném čase
- Na základě úlohy
- Okno zpětného vyhledávání o 1 milisekundách až 7 dnů pro dočasnou analýzu v paměti a zpracování datových proudů
- Příjem dat ze služby Azure Event Hubs a Azure IoT Hubu s nízkou latencí
Mezi charakteristiky Azure Data Exploreru patří:
- Analytický modul: interaktivní analýza v reálném čase na vyžádání
- Streamování příjmu dat do trvalého úložiště dat spolu s možnostmi dotazování
- Příjem dat ze služeb Event Hubs, IoT Hub, Azure Blob Storage, Azure Data Lake Storage, Kafka, Logstash, Spark a Azure Data Factory
- Latence 10 sekund až 5 minut pro úlohy s vysokou propustností
- Jednoduchá transformace dat prostřednictvím zásad aktualizace během příjmu dat
Rozsah analýz v reálném čase můžete výrazně rozšířit pomocí Azure Stream Analytics a Azure Data Exploreru společně. Tady je několik scénářů:
- Stream Analytics identifikuje anomálie v reálném čase a Azure Data Explorer pomáhá určit, jak a proč k nim došlo prostřednictvím interaktivního zkoumání.
- Stream Analytics deserializuje příchozí datové proudy pro použití v Azure Data Exploreru (například formát ingest Protobuf pomocí vlastního deserializátoru nebo vlastních binárních formátů).
- Stream Analytics může agregovat, filtrovat, rozšiřovat a transformovat příchozí datové proudy pro použití v Azure Data Exploreru.
Další scénáře a omezení
- Název sloupců a datových typů by se měl shodovat s dotazem SQL azure Stream Analytics a tabulkou Azure Data Exploreru. V porovnání se rozlišují malá a velká písmena.
- Sloupce, které existují v clusterech Azure Data Exploreru, ale v Azure Stream Analytics chybí, se ignorují. Sloupce, které v Azure Stream Analytics chybí, vyvolávají chybu.
- Pořadí sloupců v dotazu Azure Stream Analytics nezáleží. Schéma tabulky Azure Data Exploreru určuje pořadí.
- Azure Data Explorer má zásadu agregace (dávkování) pro příjem dat, která je navržená tak, aby optimalizovala proces příjmu dat. Ve výchozím nastavení je zásada nakonfigurovaná na 5 minut, 1 000 položek nebo 1 GB dat, takže můžete zaznamenat latenci. Pokud chcete snížit latenci, povolte příjem dat streamování v clusteru a potom tabulku nebo databázi podle pokynů v tématu Konfigurace příjmu streamovaných dat v clusteru Azure Data Exploreru. Možnosti agregace najdete v tématu Zásady příjmu dat.