Povolení statistik kontroly pro dotazy

Poznámka:

Azure HDInsight vyřadíme ze služby AKS 31. ledna 2025. Před 31. lednem 2025 budete muset migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure, abyste se vyhnuli náhlému ukončení úloh. Zbývající clustery ve vašem předplatném se zastaví a odeberou z hostitele.

Do data vyřazení bude k dispozici pouze základní podpora.

Důležité

Tato funkce je aktuálně dostupná jako ukázková verze. Doplňkové podmínky použití pro Microsoft Azure Preview obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nejsou vydány v obecné dostupnosti. Informace o této konkrétní verzi Preview najdete v tématu Azure HDInsight o službě AKS ve verzi Preview. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích v komunitě Azure HDInsight.

Datové týmy jsou často potřeba k prozkoumání výkonu nebo optimalizaci dotazů, aby se zlepšilo využití prostředků nebo splňovaly obchodní požadavky.

V Trino pro HDInsight v AKS byla přidána nová funkce, která uživateli umožňuje zachytit statistiky kontroly pro libovolný konektor. Tato funkce poskytuje hlubší přehled o profilu výkonu dotazů nad rámec toho, co je dostupné ve statistikách vytvořených Trino.

Tuto funkci můžete povolit pomocí vlastnosti collect_raw_scan_statisticsrelace a pomocí následujícího příkazu Trino:

SET SESSION collect_raw_scan_statistics=true

Po povolení mají zdrojové operátory v dotazu jako TableScanOperatorScanFilterAndProject atd. statistiky kontrol dat, členitost je pro každou instanci operátoru v kanálu.

Tip

Statistiky prohledávání jsou užitečné při identifikaci kritických bodů v případě, že cluster nebo dotaz nejsou omezené procesorem, a výkon čtení požadavků na dotazy. Pomáhá také pochopit profil spuštění dotazu z perspektivy rozdělené úrovně.

Poznámka:

V současné době je zachycený počet rozdělení na pracovní proces omezený na 1 000 kvůli omezením velikosti vytvořených dat. Pokud početrozděleních

Jak získat přístup ke statistikě kontroly

Jakmile je vlastnost relace nastavena, následné dotazy v relaci začnou zaznamenávat statistiky ze zdrojových operátorů, kdykoli jsou k dispozici. Existuje několik způsobů, jak můžou uživatelé využívat a analyzovat statistiky kontroly vygenerované pro dotaz.

Dotaz json

Karta Json na stránce podrobností dotazu poskytuje reprezentaci dotazu JSON, která zahrnovala statistiky v každé fázi kanálu dotazu. Když je vlastnost relace nastavena, json obsahuje nové pole volané scanStats v queryStats.operatorSummaries[*]. Pole obsahuje jeden objekt na instanci operátoru.

Následující příklad ukazuje json pro dotaz s povoleným statistikou hive connector a statistiku kontroly.

Poznámka:

Souhrn statistiky kontroly zahrnuje splitInfo, který je naplněn konektorem. To umožňuje uživatelům řídit, jaké informace o úložišti chtějí zahrnout do vlastních konektorů.

Uživatelské rozhraní Statistika skenování

Na stránce podrobností dotazu najdete novou kartu Scan Stats , která vizualizuje statistiky vytvořené touto funkcí a poskytuje přehledy o rozděleném výkonu jednotlivých pracovních procesů. Stránka umožňuje uživatelům zobrazit profil spuštění trino pro dotaz s informacemi, jako jsou souběžné čtení v průběhu času a propustnosti.

Následující příklad ukazuje stránku dotazu s povolenou statistikou kontroly.

Použití protokolovacího nástroje Microsoft Query**

Protokolovací nástroj Microsoft Query má integrovanou podporu pro tuto funkci. Pokud je tato funkce povolená, modul plug-in protokolovacího modulu dotazu naplní tabulku s názvem operatorstats tabulky událostí dotazu, tato tabulka je denormalizovaná, takže každá instance operátoru je pro každý dotaz jeden řádek.