Habilitación de estadísticas de exámenes para consultas
Nota:
Retiraremos Azure HDInsight en AKS el 31 de enero de 2025. Antes del 31 de enero de 2025, deberá migrar las cargas de trabajo a Microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo. Los clústeres restantes de la suscripción se detendrán y quitarán del host.
Solo el soporte técnico básico estará disponible hasta la fecha de retirada.
Importante
Esta funcionalidad actualmente está en su versión preliminar. En Términos de uso complementarios para las versiones preliminares de Microsoft Azure encontrará más términos legales que se aplican a las características de Azure que están en versión beta, en versión preliminar, o que todavía no se han lanzado con disponibilidad general. Para más información sobre esta versión preliminar específica, consulte la Información de Azure HDInsight sobre la versión preliminar de AKS. Para plantear preguntas o sugerencias sobre la característica, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.
A menudo, los equipos de datos son necesarios para investigar el rendimiento u optimizar las consultas para mejorar el uso de los recursos o satisfacer los requisitos empresariales.
Se ha agregado una nueva funcionalidad en Trino para HDInsight en AKS que permite al usuario capturar estadísticas de exámenes para cualquier conector. Esta funcionalidad proporciona información más detallada sobre el perfil de rendimiento de las consultas más allá de lo que está disponible en las estadísticas generadas por Trino.
Puede habilitar esta característica mediante la propiedad de sesión collect_raw_scan_statistics y el siguiente comando de Trino:
SET SESSION collect_raw_scan_statistics=true
Una vez habilitada, los operadores de origen de la consulta, como TableScanOperator o ScanFilterAndProject, tienen estadísticas sobre los exámenes de datos; la granularidad es por instancia de operador en una canalización.
Sugerencia
Las estadísticas de exámenes son útiles para identificar cuellos de botella cuando el clúster o la consulta no están restringidos por la CPU y el rendimiento de lectura de la consulta necesita investigación. También ayuda a comprender el perfil de ejecución de la consulta desde una perspectiva de nivel dividido.
Nota:
Actualmente, el número capturado de divisiones por rol de trabajo está limitado a 1000 debido a restricciones de tamaño de los datos generados. Si el número de divisiones por rol de trabajo para la consulta supera este límite, se devuelven las 1000 divisiones de ejecución más largas.
Cómo acceder a las estadísticas de exámenes
Una vez establecida la propiedad session, las consultas posteriores de la sesión comienzan a capturar las estadísticas de los operadores de origen siempre que estén disponibles. Hay varias maneras en las que los usuarios pueden consumir y analizar las estadísticas de exámenes generadas para una consulta.
Código JSON de la consulta
La pestaña JSON de la página Detalles de la consulta proporciona la representación JSON de la consulta, que incluye estadísticas de cada fase y canalización de la consulta. Cuando se establece la propiedad session, el código JSON incluye un nuevo campo llamado scanStats en queryStats.operatorSummaries[*]. La matriz contiene un objeto por cada instancia del operador.
En el ejemplo siguiente, se muestra código JSON para una consulta mediante hive connector y la opción de estadísticas de exámenes habilitada.
Nota:
El resumen de estadísticas de exámenes incluye el elemento splitInfo, el cual rellena el conector. Esto permite a los usuarios controlar la información sobre el almacén que les gustaría incluir en sus conectores personalizados.
Interfaz de usuario de estadísticas de exámenes
Puede encontrar una nueva pestaña llamada Scan Stats en la página Detalles de la consulta que visualiza las estadísticas generadas por esta característica y proporciona información sobre el rendimiento detallado de cada rol de trabajo. La página permite a los usuarios ver el perfil de ejecución de Trino para la consulta, con información como las lecturas simultáneas a lo largo del tiempo y el rendimiento.
En el ejemplo siguiente, se muestra una página para una consulta con la opción de estadísticas de exámenes habilitada.
Uso del registrador de consultas de Microsoft**
El registrador de consultas de Microsoft tiene compatibilidad integrada con esta característica. Cuando se habilita con esta característica, el complemento del registrador de consultas rellena una tabla llamada operatorstats junto con la tabla de eventos de consultas; esta tabla está desnormalizada para que cada instancia de operador sea una fila para cada consulta.