Registro de consultas

Importante

Azure HDInsight en AKS se retiró el 31 de enero de 2025. Aprenda más sobre en este anuncio.

Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.

Importante

Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias sobre características, envíe una solicitud en AskHDInsight con los detalles y síganos para recibir más actualizaciones sobre Comunidad de Azure HDInsight.

Trino admite escuchadores de eventos personalizados que se pueden usar para capturar eventos del ciclo de vida de las consultas. Puede crear sus propios agentes de escucha de eventos o usar un complemento integrado proporcionado por HDInsight en AKS que registra eventos en Azure Blob Storage.

Puede habilitar el registro de consultas integrado de dos maneras:

• Puede habilitar el registro de consultas incorporado durante la creación del clúster de Trino habilitando el catálogo de Hive.

• Puede habilitar el registro de consultas integrado en el clúster mediante una plantilla de ARM.

En este artículo se describe la adición del registro de consultas al clúster mediante una plantilla de ARM.

Prerrequisitos

• Un clúster de Trino operativo con HDInsight en AKS.
• Cree de plantilla de ARM para el clúster.
• Revise la plantilla de ARM del clúster completo ejemplo.
• Familiaridad con creación e implementación de plantillas de ARM.

Habilitación del registro de consultas

Para habilitar el complemento de registro de consultas incorporado en el clúster de Trino, agregue o actualice la sección clusterProfile.trinoProfile.userTelemetrySpec con las siguientes propiedades en la plantilla ARM del clúster.

Propiedad	Descripción
path	Ruta de acceso completa a un directorio usado como raíz para capturar registros de consulta diferentes.
hivecatalogName	Este catálogo se usa para montar tablas externas en los ficheros escritos en la cuenta de almacenamiento. Este Catálogo debe agregarse en tu Cluster, Agregar Catálogo de Hive.
hivecatalogSchema	El complemento de registro de consultas usa este esquema para montar la tabla externa para los registros, el complemento crea este esquema si aún no existe. Valor predeterminado: trinologs
partitionRetentionInDays	El complemento de registro de consultas elimina las particiones de las tablas de registro, que son anteriores a la configuración especificada. Valor predeterminado: 365

En el ejemplo siguiente se muestra cómo se habilita un registro de consultas en un clúster de Trino. Agregue este json de ejemplo en [*].properties.clusterProfile en la plantilla de ARM.

       "trinoProfile": { 
          "userTelemetrySpec": { 
          "storage": { 
              "path": "https://querylogstorageaccount.blob.core.windows.net/logs/trinoquerylogs", 
              "hivecatalogName": "hive", 
              "hivecatalogSchema": "trinologs", 
              "partitionRetentionInDays": 365 
          } 
          }
      }   

Implemente la plantilla de ARM actualizada para reflejar los cambios en el clúster. Aprenda a implementar una plantilla de ARM.

Nota

• El complemento utiliza la identidad administrada asignada por el usuario (MSI) vinculada al clúster para autenticarse en el almacenamiento. Por favor, agregue acceso Contributor y Storage Blob Data Owner a la MSI para asegurarse de que el complemento pueda escribir registros en la cuenta de almacenamiento.
  El nombre MSI asignado por el usuario aparece en la propiedad msiResourceId en el json del recurso del clúster. Obtenga información sobre cómo asignar un rol.

• PartitionRetentionInDays solo quita la partición de metadatos de la tabla montada, no elimina los datos. Limpie los datos según sus requisitos si ya no es necesario.

Administración de metadatos

Si el usuario especifica un nombre de catálogo en la propiedad hiveCatalogName, el complemento monta los archivos de registro escritos en la cuenta de almacenamiento como tablas y vistas externas, que se pueden consultar usando Trino.

El complemento crea tres tablas y tres vistas, que se pueden usar para consultar los eventos del ciclo de vida (QueryCompletedEvent, QueryCreatedEventy SplitCompletedEVent). Estas vistas de tablas & se crean en el catálogo y el esquema proporcionados como entrada del usuario.

Nombre de tablas:

• querycompleted: contiene eventos de QueryCompleted desencadenados por Trino.
• querycreated: contiene QueryCreatedEvents activada por Trino.
• splitcompleted: contiene SplitCompletedEvents disparado por Trino.

Nombre de las vistas:

• vquerycompleted
• vquerycreated
• vsplitcompleted

Nota

Se recomienda a los usuarios que utilicen las vistas, ya que son inmunes a los cambios en el esquema subyacente y manejan las modificaciones de la tabla descrita.

Archivo de tablas

El complemento admite el archivado de la tabla (N-1) en el escenario en el que el usuario decide cambiar la ubicación de path o la ubicación externa de los registros. Si esto sucede, el complemento cambia el nombre de la tabla que apunta a la ruta de acceso antigua como <table_name>_archived, la vista creada unionará el resultado de las tablas actuales y archivadas en este escenario.

Creación del complemento personalizado

También puede crear un plugin de escucha de eventos personalizado. Siga las instrucciones en de los documentos. Implemente plugins personalizados siguiendo los pasos de implementación del plugin .