Configurar catálogos

Artículo
09/20/2024

Importante

Azure HDInsight en AKS se retiró el 31 de enero de 2025. Obtenga más información con este comunicado.

Debe migrar las cargas de trabajo a microsoft Fabric o un producto equivalente de Azure para evitar la terminación repentina de las cargas de trabajo.

Importante

Esta característica está actualmente en versión preliminar. Los Términos de uso complementarios para las versiones preliminares de Microsoft Azure incluyen más términos legales que se aplican a las características de Azure que se encuentran en versión beta, en versión preliminar o, de lo contrario, aún no se han publicado en disponibilidad general. Para obtener información sobre esta versión preliminar específica, consulte información de la versión preliminar de Azure HDInsight en AKS. Para preguntas o sugerencias de características, envíe una solicitud en AskHDInsight con los detalles y síganos para obtener más actualizaciones sobre Comunidad de Azure HDInsight.

Cada clúster de Trino viene de forma predeterminada con algunos catálogos: sistema, tpcds, tpch. Puede agregar sus propios catálogos de la misma manera que lo haría con OSS Trino. Además, Trino con HDInsight en AKS permite almacenar secretos en Key Vault para que no tenga que especificarlos explícitamente en la plantilla de ARM.

Puede agregar un nuevo catálogo actualizando la plantilla de ARM del clúster, excepto el catálogo de Hive, que puede agregar durante creación de clústeres de Trino en Azure Portal.

En este artículo se muestra cómo puede agregar un nuevo catálogo al clúster mediante una plantilla de ARM. En el ejemplo de este artículo se describen los pasos para agregar catálogos de SQL Server y Memoria.

Prerrequisitos

Un clúster de Trino operativo con HDInsight en AKS.
Base de datos de Azure SQL.
El inicio de sesión y la contraseña de Azure SQL Server se almacenan en los secretos de Key Vault y la identidad asignada por el usuario (MSI) asociada al clúster de Trino a la cual se le han concedido permisos para leerlos. Consulte para almacenar las credenciales en Key Vault y asignar un rol al MSI.
Cree la plantilla de ARM para su clúster.
Familiaridad con creación e implementación de plantillas de ARM.
Revise el ejemplo de plantilla de ARM de clúster completo arm-trino-catalog-sample.json.

Pasos para agregar catálogos en la plantilla de ARM

Adjuntar Key Vault y agregar secretos a secretsProfile en la propiedad clusterProfile.

En este paso, debe asegurarse de que Key Vault y los secretos están configurados para el clúster de Trino. En el ejemplo siguiente, las credenciales de SQL Server se almacenan en estos secretos: trinotest-admin-user, trinotest-admin-pwd.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

Agregue catálogos a serviceConfigsProfiles bajo la propiedad clusterProfile.

En este paso, debe agregar la configuración de catálogo específica de Trino al clúster. En el ejemplo siguiente se configuran dos catálogos mediante conectores memory y SQL Server. La configuración del catálogo se puede especificar de dos maneras diferentes:

Pares clave-valor en la sección de valores.
Cadena única en la propiedad de contenido.

El catálogo de memoria se define mediante el par clave-valor y el catálogo de SQL Server se define mediante la opción de cadena única.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

propiedades

Propiedad	Descripción
nombreDelServicio	trino
componente	Identifica que la sección configura los catálogos, y estos deben ser "catálogos".
Archivos	Lista de archivos de catálogo de Trino que se van a agregar al clúster.
nombre de archivo	Lista de archivos de catálogo de Trino que se van a agregar al clúster.
contenido	`json` cadena de escape que se va a colocar en el archivo de catálogo de Trino. Esta cadena debe contener todas las propiedades de catálogo específicas de trino, que dependen del tipo de conector usado. Para obtener más información, consulte la documentación de OSS Trino.
${SECRET_REF:<referenceName>}	Etiqueta especial para hacer referencia a un secreto de secretsProfile. Trino en tiempo de ejecución obtiene el secreto de Key Vault y lo sustituye en la configuración del catálogo.
valores	Es posible especificar la configuración del catálogo mediante la propiedad content como una sola cadena y usar pares clave-valor independientes para cada propiedad de catálogo de Trino individual, como se muestra para el catálogo de memoria.

Implemente la plantilla de ARM actualizada para reflejar los cambios en el clúster. Obtenga información sobre cómo implementar una plantilla de ARM.

Compartir a través de

Configurar catálogos

Prerrequisitos

Pasos para agregar catálogos en la plantilla de ARM

Recursos adicionales