Partage via

Configurer des catalogues

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les informations sur Azure HDInsight sur AKS dans la préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Chaque cluster Trino est fourni par défaut avec quelques catalogues - système, tpcds, tpch. Vous pouvez ajouter vos propres catalogues de la même façon que vous le feriez avec OSS Trino. En outre, Trino avec HDInsight sur AKS permet de stocker des secrets dans Key Vault afin que vous n’ayez pas à les spécifier explicitement dans le modèle ARM.

Vous pouvez ajouter un nouveau catalogue en mettant à jour votre modèle ARM de cluster à l’exception du catalogue hive, que vous pouvez ajouter pendant de création de cluster Trino dans le portail Azure.

Cet article montre comment ajouter un nouveau catalogue à votre cluster à l’aide d’un modèle ARM. L’exemple de cet article décrit les étapes d’ajout de catalogues SQL Server et Mémoire.

Conditions préalables

Étapes à suivre pour ajouter un catalogue dans un modèle ARM

  1. Attachez Key Vault et ajoutez des secrets à secretsProfile sous la propriété clusterProfile.

    Dans cette étape, vous devez vous assurer que Key Vault et les secrets sont configurés pour le cluster Trino. Dans l’exemple suivant, les informations d’identification du serveur SQL sont stockées dans ces secrets : trinotest-admin-user, trinotest-admin-pwd.

    "secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

  2. Ajoutez des catalogues à serviceConfigsProfiles sous la propriété clusterProfile.

    Dans cette étape, vous devez ajouter une configuration spécifique au catalogue Trino pour le cluster. L’exemple suivant configure deux catalogues à l’aide des connecteurs Mémoire et SQL Server. La configuration du catalogue peut être spécifiée de deux façons différentes :

    • Paires clé-valeur dans la section valeurs.
    • Chaîne unique dans la propriété de contenu.

    Le catalogue de mémoire est défini à l’aide d’une paire clé-valeur et le catalogue SQL Server est défini à l’aide d’une seule option de chaîne.

     "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

    propriétés

    Propriété Description
    serviceName trino
    composant Identifie que la section configure les catalogues et doit être « catalogues ».
    Fichiers Liste des fichiers catalogue Trino à ajouter au cluster.
    Nom de fichier Liste des fichiers catalogue Trino à ajouter au cluster.
    contenu json chaîne d’échappement à placer dans le fichier catalogue trino. Cette chaîne doit contenir toutes les propriétés de catalogue spécifiques à trino, qui dépendent du type de connecteur utilisé. Pour plus d'informations, consultez la documentation Trino OSS.
    ${SECRET_REF :<referenceName>} Balise spéciale pour référencer un secret à partir de secretsProfile. Trino lors de l’exécution récupère le secret à partir de Key Vault et le remplace dans la configuration du catalogue.
    Valeurs Il est possible de spécifier la configuration du catalogue à l’aide de la propriété de contenu sous forme de chaîne unique et d’utiliser des paires clé-valeur distinctes pour chaque propriété de catalogue Trino individuelle, comme indiqué pour le catalogue de mémoire.

Déployez le modèle ARM mis à jour pour refléter les modifications apportées à votre cluster. Découvrez comment déployer un modèle ARM.