Partage via

Gestion de la configuration Trino

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les informations en préversion sur Azure HDInsight sur AKS . Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Le cluster Trino avec HDInsight sur AKS est fourni avec la plupart des configurations par défaut de Trino open source. Cet article explique comment mettre à jour les fichiers de configuration et ajouter vos propres fichiers de configuration supplémentaires au cluster.

Vous pouvez ajouter/mettre à jour les configurations de deux façons :

Note

Trino avec HDInsight sur AKS applique certaines configurations et interdit la modification de certains fichiers et/ou propriétés. Cela permet de garantir une sécurité/connectivité appropriée via la configuration. L’exemple de fichiers/propriétés interdits inclut, mais n’est pas limité à :

  • jvm.config fichier à l’exception des paramètres de taille de heap.
  • Node.properties : node.id, node.data-dir, log.path, etc.
  • Config.properties: http-server.authentication.*, http-server.https.* etc.

Utilisation du portail Azure

Dans le portail Azure, vous pouvez modifier trois ensembles de configurations standard Trino:

  • log.properties
  • config.properties
  • node.properties

Suivez les étapes pour modifier les configurations :

  1. Connectez-vous au portail Azure.

  2. Dans la barre de recherche du portail Azure, tapez « HDInsight sur le cluster AKS », puis sélectionnez « Azure HDInsight sur les clusters AKS » dans la liste déroulante.

    Capture d’écran montrant l’option de recherche pour la prise en main de HDInsight sur le cluster AKS.

  3. Sélectionnez le nom de votre cluster dans la page de liste.

    Capture d’écran montrant la sélection du cluster AKS HDInsight dont vous avez besoin dans la liste.

  4. Accédez au panneau « Gestion de la configuration ».

    capture d’écran montrant la gestion de la configuration du portail Azure.

  5. Ajoutez ou mettez à jour les paires de valeurs de clé existantes pour les configurations que vous souhaitez modifier. Par exemple, config.properties -> Configurations personnalisées -> cliquez sur « Ajouter » pour ajouter un nouveau paramètre de configuration, puis cliquez sur Ok.

    Capture d’écran montrant la configuration personnalisée.

  6. Cliquez sur « Enregistrer » pour enregistrer les configurations.

    Capture d’écran montrant comment enregistrer la configuration.

Utilisation d’un modèle ARM

Conditions préalables

Gestion des clusters

Toutes les configurations Trino peuvent être spécifiées dans serviceConfigsProfiles.serviceName[“trino”] sous properties.clusterProfile.

L’exemple suivant se concentre sur coordinator/worker/miscfiles. Pour les catalogues, consultez Ajouter des catalogues à un cluster existant:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Il existe plusieurs composants qui contrôlent différents aspects de la configuration :

Nom du composant Propriétés requises/autorisées pour chaque spécification de fichier Description
commun filename, values Contient des fichiers de configuration pour le coordinateur et le travailleur.
coordinateur filename, values Contient uniquement des fichiers de configuration pour le coordinateur, remplace les valeurs courantes si elles sont présentes.
travailleur filename, values Contient des fichiers de configuration pour les workers uniquement, remplace les fichiers courants s’ils sont présents.
miscfiles filename, content Contient des fichiers de configuration divers fournis par l’utilisateur pour l’ensemble du cluster.
catalogues filename, contenu ou valeurs Contient des fichiers catalogue pour l’ensemble du cluster.

L’exemple suivant illustre :

  • Remplacez node.environment par défaut pour le cluster (affiché dans l’interface utilisateur Trino).
  • Remplacez les valeurs par défaut de config.properties pour le coordinateur et le worker.
  • Ajoutez des exemples de groupes de ressources json et configurez le coordinateur pour l’utiliser.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Déployez le modèle ARM mis à jour pour refléter les modifications apportées à votre cluster. Découvrez comment déployer un modèle ARM.