Partager via

Utilisation de fichiers divers

  • Article

Important

Azure HDInsight sur AKS a été mis hors service le 31 janvier 2025. En savoir plus avec cette annonce.

Vous devez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent pour éviter l’arrêt brusque de vos charges de travail.

Important

Cette fonctionnalité est actuellement en préversion. Les Conditions d’utilisation supplémentaires pour les préversions Microsoft Azure incluent des termes juridiques supplémentaires qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou qui ne sont pas encore publiées en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez informations sur Azure HDInsight sur AKS en préversion. Pour des questions ou des suggestions de fonctionnalités, envoyez une demande sur AskHDInsight avec les détails et suivez-nous pour plus de mises à jour sur Communauté Azure HDInsight.

Cet article fournit des détails sur la façon de spécifier et d’utiliser une configuration de fichiers divers.

Vous pouvez ajouter les configurations pour l’utilisation de fichiers divers dans votre cluster à l’aide d’un modèle ARM. Veuillez consulter Configuration du Servicepour obtenir des exemples plus larges.

Conditions préalables

Ajouter des fichiers divers

Chaque spécification de fichier dans le composant miscfiles sous clusterProfile.serviceConfigsProfiles dans le modèle ARM nécessite :

  • fileName: nom symbolique du fichier à utiliser comme référence dans d’autres configurations. Ce nom n’est pas un nom de fichier physique. Pour utiliser un fichier divers donné dans d'autres configurations, spécifiez ${MISC:\<fileName\>} et, sur AKS, HDInsight remplace cette balise par le chemin d'accès réel du fichier au moment de l'exécution, à condition que la valeur fournie respecte les conditions suivantes :

    • Contenir pas plus de 253 caractères
    • Contiennent uniquement des caractères alphanumériques minuscules, - ou .
    • Début et fin avec un caractère alphanumérique

  • path: chemin d’accès de fichier relatif, y compris le nom et l’extension de fichier le cas échéant. Trino avec HDInsight sur AKS garantit uniquement l’emplacement de chaque fichier divers donné par rapport à d’autres fichiers divers, autrement dit, le répertoire de base peut changer. Vous ne pouvez rien supposer du chemin absolu des fichiers divers, sauf qu’il se termine par la valeur spécifiée dans la propriété « path ».

  • content: chaîne échappée JSON avec contenu du fichier. Le format du contenu est spécifique à certaines fonctionnalités Trino et peut varier, par exemple, json pour groupes de ressources.

Note

La configuration incorrecte peut empêcher le démarrage du cluster Trino. Faites attention en ajoutant les configurations.

L’exemple suivant illustre

  • Ajoutez des exemples de groupes de ressources json et configurez le coordinateur pour l’utiliser.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Déployez le modèle ARM mis à jour pour refléter les modifications apportées à votre cluster. Découvrez comment déployer un modèle ARM.