Partager via

Utilisation de fichiers divers

  • Article

Remarque

Nous allons mettre hors service Azure HDInsight sur AKS le 31 janvier 2025. Avant le 31 janvier 2025, vous devrez migrer vos charges de travail vers Microsoft Fabric ou un produit Azure équivalent afin d’éviter leur arrêt brutal. Les clusters restants de votre abonnement seront arrêtés et supprimés de l’hôte.

Seul le support de base est disponible jusqu’à la date de mise hors service.

Important

Cette fonctionnalité est disponible actuellement en mode Aperçu. Les Conditions d’utilisation supplémentaires pour les préversions de Microsoft Azure contiennent davantage de conditions légales qui s’appliquent aux fonctionnalités Azure en version bêta, en préversion ou ne se trouvant pas encore en disponibilité générale. Pour plus d’informations sur cette préversion spécifique, consultez les Informations sur la préversion d’Azure HDInsight sur AKS. Pour toute question ou pour des suggestions à propos des fonctionnalités, veuillez envoyer vos requêtes et leurs détails sur AskHDInsight, et suivez-nous sur la Communauté Azure HDInsight pour plus de mises à jour.

Cet article fournit des détails sur la façon de spécifier et d’utiliser une configuration de fichiers divers.

Vous pouvez ajouter les configurations pour l’utilisation de fichiers divers dans votre cluster à l’aide d’un modèle ARM. Pour obtenir des exemples plus larges, reportez-vous à Configuration du service.

Prérequis

Ajouter des fichiers divers

Chaque spécification de fichier dans le composant miscfiles sous clusterProfile.serviceConfigsProfiles dans le modèle ARM nécessite :

  • fileName : nom symbolique du fichier à utiliser comme référence dans d’autres configurations. Ce nom n’est pas un nom de fichier physique. Pour utiliser un fichier divers donné dans d’autres configurations, spécifiez ${MISC:\<fileName\>}, et HDInsight sur AKS remplace cette étiquette par le chemin réel du fichier au moment de l’exécution, à condition que la valeur fournie remplisse les conditions suivantes :

    • Ne pas dépasser 253 caractères
    • Contiennent uniquement des caractères alphanumériques minuscules, - ou .
    • Commencer et se terminer avec un caractère alphanumérique

  • path : chemin d’accès relatif au fichier, y compris le nom de fichier et l’extension, le cas échéant. Trino avec HDInsight sur AKS garantit uniquement l’emplacement de chaque fichier divers donné relativement à d’autres fichiers divers, autrement dit, le répertoire de base peut changer. Vous ne pouvez rien supposer sur le chemin absolu des fichiers divers, sauf qu’il se termine par la valeur spécifiée dans la propriété « path ».

  • content : chaîne d’échappement JSON avec du contenu de fichier. Le format du contenu est spécifique à certaines fonctionnalités Trino et peut varier, par exemple, json pour des groupes de ressources.

Remarque

Une configuration incorrecte peut empêcher le démarrage du cluster Trino. Veillez à ajouter les configurations.

L’exemple suivant illustre ceci :

  • Ajoutez un exemple de code JSON de groupes de ressources et configurez le coordinateur pour l’utiliser.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Déployez le modèle ARM mis à jour pour refléter les modifications apportées à votre cluster. Découvrez comment déployer un modèle ARM.