Поделиться через

Использование различных файлов

  • Статья

Важный

Azure HDInsight на AKS выведен из эксплуатации 31 января 2025 г. Узнайте больше в этом объявлении.

Необходимо перенести рабочие нагрузки в Microsoft Fabric или эквивалентный продукт Azure, чтобы избежать резкого завершения рабочих нагрузок.

Важный

Эта функция сейчас доступна в предварительной версии. Дополнительные условия использования для предварительных версий Microsoft Azure включают дополнительные юридические термины, применимые к функциям Azure, которые находятся в бета-версии, в предварительной версии или в противном случае еще не выпущены в общую доступность. Сведения об этой конкретной предварительной версии см. в Azure HDInsight в предварительной версии AKS. Для вопросов или предложений функций отправьте запрос на AskHDInsight с подробными сведениями и следуйте за дополнительными обновлениями в Azure HDInsight Community.

В этой статье содержатся сведения о том, как указать и использовать конфигурацию других файлов.

Вы можете добавить конфигурации для использования других файлов в кластере с помощью шаблона ARM. Для более широких примеров см. в конфигурации службы .

Необходимые условия

Добавление других файлов

Для каждой спецификации файла в компоненте miscfiles в clusterProfile.serviceConfigsProfiles в шаблоне ARM требуются следующие требования:

  • fileName: символическое имя файла, используемого в качестве ссылки в других конфигурациях. Это имя не является физическим именем файла. Чтобы использовать данный вспомогательный файл в других конфигурациях, укажите ${MISC:\<fileName\>}. HDInsight на AKS заменяет этот тег фактическим путем к файлу во время выполнения программы. Указанный путь должен соответствовать следующим условиям:

    • Содержит не более 253 символов
    • Содержит только строчные буквенно-цифровые символы, - или .
    • Начинается и заканчивается буквенно-цифровым символом

  • path: относительный путь к файлу, включая имя файла и расширение, если применимо. Trino с HDInsight на AKS гарантирует только расположение каждого данного разнородного файла относительно других разнородных файлов, а базовый каталог может измениться. Вы не можете предположить что-либо об абсолютном пути к прочим файлам, за исключением того, что он заканчивается значением, указанным в свойстве path.

  • content: escape-строка JSON с содержимым файла. Формат содержимого зависит от определенных функциональных возможностей Trino и может отличаться, например json для групп ресурсов .

Заметка

Неправильное настройка может препятствовать запуску кластера Trino. Будьте осторожны при добавлении конфигураций.

В следующем примере показано

  • Добавьте пример группы ресурсов json и настройте координатора для его использования.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Разверните обновленный шаблон ARM, чтобы отразить изменения в кластере. Узнайте, как развернуть шаблон ARM .