Správa konfigurace Trino

Článek
09/20/2024

Důležitý

Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Zjistěte více s tímto oznámením.

Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.

Důležitý

Tato funkce je aktuálně ve verzi Preview. doplňkové podmínky použití pro verze Preview Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, které jsou v beta verzi, ve verzi Preview nebo ještě nebyly vydány ve všeobecné dostupnosti. Informace o této specifické verzi Preview najdete v tématu Azure HDInsight ve službě AKS. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost o AskHDInsight s podrobnostmi a sledujte nás o dalších aktualizacích komunity Azure HDInsight.

Cluster Trino se službou HDInsight v AKS obsahuje většinu výchozích konfigurací opensourcového Trino. Tento článek popisuje, jak aktualizovat konfigurační soubory a přidat do clusteru vlastní doplňkové konfigurační soubory.

Konfigurace můžete přidat nebo aktualizovat dvěma způsoby:

pomocí Azure portálu
Použití šablony ARM

Poznámka

Trino se službou HDInsight v AKS vynucuje určité konfigurace a zakazuje úpravy některých souborů nebo vlastností. To se provádí, aby se zajistilo správné zabezpečení a připojení prostřednictvím konfigurace. Příklad zakázaných souborů/vlastností zahrnuje, ale není omezen na:

jvm.config soubor s výjimkou nastavení velikosti haldy.
Node.properties: node.id, node.data-dir, log.path atd.
Config.properties: http-server.authentication.*, http-server.https.* etc.

Použití webu Azure Portal

Na webu Azure Portal můžete upravit tři sady standardních konfigurací Trino:

log.properties
config.properties
node.properties

Podle kroků upravte konfigurace:

Přihlaste se do portálu Azure.
Na panelu hledání na webu Azure Portal zadejte "HDInsight v clusteru AKS" a v rozevíracím seznamu vyberte Azure HDInsight v clusterech AKS.
Na stránce seznamu vyberte název clusteru.
Přejděte do záložky Správa konfigurace.
Přidejte nové nebo aktualizujte existující páry klíč-hodnota pro konfigurace, které chcete upravit. Například config.properties -> Vlastní konfigurace -> kliknutím na tlačítko Přidat přidat nové nastavení konfigurace a poté klepněte na tlačítko OK.
Kliknutím na Uložit uložte konfigurace.

Použití šablony ARM

Požadavky

Provozní cluster Trino se službou HDInsight v AKS.
Vytvořte šablonu ARM pro váš cluster.
Projděte si úplnou ukázku clusteru šablony ARM.
Znalost vytváření a nasazování šablon ARM.

Správa clusteru

Všechny konfigurace Trino lze zadat v serviceConfigsProfiles.serviceName[“trino”] pod částí properties.clusterProfile.

Následující příklad se zaměřuje na coordinator/worker/miscfiles. Pro katalogy viz Přidání katalogů do existujícího clusteru:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Existuje několik komponent, které řídí různé aspekty konfigurace:

Název komponenty	Požadované/povolené vlastnosti pro každou specifikaci souboru	Popis
společný	`filename`, `values`	Obsahuje konfigurační soubory pro koordinátora i pracovní proces.
koordinátor	`filename`, `values`	Obsahuje konfigurační soubory pouze pro koordinátory, přepíše běžné, pokud jsou k dispozici.
dělník	`filename`, `values`	Obsahuje pouze konfigurační soubory pro pracovní procesy, přepíše běžné, pokud jsou k dispozici.
`miscfiles`	`filename`, `content`	Obsahuje různé konfigurační soubory poskytované uživatelem pro celý cluster.
Katalogy	`filename`, obsah nebo hodnoty	Obsahuje soubory katalogu pro celý cluster.

Následující příklad ukazuje:

Přepsat výchozí nastavení "node.environment" pro cluster, zobrazený v uživatelském rozhraní Trino.
Přepsat výchozí hodnoty v souboru config.properties pro koordinátora a výpočetní uzel.
Přidejte ukázkové skupiny prostředků ve formátu JSON a nakonfigurujte koordinátora tak, aby je používal.

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Nasaďte aktualizovanou šablonu ARM tak, aby odrážela změny v clusteru. Zjistěte, jak nasadit šablonu ARM.

Sdílet prostřednictvím

Správa konfigurace Trino

Použití webu Azure Portal

Použití šablony ARM

Požadavky

Správa clusteru

Další materiály