Trino-configuratiebeheer

Artikel
09/20/2024

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Kom meer te weten over met deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

Trino-cluster met HDInsight op AKS wordt geleverd met de meeste standaardconfiguraties van opensource Trino. In dit artikel wordt beschreven hoe u configuratiebestanden bijwerkt en uw eigen aanvullende configuratiebestanden toevoegt aan het cluster.

U kunt de configuraties op twee manieren toevoegen/bijwerken:

Azure Portal gebruiken
ARM-sjabloon gebruiken

Notitie

Trino met HDInsight op AKS dwingt bepaalde configuraties af en verbiedt het wijzigen van sommige bestanden en/of eigenschappen. Dit wordt gedaan om de juiste beveiliging/connectiviteit te garanderen via de configuratie. Voorbeeld van verboden bestanden/eigenschappen omvat, maar is niet beperkt tot:

jvm.config bestand met uitzondering van heap-grootte-instellingen.
Node.properties: node.id, node.data-dir, log.path enzovoort.
Config.properties: http-server.authentication.*, http-server.https.* etc.

Azure Portal gebruiken

In Azure Portal kunt u drie sets met standaardconfiguraties Trino-configuraties wijzigen:

log.properties
config.properties
node.properties

Volg de stappen om de configuraties te wijzigen:

Meld u aan bij Azure Portal.
Typ 'HDInsight in AKS-cluster' in de zoekbalk van Azure Portal en selecteer 'Azure HDInsight op AKS-clusters' in de vervolgkeuzelijst.
Selecteer de clusternaam op de lijstpagina.
Navigeer naar het "Configuratiebeheer" scherm.
Voeg nieuwe sleutel-waardeparen toe of werk de bestaande sleutelwaardeparen bij voor de configuraties die u wilt wijzigen. Bijvoorbeeld config.properties -> Aangepaste configuraties -> op Toevoegen klikken om nieuwe configuratie-instelling toe te voegen en klik vervolgens op OK.
Klik op Opslaan om de configuraties op te slaan.

ARM-sjabloon gebruiken

Voorwaarden

Een operationeel Trino-cluster met HDInsight in AKS.
Maak ARM-sjabloon voor uw cluster.
Bekijk het volledige cluster ARM-sjabloon voorbeeld.
Bekendheid met ontwerpen en implementeren van ARM-sjablonen.

Clusterbeheer

Alle Trino-configuraties kunnen worden opgegeven in serviceConfigsProfiles.serviceName[“trino”] onder properties.clusterProfile.

Het volgende voorbeeld is gericht op coordinator/worker/miscfiles. Catalogi: zie Catalogi toevoegen aan een bestaand cluster.

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Er zijn verschillende onderdelen die verschillende configuratieaspecten beheren:

Onderdeelnaam	Vereiste/toegestane eigenschappen voor elke bestandsspecificatie	Beschrijving
gebruikelijk	`filename`, `values`	Bevat configuratiebestanden voor zowel coördinator als worker.
coördinator	`filename`, `values`	Bevat alleen configuratiebestanden voor coördinator, overschrijft algemene indien aanwezig.
arbeider	`filename`, `values`	Bevat alleen configuratiebestanden voor processen, overschrijft gemeenschappelijke bestanden indien aanwezig.
`miscfiles`	`filename`, `content`	Bevat diverse configuratiebestanden die door de gebruiker worden geleverd voor het hele cluster.
Catalogi	`filename`, inhoud of waarden	Bevat catalogusbestanden voor het hele cluster.

In het volgende voorbeeld ziet u:

Overschrijf de standaardwaarde van node.environment voor de cluster (weergegeven in de Trino-gebruikersinterface).
Overschrijf de standaardwaarden voor config.properties voor coördinator en werker.
Voeg voorbeeld-resourcegroepen toe json en configureer coördinator om deze te gebruiken.

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implementeer de bijgewerkte ARM-sjabloon om de wijzigingen in uw cluster weer te geven. Meer informatie over het implementeren van een ARM-sjabloon.

Delen via

Trino-configuratiebeheer

Azure Portal gebruiken

ARM-sjabloon gebruiken

Voorwaarden

Clusterbeheer

Aanvullende resources