Trino-configuratiebeheer

Artikel
10/16/2024

Notitie

Op 31 januari 2025 wordt Azure HDInsight buiten gebruik gesteld op AKS. Vóór 31 januari 2025 moet u uw workloads migreren naar Microsoft Fabric of een gelijkwaardig Azure-product om te voorkomen dat uw workloads plotseling worden beëindigd. De resterende clusters in uw abonnement worden gestopt en verwijderd van de host.

Alleen basisondersteuning is beschikbaar tot de buitengebruikstellingsdatum.

Belangrijk

Deze functie is momenteel beschikbaar in preview. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews bevatten meer juridische voorwaarden die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet beschikbaar zijn in algemene beschikbaarheid. Zie Azure HDInsight op AKS Preview-informatie voor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight met de details en volgt u ons voor meer updates in de Azure HDInsight-community.

Trino-cluster met HDInsight op AKS wordt geleverd met de meeste standaardconfiguraties van opensource Trino. In dit artikel wordt beschreven hoe u configuratiebestanden bijwerkt en uw eigen aanvullende configuratiebestanden toevoegt aan het cluster.

U kunt de configuraties op twee manieren toevoegen/bijwerken:

Azure-portal gebruiken
ARM-sjabloon gebruiken

Notitie

Trino met HDInsight op AKS dwingt bepaalde configuraties af en verbiedt het wijzigen van sommige bestanden en/of eigenschappen. Dit wordt gedaan om de juiste beveiliging/connectiviteit te garanderen via de configuratie. Voorbeeld van verboden bestanden/eigenschappen omvat, maar is niet beperkt tot:

jvm.config-bestand met uitzondering van heap-grootte-instellingen.
Node.properties: node.id, node.data-dir, log.path enzovoort.
Config.properties: http-server.authentication.*, http-server.https.* etc.

Azure-portal gebruiken

In Azure Portal kunt u drie sets met standaard Trino-configuraties wijzigen:

log.properties
config.properties
node.properties

Volg de stappen om de configuraties te wijzigen:

Meld u aan bij het Azure Portal.
Typ 'HDInsight in AKS-cluster' in de zoekbalk van Azure Portal en selecteer 'Azure HDInsight op AKS-clusters' in de vervolgkeuzelijst.
Selecteer de clusternaam op de lijstpagina.
Navigeer naar de blade Configuratiebeheer.
Voeg nieuwe sleutel-waardeparen toe of werk de bestaande sleutelwaardeparen bij voor de configuraties die u wilt wijzigen. Bijvoorbeeld config.properties -> Aangepaste configuraties :> klik op Toevoegen om een nieuwe configuratie-instelling toe te voegen en klik vervolgens op OK.
Klik op Opslaan om de configuraties op te slaan.

ARM-sjabloon gebruiken

Vereisten

Een operationeel Trino-cluster met HDInsight in AKS.
Maak een ARM-sjabloon voor uw cluster.
Bekijk het volledige ARM-sjabloonvoorbeeld van het cluster.
Bekendheid met het ontwerpen en implementeren van ARM-sjablonen.

Clusterbeheer

Alle Trino-configuraties kunnen worden opgegeven onder serviceConfigsProfiles.serviceName[“trino”] properties.clusterProfile.

Het volgende voorbeeld is gericht op coordinator/worker/miscfiles. Zie Catalogi toevoegen aan een bestaand cluster voor catalogi:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Er zijn verschillende onderdelen die verschillende configuratieaspecten beheren:

Componentnaam	Vereiste/toegestane eigenschappen voor elke bestandsspecificatie	Beschrijving
common	`filename`, `values`	Bevat configuratiebestanden voor zowel coördinator als werkrol.
coördinator	`filename`, `values`	Bevat alleen configuratiebestanden voor coördinator, overschrijft algemene indien aanwezig.
arbeider	`filename`, `values`	Bevat alleen configuratiebestanden voor werkrollen, overschrijft algemene indien aanwezig.
`miscfiles`	`filename`, `content`	Bevat diverse configuratiebestanden die door de gebruiker worden geleverd voor het hele cluster.
Catalogi	`filename`, inhoud of waarden	Bevat catalogusbestanden voor het hele cluster.

In het volgende voorbeeld ziet u:

Overschrijf de standaard node.environment voor het cluster (weergegeven in de Trino-gebruikersinterface).
Overschrijf standaardwaarden voor config.properties voor coördinator en werkrol.
Voeg json-voorbeeldresourcegroepen toe en configureer coördinator om deze te gebruiken.

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implementeer de bijgewerkte ARM-sjabloon om de wijzigingen in uw cluster weer te geven. Meer informatie over het implementeren van een ARM-sjabloon.

Delen via

Trino-configuratiebeheer

Azure-portal gebruiken

ARM-sjabloon gebruiken

Vereisten

Clusterbeheer

Feedback

Aanvullende resources