Clusterconfiguratie beheren
Belangrijk
Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Leer meer over in deze aankondiging.
U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.
Belangrijk
Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight in AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.
Met HDInsight in AKS kunt u de configuratie-eigenschappen aanpassen om de prestaties van uw cluster met bepaalde instellingen te verbeteren. Bijvoorbeeld gebruiks- of geheugeninstellingen. U kunt de volgende acties uitvoeren:
- Werk de bestaande configuraties bij of voeg nieuwe configuraties toe.
- Exporteer de configuraties met behulp van REST API.
Configuraties aanpassen
U kunt configuraties aanpassen met behulp van de volgende opties:
Azure Portal gebruiken
Meld u aan bij Azure Portal.
Typ 'HDInsight in AKS-cluster' in de zoekbalk van Azure Portal en selecteer 'Azure HDInsight op AKS-clusters' in de vervolgkeuzelijst.
Selecteer de clusternaam op de lijstpagina.
Ga naar de blade Configuratiebeheer in het linkermenu.
Afhankelijk van het clustertype worden configuratiebestanden weergegeven. Zie Trino, Flinken Spark-configuraties voor meer informatie.
Voeg een nieuw sleutel-waardepaar toe of werk het bestaande bij voor de configuraties die u wilt wijzigen.
Selecteer OK- en klik vervolgens op opslaan.
Notitie
Voor sommige configuratiewijzigingen moet de service mogelijk opnieuw worden opgestart om de wijzigingen weer te geven.
ARM-sjabloon gebruiken
Voorwaarden
- ARM-sjabloon voor uw cluster.
- Bekendheid met ontwerpen en implementeren van ARM-sjablonen.
In de ARM-sjabloon kunt u serviceConfigsProfiles bewerken en de naam van het OSS-configuratiebestand opgeven met de waarde die u wilt overschrijven.
Als het OSS-configuratiebestand de JSON/XML/YAML-indeling heeft, kunt u de naam van het OSS-configuratiebestand opgeven via fileName. Geef de sleutelwaardeparen op die u wilt overschrijven in 'waarden'.
Hier volgen enkele voorbeelden voor elke workload:
Flink-configuratievoorbeeld:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Spark-configuratievoorbeeld:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
trino-configuratievoorbeeld:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Zie de ARM-voorbeeldsjablonen voor meer informatie over Trino-configuratieopties.
De configuraties exporteren met behulp van REST API
U kunt ook clusterconfiguraties exporteren om de standaard- en bijgewerkte waarden te controleren. Op dit moment kunt u alleen configuraties exporteren via de REST API.
Clusterconfiguraties ophalen:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Als u niet bekend bent met het verzenden van een REST API-aanroep, kunnen de volgende stappen u helpen.
Klik op de volgende knop rechtsboven in Azure Portal om Azure Cloud Shell te starten.
Zorg ervoor dat Cloud Shell is ingesteld op PowerShell linksboven. Voer de volgende opdracht uit om token op te halen en HTTP-aanvraagheaders in te stellen.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Stel de variabele $restUri in op de URL voor de Get-verzoek.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Bijvoorbeeld:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewNotitie
U kunt de resource-id en up-to-date API-versie ophalen uit de JSON-weergave van uw cluster in Azure Portal.
Verzend de GET-aanvraag door de volgende opdracht uit te voeren.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10