Verwalten der Clusterkonfiguration
Wichtig
Azure HDInsight auf AKS wurde am 31. Januar 2025 eingestellt. Erfahren Sie mehr mit dieser Ankündigung.
Sie müssen Ihre Workloads zu Microsoft Fabric oder ein gleichwertiges Azure-Produkt migrieren, um eine abrupte Beendigung Ihrer Workloads zu vermeiden.
Wichtig
Dieses Feature befindet sich derzeit in der Vorschau. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure Previews weitere rechtliche Bestimmungen enthalten, die für Azure-Features gelten, die in der Betaversion, in der Vorschau oder auf andere Weise noch nicht in die allgemeine Verfügbarkeit veröffentlicht werden. Informationen zu dieser spezifischen Vorschau finden Sie unter Azure HDInsight auf AKS-Vorschauinformationen. Für Fragen oder Funktionsvorschläge senden Sie bitte eine Anfrage mit den Details an AskHDInsight und folgen Sie uns, um auf dem Laufenden zu bleiben über die Azure HDInsight Community.
HDInsight auf AKS ermöglicht es Ihnen, die Konfigurationseigenschaften zu optimieren, um die Leistung Ihres Clusters mit bestimmten Einstellungen zu verbessern. Beispiel: Nutzungs- oder Speichereinstellungen. Sie können die folgenden Aktionen ausführen:
- Aktualisieren Sie die vorhandenen Konfigurationen, oder fügen Sie neue Konfigurationen hinzu.
- Exportieren Sie die Konfigurationen mithilfe der REST-API.
Anpassen von Konfigurationen
Sie können Konfigurationen mithilfe der folgenden Optionen anpassen:
Verwenden des Azure-Portals
Melden Sie sich beim Azure-Portalan.
Geben Sie in der Azure-Portalsuchleiste "HDInsight auf AKS-Clustern" ein, und wählen Sie in der Dropdownliste "Azure HDInsight auf AKS-Clustern" aus.
Wählen Sie ihren Clusternamen auf der Listenseite aus.
Wechseln Sie im linken Menü zum Blatt "Konfigurationsverwaltung".
Je nach Clustertyp werden Konfigurationsdateien aufgelistet. Weitere Informationen finden Sie unter Trino, Flink-und Spark Konfigurationen.
Fügen Sie das vorhandene Schlüssel-Wert-Paar für die Konfigurationen hinzu, die Sie ändern möchten, oder aktualisieren Sie es.
Wählen Sie OK aus, und klicken Sie dann auf Speichern.
Anmerkung
Einige Konfigurationsänderungen benötigen möglicherweise einen Dienstneustart, um die Änderungen widerzuspiegeln.
Verwenden der ARM-Vorlage
Voraussetzungen
- ARM-Vorlage für Ihren Cluster.
- Vertrautheit mit ARM-Vorlagenerstellung und -bereitstellung.
In der ARM-Vorlage können Sie serviceConfigsProfiles- bearbeiten und den Namen der OSS-Konfigurationsdatei mit dem Wert angeben, den Sie überschreiben möchten.
Wenn sich die OSS-Konfigurationsdatei im JSON/XML/YAML-Format befindet, können Sie den OsS-Konfigurationsdateinamen über fileNamebereitstellen. Geben Sie die Schlüsselwertpaare an, die Sie in "Werte" überschreiben möchten.
Hier sind einige Beispiele für jede Arbeitslast:
Flink-Konfigurationsbeispiel:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Spark-Konfigurationsbeispiel:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Trino-Konfigurationsbeispiel:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Weitere Informationen zu Den Trino-Konfigurationsoptionen finden Sie in den Beispiel-ARM-Vorlagen.
Exportieren der Konfigurationen mithilfe der REST-API
Sie können auch Clusterkonfigurationen exportieren, um die Standard- und aktualisierten Werte zu überprüfen. Derzeit können Sie Konfigurationen nur über die REST-API exportieren.
Clusterkonfigurationen abrufen:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Wenn Sie nicht mit dem Senden eines REST-API-Aufrufs vertraut sind, können Ihnen die folgenden Schritte helfen.
Klicken Sie oben rechts im Azure-Portal auf die folgende Schaltfläche, um Azure Cloud Shell zu starten.
Stellen Sie sicher, dass Cloud Shell oben links auf PowerShell festgelegt ist. Führen Sie den folgenden Befehl aus, um Token abzurufen und HTTP-Anforderungsheader festzulegen.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Setzen Sie die Variable $restUri auf die URL der GET-Anfrage.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Beispiel:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewAnmerkung
Sie können die Ressourcen-ID und up-to-date api-version aus der "JSON-Ansicht" Ihres Clusters im Azure-Portal abrufen.
Senden Sie die GET-Anforderung, indem Sie den folgenden Befehl ausführen.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10