Správa konfigurace clusteru
Důležitý
Azure HDInsight v AKS byl vyřazen 31. ledna 2025. Další informace získáte pomocí tohoto oznámení .
Abyste se vyhnuli náhlému ukončení úloh, musíte migrovat úlohy do Microsoft Fabric nebo ekvivalentního produktu Azure.
Důležitý
Tato funkce je aktuálně ve verzi Preview. Doplňkové podmínky použití pro předběžné verze Microsoft Azure obsahují další právní podmínky, které se vztahují na funkce Azure, jež jsou v beta verzi, v předběžném přístupu nebo ještě nejsou všeobecně dostupné. Informace o této konkrétní verzi najdete v tématu Azure HDInsight ve službě AKS informace o předběžné verzi. Pokud máte dotazy nebo návrhy funkcí, odešlete prosím žádost na AskHDInsight s podrobnostmi a pro další aktualizace nás sledujte v komunitě Azure HDInsight.
HDInsight v AKS umožňuje upravit vlastnosti konfigurace, aby se zlepšil výkon clusteru s určitými nastaveními. Například nastavení týkající se využití nebo paměti. Můžete provést následující akce:
- Aktualizujte existující konfigurace nebo přidejte nové konfigurace.
- Export konfigurací pomocí rozhraní REST API
Přizpůsobení konfigurací
Konfigurace můžete přizpůsobit pomocí následujících možností:
Použití webu Azure Portal
Přihlaste se na Azure Portal.
Na panelu hledání na webu Azure Portal zadejte "HDInsight v clusteru AKS" a v rozevíracím seznamu vyberte Azure HDInsight v clusterech AKS.
Na stránce seznamu vyberte název clusteru.
V levé nabídce přejděte do okna Správa konfigurace.
V závislosti na typu clusteru jsou uvedené konfigurační soubory. Další informace najdete v konfiguracích Trino, Flinka Spark.
Přidejte novou nebo aktualizujte existující dvojici klíč-hodnota v konfiguracích, které chcete upravit.
Vyberte OK a klepněte na tlačítko Uložit.
Poznámka
Některé změny konfigurace můžou vyžadovat restartování služby, aby se projevily změny.
Použití šablony ARM
Požadavky
- Šablona ARM pro váš Cluster.
- Znalost vytváření a nasazování šablon ARM.
V šabloně ARM můžete upravit serviceConfigsProfiles a zadat název konfiguračního souboru OSS s hodnotou, kterou chcete přepsat.
Pokud je konfigurační soubor OSS ve formátu JSON/XML/YAML, můžete zadat název konfiguračního souboru OSS prostřednictvím fileName. Zadejte páry klíč-hodnota, které chcete přepsat v části "hodnoty".
Tady je několik ukázek pro každou úlohu:
příklad konfigurace Flinku :
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Příklad konfigurace Sparku :
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
příklad konfigurace Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Další informace o možnostech konfigurace Trino najdete v ukázkových šablonách ARM.
Export konfigurací pomocí rozhraní REST API
Můžete také exportovat konfigurace clusteru a zkontrolovat výchozí a aktualizované hodnoty. V tuto chvíli můžete exportovat pouze konfigurace prostřednictvím rozhraní REST API.
Získání konfigurací clusteru:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Pokud nevíte, jak odeslat volání rozhraní REST API, následující kroky vám můžou pomoct.
Kliknutím na následující tlačítko v pravém horním rohu webu Azure Portal spusťte Azure Cloud Shell.
Ujistěte se, že je Cloud Shell nastavený na PowerShell v levém horním rohu. Spuštěním následujícího příkazu získejte token a nastavte hlavičky požadavku HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Nastavte proměnnou $restUri na adresu URL požadavku Get.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Příklad:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewPoznámka
ID prostředku a verzi API up-to-date můžete najít ve formátu JSON vašeho clusteru v portálu Azure.
Odešlete požadavek GET spuštěním následujícího příkazu.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10