Gerenciar a configuração do cluster
Importante
O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.
Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponíveis ao público em geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre a Comunidade Azure HDInsight .
O HDInsight no AKS permite ajustar as propriedades de configuração para melhorar o desempenho do cluster com determinadas configurações. Por exemplo, configurações de uso ou memória. Você pode executar as seguintes ações:
- Atualize as configurações existentes ou adicione novas configurações.
- Exporte as configurações usando a API REST.
Personalizar configurações
Você pode personalizar as configurações usando as seguintes opções:
Usando o portal do Azure
Inicie sessão no portal do Azure.
Na barra de pesquisa do portal do Azure, digite "HDInsight no cluster AKS" e selecione "Azure HDInsight nos clusters AKS" na lista suspensa.
Selecione o nome do cluster na página de lista.
Vá para a página "Gestão de configuração" no menu à esquerda.
Dependendo do tipo de cluster, os arquivos de configuração são listados. Para obter mais informações, consulte as configurações do Trino, Flinke Spark.
Adicione novo ou atualize o par chave-valor existente para as configurações que você deseja modificar.
Selecione OK e, em seguida, clique em Salvar.
Observação
Algumas alterações de configuração podem necessitar que o serviço seja reiniciado para refletir as alterações.
Usando o modelo ARM
Pré-requisitos
- modelo ARM para o seu cluster.
- Familiaridade com criação e implantação de modelos ARM.
No modelo ARM, você pode editar serviceConfigsProfiles e especificar o nome do arquivo de configuração OSS com o valor que deseja substituir.
Se o arquivo de configuração OSS estiver no formato JSON/XML/YAML, você poderá fornecer o nome do arquivo de configuração OSS via fileName. Fornece os pares de valores de chave que tu desejas sobrescrever em "valores".
Aqui estão alguns exemplos para cada carga de trabalho:
Exemplo de configuração do Flink:
"serviceConfigsProfiles": [
{
"serviceName": "flink-operator",
"configs": [
{
"component": "flink-configs",
"files": [
{
"fileName": "flink-conf.yaml",
"values": {
"taskmanager.memory.process.size": "4096mb",
"classloader.check-leaked-classloader": "false",
"jobmanager.memory.process.size": "4096mb",
"classloader.parent-first-patterns.additional": "org.apache.parquet"
}
}
]
}
]
}
]
Exemplo de configuração do Spark:
"serviceConfigsProfiles": [
{
"serviceName": "spark-service",
"configs": [
{
"component": "livy-config",
"files": [
{
"fileName": "livy-client.conf",
"values": {
"livy.client.http.connection.timeout": "11s"
}
}
]
},
{
"component": "spark-config",
"files": [
{
"fileName": "spark-env.sh",
"content": "# - SPARK_HISTORY_OPTS, to set config properties only for the history server (e.g. \"-Dx=y\")\nexport HDP_VERSION=3.3.3.5.2-83515052\n"
}
]
}
]
}
]
Exemplo de configuração Trino:
"serviceConfigsProfiles": [
{
"serviceName": "trino",
"configs": [
{
"component": "coordinator",
"files": [
{
"fileName": "config.properties",
"values": {
"query.cache.enabled": "true",
"query.cache.ttl": "1h",
"query.enable-multi-statement-set-session": "true",
"query.max-memory": "301GB"
}
},
{
"fileName": "log.properties",
"values": {
"io.trino": "INFO"
}
}
]
}
]
Para obter mais informações sobre as opções de configuração do Trino, consulte os modelos ARM de exemplo.
Exportar as configurações usando a API REST
Você também pode exportar configurações de cluster para verificar os valores padrão e atualizados. No momento, você só pode exportar configurações por meio da API REST.
Obter configurações do cluster:
GET Request: /subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}
Se você não estiver familiarizado com como enviar uma chamada de API REST, as etapas a seguir podem ajudá-lo.
Clique no botão a seguir no canto superior direito do portal do Azure para iniciar o Azure Cloud Shell.
Verifique se o Cloud Shell está definido como PowerShell no canto superior esquerdo. Execute o seguinte comando para obter token e definir cabeçalhos de solicitação HTTP.
$azContext = Get-AzContext $azProfile = [Microsoft.Azure.Commands.Common.Authentication.Abstractions.AzureRmProfileProvider]::Instance.Profile $profileClient = New-Object -TypeName Microsoft.Azure.Commands.ResourceManager.Common.RMProfileClient -ArgumentList ($azProfile) $token = $profileClient.AcquireAccessToken($azContext.Subscription.TenantId) $authHeader = @{ 'Content-Type'='application/json' 'Authorization'='Bearer ' + $token.AccessToken }Defina a variável $restUri como a URL de solicitação Get.
$restUri = 'https://management.azure.com/subscriptions/{{USER_SUB}}/resourceGroups/{{USER_RG}}/providers/Microsoft.HDInsight/clusterpools/{{CLUSTERPOOL}}/clusters/{{CLUSTERNAME}}/serviceConfigs?api-version={{HDINSIGHTONAKS_API_VERSION}}'Por exemplo:
$restUri = 'https://management.azure.com/subscriptions/xxx-yyyy-zzz-00000/resourceGroups/contosoRG/providers/Microsoft.HDInsight/clusterpools/contosopool/clusters/contosocluster/serviceConfigs?api-version=2021-09-15-previewObservação
Você pode obter a id do recurso e up-to-date api-version da "Exibição JSON" do seu cluster no portal do Azure.
Envie a solicitação GET executando o seguinte comando.
Invoke-RestMethod -Uri $restUri -Method Get -Headers $authHeader | ConvertTo-Json -Depth 10