Partilhar via

Gerenciamento de configuração Trino

  • Artigo

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para as versões prévias do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não foram disponibilizadas para utilização geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .

O cluster Trino com HDInsight no AKS vem com a maioria das configurações padrão do Trino de código aberto. Este artigo descreve como atualizar arquivos de configuração e adiciona seus próprios arquivos de configuração suplementares ao cluster.

Você pode adicionar/atualizar as configurações de duas maneiras:

Observação

O Trino com o HDInsight no AKS impõe determinadas configurações e proíbe a modificação de alguns ficheiros e/ou propriedades. Isso é feito para garantir a segurança / conectividade adequada através da configuração. Exemplo de arquivos/propriedades proibidos inclui, mas não está limitado a:

  • Arquivo jvm.config, com exceção das configurações de tamanho de pilha.
  • Node.properties: node.id, node.data-dir, log.path etc.
  • Config.properties: http-server.authentication.*, http-server.https.* etc.

Usando o portal do Azure

No portal do Azure, você pode modificar três conjuntos de configurações padrão do Trino:

  • log.propriedades
  • config.properties
  • node.propriedades

Siga as etapas para modificar as configurações:

  1. Iniciar sessão no portal do Azure.

  2. Na barra de pesquisa do portal do Azure, digite "HDInsight on AKS cluster" e selecione "Azure HDInsight on AKS clusters" na lista suspensa.

    Captura de tela mostrando a opção de pesquisa para começar a usar o HDInsight no AKS Cluster.

  3. Selecione o nome do cluster na lista.

    Captura de tela mostrando a seleção do HDInsight no cluster AKS que você precisa na lista.

  4. Navegue até a folha "Gerenciamento de configuração".

    Captura de tela mostrando o gerenciamento de configuração do portal do Azure.

  5. Adicione novos ou atualize os pares de valores de chave existentes para as configurações que você deseja modificar. Por exemplo, config.properties -> Configurações personalizadas -> clique em "Adicionar" para adicionar nova definição de configuração e, em seguida, clique em Ok.

    Captura de tela mostrando a configuração personalizada.

  6. Clique em "Salvar" para salvar as configurações.

    Captura de tela mostrando como salvar a configuração.

Usando o modelo ARM

Pré-requisitos

Gestão de clusters

Todas as configurações do Trino podem ser especificadas no serviceConfigsProfiles.serviceName[“trino”] dentro de properties.clusterProfile.

O exemplo a seguir se concentra em coordinator/worker/miscfiles. Para catálogos, consulte Adicionar catálogos a um cluster existente:

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "catalogs",
                "files": [<file-spec>,…]
            },
            {
                "component": "coordinator",
                "files": [<file-spec>,…]
            },
            {
                "component": "worker",
                "files": [<file-spec>,…]
            },
            {
                "component": " miscfiles",
                "files": [<file-spec>,…]
            },
        ]
    }
]

Existem vários componentes que controlam diferentes aspetos de configuração:

Nome do componente Propriedades obrigatórias/permitidas para cada especificação de arquivo Descrição
comum filename, values Contém arquivos de configuração para coordenador e trabalhador.
Coordenador filename, values Contém ficheiros de configuração apenas para o coordenador, substitui os comuns se presentes.
trabalhador filename, values Contém arquivos de configuração apenas para trabalhadores, substitui comuns se presentes.
miscfiles filename, content Contém diversos arquivos de configuração fornecidos pelo usuário para todo o cluster.
catálogos filename, conteúdo ou valores Contém arquivos de catálogo para todo o cluster.

O exemplo a seguir demonstra:

  • Substituir o node.environment padrão para o cluster (exibida na interface do usuário Trino).
  • Substitua os valores padrão do config.properties para o coordenador e o trabalhador.
  • Adicione grupos de recursos de amostra no formato json e configure o coordenador para utilizá-los.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "node.properties",
                        "values": {
                            "node.environment": "preview"
                        }
                    },
                    {
                        "fileName": "config.properties",
                        "values": {
                            "join-distribution-type": "AUTOMATIC",
                            "query.max-execution-time": "5d",
                            "shutdown.grace-period": "5m"
                        }
                    }
                ]                
            },
            {
                "component": "coordinator",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implementar um modelo ARM.