Usar arquivos diversos

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. No caso de perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

Este artigo fornece os detalhes sobre como especificar e usar a configuração de arquivos diversos.

Você pode adicionar as configurações para usar os arquivos diversos no cluster usando o modelo do ARM. Para obter exemplos mais amplos, consulte Configuração de serviço.

Pré-requisitos

• Um cluster operacional de Trino com HDInsight no AKS.
• Crie um modelo do ARM para o cluster.
• Examine o exemplo de modelo do ARM completo do cluster.
• Familiaridade com a criação e a implantação de modelo do ARM.

Adicionar arquivos diversos

Cada especificação de arquivo no miscfiles componente clusterProfile.serviceConfigsProfiles do modelo do ARM exige:

• fileName: o nome simbólico do arquivo que será utilizado como referência em outras configurações. Esse nome não é um nome de arquivo físico. Para usar um determinado arquivo diverso em outras configurações, especifique ${MISC:\<fileName\>} e o HDInsight no AKS que substituirá essa tag pelo caminho real do arquivo no tempo de execução, desde que o valor atenda às seguintes condições:

  • Não deve conter mais de 253 caracteres
  • Deve conter apenas caracteres alfanuméricos minúsculos - ou .
  • Inicie e termine com um caractere alfanumérico

• path: o caminho de arquivo relativo incluindo nome de arquivo e extensão, se aplicável. O Trino com HDInsight no AKS garante apenas a localização de cada arquivo diverso em relação a outros arquivos diversos, ou seja, o diretório base pode ser alterado. Você não pode assumir nada sobre o caminho absoluto de arquivos diversos, exceto que termina com o valor especificado na propriedade "caminho".

• content: cadeia de caracteres de escape JSON com conteúdo de arquivo. O formato do conteúdo é específico para determinadas funcionalidades do Trino e poderá variar, por exemplo, json para grupos de recursos.

Observação

A configuração incorreta poderá impedir a inicialização do cluster Trino. Tenha cuidado ao adicionar as configurações.

O exemplo a seguir demonstra:

• Adicione json de grupos de recursos de exemplo e configure o coordenador para usá-lo.

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implante o modelo do ARM atualizado para refletir as alterações em seu cluster. Saiba como implantar um modelo do ARM.