Partilhar via

Usando arquivos diversos

  • Artigo

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam às funcionalidades do Azure que estão em versão beta, em pré-visualização ou, de outra forma, ainda não lançadas para disponibilidade geral. Para obter informações sobre esta visualização específica, consulte informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade Azure HDInsight .

Este artigo fornece detalhes sobre como especificar e usar a configuração de arquivos diversos.

Você pode adicionar as configurações para usar arquivos diversos em seu cluster usando o modelo ARM. Para obter exemplos mais amplos, consulte Configuração do serviço.

Pré-requisitos

Adicionar ficheiros diversos

Cada especificação de ficheiro no componente miscfiles sob clusterProfile.serviceConfigsProfiles no modelo ARM requer:

  • fileName: Nome simbólico do arquivo a ser usado como referência em outras configurações. Esse nome não é um nome de arquivo físico. Para usar determinado arquivo diverso em outras configurações, especifique ${MISC:\<fileName\>} e o HDInsight no AKS substitui essa tag pelo caminho real do arquivo em tempo de execução desde que o valor deve satisfazer as seguintes condições:

    • Não contêm mais de 253 caracteres
    • Conter apenas caracteres alfanuméricos minúsculos, - ou .
    • Iniciar e terminar com um caractere alfanumérico

  • path: Caminho relativo do arquivo, incluindo nome do arquivo e extensão, se aplicável. Trino com HDInsight no AKS só garante a localização de cada arquivo diverso dado em relação a outros arquivos diversos, ou seja, diretório base pode mudar. Você não pode assumir nada sobre o caminho absoluto de arquivos diversos, exceto que ele termina com o valor especificado na propriedade "path".

  • content: JSON escapou string com conteúdo de arquivo. O formato do conteúdo é específico para certas funcionalidades do Trino e, por essa razão, o formato pode variar; por exemplo, JSON para grupos de recursos.

Observação

A configuração incorreta pode impedir que o cluster Trino seja iniciado. Tenha cuidado ao adicionar as configurações.

O exemplo a seguir demonstra

  • Adicione os grupos de recursos de exemplo json e configure o coordenador para usá-los.
"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implantar um modelo ARM.