Compartilhar via

Usando arquivos diversos

  • Artigo

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .

Este artigo fornece detalhes sobre como especificar e usar a configuração de arquivos diversos.

Você pode adicionar as configurações para usar arquivos diversos em seu cluster usando o modelo do ARM. Para obter exemplos mais amplos, consulte de configuração do serviço.

Pré-requisitos

  • Um cluster Trino operacional com HDInsight no AKS.
  • Crie modelo ARM para seu cluster.
  • Revise o exemplo completo do modelo ARM do cluster .
  • Familiaridade com a elaboração e implantação de modelos ARM .

Adicionar arquivos diversos

Cada especificação de arquivo no componente miscfiles sob clusterProfile.serviceConfigsProfiles no modelo do ARM requer:

  • fileName: nome simbólico do arquivo a ser usado como referência em outras configurações. Esse nome não é um nome de arquivo físico. Para usar determinado arquivo diverso em outras configurações, especifique ${MISC:\<fileName\>} e o HDInsight no AKS substitua essa marca por um caminho de arquivo real no runtime, o valor fornecido deve atender às seguintes condições:

    • Conter no máximo 253 caracteres
    • Contém apenas caracteres alfanuméricos minúsculos, - ou .
    • Iniciar e terminar com um caractere alfanumérico

  • path: caminho de arquivo relativo, incluindo nome de arquivo e extensão, se aplicável. O Trino com HDInsight no AKS só garante a localização de cada um dado arquivo diverso em relação a outros arquivos diversos, ou seja, o diretório base pode ser alterado. Você não pode assumir nada sobre o caminho absoluto de arquivos diversos, exceto que ele termina com o valor especificado na propriedade "path".

  • content: cadeia de caracteres de escape JSON com conteúdo de arquivo. O formato do conteúdo é específico para certas funcionalidades do Trino e pode variar, como, por exemplo, JSON para grupos de recursos.

Nota

A configuração incorreta pode impedir o início do cluster Trino. Tenha cuidado ao adicionar as configurações.

O exemplo a seguir demonstra

"serviceConfigsProfiles": [
    {
        "serviceName": "trino",
        "configs": [
            {
                "component": "common",
                "files": [
                    {
                        "fileName": "resource-groups.properties",
                        "values": {
                            "resource-groups.configuration-manager": "file",
                            "resource-groups.config-file": "${MISC:resource-groups}"
                        }                                            
                    }
                ]
            },
            {
                "component": "miscfiles",
                "files": [
                    {
                        "fileName": "resource-groups",
                        "path": "/customDir/resource-groups.json",
                        "content": "{\"rootGroups\":[{\"name\":\"global\",\"softMemoryLimit\":\"80%\",\"hardConcurrencyLimit\":100,\"maxQueued\":1000,\"schedulingPolicy\":\"weighted\",\"jmxExport\":true,\"subGroups\":[{\"name\":\"data_definition\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":5,\"maxQueued\":100,\"schedulingWeight\":1},{\"name\":\"adhoc\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":50,\"maxQueued\":1,\"schedulingWeight\":10,\"subGroups\":[{\"name\":\"other\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":2,\"maxQueued\":1,\"schedulingWeight\":10,\"schedulingPolicy\":\"weighted_fair\",\"subGroups\":[{\"name\":\"${USER}\",\"softMemoryLimit\":\"10%\",\"hardConcurrencyLimit\":1,\"maxQueued\":100}]}]}]},{\"name\":\"admin\",\"softMemoryLimit\":\"100%\",\"hardConcurrencyLimit\":50,\"maxQueued\":100,\"schedulingPolicy\":\"query_priority\",\"jmxExport\":true}],\"selectors\":[{\"group\":\"global.adhoc.other.${USER}\"}],\"cpuQuotaPeriod\":\"1h\"}"
                    }
                ]
            }
        ]
    }

Implante o modelo do ARM atualizado para refletir as alterações em seu cluster. Saiba como implantar um modelo ARM.