Configurar catálogos

Artigo
09/20/2024

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para as versões de pré-visualização do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não foram disponibilizadas para a disponibilidade geral. Para obter informações sobre a pré-visualização específica, consulte as informações de pré-visualização do Azure HDInsight no AKS . Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .

Cada cluster Trino vem por padrão com alguns catálogos - sistema, tpcds, tpch. Você pode adicionar seus próprios catálogos da mesma forma que faria com o OSS Trino. Além disso, o Trino com HDInsight no AKS permite armazenar segredos no Cofre da Chave para que você não precise especificá-los explicitamente no modelo ARM.

Você pode adicionar um novo catálogo ao atualizar o seu modelo ARM de cluster, exceto o catálogo hive, que pode ser adicionado durante a criação do cluster Trino no portal do Azure.

Este artigo demonstra como você pode adicionar um novo catálogo ao seu cluster usando o modelo ARM. O exemplo neste artigo descreve as etapas para adicionar catálogos de memória e servidor SQL.

Pré-requisitos

Um cluster Trino operacional com HDInsight no AKS.
Banco de dados SQL do Azure.
O login/senha do SQL Server do Azure são armazenados nos segredos do Cofre de Chaves e o MSI atribuído pelo usuário anexado ao cluster Trino recebe permissões para lê-los. Consulte armazenar as credenciais no Azure Key Vault e atribuir um papel ao MSI.
Crie modelo ARM para seu cluster.
Familiaridade com criação e implantação de modelos ARM.
Analise o exemplo completo de modelo ARM de cluster arm-trino-catalog-sample.json.

Etapas para adicionar catálogo no modelo ARM

Anexe o Cofre de Chaves e adicione segredos na propriedade clusterProfile do secretsProfile.

Nesta etapa, você precisa certificar-se de que o Cofre da Chave e os segredos estão configurados para o cluster Trino. No exemplo a seguir, as credenciais do SQL Server são armazenadas nestes segredos: trinotest-admin-user, trinotest-admin-pwd.

"secretsProfile": {
    "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
    "secrets": [
        {
            "referenceName": "trinotest-admin-user",
            "keyVaultObjectName": "trinotest-admin-user",
            "type": "secret"
        },
        {
            "referenceName": "trinotest-admin-pwd",
            "keyVaultObjectName": "trinotest-admin-pwd",
            "type": "secret"
        }
    ]
},

Adicione catálogos a serviceConfigsProfiles na propriedade clusterProfile.

Nesta etapa, você precisa adicionar a configuração de catálogo específico do Trino ao cluster. O exemplo a seguir configura dois catálogos usando conectores de memória e SQL Server. A configuração do catálogo pode ser especificada de duas maneiras diferentes:

Pares chave-valor na seção de valores.
Cadeia de caracteres única na propriedade content.

O catálogo de memória é definido usando o par chave-valor e o catálogo do SQL Server é definido usando a opção de cadeia de caracteres única.

 "serviceConfigsProfiles": [
     {
         "serviceName": "trino",
         "configs": [
             {
                 "component": "catalogs",
                 "files": [
                         {
                         "fileName": "memory.properties",
                         "values": {
                             "connector.name": "memory",
                             "memory.max-data-per-node": "128MB"
                         }
                     },
                     {
                         "fileName": "trinotestdb1.properties",
                         "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                     },
                 ]
             }
         ]
     }
 ],

Propriedades

Propriedade	Descrição
nome_do_serviço	trino
componente	Identifica que a seção configura catálogos, deve ser "catálogos".
ficheiros	Lista de arquivos de catálogo Trino a serem adicionados ao cluster.
nome do ficheiro	Lista de arquivos de catálogo Trino a serem adicionados ao cluster.
Conteúdo	`json` seqüência de caracteres escapada para colocar no arquivo de catálogo trino. Essa cadeia de caracteres deve conter todas as propriedades de catálogo trino-específicas, que dependem do tipo de conector usado. Para obter mais informações, consulte a documentação do OSS Trino.
${SECRET_REF:<referenceName>}	Tag especial para fazer referência a um segredo de secretsProfile. Trino busca o segredo do Key Vault durante a execução e substitui na configuração do catálogo.
valores	É possível especificar a configuração do catálogo usando a propriedade content como uma única cadeia de caracteres e usando pares chave-valor separados para cada propriedade individual do catálogo Trino, conforme mostrado para o catálogo de memória.

Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implantar um modelo ARM.

Partilhar via

Configurar catálogos

Pré-requisitos

Etapas para adicionar catálogo no modelo ARM

Recursos adicionais