Configurar catálogos

Importante

O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.

Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre esta versão prévia específica do Azure HDInsight no AKS, consulte . Para obter perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações sobre da Comunidade do Azure HDInsight.

Cada cluster Trino vem por padrão com alguns catálogos – sistema, tpcds, tpch. Você pode adicionar seus próprios catálogos da mesma maneira que faria com o OSS Trino. Além disso, o Trino com HDInsight no AKS permite armazenar segredos no Key Vault para que você não precise especificá-los explicitamente no modelo do ARM.

Você pode adicionar um novo catálogo atualizando o modelo ARM do cluster, exceto o catálogo do Hive, que pode ser adicionado durante a criação do cluster Trino nos marcadores e no portal do Azure.

Este artigo demonstra como você pode adicionar um novo catálogo ao cluster usando o modelo do ARM. O exemplo neste artigo descreve as etapas para adicionar o SQL Server e catálogos de memória.

Pré-requisitos

• Um cluster Trino operacional com HDInsight no AKS.
• Banco de dados SQL do Azure.
• Os detalhes de logon/senha do Azure SQL Server são armazenados como segredos no Key Vault, e a Identidade de Serviço Gerenciada (MSI) atribuída pelo usuário, anexada ao seu cluster Trino, recebeu permissões para lê-los. Consulte credenciais do repositório no Key Vault e atribua a função aMSI.
• Crie modelo do ARM para seu cluster.
• Familiaridade com a criação e implantação de modelos ARM .
• Examine o exemplo de modelo completo do ARM do cluster arm-trino-catalog-sample.json.

Etapas para adicionar o catálogo no modelo do ARM

1. Conecte o Key Vault e adicione segredos à propriedade clusterProfile em secretsProfile.

   Nesta etapa, você precisa verificar se o Key Vault e os segredos estão configurados para o cluster Trino. No exemplo a seguir, as credenciais do SQL Server são armazenadas nesses segredos: trinotest-admin-user, trinotest-admin-pwd.

   "secretsProfile": {
       "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
       "secrets": [
           {
               "referenceName": "trinotest-admin-user",
               "keyVaultObjectName": "trinotest-admin-user",
               "type": "secret"
           },
           {
               "referenceName": "trinotest-admin-pwd",
               "keyVaultObjectName": "trinotest-admin-pwd",
               "type": "secret"
           }
       ]
   },
   

2. Adicione catálogos a serviceConfigsProfiles na propriedade clusterProfile.

   Nesta etapa, você precisa adicionar a configuração de catálogo específica do Trino ao cluster. O exemplo a seguir configura dois catálogos usando conectores de Memória e SQL Server. A configuração do catálogo pode ser especificada de duas maneiras diferentes:

   • Pares chave-valor na seção de valores.
   • Cadeia de caracteres única na propriedade content.

   O catálogo de memória é definido usando o par chave-valor e o catálogo do SQL Server é definido usando a opção de cadeia de caracteres única.

    "serviceConfigsProfiles": [
        {
            "serviceName": "trino",
            "configs": [
                {
                    "component": "catalogs",
                    "files": [
                            {
                            "fileName": "memory.properties",
                            "values": {
                                "connector.name": "memory",
                                "memory.max-data-per-node": "128MB"
                            }
                        },
                        {
                            "fileName": "trinotestdb1.properties",
                            "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                        },
                    ]
                }
            ]
        }
    ],
   

   Propriedades

   Propriedade	Descrição
   nomeDoServiço	trino
   componente	Identifica que a seção destinada a configurar catálogos deve ser denominada "catálogos".
   arquivos	Lista de arquivos de catálogo do Trino a serem adicionados ao cluster.
   Nome do arquivo	Lista de arquivos de catálogo do Trino a serem adicionados ao cluster.
   conteúdo	json cadeia de caracteres de escape a ser colocada no arquivo de catálogo do trino. Essa cadeia de caracteres deve conter todas as propriedades de catálogo específicas do trino, que dependem do tipo de conector usado. Para obter mais informações, consulte a documentação do Trino OSS.
   ${SECRET_REF:<nomeDeReferencia>}	Tag especial para referenciar um segredo do secretsProfile. Durante a execução, o Trino busca o segredo do Key Vault e o substitui na configuração do catálogo.
   Valores	É possível especificar a configuração do catálogo usando a propriedade de conteúdo como uma única cadeia de caracteres e usando pares chave-valor separados para cada propriedade de catálogo do Trino individual, conforme mostrado para o catálogo de memória.

Implante o modelo do ARM atualizado para refletir as alterações em seu cluster. Saiba como implantar um modelo ARM.