Configurar catálogos

Observação

Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.

Somente o suporte básico estará disponível até a data de desativação.

Importante

Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. No caso de perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.

Cada cluster Trino vem por padrão com poucos catálogos – sistema, tpcds, tpch. Você pode adicionar seus próprios catálogos da mesma maneira que faria com o Trino de OSS. Além disso, Trino com HDInsight no AKS permite armazenar segredos no Key Vault para que você não precise especificá-los explicitamente no modelo do ARM.

Você pode adicionar um novo catálogo atualizando o modelo do ARM do cluster, exceto o catálogo de hive, que pode ser adicionado durante a criação do cluster Trino no portal do Azure.

Este artigo demonstra como você pode adicionar um novo catálogo ao seu cluster usando o modelo do ARM. O exemplo neste artigo descreve as etapas para adicionar os catálogos do SQL Server e de memória.

Pré-requisitos

• Um cluster operacional de Trino com HDInsight no AKS.
• Banco de dados SQL do Azure.
• O logon/senha SQL Server do Azure é armazenado nos segredos do Key Vault e o MSI atribuído pelo usuário anexado ao cluster Trino concedeu permissões para lê-los. Consulte as credenciais do repositório no Key Vault e atribua a função ao MSI.
• Crie um modelo do ARM para o seu cluster.
• Familiaridade com a criação e a implantação de modelo do ARM.
• Examine o exemplo de modelo completo do ARM arm-trino-catalog-sample.json.

Etapas para adicionar o catálogo no modelo do ARM

1. Anexar o Key Vault e adicionar segredos ao secretsProfile na propriedade clusterProfile.

   Nesta etapa, você precisa verificar se o Key Vault e os segredos estão configurados para o cluster Trino. No exemplo a seguir, as credenciais do SQL Server são armazenadas nesses segredos: trinotest-admin-user, trinotest-admin-pwd.

   "secretsProfile": {
       "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
       "secrets": [
           {
               "referenceName": "trinotest-admin-user",
               "keyVaultObjectName": "trinotest-admin-user",
               "type": "secret"
           },
           {
               "referenceName": "trinotest-admin-pwd",
               "keyVaultObjectName": "trinotest-admin-pwd",
               "type": "secret"
           }
       ]
   },
   

2. Adicionar catálogos a serviceConfigsProfiles na propriedade clusterProfile.

   Nesta etapa, você precisa adicionar a configuração de catálogo específica do Trino ao cluster. O exemplo a seguir configura dois catálogos usando conectores de Memória e do SQL Server. A configuração do catálogo pode ser especificada de duas maneiras diferentes:

   • Pares chave-valor na seção de valores.
   • Cadeia de caracteres única na propriedade content.

   O catálogo de memória é definido usando o par chave-valor e o catálogo do SQL Server é definido usando a opção de cadeia de caracteres única.

    "serviceConfigsProfiles": [
        {
            "serviceName": "trino",
            "configs": [
                {
                    "component": "catalogs",
                    "files": [
                            {
                            "fileName": "memory.properties",
                            "values": {
                                "connector.name": "memory",
                                "memory.max-data-per-node": "128MB"
                            }
                        },
                        {
                            "fileName": "trinotestdb1.properties",
                            "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                        },
                    ]
                }
            ]
        }
    ],
   

   Propriedades

   Propriedade	Descrição
   serviceName	trino
   componente	Identifica que a seção configura catálogos, deve ser "catalogs".
   files	Lista de arquivos de catálogo do Trino a serem adicionados ao cluster.
   filename	Lista de arquivos de catálogo do Trino a serem adicionados ao cluster.
   content	Cadeia de caracteres json com escape para colocar no arquivo de catálogo do trino. Essa cadeia de caracteres deve conter todas as propriedades de catálogo específicas do trino, que dependem do tipo de conector usado. Para obter mais informações, consulte a documentação do trino OSS.
   ${SECRET_REF:<referenceName>}	Marca especial para fazer referência a um segredo de secretsProfile. Trino em runtime busca o segredo do Key Vault e o substitui na configuração do catálogo.
   valores	É possível especificar a configuração do catálogo usando a propriedade de conteúdo como uma única cadeia de caracteres e usando pares chave-valor separados para cada propriedade de catálogo do Trino individual, conforme mostrado para o catálogo de memória.

Implante o modelo do ARM atualizado para refletir as alterações em seu cluster. Saiba como implantar um modelo do ARM.