Configurar catálogos

Nota

Vamos desativar o Azure HDInsight no AKS em 31 de janeiro de 2025. Antes de 31 de janeiro de 2025, você precisará migrar suas cargas de trabalho para o Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho. Os clusters restantes na sua subscrição serão interrompidos e removidos do anfitrião.

Apenas o apoio básico estará disponível até à data da reforma.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas para disponibilidade geral. Para obter informações sobre essa visualização específica, consulte Informações de visualização do Azure HDInsight no AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para obter mais atualizações na Comunidade do Azure HDInsight.

Cada cluster Trino vem por padrão com poucos catálogos - sistema, tpcds, tpch. Você pode adicionar seus próprios catálogos da mesma forma que faria com o OSS Trino. Além disso, o Trino com HDInsight no AKS permite armazenar segredos no Cofre da Chave para que você não precise especificá-los explicitamente no modelo ARM.

Você pode adicionar um novo catálogo atualizando seu modelo ARM de cluster, exceto o catálogo hive, que pode ser adicionado durante a criação do cluster Trino no portal do Azure.

Este artigo demonstra como você pode adicionar um novo catálogo ao seu cluster usando o modelo ARM. O exemplo neste artigo descreve as etapas para adicionar catálogos de memória e servidor SQL.

Pré-requisitos

• Um cluster Trino operacional com HDInsight no AKS.
• Banco de dados SQL do Azure.
• O login/senha do SQL Server do Azure são armazenados nos segredos do Cofre de Chaves e o MSI atribuído pelo usuário anexado ao cluster Trino recebe permissões para lê-los. Consulte as credenciais de armazenamento no Cofre da Chave e atribua função ao MSI.
• Crie um modelo ARM para seu cluster.
• Familiaridade com a criação e implantação de modelos ARM.
• Analise o exemplo completo de modelo ARM de cluster arm-trino-catalog-sample.json.

Etapas para adicionar catálogo no modelo ARM

1. Anexe o Cofre da Chave e adicione segredos à secretsProfile propriedade abaixo clusterProfile .

   Nesta etapa, você precisa certificar-se de que o Cofre da Chave e os segredos estão configurados para o cluster Trino. No exemplo a seguir, as credenciais do SQL Server são armazenadas nestes segredos: trinotest-admin-user, trinotest-admin-pwd.

   "secretsProfile": {
       "keyVaultResourceId": "/subscriptions/{USER_SUBSCRIPTION_ID}/resourceGroups/{USER_RESOURCE_GROUP}/providers/Microsoft.KeyVault/vaults/{USER_KEYVAULT_NAME}",
       "secrets": [
           {
               "referenceName": "trinotest-admin-user",
               "keyVaultObjectName": "trinotest-admin-user",
               "type": "secret"
           },
           {
               "referenceName": "trinotest-admin-pwd",
               "keyVaultObjectName": "trinotest-admin-pwd",
               "type": "secret"
           }
       ]
   },
   

2. Adicione catálogos à serviceConfigsProfiles propriedade under clusterProfile .

   Nesta etapa, você precisa adicionar a configuração de catálogo específico do Trino ao cluster. O exemplo a seguir configura dois catálogos usando conectores de memória e SQL Server. A configuração do catálogo pode ser especificada de duas maneiras diferentes:

   • Pares chave-valor na seção de valores.
   • Cadeia de caracteres única na propriedade content.

   O catálogo de memória é definido usando o par chave-valor e o catálogo do SQL Server é definido usando a opção de cadeia de caracteres única.

    "serviceConfigsProfiles": [
        {
            "serviceName": "trino",
            "configs": [
                {
                    "component": "catalogs",
                    "files": [
                            {
                            "fileName": "memory.properties",
                            "values": {
                                "connector.name": "memory",
                                "memory.max-data-per-node": "128MB"
                            }
                        },
                        {
                            "fileName": "trinotestdb1.properties",
                            "content":"connector.name=sqlserver\nconnection-url=jdbc:sqlserver://server-name.database.windows.net:1433;database=db1;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;loginTimeout=30;\nconnection-user=${SECRET_REF:trinotest-admin-user}\nconnection-password=${SECRET_REF:trinotest-admin-pwd}\n"
                        },
                    ]
                }
            ]
        }
    ],
   

   Propriedades

   Property	Description
   nome_do_serviço	Trino
   componente	Identifica que a seção configura catálogos, deve ser "catálogos".
   ficheiros	Lista de arquivos de catálogo Trino a serem adicionados ao cluster.
   filename	Lista de arquivos de catálogo Trino a serem adicionados ao cluster.
   content	json seqüência de caracteres escapada para colocar no arquivo de catálogo trino. Essa cadeia de caracteres deve conter todas as propriedades de catálogo trino-específicas, que dependem do tipo de conector usado. Para obter mais informações, consulte a documentação do trino OSS.
   ${SECRET_REF:<referenceName>}	Tag especial para fazer referência a um segredo de secretsProfile. Trino em tempo de execução buscar o segredo do Key Vault e substituí-lo na configuração do catálogo.
   valores	É possível especificar a configuração do catálogo usando a propriedade content como uma única cadeia de caracteres e usando pares chave-valor separados para cada propriedade individual do catálogo Trino, conforme mostrado para o catálogo de memória.

Implante o modelo ARM atualizado para refletir as alterações no cluster. Saiba como implantar um modelo ARM.