Pré-requisitos do recurso
Observação
Desativaremos o Microsoft Azure HDInsight no AKS em 31 de janeiro de 2025. Para evitar o encerramento abrupto das suas cargas de trabalho, você precisará migrá-las para o Microsoft Fabric ou para um produto equivalente do Azure antes de 31 de janeiro de 2025. Os clusters restantes em sua assinatura serão interrompidos e removidos do host.
Somente o suporte básico estará disponível até a data de desativação.
Importante
Esse recurso está atualmente na visualização. Os Termos de uso complementares para versões prévias do Microsoft Azure incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, confira Informações sobre a versão prévia do Azure HDInsight no AKS. Caso tenha perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para ver mais atualizações sobre a Comunidade do Azure HDInsight.
Este artigo detalha os recursos necessários para começar a usar o HDInsight no AKS. Ele aborda os recursos necessários e opcionais e como criá-los.
Recursos necessários
A tabela a seguir ilustra os recursos necessários para a criação do cluster com base nos tipos de cluster.
| Carga de trabalho | MSI (Identidade do serviço gerenciado) | Armazenamento | SQL Server – Banco de Dados SQL | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Spark | ✅ | ✅ | ||
| Trino, Flink ou Spark com Metastore do Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Observação
A MSI é usada como um padrão de segurança para autenticação e autorização entre recursos, exceto o Banco de Dados SQL. A atribuição de função ocorre antes da implantação para autorizar a MSI a usar o armazenamento, e os segredos são armazenados no cofre de chaves do Banco de Dados SQL. O suporte a armazenamento é com o ADLS Gen2 e é usado como armazenamento de dados para os mecanismos de computação, enquanto o Banco de Dados SQL é usado para o gerenciamento de tabelas no Metastore do Hive.
Recursos opcionais
- Rede Virtual (VNet) e sub-rede: Criar rede virtual
- Workspace do Log Analytics: Criar workspace do Log Analytics
Observação
- A VNet requer uma sub-rede sem nenhuma tabela de rotas existente associada a ela.
- O HDInsight no AKS permite que você traga sua VNet e sub-rede, possibilitando que você personalize seus requisitos de rede para atender às necessidades da sua empresa.
- O workspace do Log Analytics é opcional e precisa ser criado com antecedência caso você queira usar funcionalidades do Azure Monitor, como o Azure Log Analytics.
Você pode criar os recursos necessários de duas maneiras:
Usando modelos do ARM
Os modelos do ARM a seguir permitem que você crie com um clique os recursos necessários especificados, usando um prefixo de recurso e mais detalhes, conforme necessário.
Por exemplo, se você fornecer o prefixo de recurso como “demo”, os recursos a seguir serão criados em seu grupo de recursos, dependendo do modelo selecionado –
- a MSI será criada com um nome como
demoMSI. - O armazenamento é criado com um nome como
demostore, juntamente com um contêiner comodemocontainer. - O cofre de chaves é criado com o nome como
demoKeyVault, juntamente com o segredo fornecido como parâmetro no modelo. - O banco de dados SQL do Azure é criado com um nome como
demoSqlDB, juntamente com o SQL Server com um nome comodemoSqlServer.
| Carga de trabalho | Pré-requisitos |
|---|---|
| Trino | Criar os recursos mencionados da seguinte maneira: 1. MSI (identidade de serviço gerenciado)> identidade gerenciada atribuída pelo usuário. |
| Flink | Criar os recursos mencionados da seguinte maneira: 1. MSI (identidade de serviço gerenciado)> identidade gerenciada atribuída pelo usuário. 2. Uma conta de armazenamento e um contêiner do ADLS Gen2. Atribuições de função: 1. O MSI atribuído pelo usuário precisa ter a função “Proprietário de Dados do Blob de Armazenamento“ na conta de armazenamento. |
| Spark | Criar os recursos mencionados da seguinte maneira: 1. MSI (identidade de serviço gerenciado)> identidade gerenciada atribuída pelo usuário. 2. Uma conta de armazenamento e um contêiner do ADLS Gen2. Atribuições de função: 1. O MSI atribuído pelo usuário precisa ter a função “Proprietário de Dados do Blob de Armazenamento“ na conta de armazenamento. |
| Trino, Flink ou Spark com Metastore do Hive (HMS) | Criar os recursos mencionados da seguinte maneira: 1. MSI (identidade de serviço gerenciado)> identidade gerenciada atribuída pelo usuário. 2. Uma conta de armazenamento e um contêiner do ADLS Gen2. 3. SQL Server do Azure e Banco de Dados SQL. 4. O Azure Key Vault e um segredo para armazenar credenciais de administrador do SQL Server. Atribuições de função: 1. O MSI atribuído pelo usuário precisa ter a função “Proprietário de Dados do Blob de Armazenamento“ na conta de armazenamento. 2. Atribui a função “Usuário de Segredos do Key Vault” à MSI atribuída pelo usuário no Key Vault. |
Observação
O uso destes modelos do ARM exige que um usuário tenha permissão para criar recursos e atribuir funções aos recursos na assinatura.
Como usar o portal do Azure
Criar uma MSI (identidade gerenciada atribuída pelo usuário)
Uma identidade gerenciada é uma identidade registrada no Microsoft Entra ID (Microsoft Entra ID), cujas credenciais são gerenciadas pelo Azure. Com identidades gerenciadas, você não precisa registrar entidades de serviço no Microsoft Entra ID para manter credenciais, como certificados.
O HDInsight no AKS depende da MSI atribuída pelo usuário para comunicação entre componentes diferentes.
Criar conta de armazenamento – ADLS Gen2
A conta de armazenamento é usada como o local padrão dos logs de cluster e outras saídas. Habilite o namespace hierárquico durante a criação da conta de armazenamento para usá-lo como armazenamento do ADLS Gen2.
Atribuir uma função: atribua a função “Proprietário de dados de blob de armazenamento” à MSI atribuída pelo usuário criada para essa conta de armazenamento.
Criar um contêiner: depois de criar a conta de armazenamento, crie um contêiner nela.
Observação
A opção de criar um contêiner durante a criação do cluster também está disponível.
Criar um Banco de Dados SQL do Azure
Crie um Banco de Dados SQL do Azure para ser usado como um metastore externo durante a criação do cluster, ou você pode usar um Banco de Dados SQL existente. No entanto, assegure que as propriedades a seguir estejam definidas.
As propriedades necessárias a serem habilitadas para o SQL Server e o Banco de Dados SQL-
| Tipo de recurso | Propriedade | Descrição |
|---|---|---|
| SQL Server | Método de autenticação | Ao criar um SQL Server, use "Método de autenticação" como 
|
| Banco de Dados SQL | Permitir que serviços e recursos do Azure acessem este servidor | Habilite essa propriedade na folha Rede, no banco de dados SQL no portal do Azure. |
Observação
- Atualmente, oferecemos suporte apenas ao Banco de Dados SQL do Azure como metastore embutido.
- Devido à limitação do Hive, não há suporte para o caractere "-" (hífen) no nome do banco de dados metastore.
- O Banco de Dados SQL do Azure deve estar na mesma região que o seu cluster.
- A opção de criar um Banco de Dados SQL durante a criação do cluster também está disponível. No entanto, você precisa atualizar a página de criação do cluster para que o banco de dados recém-criado apareça na lista suspensa.
Criar Azure Key Vault
O Key Vault permite armazenar o conjunto de senhas de administrador do SQL Server durante a criação do Banco de Dados SQL. A plataforma HDInsight no AKS não lida diretamente com a credencial. Portanto, é necessário armazenar suas credenciais importantes no Key Vault.
Atribuir uma função: atribua a função de “usuário de segredos do Key Vault” à MSI atribuída pelo usuário criada como parte dos recursos necessários para este Key Vault.
Criar um segredo: esta etapa permite que você mantenha sua senha de administrador do SQL Server como um segredo no Azure Key Vault. Adicione sua senha no campo “Valor” ao criar um segredo.
Observação
- Observe o nome do segredo, pois isso é necessário durante a criação do cluster.
- Você precisa ter uma função de “Administrador do Key Vault” atribuída à sua identidade ou conta para adicionar um segredo no Key Vault usando o portal do Azure. Navegue até o Key Vault e siga as etapas em como atribuir a função.