Pré-requisitos de recursos
Importante
O Azure HDInsight no AKS se aposentou em 31 de janeiro de 2025. Saiba mais com este comunicado.
Você precisa migrar suas cargas de trabalho para microsoft fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.
Importante
Esse recurso está atualmente em versão prévia. Os termos de uso complementares para o Microsoft Azure Previews incluem mais termos legais que se aplicam aos recursos do Azure que estão em versão beta, em versão prévia ou ainda não lançados em disponibilidade geral. Para obter informações sobre essa versão prévia específica, consulte Azure HDInsight em informações de visualização do AKS. Para perguntas ou sugestões de recursos, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .
Este artigo detalha os recursos necessários para começar a usar o HDInsight no AKS. Ele aborda os recursos necessários e opcionais e como criá-los.
Recursos necessários
A tabela a seguir ilustra os recursos necessários necessários para a criação do cluster com base nos tipos de cluster.
| Carga | MSI (Identidade de Serviço Gerenciado) | Armazenamento | SQL Server – Banco de Dados SQL | Key Vault |
|---|---|---|---|---|
| Trino | ✅ | |||
| Flink | ✅ | ✅ | ||
| Fagulha | ✅ | ✅ | ||
| Trino, Flink ou Spark com a Metastore do Hive (HMS) | ✅ | ✅ | ✅ | ✅ |
Nota
A MSI é usada como um padrão de segurança para autenticação e autorização entre recursos, exceto o Banco de Dados SQL. A atribuição de função ocorre antes da implantação para autorizar a MSI ao armazenamento e os segredos são armazenados no cofre de chaves do Banco de Dados SQL. O suporte ao armazenamento é com o ADLS Gen2 e é usado como armazenamento de dados para os mecanismos de computação, e o Banco de Dados SQL é usado para o gerenciamento de tabelas no Metastore do Hive.
Recursos opcionais
- Rede Virtual (VNet) e Sub-rede: Criar rede virtual
- Workspace do Log Analytics: Criar workspace do Log Analytics
Nota
- A VNet exige sub-rede sem que haja uma tabela de rotas existente associada a ela.
- O HDInsight no AKS permite que você traga sua própria VNet e Sub-rede, permitindo que você personalize seus requisitos de rede para atender às necessidades da sua empresa.
- O workspace do Log Analytics é opcional e precisa ser criado antecipadamente caso você queira usar capacidades do Azure Monitor, como as do Azure Log Analytics .
Você pode criar os recursos necessários de duas maneiras:
Usando modelos do ARM
Os modelos arm a seguir permitem que você crie os recursos necessários especificados, em um clique usando um prefixo de recurso e mais detalhes, conforme necessário.
Por exemplo, se você fornecer o prefixo de recurso como "demonstração", os recursos a seguir serão criados em seu grupo de recursos, dependendo do modelo selecionado –
- O MSI é criado com o nome
demoMSI. - O armazenamento é criado com o nome como
demostorejuntamente com um contêiner comodemocontainer. - O cofre de chaves é criado com o nome
demoKeyVault, juntamente com o segredo fornecido como parâmetro no template. - O banco de dados SQL do Azure é criado com o nome como
demoSqlDBjuntamente com o SQL Server com nome comodemoSqlServer.
| Carga | Pré-requisitos |
|---|---|
| Trino |
Criar os recursos mencionados da seguinte maneira: 1. MSI (Identidade de Serviço Gerenciada): identidade gerenciada atribuída pelo usuário. |
| Flink |
Criar os recursos mencionados da seguinte maneira: 1. MSI (Identidade de Serviço Gerenciada): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento do ADLS Gen2 e um contêiner. Atribuições de função: 1. Atribui a função "Proprietário de Dados de Blob de Armazenamento" à MSI atribuída pelo usuário na conta de armazenamento. |
| Fagulha |
Criar os recursos mencionados da seguinte maneira: 1. MSI (Identidade de Serviço Gerenciada): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento do ADLS Gen2 e um contêiner. Atribuições de função: 1. Atribui a função "Proprietário de Dados de Blob de Armazenamento" à MSI atribuída pelo usuário na conta de armazenamento. |
| Trino, Flink ou Spark com Hive Metastore (HMS) |
Criar os recursos mencionados da seguinte maneira: 1. MSI (Identidade de Serviço Gerenciada): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento do ADLS Gen2 e um contêiner. 3. SQL Server do Azure e Banco de Dados SQL. 4. Azure Key Vault e um segredo para armazenar credenciais de administrador do SQL Server. atribuições de função: 1. Atribui a função "Proprietário de Dados de Blob de Armazenamento" à MSI atribuída pelo usuário na conta de armazenamento. 2. Atribui a função "Usuário de Segredos do Key Vault" ao MSI atribuído pelo usuário no Key Vault. |
Nota
O uso desses modelos do ARM exige que um usuário tenha permissão para criar novos recursos e atribuir funções aos recursos na assinatura.
Usando o portal do Azure
Criar msi (identidade gerenciada) atribuída pelo usuário
Uma identidade gerenciada é uma identidade registrada no Microsoft Entra ID (Microsoft Entra ID) cujas credenciais são gerenciadas pelo Azure. Com identidades gerenciadas, você não precisa registrar entidades de serviço na ID do Microsoft Entra para manter credenciais como certificados.
O HDInsight no AKS depende da MSI atribuída pelo usuário para comunicação entre diferentes componentes.
Criar conta de armazenamento – ADLS Gen 2
A conta de armazenamento é usada como o local padrão para logs de cluster e outras saídas. Habilite o namespace hierárquico durante a criação da conta de armazenamento para usar como armazenamento do ADLS Gen2.
Atribuir uma função: atribua a função "Proprietário de Dados de Blob de Armazenamento" à MSI atribuída pelo usuário criada a essa conta de armazenamento.
Criar um contêiner: depois de criar a conta de armazenamento, crie um contêiner na conta de armazenamento.
Nota
A opção de criar um contêiner durante a criação do cluster também está disponível.
Criar Banco de Dados SQL do Azure
Crie um Banco de Dados SQL do Azure para ser usado como um metastore externo durante a criação do cluster ou você pode usar um Banco de Dados SQL existente. No entanto, verifique se as propriedades a seguir estão definidas.
as propriedades necessárias a serem habilitadas para o SQL Server e o Banco de Dados SQL-
| Tipo de recurso | Propriedade | Descrição |
|---|---|---|
| SQL Server | Método de autenticação | Ao criar um SQL Server, use "Método de autenticação" como 
|
| Banco de Dados SQL | Permitir que os serviços e recursos do Azure acessem este servidor | Habilite essa propriedade na folha Rede no banco de dados SQL no portal do Azure. |
Nota
- Atualmente, oferecemos suporte apenas ao Banco de Dados SQL do Azure como metastore embutido.
- Devido à limitação do Hive, não há suporte para o caractere "-" (hífen) no nome do banco de dados metastore.
- O Banco de Dados SQL do Azure deve estar na mesma região do cluster.
- A opção de criar um Banco de Dados SQL durante a criação do cluster também está disponível. No entanto, é preciso atualizar a página de criação do cluster para que o novo banco de dados apareça na lista suspensa.
criar do Azure Key Vault
O Key Vault permite armazenar o conjunto de senhas de administrador do SQL Server durante a criação do Banco de Dados SQL. O HDInsight na plataforma AKS não lida diretamente com a credencial. Portanto, é necessário armazenar suas credenciais importantes no Key Vault.
Atribuir uma função: atribua a função "Usuário de Segredos do Key Vault" à MSI designada pelo usuário criada como parte dos recursos necessários para este Key Vault.
Criar um segredo: esta etapa permite que você mantenha sua senha de administrador do SQL Server como um segredo no Azure Key Vault. Adicione sua senha no campo "Valor" ao criar um segredo.
Nota
- Certifique-se de anotar o nome do segredo, pois isso é necessário durante a criação do cluster.
- Você precisa ter uma função de "Administrador do Key Vault" atribuída à sua identidade ou conta para adicionar um segredo no Key Vault usando o portal do Azure. Navegue até o Key Vault e siga as etapas em como atribuir a função.