Pré-requisitos de recursos

Importante

O Azure HDInsight no AKS foi desativado em 31 de janeiro de 2025. Saiba mais com este anúncio.

Você precisa migrar suas cargas de trabalho para Microsoft Fabric ou um produto equivalente do Azure para evitar o encerramento abrupto de suas cargas de trabalho.

Importante

Esta funcionalidade está atualmente em pré-visualização. Os Termos de Utilização Suplementares para Pré-visualizações do Microsoft Azure incluem mais termos legais que se aplicam a funcionalidades do Azure que estão em versão beta, em pré-visualização ou ainda não disponibilizadas de forma geral. Para obter informações sobre essa visualização específica, consulte Azure HDInsight no AKS informações de visualização. Para perguntas ou sugestões de funcionalidades, envie uma solicitação no AskHDInsight com os detalhes e siga-nos para mais atualizações na Comunidade do Azure HDInsight .

Este artigo detalha os recursos necessários para começar a usar o HDInsight no AKS. Abrange os recursos necessários e opcionais e como criá-los.

Recursos necessários

A tabela a seguir mostra os recursos necessários para a criação de cluster com base nos tipos de cluster.

Carga de trabalho	Identidade de Serviço Gerenciado (MSI)	Armazenamento	SQL Server - Banco de Dados SQL	Cofre da Chave
Trino	✅
Flink	✅	✅
Faísca	✅	✅
Trino, Flink ou Spark com Hive Metastore (HMS)	✅	✅	✅	✅

Observação

O MSI é usado como um padrão de segurança para autenticação e autorização entre recursos, exceto o Banco de dados SQL. A atribuição de funções ocorre antes da implementação para autorizar o MSI a aceder ao armazenamento e os segredos são armazenados no Cofre de Chaves para o SQL Database. O suporte de armazenamento é com o ADLS Gen2 e é usado como armazenamento de dados para os mecanismos de computação, e o Banco de dados SQL é usado para gerenciamento de tabelas no Hive Metastore.

Recursos opcionais

• Rede virtual (VNet) e sub-rede: Criar rede virtual
• Criar Espaço de Trabalho do Log Analytics:

Observação

• A VNet requer uma sub-rede sem nenhuma tabela de rotas existente associada.
• O HDInsight no AKS permite que você traga sua própria rede virtual e sub-rede, permitindo que você personalize seus requisitos de rede para atender às necessidades de sua empresa.
• O espaço de trabalho do Log Analytics é opcional e precisa ser criado com antecedência caso você queira usar os recursos do Azure Monitor, como Azure Log Analytics.

Você pode criar os recursos necessários de duas maneiras:

• Modelos ARM prontos a usar
• Usando o portal do Azure

Usando modelos ARM

Os modelos ARM a seguir permitem que você crie os recursos necessários especificados, em um clique, usando um prefixo de recurso e mais detalhes, conforme necessário.

Por exemplo, se você fornecer o prefixo do recurso como "demonstração", os seguintes recursos serão criados em seu grupo de recursos, dependendo do modelo selecionado -

• MSI é criado com o nome demoMSI.
• O armazenamento é criado com o nome como demostore juntamente com um contêiner como democontainer.
• O cofre de chaves é criado com o nome demoKeyVault, juntamente com o segredo fornecido como parâmetro no template.
• O banco de dados SQL do Azure é criado com nome como demoSqlDB junto com o SQL Server com nome como demoSqlServer.

Carga de trabalho	Pré-requisitos
Trino	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário.
Flink	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento ADLS Gen2 e um contêiner. Atribuições de funções: 1. Atribui a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário na conta de armazenamento.
Faísca	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento ADLS Gen2 e um contêiner. Atribuições de funções: 1. Atribui a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário na conta de armazenamento.
Trino, Flink ou Spark com Hive Metastore (HMS)	Crie os recursos mencionados da seguinte forma: 1. Identidade de Serviço Gerenciado (MSI): identidade gerenciada atribuída pelo usuário. 2. Conta de armazenamento ADLS Gen2 e um contêiner. 3. Azure SQL Server e Banco de Dados SQL. 4. Azure Key Vault e um segredo para armazenar credenciais de administrador do SQL Server. Atribuições de funções: 1. Atribui a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário na conta de armazenamento. 2. Atribui a função de "Key Vault Secrets User" ao MSI designado pelo usuário no Key Vault.

Observação

O uso desses modelos ARM exige que um usuário tenha permissão para criar novos recursos e atribuir funções aos recursos na assinatura.

Usando o portal do Azure

Criar identidade gerenciada atribuída pelo usuário (MSI)

Uma identidade gerida é uma identidade registada no Microsoft Entra ID (Microsoft Entra ID) cujas credenciais são geridas pelo Azure. Com identidades gerenciadas, você não precisa registrar entidades de serviço no Microsoft Entra ID para manter credenciais como certificados.

O HDInsight no AKS depende do MSI atribuído pelo usuário para comunicação entre diferentes componentes.

Criar conta de armazenamento – ADLS Gen 2

A conta de armazenamento é usada como o local padrão para logs de cluster e outras saídas. Habilite o namespace hierárquico durante a criação da conta de armazenamento para usar como armazenamento ADLS Gen2.

1. Atribuir uma função: Atribua a função "Storage Blob Data Owner" ao MSI atribuído pelo usuário criado para essa conta de armazenamento.

2. Criar um contêiner: Depois de criar a conta de armazenamento, crie um contêiner na conta de armazenamento.

Observação

A opção para criar um contêiner durante a criação do cluster também está disponível.

Criar Banco de Dados SQL do Azure

Crie um Banco de Dados SQL do Azure para ser usado como um metastore externo durante a criação do cluster ou você pode usar um Banco de Dados SQL existente. No entanto, certifique-se de que as seguintes propriedades estão definidas.

Propriedades necessárias a serem habilitadas para o SQL Server e o Banco de dados SQL-

Tipo de recurso	Propriedade	Descrição
Servidor SQL	Método de autenticação	Ao criar um SQL Server, use "Método de autenticação" como
Banco de dados SQL	Permitir que os serviços e recursos do Azure acessem este servidor	Habilite essa propriedade na folha Rede em seu banco de dados SQL no portal do Azure.

Observação

• Atualmente, oferecemos suporte apenas ao Banco de Dados SQL do Azure como metastore incorporado.
• Devido à limitação do Hive, o caractere "-" (hífen) no nome do banco de dados do metastore não é suportado.
• O Banco de Dados SQL do Azure deve estar na mesma região do cluster.
• A opção para criar um Banco de Dados SQL durante a criação do cluster também está disponível. No entanto, é necessário atualizar a página de criação do cluster para que o banco de dados recém-criado apareça na lista suspensa.

Criar Cofre de Chaves do Azure

O Cofre de Chaves permite armazenar a senha de administrador do SQL Server definida durante a criação do Banco de Dados SQL. O HDInsight na plataforma AKS não lida diretamente com a credencial. Por isso, é necessário armazenar suas credenciais importantes no Cofre da Chave.

1. Atribuir uma função: Atribua a função "Usuário de Segredos do Cofre de Chaves" ao MSI atribuído pelo usuário criado como parte dos recursos necessários para esse Cofre de Chaves.

2. Criar um segredo: esta etapa permite que mantenha a sua senha de administrador do SQL Server como um segredo no Cofre de Chaves do Azure. Adicione a sua palavra-passe no campo "Valor" enquanto cria um segredo.

Observação

• Certifique-se de anotar o nome secreto, pois isso é necessário durante a criação do cluster.
• Você precisa ter uma função "Administrador do Cofre da Chave" atribuída à sua identidade ou conta para adicionar um segredo no Cofre da Chave usando o portal do Azure. Navegue até o Cofre de Chaves e siga os passos em para atribuir a função.