Partilhar via

Criar e configurar clusters do Pacote de Segurança Empresarial no Azure HDInsight

  • Artigo

O Pacote de Segurança Empresarial (ESP) para Azure HDInsight dá-lhe acesso à autenticação baseada em ID do Microsoft Entra, suporte multiutilizador e controlo de acesso baseado em função para os seus clusters Apache Hadoop no Azure. Os clusters ESP do HDInsight permitem que as organizações que aderem a políticas de segurança corporativas rígidas processem dados confidenciais com segurança.

Este guia mostra como criar um cluster do Azure HDInsight habilitado para ESP. Ele também mostra como criar uma VM IaaS do Windows na qual o Microsoft Entra ID e o DNS (Sistema de Nomes de Domínio) estão habilitados. Use este guia para configurar os recursos necessários para permitir que usuários locais entrem em um cluster HDInsight habilitado para ESP.

O servidor que você criar atuará como um substituto para seu ambiente local real . Você o usará para as etapas de instalação e configuração. Mais tarde, você repetirá as etapas em seu próprio ambiente.

Este guia também ajudará você a criar um ambiente de identidade híbrida usando a sincronização de hash de senha com o Microsoft Entra ID. O guia complementa Usar ESP no HDInsight.

Antes de usar esse processo em seu próprio ambiente:

  • Configure o ID e o DNS do Microsoft Entra.
  • Habilite o Microsoft Entra ID.
  • Sincronize contas de usuário locais com o ID do Microsoft Entra.

Diagrama de arquitetura do Microsoft Entra.

Criar um ambiente local

Nesta seção, você usará um modelo de implantação de Início Rápido do Azure para criar novas VMs, configurar o DNS e adicionar uma nova floresta de ID do Microsoft Entra.

  1. Vá para o modelo de implantação de início rápido para Criar uma VM do Azure com uma nova floresta de ID do Microsoft Entra.

  2. Selecione Implantar no Azure.

  3. Entre na sua assinatura do Azure.

  4. Na página Criar uma VM do Azure com uma nova Floresta do AD, forneça as seguintes informações:

    Property valor
    Subscrição Selecione a assinatura onde deseja implantar os recursos.
    Grupo de recursos Selecione Criar novo e insira o nome OnPremADVRG
    Location Selecione uma localização.
    Nome de Utilizador de Administrador HDIFabrikamAdmin
    Palavra-passe de Administrador Introduza uma palavra-passe.
    Nome do Domínio HDIFabrikam.com
    Prefixo Dns hdifabrikam

    Deixe os valores padrão restantes.

    Modelo para Criar uma VM do Azure com uma nova Floresta do Microsoft Entra.

  5. Reveja os Termos e Condições e, em seguida, selecione Concordo com os termos e condições acima indicados.

  6. Selecione Comprar, monitore a implantação e aguarde sua conclusão. A implantação leva cerca de 30 minutos para ser concluída.

Configurar usuários e grupos para acesso ao cluster

Nesta seção, você criará os usuários que terão acesso ao cluster HDInsight até o final deste guia.

  1. Conecte-se ao controlador de domínio usando a Área de Trabalho Remota.

    1. No portal do Azure, navegue até Grupos>de recursos OnPremADVRG>adVM>Connect.
    2. Na lista suspensa Endereço IP, selecione o endereço IP público.
    3. Selecione Baixar arquivo RDP e, em seguida, abra o arquivo.
    4. Use HDIFabrikam\HDIFabrikamAdmin como o nome de usuário.
    5. Introduza a palavra-passe que escolheu para a conta de administrador.
    6. Selecione OK.

  2. No painel do Gerenciador do Servidor do controlador de domínio, navegue até Ferramentas>Microsoft Entra ID Usuários e Computadores.

    No painel do Gerenciador do Servidor, abra o Gerenciamento de ID do Microsoft Entra.

  3. Crie dois novos utilizadores: HDIAdmin e HDIUser. Esses dois usuários entrarão nos clusters HDInsight.

    1. Na página Usuários e Computadores do Microsoft Entra ID, clique com o botão direito do mouse e HDIFabrikam.comnavegue até Novo>Usuário.

      Crie um novo usuário do Microsoft Entra ID.

    2. Na página Novo Objeto - Usuário, digite HDIUser Nome e Nome de logon do usuário. Os outros campos serão preenchidos automaticamente. Em seguida, selecione Seguinte.

      Crie o primeiro objeto de usuário admin.

    3. Na janela pop-up apresentada, introduza uma palavra-passe para a nova conta. Selecione A palavra-passe nunca expira e, em seguida , OK na mensagem pop-up.

    4. Selecione Avançar e, em seguida , Concluir para criar a nova conta.

    5. Repita as etapas acima para criar o usuário HDIAdmin.

      Crie um segundo objeto de usuário admin.

  4. Crie um grupo de segurança.

    1. Em Usuários e Computadores do Microsoft Entra ID, clique com o botão direito do mouse e HDIFabrikam.comnavegue até Novo>Grupo.

    2. Digite HDIUserGroup na caixa de texto Nome do grupo .

    3. Selecione OK.

    Crie um novo grupo de ID do Microsoft Entra.

    Criar um novo objeto.

  5. Adicione membros ao HDIUserGroup.

    1. Clique com o botão direito do rato em HDIUser e selecione Adicionar a um grupo....

    2. Na caixa de texto Digite os nomes dos objetos a serem selecionados , digite HDIUserGroup. Em seguida, selecione OK e OK novamente no pop-up.

    3. Repita os passos anteriores para a conta HDIAdmin .

      Adicione o membro HDIUser ao grupo HDIUserGroup.

Agora você criou seu ambiente Microsoft Entra ID. Você adicionou dois usuários e um grupo de usuários que podem acessar o cluster HDInsight.

Os usuários serão sincronizados com o Microsoft Entra ID.

Criar um diretório do Microsoft Entra

  1. Inicie sessão no portal do Azure.

  2. Selecione Criar um recurso e digite directory. Selecione Microsoft Entra ID>Create.

  3. Em Nome da organização, digite HDIFabrikam.

  4. Em Nome de domínio inicial, digite HDIFabrikamoutlook.

  5. Selecione Criar.

    Crie um diretório do Microsoft Entra.

Criar um domínio personalizado

  1. Na sua nova ID do Microsoft Entra, em Gerir, selecione Nomes de domínio personalizados.

  2. Selecione + Adicionar domínio personalizado.

  3. Em Nome de domínio personalizado, introduza HDIFabrikam.come, em seguida, selecione Adicionar domínio.

  4. Em seguida, conclua Adicione suas informações de DNS ao registrador de domínios.

    Crie um domínio personalizado.

Criar um grupo

  1. Na sua nova ID do Microsoft Entra, em Gerir, selecione Grupos.
  2. Selecione + Novo grupo.
  3. Na caixa de texto nome do grupo , digite AAD DC Administrators.
  4. Selecione Criar.

Configurar seu locatário do Microsoft Entra

Agora você configurará seu locatário do Microsoft Entra para que possa sincronizar usuários e grupos da instância local do Microsoft Entra ID para a nuvem.

Crie um administrador de locatário do Microsoft Entra ID.

  1. Entre no portal do Azure e selecione seu locatário do Microsoft Entra, HDIFabrikam.

  2. Navegue até Gerenciar>usuários>Novo usuário.

  3. Insira os seguintes detalhes para o novo usuário:

    Identidade

    Property Description
    User name Digite fabrikamazureadmin na caixa de texto. Na lista suspensa de nomes de domínio, selecione hdifabrikam.com
    Nome Introduzir fabrikamazureadmin.

    Palavra-passe

    1. Selecione Deixe-me criar a senha.
    2. Introduza uma palavra-passe segura à sua escolha.

    Grupos e funções

    1. Selecione 0 grupos selecionados.

    2. Selecione AAD DC Administradores e, em seguida , Selecionar.

      A caixa de diálogo Grupos do Microsoft Entra.

    3. Selecione Usuário.

    4. Selecione Administrador e, em seguida , Selecionar.

  4. Selecione Criar.

  5. Em seguida, faça com que o novo usuário entre no portal do Azure, onde será solicitado a alterar a senha. Você precisará fazer isso antes de configurar o Microsoft Entra Connect.

Sincronizar usuários locais com o ID do Microsoft Entra

Configurar o Microsoft Entra Connect

  1. No controlador de domínio, baixe o Microsoft Entra Connect.

  2. Abra o ficheiro executável que transferiu e concorde com os termos da licença. Selecione Continuar.

  3. Selecione Usar configurações expressas.

  4. Na página Ligar ao Microsoft Entra ID, introduza o nome de utilizador e a palavra-passe do Administrador de Nomes de Domínio para Microsoft Entra ID. Use o nome fabrikamazureadmin@hdifabrikam.com de usuário que você criou quando configurou seu locatário. Em seguida, selecione Seguinte.

    Conecte-se ao Microsoft Entra ID.

  5. Na página Ligar aos Serviços de Domínio do Microsoft Entra ID, introduza o nome de utilizador e a palavra-passe de uma conta de administrador empresarial. Use o nome HDIFabrikam\HDIFabrikamAdmin de usuário e sua senha que você criou anteriormente. Em seguida, selecione Seguinte.

    Conecte-se à página A D D S.

  6. Na página de configuração de entrada do Microsoft Entra, selecione Avançar.

    Página de configuração de início de sessão do Microsoft Entra.

  7. Na página Pronto para configurar, selecione Instalar.

    Página pronta para configurar.

  8. Na página Configuração concluída, selecione Sair. Página completa da configuração.

  9. Após a conclusão da sincronização, confirme se os usuários criados no diretório IaaS estão sincronizados com a ID do Microsoft Entra.

    1. Inicie sessão no portal do Azure.
    2. Selecione Microsoft Entra ID>HDIFabrikam>Users.

Criar uma identidade gerida atribuída pelo utilizador

Crie uma identidade gerenciada atribuída pelo usuário que você pode usar para configurar os Serviços de Domínio do Microsoft Entra. Para obter mais informações, consulte Criar, listar, excluir ou atribuir uma função a uma identidade gerenciada atribuída pelo usuário usando o portal do Azure.

  1. Inicie sessão no portal do Azure.
  2. Selecione Criar um recurso e digite managed identity. Selecione Criar identidade gerenciada>atribuída pelo usuário.
  3. Para o Nome do Recurso, digite HDIFabrikamManagedIdentity.
  4. Selecione a sua subscrição.
  5. Em Grupo de recursos, selecione Criar novo e insira HDIFabrikam-CentralUS.
  6. Em Localização, selecione Central dos EUA.
  7. Selecione Criar.

Crie uma nova identidade gerenciada atribuída pelo usuário.

Ativar o Microsoft Entra Domain Services.

Siga estas etapas para habilitar os Serviços de Domínio do Microsoft Entra. Para obter mais informações, consulte Habilitar os Serviços de Domínio do Microsoft Entra usando o portal do Azure.

  1. Crie uma rede virtual para hospedar os Serviços de Domínio do Microsoft Entra. Execute o seguinte código do PowerShell.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Inicie sessão no portal do Azure.

  3. Selecione Criar recurso, insira Domain servicese selecione Criar Serviços>de Domínio do Microsoft Entra.

  4. Na página Noções básicas:

    1. Em Nome do diretório, selecione o diretório do Microsoft Entra que você criou: HDIFabrikam.

    2. Para Nome de domínio DNS, digite HDIFabrikam.com.

    3. Selecione a sua subscrição.

    4. Especifique o grupo de recursos HDIFabrikam-CentralUS. Em Local, selecione Central US.

      Detalhes básicos dos Serviços de Domínio Microsoft Entra.

  5. Na página Rede, selecione a rede (HDIFabrikam-VNET) e a sub-rede (AADDS-subnet) que você criou usando o script do PowerShell. Ou escolha Criar novo para criar uma rede virtual agora.

    Criar etapa de rede virtual.

  6. Na página Grupo de administradores, você verá uma notificação de que um grupo chamado AAD DC Administradores já foi criado para administrar esse grupo. Você pode modificar a associação desse grupo se quiser, mas neste caso não precisa alterá-la. Selecione OK.

    Exiba o grupo de administradores do Microsoft Entra.

  7. Na página Sincronização, habilite a sincronização completa selecionando Tudo>OK.

    Habilite a sincronização dos Serviços de Domínio Microsoft Entra.

  8. Na página Resumo, verifique os detalhes dos Serviços de Domínio Microsoft Entra e selecione OK.

    Habilite os Serviços de Domínio do Microsoft Entra.

Depois de habilitar os Serviços de Domínio do Microsoft Entra, um servidor DNS local é executado nas VMs do Microsoft Entra.

Configurar a rede virtual dos Serviços de Domínio Microsoft Entra

Use as etapas a seguir para configurar sua rede virtual dos Serviços de Domínio Microsoft Entra (HDIFabrikam-AADDSVNET) para usar seus servidores DNS personalizados.

  1. Localize os endereços IP dos seus servidores DNS personalizados.

    1. Selecione o recurso Serviços de HDIFabrikam.com Domínio Microsoft Entra.
    2. Em Gerir, selecione Propriedades.
    3. Encontre os endereços IP em Endereço IP na rede virtual.

    Localize endereços IP DNS personalizados para os Serviços de Domínio Microsoft Entra.

  2. Configure HDIFabrikam-AADDSVNET para usar endereços IP personalizados 10.0.0.4 e 10.0.0.5.

    1. Em Configurações, selecione Servidores DNS.
    2. Selecione Personalizado.
    3. Na caixa de texto, digite o primeiro endereço IP (10.0.0.4).
    4. Selecione Guardar.
    5. Repita as etapas para adicionar o outro endereço IP (10.0.0.5).

Em nosso cenário, configuramos os Serviços de Domínio Microsoft Entra para usar os endereços IP 10.0.0.4 e 10.0.0.5, definindo o mesmo endereço IP na rede virtual dos Serviços de Domínio Microsoft Entra:

A página de servidores DNS personalizados.

Protegendo o tráfego LDAP

O protocolo LDAP (Lightweight Directory Access Protocol) é usado para ler e gravar no Microsoft Entra ID. Você pode tornar o tráfego LDAP confidencial e seguro usando a tecnologia Secure Sockets Layer (SSL) ou Transport Layer Security (TLS). Você pode ativar o LDAP sobre SSL (LDAPS) instalando um certificado formatado corretamente.

Para obter mais informações sobre LDAP seguro, consulte Configurar LDAPS para um domínio gerenciado dos Serviços de Domínio Microsoft Entra.

Nesta seção, você cria um certificado autoassinado, baixa o certificado e configura LDAPS para o domínio gerenciado HDIFabrikam Microsoft Entra Domain Services.

O script a seguir cria um certificado para HDIFabrikam. O certificado é salvo no caminho LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Nota

Qualquer utilitário ou aplicativo que crie uma solicitação PKCS (Public Key Cryptography Standards) #10 válida pode ser usado para formar a solicitação de certificado TLS/SSL.

Verifique se o certificado está instalado no armazenamento pessoal do computador:

  1. Inicie o MMC (Console de Gerenciamento Microsoft).

  2. Adicione o snap-in Certificados que gerencia certificados no computador local.

  3. Expanda Certificados (Computador Local)>Certificados Pessoais.> Um novo certificado deve existir no repositório pessoal . Este certificado é emitido para o nome de host totalmente qualificado.

    Verifique a criação do certificado local.

  4. No painel à direita, clique com o botão direito do rato no certificado que criou. Aponte para Todas as Tarefas e selecione Exportar.

  5. Na página Exportar Chave Privada, selecione Sim, exportar a chave privada. O computador para onde a chave será importada precisa da chave privada para ler as mensagens encriptadas.

    A página Exportar Chave Privada do Assistente para Exportação de Certificados.

  6. Na página Formato de Arquivo de Exportação , deixe as configurações padrão e selecione Avançar.

  7. Na página Senha, digite uma senha para a chave privada. Em Criptografia, selecione TripleDES-SHA1. Em seguida, selecione Seguinte.

  8. Na página Arquivo a Exportar, digite o caminho e o nome do arquivo de certificado exportado e selecione Avançar. O nome do ficheiro tem de ter uma extensão .pfx. Esse arquivo é configurado no portal do Azure para estabelecer uma conexão segura.

  9. Habilite LDAPS para um domínio gerenciado dos Serviços de Domínio Microsoft Entra.

    1. No portal do Azure, selecione o domínio HDIFabrikam.com.
    2. Em Gerenciar, selecione LDAP seguro.
    3. Na página LDAP seguro, em LDAP seguro, selecione Ativar.
    4. Procure o ficheiro de certificado .pfx que exportou para o computador.
    5. Digite a senha do certificado.

    Habilite o LDAP seguro.

  10. Agora que você ativou o LDAPS, verifique se ele está acessível ativando a porta 636.

    1. No grupo de recursos HDIFabrikam-CentralUS, selecione o grupo de segurança de rede AADDS-HDIFabrikam.com-NSG.

    2. Em Configurações, selecione Regras> de segurança de entrada Adicionar.

    3. Na página Adicionar regra de segurança de entrada, insira as seguintes propriedades e selecione Adicionar:

      Property Value
      Source Qualquer
      Intervalo de portas de origem *
      Destino Qualquer
      Intervalo de portas de destino 636
      Protocolo Qualquer
      Ação Permitir
      Prioridade <Número desejado>
      Nome Port_LDAP_636

      A caixa de diálogo Adicionar regra de segurança de entrada.

HDIFabrikamManagedIdentity é a identidade gerenciada atribuída pelo usuário. A função de Colaborador dos Serviços de Domínio HDInsight está habilitada para a identidade gerenciada que permitirá que essa identidade leia, crie, modifique e exclua operações de serviços de domínio.

Crie uma identidade gerida atribuída pelo utilizador.

Criar um cluster HDInsight habilitado para ESP

Esta etapa requer os seguintes pré-requisitos:

  1. Crie um novo grupo de recursos HDIFabrikam-WestUS no local West US.

  2. Crie uma rede virtual que hospedará o cluster HDInsight habilitado para ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Crie uma relação de mesmo nível entre a rede virtual que hospeda os Serviços de Domínio Microsoft Entra (HDIFabrikam-AADDSVNET) e a rede virtual que hospedará o cluster HDInsight habilitado para ESP (HDIFabrikam-HDIVNet). Use o seguinte código do PowerShell para emparelhar as duas redes virtuais.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Crie uma nova conta do Azure Data Lake Storage Gen2 chamada Hdigen2store. Configure a conta com a identidade gerenciada pelo usuário HDIFabrikamManagedIdentity. Para obter mais informações, veja Utilizar o Azure Data Lake Storage Gen2 com clusters do Azure HDInsight.

  5. Configure o DNS personalizado na rede virtual HDIFabrikam-AADDSVNET .

    1. Vá para os grupos>de recursos do portal >do Azure OnPremADVRG>HDIFabrikam-AADDSVNET>servidores DNS.

    2. Selecione Personalizar e digite 10.0.0.4 e 10.0.0.5.

    3. Selecione Guardar.

      Salve configurações de DNS personalizadas para uma rede virtual.

  6. Crie um novo cluster HDInsight Spark habilitado para ESP.

    1. Selecione Personalizado (tamanho, configurações, aplicativos).

    2. Insira os detalhes para Noções básicas (seção 1). Verifique se o tipo de cluster é Spark 2.3 (HDI 3.6). Certifique-se de que o grupo de recursos é HDIFabrikam-CentralUS.

    3. Para Segurança + rede (secção 2), preencha os seguintes dados:

      • Em Pacote de Segurança Empresarial, selecione Ativado.

      • Selecione Usuário administrador do cluster e selecione a conta HDIAdmin que você criou como o usuário administrador local. Clique em Selecionar.

      • Selecione Grupo de acesso ao>cluster HDIUserGroup. Qualquer usuário que você adicionar a esse grupo no futuro poderá acessar clusters HDInsight.

        Selecione o grupo de acesso ao cluster HDIUserGroup.

    4. Conclua as outras etapas da configuração do cluster e verifique os detalhes no resumo do cluster. Selecione Criar.

  7. Entre na interface do usuário do Ambari para o cluster recém-criado em https://CLUSTERNAME.azurehdinsight.net. Use seu nome hdiadmin@hdifabrikam.com de usuário de administrador e sua senha.

    A janela de entrada da interface do usuário do Apache Ambari.

  8. No painel do cluster, selecione Funções.

  9. Na página Funções, em Atribuir funções a estas, ao lado da função Administrador de Cluster, insira o grupo hdiusergroup.

    Atribua a função de administrador do cluster a hdiusergroup.

  10. Abra o cliente Secure Shell (SSH) e entre no cluster. Use o hdiuser que você criou na instância local do Microsoft Entra ID.

    Entre no cluster usando o cliente SSH.

Se você puder entrar com essa conta, configurou seu cluster ESP corretamente para sincronizar com sua instância de ID do Microsoft Entra local.

Próximos passos

Leia Uma introdução à segurança do Apache Hadoop com ESP.