Compartilhar via

Gerenciar clusters do Apache Hadoop no HDInsight usando o portal do Azure

  • Artigo

Usando o portal do Azure, você pode gerenciar clusters do Apache Hadoop no Azure HDInsight. Use o seletor de guias para saber mais sobre como criar clusters Hadoop no HDInsight usando outras ferramentas.

Pré-requisitos

Um cluster existente do Apache Hadoop no HDInsight. Para obter mais informações, consulte Criar clusters baseados em Linux no HDInsight usando o portal do Azure.

Introdução

Entre no portal.

Listar e mostrar clusters

A página Clusters do HDInsight lista os clusters existentes. Do portal:

  1. No menu esquerdo, selecione Todos os serviços.
  2. Em ANÁLISES, selecione Clusters do HDInsight.

Página inicial do cluster

Na página Clusters do HDInsight, selecione o nome do cluster. O painel Visão Geral é aberto e é semelhante à imagem a seguir.

Captura de tela que mostra os itens essenciais do cluster do HDInsight do portal do Azure.

Menu principal

Item Descrição
Mover Move o cluster para outro grupo de recursos ou outra assinatura.
Delete (excluir) Exclui o cluster.
Atualizar Atualiza a exibição.

Menu esquerdo

O menu à esquerda tem várias seções.

Menu superior esquerdo

Item Descrição
Visão geral Fornece informações gerais para o cluster.
Log de atividades Mostra e consulta logs de atividades.
Controle de acesso (IAM) Utiliza as atribuições de função. Confira Atribuir funções do Azure para gerenciar o acesso a seus recursos de assinatura do Azure.
Marcas Estabeleça pares de chave/valor para definir uma taxonomia personalizada dos serviços de nuvem. Por exemplo, você pode criar uma chave chamada projetoe usar um valor comum para todos os serviços associados a um projeto específico.
Diagnosticar e resolver problemas Exibe informações sobre solução de problemas.
Início Rápido Exibir informações que ajudam você a começar a usar o HDInsight.
Ferramentas Informações de ajuda para ferramentas relacionadas ao HDInsight.

Menu Configurações

Item Descrição
Tamanho do cluster Verifique, aumente e diminua o número de nós do trabalhador do cluster. Ver Dimensionar clusters.
Limites de cota Exibe os núcleos usados e disponíveis para sua assinatura.
SSH + logon do Cluster Mostrar as instruções para se conectar ao cluster usando uma conexão Secure Shell (SSH). Para obter mais informações, confira Usar SSH com HDInsight.
Azure Data Lake Storage Gen2 Configure o acesso ao Data Lake Storage Gen2. Consulte Início rápido: Configurar clusters no HDInsight.
Contas de armazenamento Exibe as contas de armazenamento e as chaves. As contas de armazenamento são configuradas durante o processo de criação do cluster.
Aplicativos Adicionar ou remover aplicativos do HDInsight. Consulte Instalar aplicativos personalizados do HDInsight.
Ações de script Execute scripts Bash no cluster. Confira Personalizar clusters HDInsight baseados em Linux usando a Ação de Script.
Metastores externas Exiba os metastores Apache Hive e Apache Oozie. Você pode configurar os metastores somente durante o processo de criação do cluster.
Parceiro do HDInsight Adicionar ou remover o parceiro do HDInsight atual.
Propriedades Exibe as propriedades do cluster.
Bloqueios Adiciona um bloqueio para impedir que o cluster seja modificado ou excluído.
Exportar modelo Exibe e exporta o modelo do Azure Resource Manager para o cluster. No momento, você pode exportar apenas a conta de Armazenamento do Microsoft Azure dependente. Consulte Criar clusters do Apache Hadoop baseados em Linux no HDInsight usando os modelos do Azure Resource Manager.

Menu Monitoramento

Item Descrição
Alertas Gerencia os alertas e ações.
Métricas Monitora as métricas do cluster nos logs do Azure Monitor.
Configurações de diagnóstico Defina onde armazenar as métricas de diagnóstico.
Azure Monitor Monitore seu cluster no Azure Monitor.

Menu Suporte + solução de problemas

Item Descrição
Integridade de recursos Confira Visão geral do Azure Resource Health.
Nova solicitação de suporte Crie um tíquete com o suporte com o suporte da Microsoft.

Propriedades do cluster

Na página inicial do cluster, em Configurações, selecione Propriedades.

Item Descrição
HOSTNAME Nome do cluster.
URL DO CLUSTER A URL para a interface da Web do Ambari.
Ponto de extremidade privado O ponto de extremidade privado para o cluster.
Secure Shell O nome de usuário e o nome do host a serem usados para acessar o cluster por meio do SSH.
STATUS Um destes: Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Deleting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued ou ClusterCustomization.
REGIÃO Localização do Azure. Para ter acesso à lista de locais do Azure com suporte, consulte a caixa de listagem suspensa Região em Preços do HDInsight.
DATA DE CRIAÇÃO A data em que o cluster foi implantado.
SISTEMA OPERACIONAL Windows ou Linux.
TYPE Hadoop, HBase ou Spark.
Versão Consulte HDInsight versions (Versões do HDInsight).
Versão mínima do TLS Versão do TLS (Transport Layer Security).
SUBSCRIPTION Nome da assinatura.
FONTE DE DADOS PADRÃO O sistema de arquivos padrão do cluster.
Tamanho dos nós de trabalho O tamanho da VM (máquina virtual) selecionada dos nós de trabalho.
Tamanho do nó de cabeçalho O tamanho selecionado da VM dos nós de cabeçalho.
Rede virtual O nome da rede virtual em que o cluster é implantado, caso uma tenha sido selecionada durante a implantação.

Mover clusters

Você pode mover um cluster do HDInsight para outro grupo de recursos do Azure ou outra assinatura.

Na página inicial do cluster:

  1. No menu superior, selecione Mover.

  2. Selecione Mover para outro grupo de recursos ou Mover para outra assinatura.

  3. Siga as instruções na página.

Excluir clusters

Excluir um cluster não excluirá a conta de armazenamento padrão, nem nenhuma conta de armazenamento vinculada. Você pode recriar o cluster usando as mesmas contas de armazenamento e as mesmas metastores. Recomendamos que você use um novo contêiner de Blobs padrão ao recriar o cluster.

Na página inicial do cluster:

  1. No menu superior, selecione Excluir.
  2. Siga as instruções na página.

Para obter mais informações, consulte Pausar ou desligar clusters.

Adicionar mais contas de armazenamento

Depois de criar um cluster, você pode adicionar mais contas do Armazenamento do Microsoft Azure e contas do Azure Data Lake Storage. Para saber mais, confira Adicionar outras contas de armazenamento ao HDInsight.

Dimensionar clusters

Você pode usar o recurso de colocação em escala de clusters para alterar o número de nós de trabalhador usados por um cluster Azure HDInsight sem precisar recriar o cluster.

Para saber mais, consulte Dimensionar clusters HDInsight.

Pausar ou desligar clusters

A maioria dos trabalhos do Hadoop são trabalhos em lote executados apenas ocasionalmente. Para a maioria dos clusters do Hadoop, há grandes períodos de tempo em que o cluster não está sendo usado para processamento. Com o HDInsight, seus dados são armazenados no Armazenamento do Azure, assim você poderá excluir, com segurança, um cluster quando ele não estiver em uso. Você também é cobrado por um cluster HDInsight, mesmo quando ele não está em uso. Como os encargos para o cluster são muitas vezes maiores do que os encargos para armazenamento, faz sentido, do ponto de vista econômico, excluir os clusters quando não estiverem em uso.

Você pode programar o processo de várias maneiras. Você pode usar:

Para saber mais sobre preços, consulte Preços do HDInsight. Para excluir um cluster do portal, veja Excluir clusters.

Atualizar clusters

Para obter mais informações, consulte Atualizar um cluster HDInsight para uma versão mais recente.

Abra a interface do usuário do Apache Ambari web

O Ambari fornece uma interface do usuário da Web de gerenciamento do Hadoop intuitiva e fácil de usar com suporte de suas APIs RESTful. Com o Ambari, os administradores do sistema podem gerenciar e monitorar clusters hadoop.

Na página inicial do cluster:

  1. Selecione Painéis do cluster.

    Captura de tela que mostra o menu de cluster do Apache Hadoop do HDInsight.

  2. Na nova página, selecione a página inicial do Ambari.

  3. Insira o nome de usuário do cluster e a senha. O nome de usuário do cluster padrão é admin.

Para obter mais informações, consulte Gerenciar clusters do HDInsight usando a interface da Web do Apache Ambari.

Alterar senhas

Um cluster HDInsight pode ter duas contas de usuário. A conta de usuário do cluster do HDInsight (conta de usuário HTTP) e a conta de usuário SSH são criadas durante o processo de criação. Você pode usar a interface do usuário do portal para alterar a senha da conta de usuário do cluster e usar ações de script para alterar a conta de usuário do SSH.

Alterar a senha de usuário do cluster

Observação

Alterar a senha de usuário (admin) do cluster poderá fazer as ações de script executadas em relação a esse cluster falharem. Se você tiver ações de script persistente direcionadas para nós de trabalho, esses scripts poderão falhar quando você adicionar nós ao cluster por meio de operações de redimensionamento. Para saber mais sobre as ações de script, confira Personalizar clusters HDInsight usando ações de Script.

Na página inicial do cluster:

  1. Em Configurações, selecione SSH + login do cluster.
  2. Selecione Redefinir credencial.
  3. Insira e confirme uma nova senha nas caixas de texto.
  4. Selecione OK.

A senha é alterada em todos os nós no cluster.

Alterar a senha do usuário SSH ou a chave pública

  1. Use um editor de texto para salvar o texto a seguir como um arquivo chamado changecredentials.sh.

    Importante

    Você deve usar um editor que usa LF como o fim da linha. Se o editor usar CRLF, o script não funcionará.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Carregue o arquivo para um local de armazenamento que possa acessar no HDInsight usando um endereço HTTP ou HTTPS. Um exemplo é um repositório de arquivos público como o OneDrive ou o Armazenamento de Blobs do Azure. Salve o URI (endereço HTTP ou HTTPS) no arquivo. O URI é necessário na próxima etapa.

  3. Na página inicial do cluster, em Configurações, selecione Ações de script.

  4. Na página Ações de script, selecione Enviar novo.

  5. Na página Enviar ação do script, insira as informações na tabela a seguir.

    Observação

    As senhas SSH não podem conter os seguintes caracteres: " ' ` / \ < % ~ | $ & ! #

    Campo Valor
    Tipo de script Selecione – Personalizado na lista suspensa.
    Nome “Alterar credenciais ssh.”
    URI do script Bash O URI para o arquivo changecredentials.sh.
    Tipos de nó: Principal, Trabalho, Nimbus, Supervisor ou Zookeeper Selecione ✓ para todos os tipos de nó listados.
    Parâmetros Insira o nome de usuário SSH e insira a nova senha. Deve haver apenas um espaço entre o nome de usuário e a senha.
    Persistir esta ação de script... Deixe este campo limpo.

  6. Selecione Criar para aplicar o script. Após a conclusão do script, você pode se conectar ao cluster usando SSH com as novas credenciais.

Localizar a ID da assinatura

Cada cluster é vinculado a uma assinatura do Azure. A ID da assinatura do Azure está visível na página inicial do cluster.

Encontrar o grupo de recursos

No modo Resource Manager, cada cluster HDInsight é criado com um grupo do Resource Manager. O grupo Resource Manager está visível na página inicial do cluster.

Localizar contas de armazenamento

Os clusters do HDInsight usam uma conta de Armazenamento do Microsoft Azure ou um Data Lake Storage para armazenar dados. Cada cluster do HDInsight pode ter uma conta de armazenamento padrão e muitas contas de armazenamento vinculadas. Para listar as contas de armazenamento, na página inicial do cluster, em Configurações, selecione Contas de armazenamento.

Monitorar trabalhos

Para obter mais informações, consulte Gerenciar clusters do HDInsight usando a interface da Web do Apache Ambari.

Tamanho do cluster

O bloco Tamanho do cluster da página inicial de cluster exibe o número de núcleos alocados para esse cluster e como eles são alocados para os nós dentro deste cluster.

Importante

Para monitorar os serviços fornecidos pelo cluster do HDInsight, você deve usar o Ambari Web ou a API REST do Ambari. Para obter mais informações sobre o uso do Ambari, consulte Gerenciar clusters do HDInsight usando o Apache Ambari.

Conectar a um cluster

Conteúdo relacionado

Neste artigo, você aprendeu algumas funções administrativas básicas. Confira os seguintes artigos para saber mais: