Partilhar via

Gerenciar clusters Apache Hadoop no HDInsight usando o portal do Azure

  • Artigo

Usando o portal do Azure, você pode gerenciar clusters Apache Hadoop no Azure HDInsight. Use o seletor de guias para obter informações sobre como gerenciar clusters Hadoop no HDInsight usando outras ferramentas.

Pré-requisitos

Um cluster Apache Hadoop existente no HDInsight. Para obter mais informações, consulte Criar clusters baseados em Linux no HDInsight usando o portal do Azure.

Começar agora

Inicie sessão no portal.

Listar e mostrar clusters

A página de clusters HDInsight lista os clusters existentes. Do portal:

  1. No menu esquerdo, selecione Todos os serviços.
  2. Em ANALYTICS, selecione clusters HDInsight.

Página inicial do cluster

Na página clusters HDInsight, selecione o nome do cluster. O painel Visão geral é aberto e é semelhante à imagem a seguir.

Captura de tela que mostra os fundamentos do cluster HDInsight do portal do Azure.

Menu superior

Item Description
Moverr Move o cluster para outro grupo de recursos ou para outra assinatura.
Eliminar Exclui o cluster.
Atualizar Atualiza a exibição.

Menu à esquerda

O menu à esquerda tem várias seções.

Menu no canto superior esquerdo

Item Description
Descrição geral Forneça informações gerais para o cluster.
Registo de atividades Mostrar e consultar logs de atividades.
Controlo de acesso (IAM) Use atribuições de função. Consulte Atribuir funções do Azure para gerenciar o acesso aos recursos de assinatura do Azure.
Etiquetas Defina pares chave/valor para definir uma taxonomia personalizada dos seus serviços na nuvem. Por exemplo, você pode criar uma chave chamada projeto e, em seguida, usar um valor comum para todos os serviços associados a um projeto específico.
Diagnosticar e resolver problemas Exibir informações de solução de problemas.
Início rápido Exiba informações que ajudam você a começar a usar o HDInsight.
Ferramentas Informações de ajuda para ferramentas relacionadas ao HDInsight.

Menu Configurações

Item Description
Tamanho do cluster Verifique, aumente e diminua o número de nós de trabalho de cluster. Consulte Dimensionar clusters.
Limites das quotas Exiba os núcleos usados e disponíveis para sua assinatura.
SSH + Login de cluster Mostrar as instruções para se conectar ao cluster usando uma conexão Secure Shell (SSH). Para obter mais informações, veja Use SSH with HDInsight (Utilizar SSH com o HDInsight).
Azure Data Lake Storage Gen2 (Armazenamento do Azure Data Lake Gen2) Configure o acesso ao Data Lake Storage Gen2. Consulte Guia de início rápido: configurar clusters no HDInsight.
Contas de armazenamento Veja as contas de armazenamento e as chaves. As contas de armazenamento são configuradas durante o processo de criação do cluster.
Aplicações Adicione ou remova aplicativos HDInsight. Consulte Instalar aplicativos HDInsight personalizados.
Ações de script Execute scripts Bash no cluster. Consulte Personalizar clusters HDInsight baseados em Linux usando a Ação de Script.
Metastores externos Veja os metastores Apache Hive e Apache Oozie . Você pode configurar os metastores somente durante o processo de criação do cluster.
Parceiro HDInsight Adicione ou remova o parceiro HDInsight atual.
Propriedades Exiba as propriedades do cluster.
Bloqueios Adicione um bloqueio para impedir que o cluster seja modificado ou excluído.
Exportar modelo Exiba e exporte o modelo do Azure Resource Manager para o cluster. Atualmente, você pode exportar apenas a conta de Armazenamento do Azure dependente. Consulte Criar clusters Apache Hadoop baseados em Linux no HDInsight usando modelos do Azure Resource Manager.

Menu Monitorização

Item Description
Alertas Gerencie os alertas e ações.
Métricas Monitore as métricas de cluster nos logs do Azure Monitor.
Configurações de diagnóstico Defina onde armazenar as métricas de diagnóstico.
Azure Monitor Monitore seu cluster no Azure Monitor.

Suporte + menu de solução de problemas

Item Description
Estado de funcionamento dos recursos Consulte Visão geral da integridade dos recursos do Azure.
Novo pedido de suporte Crie um tíquete de suporte com o Suporte da Microsoft.

Propriedades do cluster

Na home page do cluster, em Configurações, selecione Propriedades.

Item Description
NOME DO HOST Nome do cluster.
CLUSTER URL O URL para a interface web do Ambari.
Ponto Final Privado O ponto de extremidade privado para o cluster.
Shell seguro O nome de usuário e o nome de host a serem usados para acessar o cluster via SSH.
SITUAÇÃO Um dos Aborted, Accepted, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operational, Running, Error, Excluting, Deleted, Timeout, DeleteQueued, DeleteTimeout, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued ou ClusterCustomization.
REGIÃO Localização do Azure. Para obter uma lista de locais do Azure suportados, consulte a lista suspensa Região sobre preços do HDInsight.
DATA DE CRIAÇÃO A data em que o cluster foi implantado.
SISTEMA OPERATIVO Windows ou Linux.
TIPO Hadoop, HBase ou Spark.
Versão Consulte Versões do HDInsight.
Versão mínima do TLS A versão TLS (Transport Layer Security).
SUBSCRIÇÃO Nome da subscrição.
FONTE DE DADOS PADRÃO O sistema de arquivos de cluster padrão.
Tamanhos dos nós de trabalho O tamanho da máquina virtual (VM) selecionada dos nós de trabalho.
Tamanho do nó principal O tamanho da VM selecionada dos nós principais.
Rede virtual O nome da rede virtual, onde o cluster é implantado, se um foi selecionado no momento da implantação.

Mover clusters

Você pode mover um cluster HDInsight para outro grupo de recursos do Azure ou outra assinatura.

Na página inicial do cluster:

  1. No menu superior, selecione Mover.

  2. Selecione Mover para outro grupo de recursos ou Mover para outra assinatura.

  3. Siga as instruções na nova página.

Excluir clusters

A exclusão de um cluster não exclui a conta de armazenamento padrão ou nenhuma conta de armazenamento vinculada. Você pode recriar o cluster usando as mesmas contas de armazenamento e os mesmos metastores. Recomendamos que você use um novo contêiner de blob padrão ao recriar o cluster.

Na página inicial do cluster:

  1. No menu superior, selecione Excluir.
  2. Siga as instruções na nova página.

Para obter mais informações, consulte Pausar ou desligar clusters.

Adicionar mais contas de armazenamento

Você pode adicionar mais contas de Armazenamento do Azure e contas do Armazenamento do Azure Data Lake depois que um cluster é criado. Para obter mais informações, veja Adicionar mais contas de armazenamento ao HDInsight.

Dimensionar clusters

Você pode usar o recurso de dimensionamento de cluster para alterar o número de nós de trabalho usados por um cluster HDInsight, sem precisar recriar o cluster.

Para obter mais informações, consulte Dimensionar clusters HDInsight.

Pausar ou desligar clusters

A maioria dos trabalhos do Hadoop são trabalhos em lote que são executados apenas ocasionalmente. Para a maioria dos clusters Hadoop, há grandes períodos de tempo em que o cluster não é usado para processamento. Com o HDInsight, seus dados são armazenados no Armazenamento do Azure, para que você possa excluir com segurança um cluster quando ele não estiver em uso. Você também é cobrado por um cluster HDInsight, mesmo quando ele não está em uso. Como as cobranças para o cluster são muitas vezes maiores do que as taxas para armazenamento, faz sentido econômico excluir clusters quando eles não estão em uso.

Você pode programar o processo de várias maneiras. Pode utilizar:

Para obter informações sobre preços, consulte Preços do HDInsight. Para excluir um cluster do portal, consulte Excluir clusters.

Atualizar clusters

Para obter mais informações, consulte Atualizar um cluster HDInsight para uma versão mais recente.

Abra a interface do usuário da Web do Apache Ambari

O Ambari fornece uma interface do usuário da Web de gerenciamento Hadoop intuitiva e fácil de usar que é apoiada por suas APIs RESTful. Com o Ambari, os administradores de sistema podem gerenciar e monitorar clusters Hadoop.

Na página inicial do cluster:

  1. Selecione Painéis de cluster.

    Captura de tela que mostra o menu de cluster HDInsight Apache Hadoop.

  2. Na nova página, selecione Ambari home.

  3. Introduza o nome de utilizador e a palavra-passe do cluster. O nome de usuário padrão do cluster é admin.

Para obter mais informações, consulte Gerenciar clusters HDInsight usando a interface do usuário da Web do Apache Ambari.

Alterar palavras-passe

Um cluster HDInsight pode ter duas contas de usuário. A conta de usuário do cluster HDInsight (conta de usuário HTTP) e a conta de usuário SSH são criadas durante o processo de criação. Você pode usar o portal para alterar a senha da conta de usuário do cluster e usar ações de script para alterar a conta de usuário SSH.

Alterar a senha do usuário do cluster

Nota

Alterar a senha do usuário (admin) do cluster pode fazer com que as ações de script executadas nesse cluster falhem. Se você tiver quaisquer ações de script persistentes que tenham como destino nós de trabalho, esses scripts poderão falhar quando você adicionar nós ao cluster por meio de operações de redimensionamento. Para obter mais informações sobre ações de script, consulte Personalizar clusters HDInsight usando ações de script.

Na página inicial do cluster:

  1. Em Configurações, selecione SSH + Login de cluster.
  2. Selecione Redefinir credencial.
  3. Introduza e confirme uma nova palavra-passe nas caixas de texto.
  4. Selecione OK.

A senha é alterada em todos os nós do cluster.

Alterar a senha de usuário SSH ou a chave pública

  1. Use um editor de texto para salvar o texto a seguir como um arquivo chamado changecredentials.sh.

    Importante

    Você deve usar um editor que use LF como terminação de linha. Se o editor usar CRLFo , o script não funcionará.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Carregue o ficheiro para uma localização de armazenamento a que possa aceder a partir do HDInsight utilizando um endereço HTTP ou HTTPS. Um exemplo é um armazenamento de arquivos público, como o OneDrive ou o Armazenamento de Blobs do Azure. Salve o URI (endereço HTTP ou HTTPS) no arquivo. O URI é necessário na próxima etapa.

  3. Na home page do cluster, em Configurações, selecione Ações de script.

  4. Na página Ações de script, selecione Enviar novo.

  5. Na página Enviar ação de script, insira as informações na tabela a seguir.

    Nota

    As palavras-passe SSH não podem conter os seguintes caracteres: " ' ' / \ < % ~ | $ & ! #

    Campo Value
    Tipo de script Selecione - Personalizar na lista suspensa.
    Nome "Altere as credenciais ssh."
    Bash script URI O URI para o changecredentials.sh arquivo.
    Tipos de nós: Cabeça, Trabalhador, Nimbus, Supervisor ou ZooKeeper Selecione ✓ para todos os tipos de nó listados.
    Parâmetros Introduza o nome de utilizador SSH e, em seguida, introduza a nova palavra-passe. Deve haver apenas um espaço entre o nome de utilizador e a palavra-passe.
    Persista esta ação de script ... Deixe este campo limpo.

  6. Selecione Criar para aplicar o script. Após a conclusão do script, você pode se conectar ao cluster usando SSH com as novas credenciais.

Encontrar o ID da subscrição

Cada cluster está vinculado a uma assinatura do Azure. A ID de assinatura do Azure é visível na home page do cluster.

Localizar o grupo de recursos

No modo Gerenciador de Recursos, cada cluster HDInsight é criado com um grupo do Gerenciador de Recursos. O grupo Gerenciador de Recursos é visível na home page do cluster.

Localizar as contas de armazenamento

Os clusters HDInsight usam uma conta de Armazenamento do Azure ou o Armazenamento Data Lake para armazenar dados. Cada cluster HDInsight pode ter uma conta de armazenamento padrão e muitas contas de armazenamento vinculadas. Para listar as contas de armazenamento, na home page do cluster, em Configurações, selecione Contas de armazenamento.

Monitorizar trabalhos

Para obter mais informações, consulte Gerenciar clusters HDInsight usando a interface do usuário da Web do Apache Ambari.

Tamanho do cluster

O bloco Tamanho do cluster na home page do cluster exibe o número de núcleos alocados para esse cluster e como eles são alocados para os nós dentro desse cluster.

Importante

Para monitorar os serviços fornecidos pelo cluster HDInsight, você deve usar a interface do usuário da Web do Ambari ou a API REST do Ambari. Para obter mais informações sobre como usar o Ambari, consulte Gerenciar clusters HDInsight usando o Apache Ambari.

Ligar a um cluster

Conteúdos relacionados

Neste artigo, você aprendeu algumas funções administrativas básicas. Para saber mais, leia os artigos seguintes: