Arquitetura de rede virtual do Azure HDInsight
Este artigo explica os recursos que estão presentes quando você implanta um cluster HDInsight em uma Rede Virtual do Azure personalizada. Essas informações ajudam você a conectar recursos locais ao cluster HDInsight no Azure. Para obter mais informações sobre as Redes Virtuais do Azure, consulte O que é a Rede Virtual do Azure?.
Tipos de recursos no cluster do Azure HDInsight
Os clusters do Azure HDInsight têm diferentes tipos de máquinas virtuais ou nós. Cada tipo de nó desempenha um papel na operação do sistema. A tabela a seguir resume esses tipos de nó e suas funções no cluster.
| Tipo | Description |
|---|---|
| Nó ZooKeeper | O Zookeeper coordena tarefas entre os nós que estão fazendo o processamento de dados. Ele também faz a eleição do líder do nó principal e controla qual nó principal está executando um serviço mestre específico. O número de nós do ZooKeeper é fixado em três. |
| Nó de trabalho | Representa os nós que suportam a funcionalidade de processamento de dados. Os nós de trabalho podem ser adicionados ou removidos do cluster para dimensionar a capacidade de computação e gerenciar custos. |
| Nó da região | Para o tipo de cluster HBase, o nó da região (também conhecido como Nó de Dados) executa o Servidor de Região. Os Servidores de Região servem e gerenciam uma parte dos dados gerenciados pelo HBase. Os nós de região podem ser adicionados ou removidos do cluster para dimensionar a capacidade de computação e gerenciar custos. |
Convenções de nomenclatura de recursos
Use FQDNs (Nomes de Domínio Totalmente Qualificados) ao endereçar nós em seu cluster. Você pode obter os FQDNs para vários tipos de nó em seu cluster usando a API do Ambari.
Estes FQDNs têm a forma <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
O <node-type-prefix> é hn para nós principais, wn para nós de trabalho e zn para nós de zookeeper.
Se você precisar apenas do nome do host, use apenas a primeira parte do FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Recursos básicos de rede virtual
O diagrama a seguir mostra o posicionamento dos nós do HDInsight e dos recursos de rede no Azure.
Os recursos padrão em uma Rede Virtual do Azure incluem os tipos de nó de cluster mencionados na tabela anterior. E dispositivos de rede que suportam a comunicação entre a rede virtual e redes externas.
A tabela a seguir resume os nove nós de cluster criados quando o HDInsight é implantado em uma Rede Virtual do Azure personalizada.
| Tipo de recurso | Número presente | Detalhes |
|---|---|---|
| Nó principal | dois | |
| Nó do zookeeper | três | |
| Nó de trabalho | dois | Esse número pode variar com base na configuração e no dimensionamento do cluster. Um mínimo de três nós de trabalho é necessário para o Apache Kafka. |
| Nó de gateway | dois | Os nós de gateway são máquinas virtuais do Azure que são criadas no Azure, mas não são visíveis na sua assinatura. Entre em contato com o suporte se precisar reiniciar esses nós. |
Os seguintes recursos de rede presentes são criados automaticamente dentro da rede virtual usada com o HDInsight:
| Recurso de rede | Número presente | Detalhes |
|---|---|---|
| Balanceador de carga | dois | O balanceador de carga fornece acesso à rede de entrada para os nós. Os dois balanceadores de carga são para: dois nós principais e dois nós de gateway. Os balanceadores de carga são SKU padrão. |
| Interfaces de Rede | nove | Esse valor é baseado em um cluster normal, onde cada nó tem sua própria interface de rede. As nove interfaces são para: dois nós principais, três nós zookeeper, dois nós de trabalho e dois nós de gateway mencionados na tabela anterior. |
| Endereços IP Públicos | dois | Dois endereços IP públicos são vinculados aos balanceadores de carga. |
Há vários métodos de conectividade de saída que podem ser usados com a rede virtual personalizada ilustrada na Tradução de Endereço de Rede de Origem (SNAT) para conexões de saída - Azure Load Balancer.
Nota
A maneira mais recomendada é associar a sub-rede a um gateway NAT. Ele requer um gateway NAT e um grupo de segurança de rede criado na sub-rede antes de criar o cluster HDInsight. Você pode vincular um IP público ou um prefixo IP público com o gateway NAT. Para obter as regras NSG a serem criadas, consulte Controlar o tráfego de rede no Azure HDInsight
Pontos de extremidade para conexão com o HDInsight
Você pode acessar seu cluster HDInsight de três maneiras:
- Um ponto de extremidade HTTPS fora da rede virtual em
CLUSTERNAME.azurehdinsight.net. - Um ponto de extremidade SSH para conexão direta ao nó principal em
CLUSTERNAME-ssh.azurehdinsight.net. - Um ponto de extremidade HTTPS dentro da rede
CLUSTERNAME-int.azurehdinsight.netvirtual. Observe o "-int" neste URL. Este ponto de extremidade é resolvido para um IP privado nessa rede virtual e não é acessível a partir da Internet pública.
Cada um desses três pontos de extremidade recebe um balanceador de carga.
Os endereços IP públicos também são fornecidos aos dois pontos de extremidade que permitem a conexão de fora da rede virtual.
- Um IP público é atribuído ao balanceador de carga para o nome de domínio totalmente qualificado (FQDN) a ser usado ao se conectar ao cluster pela Internet
CLUSTERNAME.azurehdinsight.net. - O segundo endereço IP público é usado para o nome
CLUSTERNAME-ssh.azurehdinsight.netde domínio SSH apenas.