Portas utilizadas pelos serviços do Apache Hadoop no HDInsight

Artigo
09/06/2024

Este documento fornece uma lista das portas utilizadas pelos serviços do Apache Hadoop em execução em clusters do HDInsight. Também fornece informações sobre as portas utilizadas para ligar ao cluster através de SSH.

Portas públicas vs. portas não públicas

Os clusters do HDInsight baseados em Linux expõem apenas três portas publicamente na Internet: 22, 23 e 443. Estas portas protegem o acesso ao cluster através do SSH e dos serviços expostos através do protocolo HTTPS seguro.

O HDInsight é implementado por vários Máquinas Virtuais do Azure (nós de cluster) em execução num Rede Virtual do Azure. A partir da rede virtual, pode aceder a portas não expostas através da Internet. Se ligar através de SSH ao nó principal, pode aceder diretamente aos serviços em execução nos nós de cluster.

Importante

Se não especificar uma Rede Virtual do Azure como uma opção de configuração para o HDInsight, uma é criada automaticamente. No entanto, não pode associar outras máquinas (como outras Máquinas Virtuais do Azure ou a sua máquina de desenvolvimento de cliente) a esta rede virtual.

Para associar máquinas adicionais à rede virtual, primeiro tem de criar a rede virtual e, em seguida, especifique-a ao criar o cluster do HDInsight. Para obter mais informações, veja Planear uma rede virtual para o HDInsight.

Portas públicas

Todos os nós num cluster do HDInsight estão localizados num Rede Virtual do Azure. Os nós não podem ser acedidos diretamente a partir da Internet. Um gateway público fornece acesso à Internet às seguintes portas, que são comuns em todos os tipos de cluster do HDInsight.

Serviço	Porta	Protocolo	Description
sshd	22	SSH	Liga clientes ao sshd no nó principal principal principal. Para obter mais informações, veja Utilizar o SSH com o HDInsight.
sshd	22	SSH	Liga clientes ao sshd no nó de extremidade. Para obter mais informações, veja Utilizar o SSH com o HDInsight.
sshd	23	SSH	Liga clientes ao sshd no nó principal secundário. Para obter mais informações, veja Utilizar o SSH com o HDInsight.
Ambari	443	HTTPS	IU da Web do Ambari. Veja Gerir o HDInsight com a IU da Web do Apache Ambari
Ambari	443	HTTPS	API REST do Ambari. Veja Gerir o HDInsight com a API REST do Apache Ambari
WebHCat	443	HTTPS	`HCatalog` API REST. Veja Utilizar o MapReduce com Curl
HiveServer2	443	ODBC	Liga ao Hive com o ODBC. Consulte Ligar o Excel ao HDInsight com o controlador Microsoft ODBC.
HiveServer2	443	JDBC	Liga-se ao ApacheHive com jDBC. Veja Ligar ao Apache Hive no HDInsight com o controlador JDBC do Hive

Os seguintes estão disponíveis para tipos de cluster específicos:

Serviço	Porta	Protocolo	Tipo de cluster	Description
`Stargate`	443	HTTPS	HBase	API REST do HBase. Veja Introdução à utilização do Apache HBase
Livy	443	HTTPS	Spark	API REST do Spark. Veja Submeter tarefas do Apache Spark remotamente com o Apache Livy
Servidor Spark Thrift	443	HTTPS	Spark	Servidor Spark Thrift utilizado para submeter consultas do Hive. Veja Utilizar o Beeline com o Apache Hive no HDInsight
Proxy REST do Kafka	443	HTTPS	Kafka	API REST do Kafka. Veja Interagir com clusters do Apache Kafka no Azure HDInsight com um proxy REST

Autenticação

Todos os serviços expostos publicamente na Internet têm de ser autenticados:

Porta	Credenciais
22 ou 23	As credenciais de utilizador SSH especificadas durante a criação do cluster
443	O nome de início de sessão (predefinição: administrador) e a palavra-passe que foram definidos durante a criação do cluster

Portas não públicas

Nota

Alguns serviços só estão disponíveis em tipos de cluster específicos. Por exemplo, o HBase só está disponível em tipos de cluster HBase.

Importante

Alguns serviços só são executados num nó principal de cada vez. Se tentar ligar ao serviço no nó principal primário e receber um erro, tente novamente com o nó principal secundário.

Ambari

Serviço	Nós	Porta	Caminho do URL	Protocolo
IU da Web do Ambari	Nós principais	8080	/	HTTP
Ambari REST API	Nós principais	8080	/api/v1	HTTP

Exemplos:

API REST do Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Portas HDFS

Serviço	Nós	Porta	Protocolo	Description
IU Web do NameNode	Nós principais	30070	HTTPS	IU da Web para ver o estado
Serviço de metadados NameNode	nós principais	8020	IPC	Metadados do sistema de ficheiros
DataNode	Todos os nós de trabalho	30075	HTTPS	IU da Web para ver o estado, os registos, etc.
DataNode	Todos os nós de trabalho	30010		Transferência de dados
DataNode	Todos os nós de trabalho	30020	IPC	Operações de metadados
NameNode Secundário	Nós principais	50090	HTTP	Ponto de verificação para metadados do NameNode

Portas YARN

Serviço	Nós	Porta	Protocolo	Description
IU da Web do Resource Manager	Nós principais	8088	HTTP	IU da Web para Resource Manager
IU da Web do Resource Manager	Nós principais	8090	HTTPS	IU da Web para Resource Manager
interface de administrador do Resource Manager	nós principais	8141	IPC	Para submissões de aplicações (Hive, Servidor do Hive, Pig, etc.)
Resource Manager scheduler	nós principais	8030	HTTP	Interface administrativa
Resource Manager interface de aplicação	nós principais	8050	HTTP	Endereço da interface do gestor de aplicações
NodeManager	Todos os nós de trabalho	30050		O endereço do gestor de contentores
IU web do NodeManager	Todos os nós de trabalho	30060	HTTP	interface de Resource Manager
Endereço da linha cronológica	Nós principais	10200	RPC	O serviço RPC do serviço Linha Cronológica.
IU da Web da Linha Cronológica	Nós principais	8188	HTTP	IU da Web do serviço de Linha Cronológica

Portas do Hive

Serviço	Nós	Porta	Protocolo	Description
HiveServer2	Nós principais	10001	Thrift	Serviço para ligar ao Hive (Thrift/JDBC)
Metastore do Hive	Nós principais	9083	Thrift	Serviço para ligar a metadados do Hive (Thrift/JDBC)

Portas WebHCat

Serviço	Nós	Porta	Protocolo	Description
Servidor WebHCat	Nós principais	30111	HTTP	API Web sobre `HCatalog` e outros serviços do Hadoop

Portas MapReduce

Serviço	Nós	Porta	Protocolo	Description
JobHistory	Nós principais	19888	HTTP	IU web do MapReduce JobHistory
JobHistory	Nós principais	10020		Servidor MapReduce JobHistory
ShuffleHandler		13562		Transfere saídas intermédias do Mapa para pedir Redutores

Oozie

Serviço	Nós	Porta	Protocolo	Description
Servidor Oozie	Nós principais	11000	HTTP	URL para o serviço Oozie
Servidor Oozie	Nós principais	11001	HTTP	Porta para administrador do Oozie

Métricas do Ambari

Serviço	Nós	Porta	Protocolo	Description
TimeLine (Histórico de aplicações)	Nós principais	6188	HTTP	IU Da Web do serviço TimeLine
TimeLine (Histórico de aplicações)	Nós principais	30200	RPC	IU Da Web do serviço TimeLine

Portas HBase

Serviço	Nós	Porta	Protocolo	Description
HMaster	Nós principais	16000
IU da Web de informações do HMaster	Nós principais	16010	HTTP	A porta para a IU Da Web principal do HBase
Servidor de região	Todos os nós de trabalho	16020
IU da Web de informações do servidor de região	Todos os nós de trabalho	16030	HTTP	A porta para a IU Web do servidor da Região do HBase
		2181		A porta que os clientes utilizam para ligar ao ZooKeeper

Portas do Kafka

Serviço	Nós	Porta	Protocolo	Description
Mediador	Nós de trabalho	9092	Protocolo Kafka Wire	Utilizado para comunicação de cliente
	Nós do Zookeeper	2181		A porta que os clientes utilizam para ligar ao Zookeeper
Proxy REST	Nós de gestão do Kafka	9400	HTTPS	Especificação REST do Kafka

Portas do Spark

Serviço	Nós	Porta	Protocolo	Description
Servidores Spark Thrift	Nós principais	10002	Thrift	Serviço para ligar ao Spark SQL (Thrift/JDBC)
Servidor Livy	Nós principais	8998	HTTP	Serviço para executar instruções, tarefas e aplicações
Jupyter Notebook	Nós principais	8001	HTTP	site do Jupyter Notebook