Porty używane przez usługi Apache Hadoop w usłudze HDInsight

Artykuł
09/06/2024

Ten dokument zawiera listę portów używanych przez usługi Apache Hadoop uruchomionych w klastrach usługi HDInsight. Zawiera również informacje na temat portów używanych do nawiązywania połączenia z klastrem przy użyciu protokołu SSH.

Porty publiczne a porty inne niż publiczne

Klastry usługi HDInsight oparte na systemie Linux udostępniają tylko trzy porty publicznie w Internecie: 22, 23 i 443. Te porty zabezpieczają dostęp do klastra przy użyciu protokołu SSH i usług udostępnianych za pośrednictwem bezpiecznego protokołu HTTPS.

Usługa HDInsight jest implementowana przez kilka Virtual Machines platformy Azure (węzłów klastra) uruchomionych w usłudze Azure Virtual Network. Z poziomu sieci wirtualnej można uzyskać dostęp do portów, które nie są uwidocznione przez Internet. Jeśli połączysz się za pośrednictwem protokołu SSH z węzłem głównym, możesz bezpośrednio uzyskać dostęp do usług uruchomionych w węzłach klastra.

Ważne

Jeśli nie określisz usługi Azure Virtual Network jako opcji konfiguracji dla usługi HDInsight, zostanie ona utworzona automatycznie. Nie można jednak dołączyć innych maszyn (takich jak inne maszyny platformy Azure Virtual Machines lub maszyny deweloperskie klienta) do tej sieci wirtualnej.

Aby dołączyć dodatkowe maszyny do sieci wirtualnej, należy najpierw utworzyć sieć wirtualną, a następnie określić ją podczas tworzenia klastra usługi HDInsight. Aby uzyskać więcej informacji, zobacz Planowanie sieci wirtualnej dla usługi HDInsight.

Porty publiczne

Wszystkie węzły w klastrze usługi HDInsight znajdują się w usłudze Azure Virtual Network. Węzły nie mogą być bezpośrednio dostępne z Internetu. Brama publiczna zapewnia dostęp do Internetu do następujących portów, które są wspólne dla wszystkich typów klastrów usługi HDInsight.

Usługa	Port	Protokół	Opis
Sshd	22	Protokół SSH	Łączy klientów z dyskiem SSHD w podstawowym węźle głównym. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Sshd	22	Protokół SSH	Łączy klientów z dyskiem SSHD w węźle brzegowym. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Sshd	23	Protokół SSH	Łączy klientów z dyskiem sshd w pomocniczym węźle głównym. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Ambari	443	HTTPS	Internetowy interfejs użytkownika systemu Ambari. Zobacz Manage HDInsight using the Apache Ambari Web UI (Zarządzanie usługą HDInsight przy użyciu internetowego interfejsu użytkownika platformy Apache Ambari)
Ambari	443	HTTPS	Interfejs API REST systemu Ambari. Zobacz Manage HDInsight using the Apache Ambari REST API (Zarządzanie usługą HDInsight przy użyciu interfejsu API REST platformy Apache Ambari)
WebHCat	443	HTTPS	`HCatalog` Interfejs API REST. Zobacz Use MapReduce with Curl (Używanie narzędzia MapReduce z programem Curl)
HiveServer2	443	ODBC	Nawiązuje połączenie z programem Hive przy użyciu odBC. Zobacz Connect Excel to HDInsight with the Microsoft ODBC driver (Łączenie programu Excel z usługą HDInsight za pomocą sterownika ODBC firmy Microsoft).
HiveServer2	443	JDBC	Nawiązuje połączenie z platformą ApacheHive przy użyciu JDBC. Zobacz Connect to Apache Hive on HDInsight using the Hive JDBC driver (Nawiązywanie połączenia z usługą Apache Hive w usłudze HDInsight przy użyciu sterownika Hive JDBC)

Dostępne są następujące elementy dla określonych typów klastrów:

Usługa	Port	Protokół	Typ klastra	Opis
`Stargate`	443	HTTPS	HBase	Interfejs API REST bazy danych HBase. Zobacz Wprowadzenie do korzystania z bazy danych Apache HBase
Livy	443	HTTPS	platforma Spark	Interfejs API REST platformy Spark. Zobacz Zdalne przesyłanie zadań platformy Apache Spark przy użyciu usługi Apache Livy
Serwer Spark Thrift	443	HTTPS	platforma Spark	Serwer Spark Thrift używany do przesyłania zapytań hive. Zobacz Używanie platformy Beeline z usługą Apache Hive w usłudze HDInsight
Serwer proxy REST Kafka	443	HTTPS	Kafka	Interfejs API REST platformy Kafka. Zobacz Interakcje z klastrami platformy Apache Kafka w usłudze Azure HDInsight przy użyciu serwera proxy REST

Authentication

Wszystkie usługi udostępniane publicznie w Internecie muszą zostać uwierzytelnione:

Port	Referencje
22 lub 23	Poświadczenia użytkownika SSH określone podczas tworzenia klastra
443	Nazwa logowania (domyślna: administrator) i hasło ustawione podczas tworzenia klastra

Porty inne niż publiczne

Uwaga

Niektóre usługi są dostępne tylko dla określonych typów klastrów. Na przykład baza HBase jest dostępna tylko w typach klastrów HBase.

Ważne

Niektóre usługi są uruchamiane tylko w jednym węźle głównym jednocześnie. Jeśli spróbujesz nawiązać połączenie z usługą w podstawowym węźle głównym i wystąpi błąd, spróbuj ponownie użyć pomocniczego węzła głównego.

Ambari

Usługa	Węzły	Port	Ścieżka adresu URL	Protokół
Internetowy interfejs użytkownika systemu Ambari	Węzły główne	8080	/	HTTP
Ambari REST API	Węzły główne	8080	/api/v1	HTTP

Przykłady:

Interfejs API REST systemu Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Porty systemu plików HDFS

Usługa	Węzły	Port	Protokół	Opis
Interfejs użytkownika sieci Web węzła NameNode	Węzły główne	30070	HTTPS	Internetowy interfejs użytkownika do wyświetlania stanu
Usługa metadanych NameNode	węzły główne	8020	IPC	Metadane systemu plików
DataNode	Wszystkie węzły robocze	30075	HTTPS	Internetowy interfejs użytkownika do wyświetlania stanu, dzienników itd.
DataNode	Wszystkie węzły robocze	30010		Transfer danych
DataNode	Wszystkie węzły robocze	30020	IPC	Operacje na metadanych
Pomocniczy węzeł NameNode	Węzły główne	50090	HTTP	Punkt kontrolny metadanych węzła NameNode

Porty usługi YARN

Usługa	Węzły	Port	Protokół	Opis
Resource Manager internetowy interfejs użytkownika	Węzły główne	8088	HTTP	Internetowy interfejs użytkownika dla Resource Manager
Resource Manager internetowy interfejs użytkownika	Węzły główne	8090	HTTPS	Internetowy interfejs użytkownika dla Resource Manager
interfejs administracyjny Resource Manager	węzły główne	8141	IPC	W przypadku przesyłania aplikacji (Hive, Serwera Hive, Pig itd.)
harmonogram Resource Manager	węzły główne	8030	HTTP	Interfejs administracyjny
interfejs aplikacji Resource Manager	węzły główne	8050	HTTP	Adres interfejsu menedżera aplikacji
NodeManager	Wszystkie węzły robocze	30050		Adres menedżera kontenerów
Internetowy interfejs użytkownika narzędzia NodeManager	Wszystkie węzły robocze	30060	HTTP	interfejs Resource Manager
Adres osi czasu	Węzły główne	10200	Zdalne wywołanie procedury	Usługa RPC usługi Osi czasu.
Interfejs użytkownika sieci Web osi czasu	Węzły główne	8188	HTTP	Interfejs użytkownika sieci Web usługi osi czasu

Porty hive

Usługa	Węzły	Port	Protokół	Opis
HiveServer2	Węzły główne	10001	Thrift	Usługa nawiązywania połączenia z usługą Hive (Thrift/JDBC)
Magazyn metadanych Hive	Węzły główne	9083	Thrift	Usługa nawiązywania połączenia z metadanymi hive (Thrift/JDBC)

Porty WebHCat

Usługa	Węzły	Port	Protokół	Opis
Serwer WebHCat	Węzły główne	30111	HTTP	Internetowy interfejs API na platformie `HCatalog` Hadoop i inne usługi Hadoop

Porty MapReduce

Usługa	Węzły	Port	Protokół	Opis
JobHistory	Węzły główne	19888	HTTP	Interfejs użytkownika sieci Web MapReduce JobHistory
JobHistory	Węzły główne	10020		Serwer MapReduce JobHistory
ShuffleHandler		13562		Transferuje dane wyjściowe mapy pośredniej do żądań redukcji

Oozie

Usługa	Węzły	Port	Protokół	Opis
Serwer Oozie	Węzły główne	11000	HTTP	Adres URL usługi Oozie
Serwer Oozie	Węzły główne	11001	HTTP	Port dla administratora Oozie

Metryki systemu Ambari

Usługa	Węzły	Port	Protokół	Opis
TimeLine (historia aplikacji)	Węzły główne	6188	HTTP	Internetowy interfejs użytkownika usługi TimeLine
TimeLine (historia aplikacji)	Węzły główne	30200	Zdalne wywołanie procedury	Internetowy interfejs użytkownika usługi TimeLine

Porty HBase

Usługa	Węzły	Port	Protokół	Opis
HMaster	Węzły główne	16000
Interfejs użytkownika sieci Web informacji O programie HMaster	Węzły główne	16010	HTTP	Port głównego internetowego interfejsu użytkownika bazy danych HBase
Serwer regionów	Wszystkie węzły robocze	16020
Internetowy interfejs użytkownika informacji o serwerze regionów	Wszystkie węzły robocze	16030	HTTP	Port internetowego interfejsu użytkownika serwera regionu HBase
		2181		Port używany przez klientów do nawiązywania połączenia z usługą ZooKeeper

Porty platformy Kafka

Usługa	Węzły	Port	Protokół	Opis
Broker	Węzły robocze	9092	Protokół przewodowy platformy Kafka	Używany do komunikacji z klientem
	Węzły dozorców	2181		Port używany przez klientów do nawiązywania połączenia z usługą Zookeeper
Serwer proxy REST	Węzły zarządzania platformy Kafka	9400	HTTPS	Specyfikacja REST platformy Kafka

Porty platformy Spark

Usługa	Węzły	Port	Protokół	Opis
Serwery Spark Thrift	Węzły główne	10002	Thrift	Usługa do nawiązywania połączenia z usługą Spark SQL (Thrift/JDBC)
Serwer Usługi Livy	Węzły główne	8998	HTTP	Usługa do uruchamiania instrukcji, zadań i aplikacji
Notes Jupyter	Węzły główne	8001	HTTP	witryna internetowa Jupyter Notebook