Architectuur van virtueel azure HDInsight-netwerk
In dit artikel worden de resources uitgelegd die aanwezig zijn wanneer u een HDInsight-cluster implementeert in een aangepast Azure Virtual Network. Met deze informatie kunt u on-premises resources verbinden met uw HDInsight-cluster in Azure. Zie Wat is Azure Virtual Network? voor meer informatie over Virtuele Azure-netwerken.
Resourcetypen in Azure HDInsight-cluster
Azure HDInsight-clusters hebben verschillende typen virtuele machines of knooppunten. Elk knooppunttype speelt een rol in de werking van het systeem. De volgende tabel bevat een overzicht van deze knooppunttypen en hun rollen in het cluster.
| Type | Description |
|---|---|
| ZooKeeper-knooppunt | Zookeeper coördineert taken tussen de knooppunten die gegevensverwerking uitvoeren. Het doet ook leiderverkiezing van het hoofdknooppunt en houdt bij welk hoofdknooppunt een specifieke hoofdservice wordt uitgevoerd. Het aantal ZooKeeper-knooppunten is opgelost op drie. |
| Werkknooppunt | Vertegenwoordigt de knooppunten die ondersteuning bieden voor de functionaliteit voor gegevensverwerking. Werkknooppunten kunnen worden toegevoegd aan of verwijderd uit het cluster om rekenmogelijkheden te schalen en kosten te beheren. |
| Regioknooppunt | Voor het HBase-clustertype voert het regioknooppunt (ook wel een gegevensknooppunt genoemd) de regioserver uit. Regioservers dienen en beheren een deel van de gegevens die worden beheerd door HBase. Regioknooppunten kunnen worden toegevoegd aan of verwijderd uit het cluster om rekenmogelijkheden te schalen en kosten te beheren. |
Naamconventies voor resources
Gebruik FQDN's (Fully Qualified Domain Names) bij het adresseren van knooppunten in uw cluster. U kunt de FQDN's voor verschillende knooppunttypen in uw cluster ophalen met behulp van de Ambari-API.
Deze FQDN's zijn van de vorm <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
De <node-type-prefix> is hn voor hoofdknooppunten, wn voor werkknooppunten en zn voor zookeeper-knooppunten.
Als u alleen de hostnaam nodig hebt, gebruikt u alleen het eerste deel van de FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Basisbronnen voor virtueel netwerk
In het volgende diagram ziet u de plaatsing van HDInsight-knooppunten en netwerkbronnen in Azure.
De standaardbronnen in een virtueel Azure-netwerk bevatten de clusterknooppunttypen die in de vorige tabel zijn vermeld. En netwerkapparaten die communicatie tussen het virtuele netwerk en externe netwerken ondersteunen.
De volgende tabel bevat een overzicht van de negen clusterknooppunten die zijn gemaakt wanneer HDInsight wordt geïmplementeerd in een aangepast Azure Virtual Network.
| Brontype | Getal aanwezig | DETAILS |
|---|---|---|
| Hoofdknooppunt | twee | |
| Zookeeper-knooppunt | drie | |
| Werkknooppunt | twee | Dit aantal kan variëren op basis van clusterconfiguratie en schaalaanpassing. Er zijn minimaal drie werkknooppunten nodig voor Apache Kafka. |
| Gateway-knooppunt | twee | Gatewayknooppunten zijn virtuele Azure-machines die in Azure worden gemaakt, maar die niet zichtbaar zijn in uw abonnement. Neem contact op met de ondersteuning als u deze knooppunten opnieuw moet opstarten. |
De volgende netwerkbronnen worden automatisch gemaakt in het virtuele netwerk dat wordt gebruikt met HDInsight:
| Netwerkresource | Getal aanwezig | DETAILS |
|---|---|---|
| Load balancer | twee | De load balancer biedt binnenkomende netwerktoegang voor de knooppunten. De twee load balancers zijn bedoeld voor: twee hoofdknooppunten en twee gatewayknooppunten. De load balancers zijn een standaard-SKU. |
| Netwerkinterfaces | Negen | Deze waarde is gebaseerd op een normaal cluster, waarbij elk knooppunt een eigen netwerkinterface heeft. De negen interfaces zijn bedoeld voor: twee hoofdknooppunten, drie zookeeper-knooppunten, twee werkknooppunten en twee gatewayknooppunten die in de vorige tabel worden genoemd. |
| Openbare IP-adressen | twee | Er worden twee openbare IP-adressen gekoppeld aan de load balancers. |
Er zijn verschillende uitgaande connectiviteitsmethoden die kunnen worden gebruikt met het aangepaste virtuele netwerk dat wordt geïllustreerd in SNAT (Source Network Address Translation) voor uitgaande verbindingen - Azure Load Balancer.
Notitie
De meest aanbevolen manier is om het subnet te koppelen aan een NAT-gateway. Hiervoor is een NAT-gateway en een netwerkbeveiligingsgroep vereist die in het subnet is gemaakt voordat u het HDInsight-cluster maakt. U kunt een openbaar IP-adres of een openbaar IP-voorvoegsel koppelen aan de NAT-gateway. Zie Netwerkverkeer beheren in Azure HDInsight voor de NSG-regels die u wilt maken
Eindpunten voor het maken van verbinding met HDInsight
U hebt op drie manieren toegang tot uw HDInsight-cluster:
- Een HTTPS-eindpunt buiten het virtuele netwerk op
CLUSTERNAME.azurehdinsight.net. - Een SSH-eindpunt om rechtstreeks verbinding te maken met het hoofdknooppunt op
CLUSTERNAME-ssh.azurehdinsight.net. - Een HTTPS-eindpunt in het virtuele netwerk
CLUSTERNAME-int.azurehdinsight.net. Let op de '-int' in deze URL. Dit eindpunt wordt omgezet in een privé-IP in dat virtuele netwerk en is niet toegankelijk vanaf het openbare internet.
Aan deze drie eindpunten wordt elk een load balancer toegewezen.
Openbare IP-adressen worden ook verstrekt aan de twee eindpunten die verbinding van buiten het virtuele netwerk toestaan.
- Er is één openbaar IP-adres toegewezen aan de load balancer voor de FQDN (Fully Qualified Domain Name) die moet worden gebruikt bij het maken van verbinding met het cluster via internet
CLUSTERNAME.azurehdinsight.net. - Het tweede openbare IP-adres wordt gebruikt voor de alleen SSH-domeinnaam
CLUSTERNAME-ssh.azurehdinsight.net.