Arkitektur för virtuella Azure HDInsight-nätverk
Den här artikeln beskriver de resurser som finns när du distribuerar ett HDInsight-kluster till ett anpassat virtuellt Azure-nätverk. Den här informationen hjälper dig att ansluta lokala resurser till ditt HDInsight-kluster i Azure. Mer information om virtuella Azure-nätverk finns i Vad är Azure Virtual Network?.
Resurstyper i Azure HDInsight-kluster
Azure HDInsight-kluster har olika typer av virtuella datorer eller noder. Varje nodtyp spelar en roll i systemets drift. I följande tabell sammanfattas dessa nodtyper och deras roller i klustret.
| Typ | Beskrivning |
|---|---|
| ZooKeeper-nod | Zookeeper samordnar uppgifter mellan de noder som utför databearbetning. Det gör även val av ledare för huvudnoden och håller reda på vilken huvudnod som kör en specifik huvudtjänst. Antalet ZooKeeper-noder är fast vid tre. |
| Arbetsnod | Representerar de noder som stöder databehandlingsfunktioner. Arbetsnoder kan läggas till eller tas bort från klustret för att skala beräkningskapaciteten och hantera kostnader. |
| Regionnod | För HBase-klustertypen kör regionnoden (kallas även för en datanod) regionservern. Regionservrar hanterar en del av data som hanteras av HBase. Regionnoder kan läggas till eller tas bort från klustret för att skala beräkningskapaciteten och hantera kostnader. |
Namngivningskonventioner för resurser
Använd fullständigt kvalificerade domännamn (FQDN) när du adresserar noder i klustret. Du kan hämta FQDN:er för olika nodtyper i klustret med hjälp av Ambari-API:et.
Dessa FQDN:er är av formatet <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
<node-type-prefix> är hn för huvudnoder, wn för arbetsnoder och zn för zookeeper-noder.
Om du bara behöver värdnamnet använder du bara den första delen av FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Grundläggande virtuella nätverksresurser
Följande diagram visar placeringen av HDInsight-noder och nätverksresurser i Azure.
Standardresurserna i ett virtuellt Azure-nätverk innehåller de klusternodtyper som nämns i föregående tabell. Och nätverksenheter som stöder kommunikation mellan det virtuella nätverket och externa nätverk.
I följande tabell sammanfattas de nio klusternoder som skapades när HDInsight distribueras till ett anpassat virtuellt Azure-nätverk.
| Resurstyp | Nummer som finns | Details |
|---|---|---|
| Huvudnod | två | |
| Zookeeper-nod | tre | |
| Arbetsnod | två | Det här antalet kan variera beroende på klusterkonfiguration och skalning. Minst tre arbetsnoder krävs för Apache Kafka. |
| Gateway-nod | två | Gatewaynoder är virtuella Azure-datorer som skapas i Azure, men som inte visas i din prenumeration. Kontakta supporten om du behöver starta om dessa noder. |
Följande nätverksresurser skapas automatiskt i det virtuella nätverk som används med HDInsight:
| Nätverksresurs | Nummer som finns | Details |
|---|---|---|
| Lastbalanserare | två | Lastbalanseraren ger inkommande nätverksåtkomst för noderna. De två lastbalanserarna är till för: två huvudnoder och två gatewaynoder. Lastbalanserarna är standard-SKU. |
| Nätverksgränssnitt | nio | Det här värdet baseras på ett normalt kluster, där varje nod har ett eget nätverksgränssnitt. De nio gränssnitten gäller: två huvudnoder, tre zookeeper-noder, två arbetsnoder och två gatewaynoder som nämns i föregående tabell. |
| Offentliga IP-adresser | två | Två offentliga IP-adresser är bundna till lastbalanserarna. |
Det finns flera utgående anslutningsmetoder som kan användas med det anpassade virtuella nätverket som illustreras i SNAT (Source Network Address Translation) för utgående anslutningar – Azure Load Balancer.
Kommentar
Det mest rekommenderade sättet är att associera undernätet med en NAT-gateway. Det kräver en NAT-gateway och en nätverkssäkerhetsgrupp som skapats i undernätet innan du skapar HDInsight-klustret. Du kan koppla en offentlig IP-adress eller ett offentligt IP-prefix till NAT-gatewayen. Information om vilka NSG-regler som ska skapas finns i Kontrollera nätverkstrafik i Azure HDInsight
Slutpunkter för anslutning till HDInsight
Du kan komma åt HDInsight-klustret på tre sätt:
- En HTTPS-slutpunkt utanför det virtuella nätverket på
CLUSTERNAME.azurehdinsight.net. - En SSH-slutpunkt för direkt anslutning till huvudnoden på
CLUSTERNAME-ssh.azurehdinsight.net. - En HTTPS-slutpunkt i det virtuella nätverket
CLUSTERNAME-int.azurehdinsight.net. Lägg märke till "-int" i den här URL:en. Den här slutpunkten matchar en privat IP-adress i det virtuella nätverket och är inte tillgänglig från det offentliga Internet.
Dessa tre slutpunkter tilldelas var och en en lastbalanserare.
Offentliga IP-adresser tillhandahålls också till de två slutpunkter som tillåter anslutning utanför det virtuella nätverket.
- En offentlig IP-adress tilldelas lastbalanseraren för det fullständigt kvalificerade domännamnet (FQDN) som ska användas när du ansluter till klustret från Internet
CLUSTERNAME.azurehdinsight.net. - Den andra offentliga IP-adressen används endast för SSH-domännamnet
CLUSTERNAME-ssh.azurehdinsight.net.