Architektura sieci wirtualnej usługi Azure HDInsight
W tym artykule wyjaśniono zasoby, które są obecne podczas wdrażania klastra usługi HDInsight w niestandardowej sieci wirtualnej platformy Azure. Te informacje ułatwiają łączenie zasobów lokalnych z klastrem usługi HDInsight na platformie Azure. Aby uzyskać więcej informacji na temat sieci wirtualnych platformy Azure, zobacz Co to jest usługa Azure Virtual Network?.
Typy zasobów w klastrze usługi Azure HDInsight
Klastry usługi Azure HDInsight mają różne typy maszyn wirtualnych lub węzłów. Każdy typ węzła odgrywa rolę w działaniu systemu. Poniższa tabela zawiera podsumowanie tych typów węzłów i ich ról w klastrze.
| Type | Opis |
|---|---|
| Węzeł ZooKeeper | Zookeeper koordynuje zadania między węzłami, które wykonują przetwarzanie danych. Wykonuje również wybory lidera węzła głównego i śledzi, który węzeł główny uruchamia określoną usługę główną. Liczba węzłów usługi ZooKeeper jest stała na trzy. |
| Węzeł procesu roboczego | Reprezentuje węzły, które obsługują funkcje przetwarzania danych. Węzły robocze można dodawać lub usuwać z klastra, aby skalować możliwości obliczeniowe i zarządzać kosztami. |
| Węzeł regionu | W przypadku typu klastra HBase węzeł regionu (nazywany również węzłem danych) uruchamia serwer regionów. Serwery regionów obsługują część danych zarządzanych przez bazę danych HBase i zarządzają nimi. Węzły regionów można dodawać lub usuwać z klastra, aby skalować możliwości obliczeniowe i zarządzać kosztami. |
Konwencje nazewnictwa zasobów
Użyj w pełni kwalifikowanych nazw domen (FQDN) podczas adresowania węzłów w klastrze. Nazwy FQDN dla różnych typów węzłów w klastrze można pobrać przy użyciu interfejsu API systemu Ambari.
Te nazwy FQDN mają postać <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
Element <node-type-prefix> jest hn przeznaczony dla węzłów głównych, wn węzłów roboczych i zn węzłów dozorcy.
Jeśli potrzebujesz tylko nazwy hosta, użyj tylko pierwszej części nazwy FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Podstawowe zasoby sieci wirtualnej
Na poniższym diagramie przedstawiono umieszczanie węzłów usługi HDInsight i zasobów sieciowych na platformie Azure.
Domyślne zasoby w usłudze Azure Virtual Network obejmują typy węzłów klastra wymienione w poprzedniej tabeli. Urządzenia sieciowe, które obsługują komunikację między sieciami wirtualnymi i zewnętrznymi.
Poniższa tabela zawiera podsumowanie dziewięciu węzłów klastra utworzonych podczas wdrażania usługi HDInsight w niestandardowej sieci wirtualnej platformy Azure.
| Typ zasobu | Liczba obecna | Szczegóły |
|---|---|---|
| Węzeł główny | dwa | |
| Węzeł usługi ZooKeeper | trzy | |
| Węzeł procesu roboczego | dwa | Ta liczba może się różnić w zależności od konfiguracji klastra i skalowania. Co najmniej trzy węzły robocze są potrzebne dla platformy Apache Kafka. |
| Węzeł bramy | dwa | Węzły bramy to maszyny wirtualne platformy Azure utworzone na platformie Azure, ale nie są widoczne w twojej subskrypcji. Skontaktuj się z pomocą techniczną, jeśli musisz ponownie uruchomić te węzły. |
Następujące obecne zasoby sieciowe są tworzone automatycznie w sieci wirtualnej używanej w usłudze HDInsight:
| Zasób sieci | Liczba obecna | Szczegóły |
|---|---|---|
| Moduł równoważenia obciążenia | dwa | Moduł równoważenia obciążenia zapewnia dostęp do sieci przychodzącej dla węzłów. Dwa moduły równoważenia obciążenia są przeznaczone dla: dwóch węzłów głównych i dwóch węzłów bramy. Moduły równoważenia obciążenia to standardowa jednostka SKU. |
| Interfejsy sieciowe | Dziewięć | Ta wartość jest oparta na normalnym klastrze, w którym każdy węzeł ma własny interfejs sieciowy. Dziewięć interfejsów jest przeznaczonych dla: dwóch węzłów głównych, trzech węzłów zookeeper, dwóch węzłów roboczych i dwóch węzłów bramy wymienionych w poprzedniej tabeli. |
| Publiczne adresy IP | dwa | Dwa publiczne adresy IP są połączone z modułami równoważenia obciążenia. |
Istnieje kilka metod łączności wychodzącej, których można użyć z niestandardową siecią wirtualną zilustrowaną w artykule Source Network Address Translation (SNAT) dla połączeń wychodzących — Azure Load Balancer.
Uwaga
Najbardziej zalecanym sposobem jest skojarzenie podsieci z bramą translatora adresów sieciowych. Wymaga bramy translatora adresów sieciowych i sieciowej grupy zabezpieczeń utworzonej w podsieci przed utworzeniem klastra usługi HDInsight. Publiczny adres IP lub prefiks publicznego adresu IP można wiązać z bramą translatora adresów sieciowych. Aby uzyskać reguły sieciowej grupy zabezpieczeń do utworzenia, zobacz Kontrolowanie ruchu sieciowego w usłudze Azure HDInsight
Punkty końcowe służące do nawiązywania połączenia z usługą HDInsight
Dostęp do klastra usługi HDInsight można uzyskać na trzy sposoby:
- Punkt końcowy HTTPS poza siecią wirtualną pod adresem
CLUSTERNAME.azurehdinsight.net. - Punkt końcowy SSH do bezpośredniego nawiązywania połączenia z węzłem głównym pod adresem
CLUSTERNAME-ssh.azurehdinsight.net. - Punkt końcowy HTTPS w sieci
CLUSTERNAME-int.azurehdinsight.netwirtualnej . Zwróć uwagę na wartość "-int" w tym adresie URL. Ten punkt końcowy jest rozpoznawany jako prywatny adres IP w tej sieci wirtualnej i nie jest dostępny z publicznego Internetu.
Te trzy punkty końcowe są przypisane do modułu równoważenia obciążenia.
Publiczne adresy IP są również udostępniane dwóm punktom końcowym, które zezwalają na połączenie spoza sieci wirtualnej.
- Jeden publiczny adres IP jest przypisywany do modułu równoważenia obciążenia dla w pełni kwalifikowanej nazwy domeny (FQDN) do użycia podczas nawiązywania połączenia z klastrem z Internetu
CLUSTERNAME.azurehdinsight.net. - Drugi publiczny adres IP jest używany tylko dla nazwy
CLUSTERNAME-ssh.azurehdinsight.netdomeny SSH .