Архитектура виртуальной сети Azure HDInsight
В этой статье описываются ресурсы, которые присутствуют при развертывании кластера HDInsight в пользовательском виртуальная сеть Azure. Эти сведения помогают подключать локальные ресурсы к кластеру HDInsight в Azure. Дополнительные сведения о виртуальных сетях Azure см. в статье Что такое виртуальная сеть Azure?.
Типы ресурсов в кластере Azure HDInsight
Кластеры Azure HDInsight имеют различные типы виртуальных машин или узлов. Каждый тип узла играет определенную роль в работе системы. В следующей таблице перечислены типы узлов и их роли в кластере.
| Тип | Описание |
|---|---|
| Узел ZooKeeper | ZooKeeper координирует задачи между узлами, выполняющими обработку данных. Он также выполняет выбор лидера головного узла и отслеживает, на каком головном узле запущена конкретная главная служба. Число узлов ZooKeeper фиксировано (3 узла). |
| Рабочий узел | Представляет узлы, поддерживающие функции обработки данных. Рабочие узлы могут быть добавлены в кластер или удалены из него для масштабирования вычислительных возможностей и управления затратами. |
| Региональный узел | Узел региона (также называемый узлом данных) запускает Региональный сервер для типа кластера HBase. Региональные серверы обслуживают и управляют частью данных, управляемых HBase. Региональные узлы могут быть добавлены в кластер или удалены из него для масштабирования вычислительных возможностей и управления затратами. |
Соглашения об именовании ресурсов
При адресации узлов в кластере используйте полные доменные имена. Полные доменные имена для различных типов узлов в кластере можно получить с помощью API Ambari.
Эти полные доменные имена имеют форму <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
Он <node-type-prefix> предназначен hn для головных узлов, wn рабочих узлов и zn для узлов zookeeper.
Если требуется только имя узла, используйте только первую часть полного доменного имени: <node-type-prefix><instance-number>-<abbreviated-clustername>
Основные ресурсы виртуальной сети
На следующей схеме показано размещение узлов HDInsight и сетевых ресурсов в Azure.
Ресурсы по умолчанию в виртуальной сети Azure содержат в себе типы узлов кластера, упомянутые в предыдущей таблице, а также сетевые устройства, поддерживающие обмен данными между виртуальной сетью и внешними сетями.
В следующей таблице приведены девять узлов кластера, созданные при развертывании HDInsight в настраиваемой виртуальной сети Azure.
| Тип ресурса | Количество узлов | Сведения |
|---|---|---|
| Головной узел | two | |
| Узел ZooKeeper | три | |
| Рабочий узел | two | Количество может варьироваться в зависимости от конфигурации и масштабирования кластера. Для Apache Kafka требуется не менее трех рабочих узлов. |
| Узел шлюза | two | Узлы шлюза — это виртуальные машины Azure, которые создаются в Azure, но не отображаются в подписке. Если необходимо перезагрузить эти узлы, обратитесь в службу поддержки. |
В виртуальной сети, используемой в HDInsight, автоматически создаются следующие сетевые ресурсы.
| Сетевые ресурсы | Количество узлов | Сведения |
|---|---|---|
| Подсистема балансировки нагрузки | two | Подсистема балансировки нагрузки предоставляет входящий сетевой доступ для узлов. Для двух подсистем балансировки нагрузки используются два головного узла и два узла шлюза. Подсистемы балансировки нагрузки — это стандартный номер SKU. |
| Сетевые интерфейсы | девять | Это значение основано на обычном кластере, где каждый узел имеет собственный сетевой интерфейс. Эти девять интерфейсов предназначены для: двух головных узлов, трех узлов ZooKeeper, двух рабочих узлов и двух узлов шлюза, упомянутых в предыдущей таблице. |
| Общедоступные IP-адреса | two | Два общедоступных IP-адреса связаны с подсистемами балансировки нагрузки. |
Существует несколько методов исходящего подключения, которые можно использовать с пользовательской виртуальной сетью, показанной в переводе сетевых адресов источника (SNAT) для исходящих подключений — Azure Load Balancer.
Примечание.
Самый рекомендуемый способ — связать подсеть с шлюзом NAT. Для этого требуется шлюз NAT и группа безопасности сети, созданная в подсети перед созданием кластера HDInsight. Вы можете привязывать общедоступный IP-адрес или префикс общедоступного IP-адреса с шлюзом NAT. Сведения о создании правил NSG см. в статье "Управление сетевым трафиком в Azure HDInsight"
Конечные точки для подключения к HDInsight
Получить доступ к кластеру HDInsight можно тремя способами:
- с помощью конечной точки протокола HTTPS за пределами виртуальной сети по адресу
CLUSTERNAME.azurehdinsight.net; - с помощью конечной точки протокола SSH для прямого подключения к головному узлу по адресу
CLUSTERNAME-ssh.azurehdinsight.net; - с помощью конечной точки протокола HTTPS в виртуальной сети
CLUSTERNAME-int.azurehdinsight.net. Обратите внимание на "-int" в этом URL-адресе. Эта конечная точка разрешает частный IP-адрес в этой виртуальной сети и недоступна из общедоступного Интернета.
Каждой из этих трех конечных точек назначается подсистема балансировки нагрузки.
Общедоступные IP-адреса также предоставляются двум конечным точкам, которые позволяют подключение извне виртуальной сети.
- Первый общедоступный IP-адрес назначается подсистеме балансировки нагрузки для полного доменного имени (FQDN) для использования при подключении к кластеру из Интернета
CLUSTERNAME.azurehdinsight.net. - Второй общедоступный IP-адрес используется только для доменного имени, предназначенного для протокола SSH
CLUSTERNAME-ssh.azurehdinsight.net.