Управление кластерами HDInsight с помощью веб-интерфейса Apache Ambari
Apache Ambari упрощает управление функционированием кластера Apache Hadoop и наблюдение за ним. Такое упрощение возможно благодаря простому в использовании пользовательскому веб-интерфейсу и REST API. Ambari предоставляется с кластерами HDInsight и используется для мониторинга кластера и внесения изменений в его конфигурацию.
В этом документе рассказывается об использовании веб-интерфейса Ambari с кластером HDInsight.
Что такое Apache Ambari?
Apache Ambari упрощает управление Hadoop, предоставляя простой в использовании веб-интерфейс. Ambari можно использовать для отслеживания кластеров Hadoop, а также для управления ими. Разработчики могут интегрировать эти возможности в своих приложениях с помощью интерфейсов REST API Ambari.
Подключение
Веб-интерфейс Ambari доступен по адресу https://CLUSTERNAME.azurehdinsight.net, где CLUSTERNAME — это имя вашего кластера HDInsight.
Внимание
Подключение к Ambari в HDInsight выполняется по протоколу HTTPS. При появлении запроса на прохождение проверки подлинности используйте имя и пароль учетной записи администратора, указанные при создании кластера. Если запрос на ввод учетных данных не появляется, проверьте параметры сети, чтобы убедиться в отсутствии проблем с подключением между клиентом и кластерами Azure HDInsight.
Туннель SSH (прокси-сервер)
Хотя Ambari для кластера можно использовать непосредственно в Интернете, некоторые ссылки из веб-интерфейса Ambari (например, для JobTracker) недоступны в Интернете. Для доступа к этим службам необходимо создать туннель SSH. Дополнительные сведения см. в статье Использование туннелирования SSH с для доступа к веб-интерфейсу Ambari, JobHistory, NameNode, Oozie и другим веб-интерфейсам.
Веб-интерфейс Ambari
Предупреждение
HDInsight поддерживает не все функции веб-интерфейса Ambari. Дополнительные сведения см. в этой статье в разделе Неподдерживаемые операции.
При подключении к пользовательскому веб-интерфейсу Ambari вам будет предложено ввести учетные данные для доступа к странице. Укажите имя администратора кластера (по умолчанию это Admin) и пароль, которые были указаны при создании кластера.
При открытии страницы обратите внимание на панель вверху. Она содержит следующую информацию и элементы управления:
| Позиция | Description |
|---|---|
| Логотип Ambari | Позволяет открыть панель мониторинга, которую можно использовать для наблюдения за кластером. |
| Имя кластера, за которым следует поле "К-во операций" | Число текущих операций Ambari. Если выбрать имя кластера или # ops (К-во операций), отобразится список фоновых операций. |
| К-во оповещений | Отображает предупреждения или критические оповещения для кластера, если таковые имеются. |
| Информационная панель | Отображает панель мониторинга. |
| Службы | Информация и параметры конфигурации служб в кластере. |
| Узлы | Информация и параметры конфигурации узлов в кластере. |
| видны узлы | Журнал с информацией, предупреждениями и критическими оповещениями. |
| Администрирование | Стек программного обеспечения и службы, которые установлены в кластере, информация об учетной записи службы и данные о безопасности Kerberos. |
| Кнопка "Администратор" | Управление Ambari, параметры пользователя и выход. |
Наблюдение
видны узлы
В следующем списке содержатся общие состояния оповещений, используемые Ambari.
- OK
- Предупреждения
- КРИТИЧЕСКИЙ;
- UNKNOWN
При любых оповещениях, кроме ОК, в поле # alerts (К-во оповещений) в верхней части страницы будет отображаться их общее количество. Выберите эту запись, чтобы отобразить предупреждения и их состояние.
Оповещения разбиты на несколько групп по умолчанию, которые можно просмотреть на странице Оповещения .
Группами можно управлять с помощью меню Действия, а также выбрав Manage Alert Groups (Управление группами оповещений).
Управление способами оповещения и создание уведомлений об оповещениях осуществляется в меню Действия. Для этого необходимо выбрать Управление уведомлениями. Отображаются все текущие уведомления. Здесь можно создавать уведомления. Уведомления можно отправлять по электронной почте или протоколу SNMP при возникновении определенного сочетания оповещения и уровня серьезности. Например, можно отправить сообщение, если для какого-либо оповещения в группе YARN Default (YARN по умолчанию) установлено значение Критическое.
Наконец, выбрав Manage Alert Settings (Управление параметрами оповещения) в меню Действия, вы сможете настроить количество появлений оповещения перед отправкой уведомления. Этот параметр можно использовать для предотвращения уведомлений по временным ошибкам.
Руководство по работе с уведомлением об оповещениях с использованием бесплатной учетной записи SendGrid см. в статье Настройка уведомлений Apache Ambari по электронной почте в Azure HDInsight.
Кластер
На вкладке Метрики панели мониторинга содержится ряд мини-приложений, которые позволяют легко определить состояние кластера с первого взгляда. Если щелкнуть некоторые мини-приложения, например Загрузка ЦП, отобразится дополнительная информация.
На вкладке Тепловые карты метрики отображаются в виде цветных тепловых карт с переходом от зеленого к красному.
Для получения дополнительных сведений об узлах кластера выберите Узлы. Затем выберите конкретный узел, который вас интересует.
Службы
Боковая панель Службы на панели мониторинга позволяет получить общее представление о состоянии служб, работающих в кластере. Различные значки обозначают состояния или действия, которые следует предпринять. Например, желтый символ перезапуска отображается, если служба должна быть перезапущена.
Примечание.
Для разных типов и версий кластера HDInsight отображаются разные службы. Службы, отображаемые здесь, могут отличаться от служб, отображаемых для вашего кластера.
При выборе службы для нее отобразятся более подробные сведения.
Быстрые ссылки
Для некоторых служб в верхней части страницы отображается ссылка Быстрые ссылки . Эту ссылку можно использовать для доступа к определенным пользовательским веб-интерфейсам службы, например:
- Журнал заданий — журнал заданий MapReduce;
- Диспетчер ресурсов — пользовательский интерфейс диспетчера ресурсов YARN.
- NameNode — пользовательский интерфейс NameNode распределенной файловой системы Hadoop (HDFS).
- Веб-интерфейс Oozie — пользовательский интерфейс Oozie.
При выборе любой из этих ссылок в браузере откроется новая вкладка с выбранной страницей.
Примечание.
При выборе элемента Быстрые ссылки для службы может возвращаться ошибка о том, что сервер не найден. При возникновении этой ошибки необходимо использовать туннель SSH, если для этой службы выбирается элемент Быстрые ссылки. Дополнительные сведения см. в статье Использование туннелирования SSH для доступа к веб-интерфейсу Ambari, JobHistory, NameNode, Oozie и другим веб-интерфейсам.
Управление
Пользователи, группы и разрешения Ambari
Поддерживается работа с пользователями, группами и разрешениями. Сведения о локальном администрировании см. в статье Авторизация пользователей для представлений Apache Ambari. Сведения о присоединенных к домену кластерах см. в статье Управление присоединенными к домену кластерами HDInsight.
Предупреждение
Не удаляйте и не изменяйте пароль модуля наблюдения Ambari (hdinsightwatchdog) в кластере HDInsight под управлением Linux. Это не позволит выполнять действия сценария или операции масштабирования в кластере.
Узлы
На странице Узлы перечислены все узлы в кластере. Для управления узлами, сделайте следующее.
Примечание.
В кластерах HDInsight не следует использовать добавление, списание и восстановление списанного узла.
Выберите узел, которым вы хотите управлять.
В меню Действия выберите действие, которое необходимо выполнить:
Позиция Description Запустить все компоненты Запускает все компоненты на узле. Остановить все компоненты Останавливает все компоненты на узле. Перезапустить все компоненты Останавливает и запускает все компоненты на узле. Включить режим обслуживания Подавляет оповещения для узла. Этот режим следует включать при выполнении действий, которые создают оповещения. Например, остановка и запуск службы. Отключить режим обслуживания Возвращает узел в обычный режим оповещений. Остановить Останавливает DataNode или NodeManagers на узле. Начать Запускает DataNode или NodeManagers на узле. Перезагрузить Останавливает и запускает DataNode или NodeManagers на узле. Списания Удаляет узел из кластера. Не используйте это действие в кластерах HDInsight. Восстановить списанные Добавляет списанные ранее узлы в кластер. Не используйте это действие в кластерах HDInsight.
Службы
На странице Панель мониторинга или Службы нажмите кнопку Действия в нижней части списка служб, чтобы остановить и снова запустить все службы.
Предупреждение
Для добавления новых служб следует использовать действие сценария во время подготовки кластера. Дополнительные сведения об использовании действий скрипта см. в статье Настройка кластеров HDInsight под управлением Linux с помощью действия сценария.
Хотя с помощью кнопки Действия можно перезапустить все службы, зачастую требуется запустить, остановить или перезапустить только одну из них. Чтобы выполнить действия для отдельной службы, сделайте следующее.
На странице Панель мониторинга или Службы выберите службу.
В верхней части вкладки Сводка нажмите кнопку Service Actions (Действия со службой) и выберите действие, которое необходимо выполнить. Это действие приведет к перезапуску службы на всех узлах.
Примечание.
Перезапуск некоторых служб во время работы кластера может привести к формированию предупреждений. Во избежание этого можно использовать кнопку Service Actions (Действия со службой), чтобы включить режим обслуживания для службы перед выполнением перезагрузки.
После выбора действия значение в поле # op (К-во операций) в верхней части страницы увеличится, что будет свидетельствовать о выполнении фоновой операции. Если настроено отображение списка фоновых операций, этот список появится на экране.
Примечание.
Если для службы включен режим обслуживания, не забудьте отключить его. Для этого нажмите кнопку Service Actions (Действия со службой) после завершения операции.
Чтобы настроить службу, сделайте следующее:
На странице Панель мониторинга или Службы выберите службу.
Перейдите на вкладку Конфигурации. Отобразится текущая конфигурация. Отобразится также список предыдущих конфигураций.
Используйте отображаемые поля для изменения конфигурации, а затем выберите Сохранить. Можно также выбрать предыдущую конфигурацию, а затем выбрать Сделать текущей , чтобы выполнить откат к предыдущим настройкам.
Представления Ambari
Представления Ambari позволяют разработчикам подключать элементы пользовательского интерфейса к веб-интерфейсу Ambari, используя Apache Ambari Views Framework. HDInsight предлагает следующие представления с типами кластеров Hadoop:
Представление Hive. Представление Hive позволяет выполнять запросы Hive прямо из браузера. Можно сохранять запросы, просматривать результаты, сохранять их в хранилище кластера или загружать результаты в локальную систему. Дополнительные сведения об использовании представлений Hive см. в статье Use Apache Ambari Hive View with Apache Hadoop in HDInsight (Использование представления Hive Apache Ambari с Apache Hadoop в HDInsight).
Представление Tez: представление Tez позволяет лучше понять и оптимизировать задания. Можно просмотреть сведения о том, как выполняются задания Tez и какие ресурсы используются.
Неподдерживаемые операции
Следующие операции Ambari не поддерживаются в HDInsight:
- Перемещение службы сборщика метрик. При просмотре сведений в службе сборщика метрик одно из действий, доступных в меню действий службы, — это Move Metrics collector (Переместить сборщик метрик). HDInsight не поддерживает это действие.