Поделиться через

Управление кластерами Apache Hadoop в HDInsight с помощью портала Azure

  • Статья

С помощью портал Azure можно управлять кластерами Apache Hadoop в Azure HDInsight. Используйте селектор вкладок для управления кластерами Hadoop в HDInsight с помощью других средств.

Необходимые компоненты

Существующий кластер Apache Hadoop в HDInsight. Дополнительные сведения см. в статье "Создание кластеров на основе Linux в HDInsight с помощью портал Azure".

Начало работы

Войдите на портал.

Отображение кластеров

На странице кластеров HDInsight перечислены существующие кластеры . На портале

  1. В меню слева выберите Все службы.
  2. В разделе АНАЛИТИКА выберите Кластеры HDInsight.

Домашняя страница кластера

На странице кластеров HDInsight выберите имя кластера. Откроется панель обзора и выглядит примерно так, как показано на следующем рисунке.

Снимок экрана: основные компоненты кластера HDInsight портал Azure.

Меню "Сверху"

Позиция Description
Передвинуть Перемещает кластер в другую группу ресурсов или подписку.
Удаление Удаляет кластер.
Обновить Обновляет представление.

Меню слева

В меню слева несколько разделов.

Меню в верхнем левом углу

Позиция Description
Обзор Укажите общие сведения для кластера.
Журнал действий Отображение и запрашивание журналов действий.
Управление доступом (IAM) Использование назначения ролей. См. статью Назначение ролей Azure для управления доступом к ресурсам подписки Azure.
Теги Задайте пары "ключ-значение", чтобы определить настраиваемую таксономию облачных служб. Например, можно создать ключ с именем проекта, а затем использовать общее значение для всех служб, связанных с определенным проектом.
Диагностика и решение проблем Отображение сведений об устранении неполадок.
Краткое руководство Отображение сведений, помогающих приступить к работе с HDInsight.
Сервис Сведения о справке по средствам, связанным с HDInsight.

Меню параметров

Позиция Description
Размер кластера Проверка, увеличение и уменьшение количества рабочих узлов кластера. См. раздел о масштабировании кластеров.
Квот Отображение сведений об используемых и доступных ядрах для подписки.
SSH + имя входа в кластер Отображение инструкций по подключению к кластеру с помощью подключения Secure Shell (SSH). Дополнительные сведения см. в статье Подключение к HDInsight (Hadoop) с помощью SSH.
Azure Data Lake Storage 2-го поколения Настройте доступ к Data Lake Storage 2-го поколения. Дополнительные сведения см. в статье Краткое руководство по установке кластеров в HDInsight.
Учетные записи хранения Просмотр учетных записей хранения и ключей. Учетные записи хранения настраиваются во время создания кластера.
Приложения Добавление или удаление приложений HDInsight. Ознакомьтесь со статьей Установка пользовательских приложений HDInsight.
Действия скриптов Выполнение bash-скриптов в кластере. См. статью Настройка кластеров HDInsight под управлением Linux с помощью действия сценария.
Внешние хранилища метаданных просмотр метахранилищ Apache Hive и Apache Oozie. Хранилища метаданных можно настроить только во время процесса создания кластера.
Партнер HDInsight Добавьте или удалите текущего партнера HDInsight.
Свойства Просмотр свойств кластера.
Блокировки Добавьте блокировку, чтобы предотвратить изменение или удаление кластера.
Экспорт шаблона Отображение и экспорт шаблона Azure Resource Manager для кластера. В настоящее время можно экспортировать только зависимые служба хранилища Azure учетную запись. См. статью "Создание кластеров Apache Hadoop на основе Linux в HDInsight с помощью шаблонов Azure Resource Manager".

Меню "Мониторинг"

Позиция Description
Оповещения Управление оповещениями и действиями.
Метрики Мониторинг метрик кластера в журналах Azure Monitor.
Параметры диагностики Задайте место для хранения метрик диагностики.
Azure Monitor Мониторинг кластера в Azure Monitor.

Меню "Поддержка и устранение неполадок"

Позиция Description
Работоспособность ресурса См. Обзор службы "Работоспособность ресурсов Azure".
Новый запрос в службу поддержки Создайте запрос в службу поддержки с служба поддержки Майкрософт.

Свойства кластера

На домашней странице кластера в разделе "Параметры" выберите "Свойства".

Позиция Description
ИМЯ УЗЛА Имя кластера
URL-адрес КЛАСТЕРА URL-адрес веб-интерфейса Ambari.
Частная конечная точка Частная конечная точка кластера.
Безопасная оболочка Имя пользователя и узла, которые будут использоваться для доступа к кластеру через SSH.
СТАТУС Одно из прерванных, принятых, ClusterStorageProvisioned, AzureVMConfiguration, HDInsightConfiguration, Operations, Running, Error, Deleted, Timeout, DeleteQueued, DeleteQueued, DeleteError, PatchQueued, CertRolloverQueued, ResizeQueued или ClusterCustomization.
ОБЛАСТЬ Расположение Azure. Список поддерживаемых расположений Azure см. в раскрывающемся списке регионов по ценам HDInsight.
ДАТА СОЗДАНИЯ Дата развертывания кластера.
ОПЕРАЦИОННАЯ СИСТЕМА Windows или Linux.
TYPE Hadoop, HBase или Spark.
Версия См. статью о поддерживаемых версиях HDInsight.
Минимальная версия TLS Версия TLS.
ПОДПИСКА Имя подписки.
ИСТОЧНИК ДАННЫХ ПО УМОЛЧАНИЮ Файловая система кластера по умолчанию.
Размеры рабочих узлов Выбранный размер виртуальной машины рабочих узлов.
Размер головного узла Выбранный размер виртуальной машины для головных узлов.
Виртуальная сеть Имя виртуальной сети, в которой развертывается кластер, если он был выбран во время развертывания.

Перемещение кластеров

Кластер HDInsight можно переместить в другую группу ресурсов Azure или в другую подписку.

На домашней странице кластера:

  1. В верхнем меню выберите "Переместить".

  2. Выберите команду Переместить в другую группу ресурсов или Переместить в другую подписку.

  3. Следуйте инструкциям на новой странице.

Удаление кластеров

Удаление кластера не удаляет учетную запись хранения по умолчанию или связанные учетные записи хранения. Вы всегда сможете заново создать кластер, указав те же учетные записи хранения и те же метахранилища. Рекомендуется использовать новый контейнер BLOB-объектов по умолчанию при повторном создании кластера.

На домашней странице кластера:

  1. В верхнем меню выберите "Удалить".
  2. Следуйте инструкциям на новой странице.

Дополнительные сведения см. в статье "Приостановка или завершение работы кластеров".

Добавление дополнительных учетных записей хранения

После создания кластера можно добавить дополнительные служба хранилища Azure учетные записи и учетные записи Azure Data Lake Storage. Дополнительные сведения см. в статье Добавление дополнительных учетных записей хранения в HDInsight.

Масштабирование кластеров

Вы можете использовать функцию масштабирования кластера для изменения количества рабочих узлов, используемых кластером HDInsight, без необходимости повторного создания кластера.

Дополнительные сведения см. в статье Масштабирование кластеров HDInsight.

Приостановка или завершение работы кластеров

Большинство заданий Hadoop — это пакетные задания, которые выполняются только иногда. Для большинства кластеров Hadoop существует большой период времени, когда кластер не используется для обработки. В случае с HDInsight ваши данные хранятся в службе хранилища Azure, что позволяет безопасно удалить неиспользуемый кластер. Плата за кластеры HDInsight взимается, даже когда они не используются. Так как плата за кластер во многих случаях превышает расходы на хранение, экономия позволяет удалять кластеры, если они не используются.

Вы можете запрограммить процесс различными способами. Вы можете использовать:

Сведения о ценах см. в статье о ценах HDInsight. Сведения о удалении кластера на портале см. в разделе "Удаление кластеров".

Установка новых версий кластеров

Дополнительные сведения см. в статье Об обновлении кластера HDInsight до более новой версии.

Открытие веб-интерфейса Apache Ambari

Ambari предоставляет интуитивно понятный и простой веб-интерфейс управления Hadoop, поддерживаемый его API RESTful. С помощью Ambari системные администраторы могут управлять кластерами Hadoop и отслеживать их.

На домашней странице кластера:

  1. Выберите Панели мониторинга кластера.

    Снимок экрана: меню кластера HDInsight Apache Hadoop.

  2. На новой странице выберите дом Ambari.

  3. Введите имя пользователя для входа в кластер и пароль. Имя пользователя кластера по умолчанию — admin.

Дополнительные сведения см. в разделе "Управление кластерами HDInsight" с помощью веб-интерфейса Apache Ambari.

Изменение паролей

Кластер HDInsight может иметь две учетные записи пользователя. Учетная запись пользователя кластера HDInsight (учетная запись пользователя HTTP) и учетная запись пользователя SSH создаются во время создания кластера. Портал можно использовать для изменения пароля учетной записи пользователя кластера и использования действий скрипта для изменения учетной записи пользователя SSH.

Изменение пароля пользователя кластера

Примечание.

Изменение пароля пользователя кластера (администратора) может привести к сбою действий скриптов, выполняемых в этом кластере. Если у вас есть какие-либо сохраненные действия скрипта, предназначенные для рабочих узлов, эти скрипты могут завершиться ошибкой при добавлении узлов в кластер с помощью операций изменения размера. Дополнительные сведения о действиях скриптов см. в статье "Настройка кластеров HDInsight с помощью действий скрипта".

На домашней странице кластера:

  1. В разделе "Параметры" выберите SSH + Имя входа в кластер.
  2. Выберите команду Сбросить учетные данные.
  3. Введите и подтвердите новый пароль в текстовых полях.
  4. Нажмите ОК.

Пароль изменяется на всех узлах кластера.

Изменение пароля пользователя или открытого ключа SSH

  1. Используйте текстовый редактор для сохранения следующего текста в виде файла с именем changecredentials.sh.

    Внимание

    Необходимо использовать редактор, который используется LF в качестве конец строки. Если редактор использует CRLF, скрипт не работает.

    #! /bin/bash
USER=$1
PASS=$2
usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER

  2. Отправьте файл в расположение хранилища, к которому можно получить доступ из HDInsight с помощью HTTP-адреса или HTTPS. Примером является общедоступное хранилище файлов, например OneDrive или Хранилище BLOB-объектов Azure. Сохраните URI (HTTP или HTTPS-адрес) в файл. Универсальный код ресурса (URI) необходим на следующем шаге.

  3. На домашней странице кластера в разделе "Параметры" выберите "Действия скрипта".

  4. На странице действий скрипта нажмите кнопку "Отправить новое".

  5. На странице действия "Отправить скрипт" введите сведения в следующей таблице.

    Примечание.

    Пароли SSH не могут содержать следующие символы: " ' / < \ % ~ | $ & ! #

    Поле значение
    Тип скрипта Выберите — настраиваемый из раскрывающегося списка.
    Имя "Изменение учетных данных ssh".
    URI скрипта Bash Универсальный changecredentials.sh код ресурса (URI) для файла.
    Типы узлов: Head, Worker, Nimbus, Руководитель или ZooKeeper Выберите ✓ для всех типов узлов, перечисленных.
    Параметры Введите имя пользователя SSH и введите новый пароль. Между именем пользователя и паролем должно быть только одно пространство.
    Сохранение этого действия скрипта ... Оставьте это поле ясным.

  6. Выберите Создать, чтобы применить сценарий. После завершения скрипта можно подключиться к кластеру с помощью SSH с новыми учетными данными.

Поиск идентификатора подписки

Каждый кластер привязывается к подписке Azure. Идентификатор подписки Azure отображается на домашней странице кластера.

Поиск группы ресурсов

В режиме Resource Manager каждый кластер HDInsight создается с группой Resource Manager. Группа Resource Manager отображается на домашней странице кластера.

Поиск учетных записей хранения

Кластеры HDInsight используют учетную запись служба хранилища Azure или Data Lake Storage для хранения данных. Каждый кластер HDInsight может иметь одну учетную запись хранения по умолчанию и многие связанные учетные записи хранения. Чтобы получить список учетных записей хранения, на домашней странице кластера в разделе "Параметры" выберите учетные записи хранения.

Мониторинг заданий

Дополнительные сведения см. в разделе "Управление кластерами HDInsight" с помощью веб-интерфейса Apache Ambari.

Размер кластера

Плитка размера кластера на домашней странице кластера отображает количество ядер, выделенных этому кластеру, и способ их выделения для узлов в этом кластере.

Внимание

Чтобы отслеживать службы, предоставляемые кластером HDInsight, необходимо использовать веб-интерфейс Ambari или REST API Ambari. Дополнительные сведения об использовании Ambari см. в статье "Управление кластерами HDInsight с помощью Apache Ambari".

Подключение к кластеру

Связанный контент

Из этой статьи вы узнали о некоторых основных функциях администрирования. Дополнительные сведения см. в следующих разделах: