Упражнение. Использование HDInsight для выполнения нерегламентированной аналитики

  • 10 мин

Теперь, когда мы осведомлены о преимуществах интерактивного запроса и о том, как он работает, пора приступить к развертыванию ресурсов, чтобы создать панель мониторинга с недвижимостью.

Чтобы создать кластер интерактивных запросов

Перед созданием кластера требуется подписка Azure и учетная запись хранения Azure. Служба хранилища Azure — это надежное, универсальное решение, которое полностью интегрируется с HDInsight. HDInsight может использовать контейнер больших двоичных объектов в службе хранилища Azure в качестве файловой системы по умолчанию для кластера. Рекомендуется использовать отдельные контейнеры хранилища для хранилища кластера по умолчанию и бизнес-данных, чтобы изолировать журналы HDInsight и временные файлы от ваших собственных бизнес-данных.

Интерактивный запрос может также использовать Azure Data Lake Storage 1-го поколения или Azure Data Lake Storage 2-го поколения, как описано в модуле 1 "Как работает HDInsight", но только хранилище Azure и Azure Data Lake Storage 2-го поколения поддерживают Hive LLAP. Эта процедура использует службу хранилища Azure.

Чтобы создать кластер интерактивных запросов

Убедившись, что кластер интерактивных запросов является лучшим типом кластера для вашего решения, вы можете создавать кластеры в нескольких местах: портал Azure, Azure CLI, Azure PowerShell, cURL, шаблонах Azure Resource Manager, пакете SDK для HDInsight .NET и даже использовать фабрику данных Azure для создания кластеров по запросу. В этой процедуре используется портал Azure для развертывания кластера интерактивных запросов.

Создание учетной записи хранения на портале Microsoft Azure

Первый развертываемый ресурс, если он еще не создан, — это учетная запись хранения Azure.

  1. Войдите на портал Azure, используя свою подписку Azure.

  2. Щелкните Создать ресурс > Хранилище > Учетная запись хранилища.

    Создание решения для интерактивных запросов HDInsight в портал Azure.

  3. На вкладке "Основные" используйте следующие значения:

    • Подписка: убедитесь, что выбрана бесплатная подписка.
    • Группа ресурсов: щелкните "Создать", а затем назовите ее hdinsightmodule6uid, где UID — это уникальный идентификатор для вас.
    • Имя учетной записи хранения: введите hdinsightmodule6uid.
    • Расположение: выберите ближайшее к пользователям расположение, чтобы сократить задержку. Запишите этот регион, так как вы создадите кластер HDInsight в том же регионе.
    • Производительность: оставьте значение по умолчанию Standard.
    • Тип учетной записи: оставьте значение по умолчанию StorageV2 (общего назначения версия 2)
    • Репликация: измените значение на локально избыточное хранилище (LRS)
    • Уровень доступа (по умолчанию): оставьте значение по умолчанию — Hot (горячий).

  4. Выберите Далее: сеть.

    Вкладка

  5. На странице Сеть оставьте метод подключения общедоступной конечной точки (все сети) и нажмите кнопку Далее: дополнительно >.

    Вкладка

  6. На странице хранилище заполните следующие значения.

    • Безопасность: оставьте значение по умолчанию — включено.
    • Файлы Azure: оставьте значение по умолчанию — отключено
    • Защита данных: оставьте значение по умолчанию — отключено.
    • Data Lake Storage Gen2: оставьте значение по умолчанию — отключено, чтобы создать учетную запись двоичного объекта, а затем щелкните "Проверить + создать" >.

  7. На странице "Создание учетной записи хранения" убедитесь, что для параметра "Тип учетной записи" задано значение StorageV2 (общего назначения версии 2), а затем нажмите кнопку "Создать".

    Экран проверки HDInsight на портале Azure.

  8. При сборке проекта вы увидите следующее сообщение:

    Снимок экрана: страница обзора учетной записи хранения Майкрософт, на которой показано, что развертывание завершено.

Теперь, когда ваша учетная запись хранения создана, можно развернуть кластеры интерактивных запросов HDInsight.

Подготавливается кластер интерактивных запросов HDInsight

  1. Щелкните Создать ресурс > Аналитика > Azure HDInsight.

    Снимок экрана, на котором показана портал Azure с выделенным элементом

  2. На странице "Основные сведения" нажмите кнопку Переход к классическому интерфейсу создания.

    Снимок экрана: страница

  3. На странице HDInsight щелкните параметр Настраиваемое (размер, параметры, приложения).

    Снимок экрана: страница

  4. На вкладке "Основные" используйте следующие значения:

    • Имя кластера: введите уникальное имя кластера, например mslearnmodule6uid. Если имя кластера проверено и доступно, рядом с ним появится зеленая галочка.
    • Подписка: убедитесь, что выбрана бесплатная подписка.
    • Тип кластера: щелкните настроить обязательные параметры, а затем в поле "Тип кластера" выберите интерактивный запрос, а в поле "Версия" выберите интерактивный запрос 3.1.0 (HDi 4,0).
    • Имя пользователя для входа в кластер: оставьте значение admin по умолчанию
    • Пароль для входа в кластер: введите пароль для входа в кластер.
    • Имя пользователя Secure Shell (SSH): оставьте значение по умолчанию sshuser.
    • Группа ресурсов: выберите созданную ранее группу ресурсов mslearnmodule6yourid.
    • Расположение: выберите тот же регион, в котором была создана учетная запись хранения.

  5. Затем щелкните Далее.

    Снимок экрана: страницы конфигурации H D Insight, Basics и Cluster с выделенными несколькими полями.

  6. На странице "Безопасность и сеть" нажмите кнопку Далее.

  7. На странице "Хранилище" заполните следующие значения:

    • Тип основного хранилища: убедитесь, что выбрано значение по умолчанию для службы хранилища Azure.
    • Выберите учетную запись хранения и щелкните Настроить обязательные параметры.
    • На странице учетные записи хранения найдите имя созданной учетной записи хранения, mslearnmodule6uid, и выберите ее.

  8. Оставьте остальные значения, установленные по умолчанию, нажмите кнопку Далее.

    Страница хранилища на портале Azure.

  9. На странице "Приложения" (дополнительно) нажмите кнопку Далее.

  10. На странице "Размер кластера" щелкните Далее.

  11. На странице действия скрипта щелкните Необязательно, а затем нажмите кнопку Отправить новый.

  12. На странице "Отправка действия" скрипта заполните следующие значения:

  13. А затем нажмите кнопку Создать.

    Страница действий скрипта на портале Azure.

  14. После завершения проверки на странице действия скрипта нажмите кнопку Выбрать, а затем кнопку Далее.

  15. На странице "Сводка кластера" после завершения проверки убедитесь, что в качестве типа кластера выбран интерактивный запрос 3.1 (HDI 4.0), и нажмите кнопку Создать.

    Страница сводки HDInsight на портале Azure.

  16. Щелкните значок уведомления, чтобы просмотреть ход выполнения развертывания.

    Уведомление о ходе развертывания на портале Azure.

    После завершения развертывания сообщение изменится на "Развертывание завершилось удачно".

  17. Нажмите Перейти к ресурсу на панели уведомлений.

    Экран со сведениями об успешном развертывании HDInsight на портале Azure.

  18. Отобразится страница обзора кластера HDInsight, содержащая сведения о кластере, а также ссылки на полезные средства и отчеты. Этот ресурс можно добавить на панель мониторинга, нажав кнопку закрепить.

    Экран