Управление кластерами HDInsight с помощью корпоративного пакета безопасности
Познакомьтесь с пользователями и ролями в корпоративном пакете безопасности (ESP) HDInsight, а также с тем, как управлять кластерами ESP.
Использование VS Code для связывания с присоединенным к домену кластером
Вы можете связать обычный кластер с помощью управляемого имени пользователя Apache Ambari, а кластер безопасности Apache Hadoop — с помощью имени пользователя домена (например user1@contoso.com).
Откройте Visual Studio Code. Убедитесь в том, что установлено расширение Spark & Hive Tools.
Выполните действия из раздела Связывание кластера для Visual Studio Code.
Использование IntelliJ для связывания присоединенного к домену кластера
Вы можете связать обычный кластер с помощью управляемого имени пользователя Ambari, а кластер безопасности — с помощью имени пользователя домена (например, user1@contoso.com).
Откройте IntelliJ IDEA. Убедитесь, что выполнены все необходимые условия.
Выполните действия из раздела Связывание кластера для IntelliJ.
Использование Eclipse для связывания присоединенного к домену кластера
Вы можете связать обычный кластер с помощью управляемого имени пользователя Ambari, а кластер безопасности — с помощью имени пользователя домена (например, user1@contoso.com).
Откройте Eclipse. Убедитесь, что выполнены все необходимые условия.
Выполните действия из раздела Связывание кластера для Eclipse.
Доступ к кластерам с помощью Корпоративного пакета безопасности
Пакет безопасности предприятия (прежнее название — HDInsight Premium) обеспечивает многопользовательский доступ к кластеру, где выполняется аутентификация Active Directory, а также авторизация с использованием Apache Ranger и ACL ADLS. Авторизация обеспечивает безопасное разделение пользователей, разрешая только привилегированным лицам доступ к данным на основе политик авторизации.
Обеспечение безопасности и изоляция пользователей важны для кластера HDInsight с пакетом безопасности предприятия. Чтобы удовлетворить эти требования, доступ по протоколу SSH к кластеру с помощью Корпоративного пакета безопасности поддерживается для локального пользователя, выбранного во время создания кластера, а также для пользователей, доступных в AAD-DS (т. е. Kerberos). В следующей таблице описаны способы доступа, рекомендуемые для каждого типа кластера:
| Рабочая нагрузка | Сценарий | Метод доступа |
|---|---|---|
| Apache Hadoop | Hive — интерактивные задания и запросы | |
| Apache Spark | Интерактивные задания и запросы, интерактивные задания PySpark | |
| Apache Spark | Сценарии пакетной службы — отправка Spark, PySpark | |
| Интерактивный запрос (LLAP) | Интерактивный | |
| Любое | Установка пользовательского приложения |
Примечание.
В Корпоративном пакете безопасности записная книжка Jupyter не установлена или не поддерживается.
Использование стандартных API помогает обеспечить безопасность. Вы также получаете следующие преимущества:
- Управление — вы можете управлять кодом и заданиями автоматизации с помощью стандартных API — Livy, HS2 и т. д.
- Аудит — используя SSH, вы не можете проверять, какие пользователи получили SSH-доступ к кластеру. Этого можно избежать, создавая задания через стандартные конечные точки, так как они будут выполняться в контексте пользователя.
Использование Beeline
Установите Beeline на компьютер подключитесь через общедоступный сегмент Интернета, используя следующие параметры:
- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'
Если Beeline установлен локально и подключение устанавливается через виртуальную сеть Azure, используйте следующие параметры:
Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'
Чтобы найти полное доменное имя головного узла, используйте сведения в Управляемом HDInsight с помощью документа REST API Ambari.
Пользователи кластеров HDInsight с корпоративным пакетом безопасности
При создании кластера HDInsight без ESP в нем создаются две учетные записи пользователя:
- Администратор Ambari: эта учетная запись называется также Пользователь Hadoop или Пользователь HTTP. Эту учетную запись можно использовать для входа в Ambari по адресу
https://CLUSTERNAME.azurehdinsight.net. Ее также можно использовать для выполнения запросов по представлениям Ambari, выполнения заданий с помощью внешних средств (PowerShell, Templeton, Visual Studio и т. п.) и для проверки подлинности с помощью драйвера Hive ODBC и средств бизнес-аналитики (Excel, PowerBI или Tableau).
В кластере HDInsight с корпоративным пакетом безопасности, кроме администратора Ambari, создаются еще три пользователя.
Администратор Ranger: это локальная учетная запись администратора Apache Ranger. Она не является пользователем домена Active Directory. Эту учетную запись можно использовать для настройки политик, создания других пользователей-администраторов или делегированных администраторов (чтобы они могли управлять политиками). По умолчанию используется имя пользователя admin и такой же пароль, как для администратора Ambari. Этот пароль можно изменить на странице настроек в Ranger.
Пользователь домена и администратор кластера: это пользователь домена Active Directory, который является администратором кластера Hadoop, а также служб Ambari и Ranger. Учетные данные этого пользователя нужно предоставить во время создания кластера. Этот пользователь имеет следующие права.
- Присоединение компьютеров к домену и помещение их в определенное подразделение, которое указывается во время создания кластера.
- Создание субъектов-служб в определенном подразделении, которое указывается во время создания кластера.
- Создание обратных записей DNS.
Обратите внимание, что эти права есть и у других пользователей AD.
В кластере есть некоторые конечные точки (например, Templeton), которые не управляются Рейнджером и, следовательно, безопасны. Такие конечные точки закрываются для всех пользователей, за исключением пользователя домена и администратора кластера.
Обычный: во время создания кластера можно указать несколько групп Active Directory. Пользователи в эти группах будут синхронизированы с Ranger и Ambari. Эти пользователи являются пользователями домена и имеют доступ только к управляемым Ranger конечным точкам (например,
Hiveserver2). Для этих пользователей применяются все политики RBAC и правила аудита.
Роли кластеров HDInsight с корпоративным пакетом безопасности
Корпоративный пакет безопасности HDInsight предоставляет следующие роли:
- администратор кластера;
- оператор кластера;
- Администратор служб
- оператор службы;
- пользователь кластера.
Просмотр разрешений для этих ролей
Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
В меню слева выберите Роли.
Щелкните синий вопросительный знак, чтобы просмотреть разрешения.
Вход в пользовательский интерфейс управления Ambari
Перейдите по адресу
https://CLUSTERNAME.azurehdinsight.net/, где CLUSTERNAME — это имя вашего кластера.Войдите в Ambari, используя имя пользователя и пароль пользователя домена и администратора кластера.
Щелкните раскрывающееся меню Администратор в правом верхнем углу, затем нажмите кнопку Управление Ambari.
Пользовательский интерфейс выглядит примерно так:
Список пользователей домена, синхронизированных из Active Directory
Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
В меню слева выберите Пользователи. Вы увидите всех пользователей, синхронизированных в кластер HDInsight из Active Directory.
Список групп домена, синхронизированных из Active Directory
Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
В меню слева выберите Группы. Вы увидите все группы, синхронизированные в кластер HDInsight из Active Directory.
Настройка разрешений для представлений Hive
Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
В меню слева выберите Представления.
Щелкните HIVE, чтобы открыть подробную информацию.
Щелкните ссылку Представление Hive, чтобы настроить представления Hive.
Выполните прокрутку вниз до раздела Разрешения.
Щелкните Добавить пользователя или Добавить группу, а затем укажите пользователей или группы, которые могут использовать представления Hive.
Настройка ролей для пользователей
Список ролей и соответствующих разрешений см. в разделе "Роли кластеров HDInsight с корпоративным пакетом безопасности".
- Откройте пользовательский интерфейс управления Ambari. См. раздел Вход в пользовательский интерфейс управления Ambari.
- В меню слева выберите Роли.
- Щелкните Добавить пользователя или Добавить группу, чтобы назначить роли для пользователей и групп.
Следующие шаги
- Описание настройки кластера HDInsight с Корпоративным пакетом безопасности см. в статье Настройка кластера HDInsight с Корпоративным пакетом безопасности с помощью доменных служб Azure Active Directory.
- Описание настройки политик Hive и выполнения запросов Hive см. в статье Настройка политик Apache Hive в HDInsight с Корпоративным пакетом безопасности.