Zarządzanie klastrami usługi HDInsight przy użyciu pakietu Enterprise Security

Poznaj użytkowników i role w pakiecie HDInsight Enterprise Security Package (ESP) i dowiedz się, jak zarządzać klastrami ESP.

Łączenie z klastrem przyłączonym do domeny za pomocą programu VS Code

Klaster normalny można połączyć przy użyciu nazwy użytkownika zarządzanego systemu Apache Ambari, a także połączyć klaster apache Hadoop z zabezpieczeniami przy użyciu nazwy użytkownika domeny (na przykład: user1@contoso.com).

1. Otwórz program Visual Studio Code. Upewnij się, że zainstalowano rozszerzenie Spark & Hive Tools .

2. Wykonaj kroki opisane w temacie Łączenie klastra dla programu Visual Studio Code.

Łączenie z klastrem przyłączonym do domeny za pomocą środowiska IntelliJ

Klaster normalny można połączyć przy użyciu nazwy użytkownika zarządzanego systemu Ambari, a także połączyć klaster hadoop zabezpieczeń przy użyciu nazwy użytkownika domeny (na przykład: user1@contoso.com).

1. Otwórz środowisko IntelliJ IDEA. Upewnij się, że zostały spełnione wszystkie wymagania wstępne .

2. Wykonaj kroki opisane w temacie Łączenie klastra dla środowiska IntelliJ.

Łączenie z klastrem przyłączonym do domeny za pomocą programu Eclipse

Klaster normalny można połączyć przy użyciu nazwy użytkownika zarządzanego systemu Ambari, a także połączyć klaster hadoop zabezpieczeń przy użyciu nazwy użytkownika domeny (na przykład: user1@contoso.com).

1. Otwórz program Eclipse. Upewnij się, że zostały spełnione wszystkie wymagania wstępne .

2. Wykonaj kroki opisane w sekcji Łączenie klastra dla środowiska Eclipse.

Uzyskiwanie dostępu do klastrów przy użyciu pakietu Enterprise Security

Pakiet Enterprise Security (wcześniej znany jako HDInsight Premium) zapewnia dostęp wielu użytkowników do klastra, w którym uwierzytelnianie odbywa się przez usługę Active Directory i autoryzację przez listy ACL platform Apache Ranger i Storage (ADLS ACL). Autoryzacja zapewnia bezpieczne granice między wieloma użytkownikami i umożliwia dostęp do danych tylko uprzywilejowanym użytkownikom na podstawie zasad autoryzacji.

Zabezpieczenia i izolacja użytkowników są ważne dla klastra usługi HDInsight z pakietem Enterprise Security. Aby spełnić te wymagania, dostęp SSH do klastra z pakietem Enterprise Security jest obsługiwany dla użytkownika lokalnego wybranego w czasie tworzenia klastra, a także użytkowników dostępnych w usłudze AAD-DS (tj. Kerberos). W poniższej tabeli przedstawiono zalecane metody dostępu dla każdego typu klastra:

Obciążenie	Scenariusz	Metoda dostępu
Apache Hadoop	Hive — interaktywne zadania/zapytania	Beeline widok programu Hive ODBC/JDBC — Power BI Visual Studio Tools
Apache Spark	Interaktywne zadania/zapytania, interakcyjne PySpark	Beeline Zeppelin z usługą Livy widok programu Hive ODBC/JDBC — Power BI Visual Studio Tools
Apache Spark	Scenariusze wsadowe — przesyłanie platformy Spark, PySpark	Livy
Zapytanie interakcyjne (LLAP)	Interakcyjny	Beeline widok programu Hive ODBC/JDBC — Power BI Visual Studio Tools
Dowolne	Instalowanie aplikacji niestandardowej	Akcje skryptu

Uwaga

Program Jupyter nie jest zainstalowany/obsługiwany w pakiecie Enterprise Security.

Korzystanie ze standardowych interfejsów API pomaga z punktu widzenia zabezpieczeń. Uzyskasz również następujące korzyści:

• Zarządzanie — możesz zarządzać kodem i automatyzować zadania przy użyciu standardowych interfejsów API — Livy, HS2 itp.
• Inspekcja — przy użyciu protokołu SSH nie ma możliwości przeprowadzania inspekcji, które użytkownicy SSH mają do klastra. Nie byłoby tak, gdy zadania są tworzone za pośrednictwem standardowych punktów końcowych, ponieważ będą wykonywane w kontekście użytkownika.

Korzystanie z usługi Beeline

Zainstaluj platformę Beeline na maszynie i połącz się za pośrednictwem publicznego Internetu, użyj następujących parametrów:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Jeśli masz zainstalowaną lokalnie usługę Beeline i połącz się za pośrednictwem usługi Azure Virtual Network, użyj następujących parametrów:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Aby znaleźć w pełni kwalifikowaną nazwę domeny węzła głównego, skorzystaj z informacji w dokumencie Managed HDInsight using the Ambari REST API (Zarządzanie usługą HDInsight przy użyciu interfejsu API REST ambari).

Użytkownicy klastrów usługi HDInsight z esp

Klaster usługi HDInsight spoza esp ma dwa konta użytkowników utworzone podczas tworzenia klastra:

• Administrator systemu Ambari: to konto jest również nazywane użytkownikiem usługi Hadoop lub użytkownikiem HTTP. To konto może służyć do logowania się do systemu Ambari pod adresem https://CLUSTERNAME.azurehdinsight.net. Może być również używany do uruchamiania zapytań w widokach Ambari, wykonywania zadań za pośrednictwem narzędzi zewnętrznych (na przykład programu PowerShell, Templeton, Visual Studio) i uwierzytelniania za pomocą sterownika HIVe ODBC i narzędzi analizy biznesowej (na przykład programu Excel, usługi Power BI lub tableau).

Klaster usługi HDInsight z esp ma trzech nowych użytkowników oprócz administratora systemu Ambari.

• Administrator platformy Ranger: to konto jest lokalnym kontem administratora platformy Apache Ranger. Nie jest to użytkownik domeny usługi Active Directory. To konto może służyć do konfigurowania zasad i tworzenia administratorów innych użytkowników lub administratorów delegowanych (tak aby ci użytkownicy mogli zarządzać zasadami). Domyślnie nazwa użytkownika jest administratorem , a hasło jest takie samo jak hasło administratora systemu Ambari. Hasło można zaktualizować na stronie Ustawienia w usłudze Ranger.

• Użytkownik domeny administratora klastra: to konto jest użytkownikiem domeny usługi Active Directory wyznaczonym jako administrator klastra Usługi Hadoop, w tym Ambari i Ranger. Podczas tworzenia klastra należy podać poświadczenia tego użytkownika. Ten użytkownik ma następujące uprawnienia:

  • Przyłącz maszyny do domeny i umieść je w jednostki organizacyjnej określonej podczas tworzenia klastra.
  • Utwórz jednostki usługi w jednostce organizacyjnej określonej podczas tworzenia klastra.
  • Utwórz odwrotne wpisy DNS.

  Należy pamiętać, że inni użytkownicy usługi AD mają również te uprawnienia.

  Istnieje kilka punktów końcowych w klastrze (na przykład Templeton), które nie są zarządzane przez ranger, a tym samym bezpieczne. Te punkty końcowe są blokowane dla wszystkich użytkowników z wyjątkiem użytkownika domeny administratora klastra.

• Regularne: podczas tworzenia klastra można podać wiele grup usługi Active Directory. Użytkownicy w tych grupach są synchronizowani z platformami Ranger i Ambari. Ci użytkownicy są użytkownikami domeny i mają dostęp tylko do punktów końcowych zarządzanych przez platformę Ranger (na przykład Hiveserver2). Wszystkie zasady kontroli dostępu opartej na rolach i inspekcja będą stosowane dla tych użytkowników.

Role klastrów usługi HDInsight z esp

Pakiet HDInsight Enterprise Security ma następujące role:

• Administrator klastrów
• Operator klastra
• Administrator usługi
• Operator usługi
• Użytkownik klastra

Aby wyświetlić uprawnienia tych ról

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Role.

3. Wybierz niebieski znacznik zapytania, aby wyświetlić uprawnienia:

   

Otwieranie interfejsu użytkownika zarządzania systemem Ambari

1. Przejdź do https://CLUSTERNAME.azurehdinsight.net/ lokalizacji CLUSTERNAME to nazwa klastra.

2. Zaloguj się do systemu Ambari przy użyciu nazwy użytkownika domeny i hasła administratora klastra.

3. Wybierz menu rozwijane administratora w prawym górnym rogu, a następnie wybierz pozycję Zarządzaj ambari.

   

   Interfejs użytkownika wygląda następująco:

   

Wyświetlanie listy użytkowników domeny synchronizowanych z usługi Active Directory

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Użytkownicy. Zobaczysz, że wszyscy użytkownicy zsynchronizowani z usługi Active Directory z klastrem usługi HDInsight.

   

Wyświetlanie listy grup domen zsynchronizowanych z usługą Active Directory

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Grupy. Wszystkie grupy są synchronizowane z usługi Active Directory do klastra usługi HDInsight.

   

Konfigurowanie uprawnień widoków programu Hive

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.

2. W menu po lewej stronie wybierz pozycję Widoki.

3. Wybierz pozycję HIVE , aby wyświetlić szczegóły.

   

4. Wybierz link Widok programu Hive, aby skonfigurować widoki hive.

5. Przewiń w dół do sekcji Uprawnienia .

   

6. Wybierz pozycję Dodaj użytkownika lub Dodaj grupę, a następnie określ użytkowników lub grupy, które mogą używać widoków programu Hive.

Konfigurowanie użytkowników dla ról

Aby wyświetlić listę ról i ich uprawnień, zobacz Role klastrów usługi HDInsight z esp.

1. Otwórz interfejs użytkownika zarządzania systemem Ambari. Zobacz Otwieranie interfejsu użytkownika zarządzania systemem Ambari.
2. W menu po lewej stronie wybierz pozycję Role.
3. Wybierz pozycję Dodaj użytkownika lub Dodaj grupę , aby przypisać użytkowników i grupy do różnych ról.

Następne kroki

• Aby skonfigurować klaster usługi HDInsight z pakietem Enterprise Security, zobacz Konfigurowanie klastrów usługi HDInsight przy użyciu esp.
• Aby skonfigurować zasady hive i uruchamiać zapytania hive, zobacz Konfigurowanie zasad apache Hive dla klastrów usługi HDInsight przy użyciu esp.