Správa clusterů HDInsight pomocí balíčku zabezpečení podniku

Seznamte se s uživateli a rolemi v sadě HDInsight Enterprise Security Package (ESP) a zjistěte, jak spravovat clustery ESP.

Propojení s clusterem připojeným k doméně pomocí nástroje VS Code

K propojení normálního clusteru můžete použít spravované uživatelské jméno Apache Ambari, propojit také bezpečnostní cluster Apache Hadoop pomocí uživatelského jména domény (například: user1@contoso.com).

1. Otevřete Visual Studio Code. Ujistěte se, že je nainstalované rozšíření Spark &Hive Tools .

2. Postupujte podle pokynů v tématu Propojení clusteru pro Visual Studio Code.

Propojení s clusterem připojeným k doméně pomocí IntelliJ

Normální cluster můžete propojit pomocí spravovaného uživatelského jména Ambari, propojit také cluster hadoop zabezpečení pomocí uživatelského jména domény (například: user1@contoso.com).

1. Otevřete IntelliJ IDEA. Ujistěte se, že jsou splněné všechny požadavky.

2. Postupujte podle pokynů v tématu Propojení clusteru pro IntelliJ.

Propojení s clusterem připojeným k doméně pomocí Eclipse

Normální cluster můžete propojit pomocí spravovaného uživatelského jména Ambari, propojit také cluster hadoop zabezpečení pomocí uživatelského jména domény (například: user1@contoso.com).

1. Otevřete Eclipse. Ujistěte se, že jsou splněné všechny požadavky.

2. Postupujte podle kroků v části Propojení clusteru pro Eclipse.

Přístup ke clusterům pomocí balíčku zabezpečení podniku

Balíček zabezpečení podniku (dříve označovaný jako HDInsight Premium) poskytuje přístup více uživatelů ke clusteru, kde ověřování provádí služba Active Directory a autorizaci seznamů ACL pro Apache Ranger a seznamy ACL úložiště (ADLS). Autorizace poskytuje zabezpečené hranice mezi více uživateli a umožňuje pouze privilegovaným uživatelům mít přístup k datům na základě zásad autorizace.

Zabezpečení a izolace uživatelů jsou důležité pro cluster HDInsight s balíčkem zabezpečení podniku. Aby bylo možné tyto požadavky splnit, podporuje se přístup SSH ke clusteru s balíčkem zabezpečení podniku pro místního uživatele vybraného v době vytváření clusteru a také pro uživatele dostupné v AAD-DS (tj. Kerberos). Následující tabulka uvádí doporučené metody přístupu pro každý typ clusteru:

Úloha	Scénář	Metoda přístupu
Apache Hadoop	Hive – interaktivní úlohy nebo dotazy	Namířit si přímo Zobrazení Hive ODBC/JDBC – Power BI Visual Studio Tools
Apache Spark	Interaktivní úlohy/dotazy, interaktivní PySpark	Namířit si přímo Zeppelin s Livy Zobrazení Hive ODBC/JDBC – Power BI Visual Studio Tools
Apache Spark	Scénáře služby Batch – Odeslání Sparku, PySpark	Livy
Interactive Query (LLAP)	Interaktivní	Namířit si přímo Zobrazení Hive ODBC/JDBC – Power BI Visual Studio Tools
Všechny	Instalace vlastní aplikace	Akce skriptů

Poznámka:

Jupyter není nainstalovaný nebo podporovaný v balíčku zabezpečení podniku.

Použití standardních rozhraní API pomáhá z hlediska zabezpečení. Získáte také následující výhody:

• Správa – Můžete spravovat kód a automatizovat úlohy pomocí standardních rozhraní API – Livy, HS2 atd.
• Audit – SSH neexistuje žádný způsob, jak auditovat, což by uživatelé SSH do clusteru mohli auditovat. To by nebylo případ, kdy se úlohy vytvářejí prostřednictvím standardních koncových bodů, protože by se spouštěly v kontextu uživatele.

Použití Beeline

Nainstalujte beeline na svůj počítač a připojte se přes veřejný internet, použijte následující parametry:

- Connection string: -u 'jdbc:hive2://<clustername>.azurehdinsight.net:443/;ssl=true;transportMode=http;httpPath=/hive2'
- Cluster login name: -n admin
- Cluster login password -p 'password'

Pokud máte Beeline nainstalovaný místně a připojujete se přes službu Azure Virtual Network, použijte následující parametry:

Connection string: -u 'jdbc:hive2://<headnode-FQDN>:10001/;transportMode=http'

Pokud chcete najít plně kvalifikovaný název domény hlavního uzlu, použijte informace ve spravované službě HDInsight pomocí dokumentu rozhraní Ambari REST API.

Uživatelé clusterů HDInsight s ESP

Cluster HDInsight bez ESP má dva uživatelské účty, které se vytvoří během vytváření clusteru:

• Ambari admin: Tento účet se také označuje jako uživatel Hadoop nebo uživatel HTTP. Tento účet lze použít k přihlášení k Ambari na adrese https://CLUSTERNAME.azurehdinsight.net. Dá se také použít ke spouštění dotazů v zobrazeních Ambari, spouštění úloh prostřednictvím externích nástrojů (například PowerShellu, Templetonu, Sady Visual Studio) a ověřování pomocí ovladače a nástrojů ODBC Hive (například Excelu, Power BI nebo Tableau).

Cluster HDInsight s ESP má kromě správce Ambari tři nové uživatele.

• Správce Rangeru: Tento účet je místní účet správce Apache Ranger. Nejedná se o uživatele domény služby Active Directory. Tento účet se dá použít k nastavení zásad a k tomu, aby ostatní uživatelé byli správci nebo delegovaní správci (aby tito uživatelé mohli spravovat zásady). Ve výchozím nastavení je uživatelské jméno správce a heslo je stejné jako heslo správce Ambari. Heslo lze aktualizovat ze stránky Nastavení v Rangeru.

• Uživatel domény správce clusteru: Tento účet je uživatel domény služby Active Directory určený jako správce clusteru Hadoop, včetně Ambari a Rangeru. Během vytváření clusteru musíte zadat přihlašovací údaje tohoto uživatele. Tento uživatel má následující oprávnění:

  • Připojte počítače k doméně a umístěte je do organizační jednotky, kterou zadáte během vytváření clusteru.
  • Vytvořte instanční objekty v organizační jednotky, které zadáte během vytváření clusteru.
  • Vytvořte reverzní záznamy DNS.

  Všimněte si, že tato oprávnění mají i ostatní uživatelé AD.

  V clusteru jsou některé koncové body (například Templeton), které nespravuje Ranger, a proto jsou zabezpečené. Tyto koncové body jsou uzamčeny pro všechny uživatele s výjimkou uživatele domény správce clusteru.

• Pravidelné: Během vytváření clusteru můžete zadat více skupin active directory. Uživatelé v těchto skupinách se synchronizují s Rangerem a Ambari. Tito uživatelé jsou doménoví uživatelé a mají přístup pouze ke koncovým bodům spravovaným Rangerem (například Hiveserver2). Všechny zásady RBAC a auditování budou platit pro tyto uživatele.

Role clusterů HDInsight s ESP

Balíček zabezpečení služby HDInsight Enterprise má následující role:

• Správce clusteru
• Operátor clusteru
• Správce služeb
• Operátor služby
• Uživatel clusteru

Zobrazení oprávnění těchto rolí

1. Otevřete uživatelské rozhraní pro správu Ambari. Viz Otevření uživatelského rozhraní pro správu Ambari.

2. V nabídce vlevo vyberte Role.

3. Výběrem modrého otazníku zobrazíte oprávnění:

   

Otevření uživatelského rozhraní pro správu Ambari

1. Přejděte na https://CLUSTERNAME.azurehdinsight.net/ místo, kde clusterNAME je název vašeho clusteru.

2. Přihlaste se k Ambari pomocí uživatelského jména a hesla správce clusteru.

3. V pravém horním rohu vyberte rozevírací nabídku správce a pak vyberte Spravovat Ambari.

   

   Uživatelské rozhraní vypadá takto:

   

Zobrazení seznamu uživatelů domény synchronizovaných ze služby Active Directory

1. Otevřete uživatelské rozhraní pro správu Ambari. Viz Otevření uživatelského rozhraní pro správu Ambari.

2. V nabídce vlevo vyberte Uživatelé. Uvidíte všechny uživatele synchronizované z vaší služby Active Directory do clusteru HDInsight.

   

Výpis skupin domén synchronizovaných ze služby Active Directory

1. Otevřete uživatelské rozhraní pro správu Ambari. Viz Otevření uživatelského rozhraní pro správu Ambari.

2. V nabídce vlevo vyberte Skupiny. Zobrazí se všechny skupiny synchronizované ze služby Active Directory do clusteru HDInsight.

   

Konfigurace oprávnění zobrazení Hive

1. Otevřete uživatelské rozhraní pro správu Ambari. Viz Otevření uživatelského rozhraní pro správu Ambari.

2. V nabídce vlevo vyberte Zobrazení.

3. Výběrem HIVE zobrazíte podrobnosti.

   

4. Výběrem odkazu Zobrazení Hive nakonfigurujte zobrazení Hive.

5. Posuňte se dolů k části Oprávnění .

   

6. Vyberte Přidat uživatele nebo přidat skupinu a pak zadejte uživatele nebo skupiny, které můžou používat zobrazení Hive.

Konfigurace uživatelů pro role

Seznam rolí a jejich oprávnění najdete v tématu Role clusterů HDInsight s ESP.

1. Otevřete uživatelské rozhraní pro správu Ambari. Viz Otevření uživatelského rozhraní pro správu Ambari.
2. V nabídce vlevo vyberte Role.
3. Vyberte Přidat uživatele nebo Přidat skupinu a přiřaďte uživatele a skupiny různým rolím.

Další kroky

• Informace o konfiguraci clusteru HDInsight s balíčkem zabezpečení podniku najdete v tématu Konfigurace clusterů HDInsight pomocí ESP.
• Informace o konfiguraci zásad Hive a spouštění dotazů Hive najdete v tématu Konfigurace zásad Apache Hivu pro clustery HDInsight pomocí ESP.