Sdílet prostřednictvím

Vytváření a konfigurace clusterů Enterprise Security Package ve službě Azure HDInsight

  • Článek

Balíček zabezpečení podniku (ESP) pro Azure HDInsight poskytuje přístup k ověřování založenému na ID microsoftu Entra, podpoře více uživatelů a řízení přístupu na základě role pro clustery Apache Hadoop v Azure. Clustery HDInsight ESP umožňují organizacím, které dodržují přísné podnikové zásady zabezpečení, aby mohly bezpečně zpracovávat citlivá data.

Tento průvodce ukazuje, jak vytvořit cluster Azure HDInsight s podporou ESP. Ukazuje také, jak vytvořit virtuální počítač IaaS s Windows, na kterém je povolené ID Microsoft Entra a DNS (Domain Name System). Pomocí tohoto průvodce nakonfigurujte potřebné prostředky, aby se místní uživatelé mohli přihlásit ke clusteru HDInsight s podporou ESP.

Server, který vytvoříte, bude fungovat jako náhrada skutečného místního prostředí. Použijete ho pro kroky nastavení a konfigurace. Později zopakujete kroky ve vlastním prostředí.

Tato příručka vám také pomůže vytvořit hybridní prostředí identit pomocí synchronizace hodnot hash hesel s ID Microsoft Entra. Průvodce doplňuje použití ESP ve službě HDInsight.

Před použitím tohoto procesu ve vlastním prostředí:

  • Nastavte MICROSOFT Entra ID a DNS.
  • Povolte ID Microsoft Entra.
  • Synchronizujte místní uživatelské účty s ID Microsoft Entra.

Diagram architektury Microsoft Entra

Vytvoření místního prostředí

V této části použijete šablonu nasazení Azure Pro rychlý start k vytvoření nových virtuálních počítačů, konfiguraci DNS a přidání nové doménové struktury ID Microsoft Entra.

  1. Přejděte do šablony nasazení Pro rychlý start a vytvořte virtuální počítač Azure s novou doménovou strukturou MICROSOFT Entra ID.

  2. Vyberte Nasadit do Azure.

  3. Přihlaste se ke svému předplatnému Azure.

  4. Na stránce Vytvoření virtuálního počítače Azure s novou doménovou strukturou AD zadejte následující informace:

    Vlastnost Hodnota
    Předplatné Vyberte předplatné, do kterého chcete prostředky nasadit.
    Skupina prostředků Vyberte Vytvořit nový a zadejte název. OnPremADVRG
    Umístění Vyberte umístění.
    Uživatelské jméno správce HDIFabrikamAdmin
    Heslo správce Zadejte heslo.
    Název domény HDIFabrikam.com
    Předpona DNS hdifabrikam

    Ponechte zbývající výchozí hodnoty.

    Šablona pro vytvoření virtuálního počítače Azure s novou doménovou strukturou Microsoft Entra

  5. Přečtěte si podmínky a ujednání a pak vyberte Souhlasím s podmínkami a ujednáními uvedenými výše.

  6. Vyberte Koupit a monitorujte nasazení a počkejte, až se dokončí. Dokončení nasazení trvá přibližně 30 minut.

Konfigurace uživatelů a skupin pro přístup ke clusteru

V této části vytvoříte uživatele, kteří budou mít přístup ke clusteru HDInsight na konci této příručky.

  1. Připojte se k řadiči domény pomocí vzdálené plochy.

    1. Na webu Azure Portal přejděte do skupin>prostředků OnPremADVRG>adVM>Connect.
    2. V rozevíracím seznamu IP adres vyberte veřejnou IP adresu.
    3. Vyberte Stáhnout soubor RDP a pak soubor otevřete.
    4. Slouží HDIFabrikam\HDIFabrikamAdmin jako uživatelské jméno.
    5. Zadejte heslo, které jste zvolili pro účet správce.
    6. Vyberte OK.

  2. Na řídicím panelu řadiče domény Správce serveru přejděte do nástroje>Microsoft Entra ID Users and Computers.

    Na řídicím panelu Správce serveru otevřete Microsoft Entra ID Management.

  3. Vytvořte dva nové uživatele: HDIAdmin a HDIUser. Tito dva uživatelé se přihlásí ke clusterům HDInsight.

    1. Na stránce Uživatelé a počítače Microsoft Entra ID klepněte pravým tlačítkem myši HDIFabrikam.coma přejděte na příkaz Nový>uživatel.

      Vytvořte nového uživatele Microsoft Entra ID.

    2. Na stránce Nový objekt – Uživatel zadejte HDIUser jméno a přihlašovací jméno uživatele. Ostatní pole se automaticky vyplní. Pak vyberte Další.

      Vytvořte první objekt uživatele správce.

    3. V automaticky otevíraných otevíraných oknech zadejte heslo pro nový účet. Vyberte Heslo nikdy nevyprší a pak v místní zprávě OK .

    4. Vyberte Další a pak dokončete vytvoření nového účtu.

    5. Opakujte výše uvedené kroky a vytvořte uživatele HDIAdmin.

      Vytvořte druhý objekt uživatele správce.

  4. Vytvořte skupinu zabezpečení.

    1. V nástroji Microsoft Entra ID Uživatelé a počítače klepněte pravým tlačítkem myši HDIFabrikam.coma přejděte do části Nová>skupina.

    2. Zadejte HDIUserGroup do textového pole Název skupiny.

    3. Vyberte OK.

    Vytvořte novou skupinu MICROSOFT Entra ID.

    Vytvoření nového objektu.

  5. Přidání členů do skupiny HDIUserGroup

    1. Klikněte pravým tlačítkem na HDIUser a vyberte Přidat do skupiny....

    2. Do pole Zadejte názvy objektů pro výběr textového pole zadejte HDIUserGroup. Potom v automaticky otevíraných oken vyberte OK a OK .

    3. Opakujte předchozí kroky pro účet HDIAdmin .

      Přidejte člena HDIUser do skupiny HDIUserGroup.

Vytvořili jste prostředí Microsoft Entra ID. Přidali jste dva uživatele a skupinu uživatelů, kteří mají přístup ke clusteru HDInsight.

Uživatelé se budou synchronizovat s MICROSOFT Entra ID.

Vytvoření adresáře Microsoft Entra

  1. Přihlaste se k portálu Azure.

  2. Vyberte Vytvořit prostředek a zadejte directory. Vyberte Vytvořit MICROSOFT Entra ID>.

  3. V části Název organizace zadejte HDIFabrikam.

  4. V části Počáteční název domény zadejte HDIFabrikamoutlook.

  5. Vyberte Vytvořit.

    Vytvořte adresář Microsoft Entra.

Vytvoření vlastní domény

  1. V novém ID Microsoft Entra v části Spravovat vyberte Vlastní názvy domén.

  2. Vyberte + Přidat vlastní doménu.

  3. V části Vlastní název domény zadejte HDIFabrikam.coma pak vyberte Přidat doménu.

  4. Potom dokončete přidání informací DNS do doménového registrátora.

    Vytvořte vlastní doménu.

Vytvoření skupiny

  1. V novém ID Microsoft Entra v části Spravovat vyberte Skupiny.
  2. Vyberte + Nová skupina.
  3. Do textového pole pro název skupiny zadejte AAD DC Administrators.
  4. Vyberte Vytvořit.

Konfigurace tenanta Microsoft Entra

Teď nakonfigurujete tenanta Microsoft Entra, abyste mohli synchronizovat uživatele a skupiny z místní instance Microsoft Entra ID do cloudu.

Vytvořte správce tenanta Microsoft Entra ID.

  1. Přihlaste se k webu Azure Portal a vyberte svého tenanta Microsoft Entra HDIFabrikam.

  2. Přejděte na Spravovat>uživatele>Nový uživatel.

  3. Zadejte následující podrobnosti pro nového uživatele:

    Identita

    Vlastnost Popis
    Jméno uživatele Zadejte fabrikamazureadmin do textového pole. V rozevíracím seznamu názvu domény vyberte hdifabrikam.com
    Název Zadejte fabrikamazureadmin.

    Heslo

    1. Vyberte Možnost Umožnit mi vytvořit heslo.
    2. Zadejte bezpečné heslo podle svého výběru.

    Skupiny a role

    1. Vyberte 0 vybraných skupin.

    2. Vyberte AAD DC Správci a pak Vyberte.

      Dialogové okno Skupiny Microsoft Entra.

    3. Vyberte uživatele.

    4. Vyberte Správce a pak vyberte.

  4. Vyberte Vytvořit.

  5. Pak se nový uživatel přihlásí k webu Azure Portal, kde se zobrazí výzva ke změně hesla. Než nakonfigurujete Microsoft Entra Connect, budete to muset udělat.

Synchronizace místních uživatelů s Microsoft Entra ID

Konfigurace služby Microsoft Entra Connect

  1. Z řadiče domény stáhněte Microsoft Entra Connect.

  2. Otevřete spustitelný soubor, který jste stáhli, a odsouhlaste licenční podmínky. Zvolte Pokračovat.

  3. Vyberte Použít expresní nastavení.

  4. Na stránce Connect to Microsoft Entra ID zadejte uživatelské jméno a heslo správce názvu domény pro Microsoft Entra ID. Použijte uživatelské jméno fabrikamazureadmin@hdifabrikam.com , které jste vytvořili při konfiguraci tenanta. Pak vyberte Další.

    Připojte se k Microsoft Entra ID.

  5. Na stránce Connect to Microsoft Entra ID Domain Services zadejte uživatelské jméno a heslo pro účet podnikového správce. Použijte uživatelské jméno HDIFabrikam\HDIFabrikamAdmin a heslo, které jste vytvořili dříve. Pak vyberte Další.

    Připojte se ke stránce A D D S.

  6. Na stránce konfigurace přihlášení Microsoft Entra vyberte Další.

    Přihlašovací stránka Microsoft Entra.

  7. Na stránce Připraveno ke konfiguraci vyberte Nainstalovat.

    Stránka je připravená ke konfiguraci.

  8. Na stránce Dokončení konfigurace vyberte Ukončit. Stránka Dokončení konfigurace

  9. Po dokončení synchronizace ověřte, že se uživatelé, které jste vytvořili v adresáři IaaS, synchronizují s ID Microsoft Entra.

    1. Přihlaste se k portálu Azure.
    2. Vyberte Microsoft Entra ID>HDIFabrikam>Users.

Vytvoření spravované identity přiřazené uživatelem

Vytvořte spravovanou identitu přiřazenou uživatelem, kterou můžete použít ke konfiguraci služby Microsoft Entra Domain Services. Další informace najdete v tématu Vytvoření, výpis, odstranění nebo přiřazení role spravované identitě přiřazené uživatelem pomocí webu Azure Portal.

  1. Přihlaste se k portálu Azure.
  2. Vyberte Vytvořit prostředek a zadejte managed identity. Vyberte Vytvoření spravované identity>přiřazené uživatelem.
  3. Jako název zdroje zadejte HDIFabrikamManagedIdentity.
  4. Vyberte své předplatné.
  5. V části Skupina prostředků vyberte Vytvořit nový a zadejte HDIFabrikam-CentralUS.
  6. V části Umístění vyberte USA – střed.
  7. Vyberte Vytvořit.

Vytvořte novou spravovanou identitu přiřazenou uživatelem.

Povolení Microsoft Entra Domain Services

Chcete-li povolit službu Microsoft Entra Domain Services, postupujte podle těchto kroků. Další informace naleznete v tématu Povolení služby Microsoft Entra Domain Services pomocí webu Azure Portal.

  1. Vytvořte virtuální síť pro hostování služby Microsoft Entra Domain Services. Spusťte následující kód PowerShellu.

    # Sign in to your Azure subscription
$sub = Get-AzSubscription -ErrorAction SilentlyContinue
if(-not($sub))
{
    Connect-AzAccount
}

# If you have multiple subscriptions, set the one to use
# Select-AzSubscription -SubscriptionId "<SUBSCRIPTIONID>"

$virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS' -Location 'Central US' -Name 'HDIFabrikam-AADDSVNET' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'AADDS-subnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  2. Přihlaste se k portálu Azure.

  3. Vyberte Vytvořit prostředek, zadejte Domain servicesa vyberte Vytvořit službu Microsoft Entra Domain Services>.

  4. Na stránce Základy:

    1. V části Název adresáře vyberte adresář Microsoft Entra, který jste vytvořili: HDIFabrikam.

    2. Jako název domény DNS zadejte HDIFabrikam.com.

    3. Vyberte své předplatné.

    4. Zadejte skupinu prostředků HDIFabrikam-CentralUS. Jako umístění vyberte USA – střed.

      Základní podrobnosti služby Microsoft Entra Domain Services

  5. Na stránce Síť vyberte síť (HDIFabrikam-VNET) a podsíť (AADDS-subnet), kterou jste vytvořili pomocí skriptu PowerShellu. Nebo zvolte Vytvořit novou , aby se teď vytvořila virtuální síť.

    Vytvoření kroku virtuální sítě

  6. Na stránce skupina Správce by se mělo zobrazit oznámení, že skupina s názvem AAD DC Administrators již byla vytvořena pro správu této skupiny. Členství této skupiny můžete změnit, pokud chcete, ale v takovém případě ho nemusíte měnit. Vyberte OK.

    Zobrazte skupinu správců Microsoft Entra.

  7. Na stránce Synchronizace povolte úplnou synchronizaci výběrem možnosti Vše>v pořádku.

    Povolte synchronizaci služby Microsoft Entra Domain Services.

  8. Na stránce Souhrn ověřte podrobnosti služby Microsoft Entra Domain Services a vyberte OK.

    Povolte službu Microsoft Entra Domain Services.

Po povolení služby Microsoft Entra Domain Services se místní server DNS spustí na virtuálních počítačích Microsoft Entra.

Konfigurace virtuální sítě Microsoft Entra Domain Services

Pomocí následujícího postupu nakonfigurujte virtuální síť Služby Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) tak, aby používala vlastní servery DNS.

  1. Vyhledejte IP adresy vlastních serverů DNS.

    1. HDIFabrikam.com Vyberte prostředek Microsoft Entra Domain Services.
    2. V části Spravovat vyberte Vlastnosti.
    3. Vyhledejte IP adresy pod IP adresou ve virtuální síti.

    Vyhledejte vlastní IP adresy DNS pro službu Microsoft Entra Domain Services.

  2. Nakonfigurujte HDIFabrikam-AADDSVNET tak, aby používaly vlastní IP adresy 10.0.0.4 a 10.0.0.5.

    1. V části Nastavení vyberte Servery DNS.
    2. Vyberte Vlastní.
    3. Do textového pole zadejte první IP adresu (10.0.0.4).
    4. Zvolte Uložit.
    5. Opakujte kroky a přidejte další IP adresu (10.0.0.5).

V našem scénáři jsme nakonfigurovali službu Microsoft Entra Domain Services tak, aby používala IP adresy 10.0.0.4 a 10.0.0.5 a nastavili stejnou IP adresu ve virtuální síti Microsoft Entra Domain Services:

Stránka vlastních serverů DNS

Zabezpečení provozu PROTOKOLU LDAP

Protokol LDAP (Lightweight Directory Access Protocol) se používá ke čtení a zápisu do microsoft Entra ID. Přenosy protokolu LDAP můžete nastavit jako důvěrné a zabezpečené pomocí technologie SSL (Secure Sockets Layer) nebo TLS (Transport Layer Security). Ldap přes SSL (LDAPS) můžete povolit tak, že nainstalujete správně formátovaný certifikát.

Další informace o protokolu SECURE LDAP naleznete v tématu Konfigurace LDAPS pro spravovanou doménu služby Microsoft Entra Domain Services.

V této části vytvoříte certifikát podepsaný svým držitelem, stáhnete certifikát a nakonfigurujete LDAPS pro spravovanou doménu SLUŽBY HDIFabrikam Microsoft Entra Domain Services.

Následující skript vytvoří certifikát pro HDIFabrikam. Certifikát je uložen v cestě LocalMachine .

$lifetime = Get-Date
New-SelfSignedCertificate -Subject hdifabrikam.com `
-NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
-Type SSLServerAuthentication -DnsName *.hdifabrikam.com, hdifabrikam.com

Poznámka:

K vytvoření žádosti o certifikát TLS/SSL lze použít jakýkoli nástroj nebo aplikace, které vytvoří platný požadavek PKCS (Public Key Cryptography Standards) č. 10.

Ověřte, že je certifikát nainstalovaný v osobním úložišti počítače:

  1. Spusťte konzolu Microsoft Management Console (MMC).

  2. Přidejte modul snap-in Certifikáty, který spravuje certifikáty v místním počítači.

  3. Rozbalte certifikáty (místní počítač)>Osobní>certifikáty. V osobním úložišti by měl existovat nový certifikát. Tento certifikát se vystaví plně kvalifikovanému názvu hostitele.

    Ověřte vytvoření místního certifikátu.

  4. V podokně vpravo klikněte pravým tlačítkem myši na certifikát, který jste vytvořili. Přejděte na všechny úkoly a pak vyberte Exportovat.

  5. Na stránce Exportovat privátní klíč vyberte Ano, vyexportujte privátní klíč. Počítač, na kterém se klíč naimportuje, potřebuje privátní klíč ke čtení šifrovaných zpráv.

    Stránka Exportovat privátní klíč v Průvodci exportem certifikátu

  6. Na stránce Exportovat formát souboru ponechte výchozí nastavení a pak vyberte Další.

  7. Na stránce Heslo zadejte heslo pro privátní klíč. V případě šifrování vyberte TripleDES-SHA1. Pak vyberte Další.

  8. Na stránce Soubor k exportu zadejte cestu a název exportovaného souboru certifikátu a pak vyberte Další. Název souboru musí mít příponu .pfx. Tento soubor je nakonfigurovaný na webu Azure Portal pro navázání zabezpečeného připojení.

  9. Povolte LDAPS pro spravovanou doménu služby Microsoft Entra Domain Services.

    1. Na webu Azure Portal vyberte doménu HDIFabrikam.com.
    2. V části Spravovat vyberte Protokol Secure LDAP.
    3. Na stránce Secure LDAP v části Secure LDAP vyberte Povolit.
    4. Vyhledejte soubor certifikátu .pfx, který jste exportovali do počítače.
    5. Zadejte heslo certifikátu.

    Povolte zabezpečený protokol LDAP.

  10. Teď, když jste povolili LDAPS, se ujistěte, že je dostupný tak, že povolíte port 636.

    1. Ve skupině prostředků HDIFabrikam-CentralUS vyberte skupinu zabezpečení sítě AADDS-HDIFabrikam.com-NSG.

    2. V části Nastavení vyberte Přidat příchozí pravidla>zabezpečení.

    3. Na stránce Přidat příchozí pravidlo zabezpečení zadejte následující vlastnosti a vyberte Přidat:

      Vlastnost Hodnota
      Source Všechny
      Rozsahy zdrojových portů *
      Cíl Všechny
      Rozsah cílových portů 636
      Protokol Všechny
      Akce Povolit
      Priorita <Požadované číslo>
      Název Port_LDAP_636

      Dialogové okno Přidat příchozí pravidlo zabezpečení

HDIFabrikamManagedIdentity je spravovaná identita přiřazená uživatelem. Role Přispěvatel služby HDInsight Domain Services je povolená pro spravovanou identitu, která umožní této identitě číst, vytvářet, upravovat a odstraňovat operace služeb domény.

Vytvořte spravovanou identitu přiřazenou uživatelem.

Vytvoření clusteru HDInsight s podporou ESP

Tento krok vyžaduje následující požadavky:

  1. Vytvořte novou skupinu prostředků HDIFabrikam-WestUS v umístění USA – západ.

  2. Vytvořte virtuální síť, která bude hostovat cluster HDInsight s podporou ESP.

    $virtualNetwork = New-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS' -Location 'West US' -Name 'HDIFabrikam-HDIVNet' -AddressPrefix 10.1.0.0/16
$subnetConfig = Add-AzVirtualNetworkSubnetConfig -Name 'SparkSubnet' -AddressPrefix 10.1.0.0/24 -VirtualNetwork $virtualNetwork
$virtualNetwork | Set-AzVirtualNetwork

  3. Vytvořte partnerský vztah mezi virtuální sítí, která je hostitelem služby Microsoft Entra Domain Services (HDIFabrikam-AADDSVNET) a virtuální sítí, která bude hostitelem clusteru HDInsight s podporou ESP.HDIFabrikam-HDIVNet Následující kód PowerShellu použijte k vytvoření partnerského vztahu mezi dvěma virtuálními sítěmi.

    Add-AzVirtualNetworkPeering -Name 'HDIVNet-AADDSVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS')

Add-AzVirtualNetworkPeering -Name 'AADDSVNet-HDIVNet' -RemoteVirtualNetworkId (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-WestUS').Id -VirtualNetwork (Get-AzVirtualNetwork -ResourceGroupName 'HDIFabrikam-CentralUS')

  4. Vytvořte nový účet Azure Data Lake Storage Gen2 s názvem Hdigen2store. Nakonfigurujte účet s identitou spravovanou uživatelem HDIFabrikamManagedIdentity. Další informace najdete v tématu Používání služby Azure Data Lake Storage Gen2 s clustery Azure HDInsight.

  5. Nastavte vlastní DNS ve virtuální síti HDIFabrikam-AADDSVNET .

    1. Přejděte na skupiny>prostředků webu Azure Portal >OnPremADVRG>HDIFabrikam-AADDSVNET>DNS servery.

    2. Vyberte Vlastní a zadejte 10.0.0.4 a 10.0.0.5.

    3. Zvolte Uložit.

      Uložte vlastní nastavení DNS pro virtuální síť.

  6. Vytvořte nový cluster HDInsight Spark s podporou ESP.

    1. Vyberte Vlastní (velikost, nastavení, aplikace).

    2. Zadejte podrobnosti o základech (oddíl 1). Ujistěte se, že typ clusteru je Spark 2.3 (HDI 3.6). Ujistěte se, že je skupina prostředků HDIFabrikam-CentralUS.

    3. V případě zabezpečení a sítě (oddíl 2) vyplňte následující podrobnosti:

      • V části Balíček zabezpečení organizace vyberte Povoleno.

      • Vyberte uživatele správce clusteru a vyberte účet HDIAdmin , který jste vytvořili jako místní uživatel správce. Klepněte na tlačítko Vybrat.

      • Vyberte skupinu přístupu ke clusteru>HDIUserGroup. Každý uživatel, kterého do této skupiny přidáte v budoucnu, bude mít přístup ke clusterům HDInsight.

        Vyberte skupinu přístupu ke clusteru HDIUserGroup.

    4. Dokončete další kroky konfigurace clusteru a ověřte podrobnosti v souhrnu clusteru. Vyberte Vytvořit.

  7. Přihlaste se k uživatelskému rozhraní Ambari pro nově vytvořený cluster na adrese https://CLUSTERNAME.azurehdinsight.net. Použijte uživatelské jméno hdiadmin@hdifabrikam.com správce a jeho heslo.

    Přihlašovací okno uživatelského rozhraní Apache Ambari

  8. Na řídicím panelu clusteru vyberte Role.

  9. Na stránce Role v části Přiřadit role k těmto rolím vedle role Správce clusteru zadejte skupinu hdiusergroup.

    Přiřaďte roli správce clusteru k hdiusergroup.

  10. Otevřete klienta SSH (Secure Shell) a přihlaste se ke clusteru. Použijte uživatele hdiuser, který jste vytvořili v místní instanci Microsoft Entra ID.

    Přihlaste se ke clusteru pomocí klienta SSH.

Pokud se můžete přihlásit pomocí tohoto účtu, nakonfigurovali jste cluster ESP správně tak, aby se synchronizoval s vaší místní instancí Microsoft Entra ID.

Další kroky

Přečtěte si úvod k zabezpečení Apache Hadoopu pomocí ESP.