Konfigurieren von HDInsight-Clustern für die Microsoft Entra-Integration mit dem Enterprise-Sicherheitspaket

Dieser Artikel enthält eine Übersicht über den Prozess der Erstellung und Konfiguration eines in Microsoft Entra ID integrierten HDInsight-Clusters. Diese Integration basiert auf einem HDInsight-Feature namens Enterprise-Sicherheitspaket (ESP), Microsoft Entra Domain Services und ihres bereits vorhandenen lokalen Active Directory.

Ein detailliertes Schritt-für-Schritt-Tutorial zum Einrichten und Konfigurieren einer Domäne in Azure und zum Erstellen eines ESP-aktivierten Clusters sowie der anschließenden Synchronisierung der lokalen Benutzer finden Sie unter Erstellen und Konfigurieren von Clustern mit dem Enterprise-Sicherheitspaket in Azure HDInsight.

Hintergrund

Das Enterprise-Sicherheitspaket (ESP) stellt die Active Directory-Integration für Azure HDInsight bereit. Diese Integration ermöglicht es Domänenbenutzern, ihre Domänenanmeldeinformationen für die Authentifizierung bei HDInsight-Clustern und zum Ausführen von Big Data-Aufträgen zu verwenden.

Hinweis

ESP ist in HDInsight 4.0 und 5.0 für diese Clustertypen allgemein verfügbar: Apache Spark, Interactive, Hadoop, Apache Kafka und HBase. ESP-Cluster, die vor dem Datum der allgemeinen Verfügbarkeit von ESP (1. Oktober 2018) erstellt wurden, werden nicht unterstützt.

Voraussetzungen

Bevor Sie einen ESP-aktivierten HDInsight-Cluster erstellen können, müssen einige Voraussetzungen erfüllt sein:

• Ein lokal vorhandenes Active Directory und Microsoft Entra ID.
• Microsoft Entra Domain Services aktivieren.
• Überprüfen Sie den Integritätsstatus der Microsoft Entra Domain Services, um sicherzustellen, dass die Synchronisierung abgeschlossen ist.
• Erstellen und autorisieren Sie eine verwaltete Identität.
• Schließen Sie die Einrichtung des Netzwerks für DNS und verwandte Probleme ab.

Jedes dieser Elemente wird ausführlich erläutert. Eine exemplarische Vorgehensweise zum Ausführen all dieser Schritte finden Sie unter Erstellen und Konfigurieren von Enterprise-Sicherheitspaket-Clustern in Azure HDInsight.

Microsoft Entra Domain Services aktivieren

Das Aktivieren von Microsoft Entra Domain Services ist eine Voraussetzung, bevor Sie einen HDInsight-Cluster mit ESP erstellen können. Weitere Informationen finden Sie unter Aktivieren von Microsoft Entra Domain Services mithilfe des Azure-Portals.

Wenn Microsoft Entra Domain Services aktiviert ist, beginnen alle Benutzer und Objekte standardmäßig mit der Synchronisierung von Microsoft Entra ID mit den Microsoft Entra Domain Services. Die Dauer des Synchronisierungsvorgangs hängt von der Anzahl von Objekten in Microsoft Entra ID ab. Die Synchronisierung kann bei Hunderttausenden von Objekten einige Tage dauern.

Der mit Microsoft Entra Domain Services verwendete Domänenname darf maximal 39 Zeichen lang sein, da er ansonsten nicht mit HDInsight verwendet werden kann.

Sie können auswählen, nur die Gruppen zu synchronisieren, die Zugriff auf die HDInsight-Cluster benötigen. Diese Option, nur bestimmte Gruppen zu synchronisieren, wird als bereichsbezogene Synchronisierung bezeichnet. Anweisungen finden Sie unter Konfigurieren der bereichsbezogenen Synchronisierung von Microsoft Entra ID mit Ihrer verwalteten Domäne.

Wenn Sie Secure LDAP aktivieren, geben Sie den Domänennamen im Ausstellernamen an. Geben Sie außerdem den alternativen Ausstellernamen im Zertifikat an. Wenn Ihr Domänenname beispielsweise contoso100.onmicrosoft.com lautet, stellen Sie sicher, dass der genaue Name im Antragstellernamen und im alternativen Antragstellernamen des Zertifikats vorhanden ist. Weitere Informationen finden Sie unter Konfigurieren von Secure LDAP für eine von Microsoft Entra Domain Services verwaltete Domäne.

Im folgenden Beispiel wird ein selbstsigniertes Zertifikat erstellt. Der Domänenname contoso100.onmicrosoft.com befindet sich sowohl in Subject (Antragstellername) als auch in DnsName (alternativer Antragstellername).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Hinweis

Nur Mandantenadministratoren verfügen über die Berechtigungen zum Aktivieren von Microsoft Entra Domain Services. Wenn Azure Data Lake Storage Gen1 oder Gen2 als Clusterspeicher verwendet wird, müssen Sie die Microsoft Entra Multi-Faktor-Authentifizierung nur für Benutzer deaktivieren, die mit grundlegenden Kerberos-Authentifizierungen auf den Cluster zugreifen müssen. Wenn Ihre Organisation Multi-Faktor-Authentifizierung erfordert, versuchen Sie, das HDInsight-ID-Broker-Feature zu verwenden.

Sie können vertrauenswürdige IP-Adressen oder bedingten Zugriff verwenden, um Multi-Faktor-Authentifizierung nur für bestimmte Benutzer zu deaktivieren, wenn diese auf den IP-Adressbereich für das virtuelle Netzwerk des HDInsight-Clusters zugreifen.

Deaktivieren Sie Multi-Faktor-Authentifizierung nicht, wenn der Clusterspeicher Azure Blob Storage ist.

Überprüfen des Integritätsstatus von Microsoft Entra Domain Services

Zeigen Sie den Integritätsstatus von Microsoft Entra Domain Services an, indem Sie Integrität in der Kategorie Verwalten auswählen. Stellen Sie sicher, dass der Status der Microsoft Entra Domain Services grün (ausgeführt) ist und die Synchronisierung abgeschlossen ist.

Erstellen und Autorisieren einer verwalteten Identität

Sie können eine benutzerseitig zugewiesene verwaltete Identität verwenden, um Domänendienstvorgänge zu vereinfachen und zu schützen. Wenn Sie der verwalteten Identität die Rolle HDInsight-Domänendienste: Mitwirkender zuweisen, kann sie Domänendienstvorgänge lesen, erstellen, ändern und löschen.

Bestimmte Domänendienstvorgänge wie das Erstellen von Organisationseinheiten und Dienstprinzipalen sind für das HDInsight-Enterprise-Sicherheitspaket erforderlich. Sie können in jedem Abonnement verwaltete Identitäten erstellen. Weitere allgemeine Informationen zu verwalteten Identitäten finden Sie unter Verwaltete Identitäten für Azure-Ressourcen. Weitere Informationen zur Funktionsweise verwalteter Identitäten in Azure HDInsight finden Sie unter Verwaltete Identitäten in Azure HDInsight.

Erstellen Sie zum Einrichten von ESP-Clustern eine benutzerseitig zugewiesene verwaltete Identität, falls noch keine vorhanden ist. Siehe Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Weisen Sie der verwalteten Identität anschließend in der Zugriffssteuerung für Microsoft Entra Domain Services die Rolle HDInsight-Domänendienste: Mitwirkender zu. Sie benötigen Administratorrechte von Microsoft Entra Domain Services, um diese Rollenzuweisung vorzunehmen.

Die Zuweisung der Rolle HDInsight-Domänendienste: Mitwirkender stellt sicher, dass die Identität über den richtigen Zugriff (on behalf of) verfügt, um Domänendienstvorgänge in der Microsoft Entra Domain Services-Domäne auszuführen. Diese Vorgänge umfassen das Erstellen und Löschen von Organisationseinheiten.

Nachdem der verwalteten Identität die Rolle zugewiesen wurde, verwaltet der Microsoft Entra Domain Services-Administrator, wer sie verwenden kann. Zuerst wählt der Administrator die verwaltete Identität im Portal aus. Dann wählt er unter Übersicht die Option Zugriffssteuerung (IAM) aus. Anschließend weist der Administrator den Benutzern oder Gruppen die Rolle Operator für verwaltete Identität zu, die ESP-Cluster erstellen möchten.

Beispielsweise kann der Microsoft Entra Domain Services-Administrator diese Rolle der Gruppe MarketingTeam für die verwaltete Identität sjmsi zuweisen. In der folgenden Abbildung ist ein Beispiel angegeben. Diese Zuweisung stellt sicher, dass die richtigen Personen in der Organisation die verwaltete Identität zum Erstellen von ESP-Clustern verwenden können.

Netzwerkkonfiguration

Hinweis

Microsoft Entra Domain Services muss in einem Azure Resource Manager-basierten virtuellen Netzwerk bereitgestellt werden. Klassische virtuelle Netzwerke werden für Microsoft Entra Domain Services nicht unterstützt. Weitere Informationen finden Sie unter Aktivieren von Microsoft Entra Domain Services mithilfe des Azure-Portals.

Microsoft Entra Domain Services aktivieren. Dies führt dazu, dass ein lokaler DNS-Server (Domain Name System) auf den Azure Directory-VMs ausgeführt wird. Konfigurieren Sie Ihr virtuelles Microsoft Entra Domain Services-Netzwerk, um diese benutzerdefinierten DNS-Server zu verwenden. Wählen Sie Eigenschaften in der Kategorie Verwalten aus, und sehen Sie unter IP-Adresse im virtuellen Netzwerk nach, um die richtigen IP-Adressen zu finden.

Ändern Sie die Konfiguration der DNS-Server im virtuellen Microsoft Entra Domain Services-Netzwerk. Wählen Sie zur Verwendung dieser benutzerdefinierten IP-Adressen in der Kategorie Einstellungen die Option DNS-Server aus. Wählen Sie dann die Option Benutzerdefiniert aus, geben Sie die erste IP-Adresse in das Textfeld ein, und wählen Sie Speichern aus. Gehen Sie genauso vor, um weitere IP-Adressen hinzuzufügen.

Es ist einfacher, die Microsoft Entra Domain Services-Instanz und den HDInsight-Cluster im gleichen virtuellen Azure-Netzwerk zu platzieren. Wenn Sie verschiedene virtuelle Netzwerke verwenden möchten, müssen Sie ein Peering für diese virtuellen Netzwerke ausführen, sodass der Domänencontroller für HDInsight-VMs sichtbar ist. Weitere Informationen finden Sie unter Peering in virtuellen Netzwerken.

Nachdem die virtuellen Netzwerke über ein Peering verknüpft wurden, konfigurieren Sie das virtuelle HDInsight-Netzwerk so, dass es einen benutzerdefinierten DNS-Server verwendet. Und geben Sie die privaten IPs der Microsoft Entra Domain Services als DNS-Serveradressen ein. Wenn beide virtuellen Netzwerke die gleichen DNS-Server verwenden, wird Ihr benutzerdefinierter Domänenname in die richtige IP-Adresse aufgelöst und ist über HDInsight erreichbar. Wenn Ihr Domänenname also beispielsweise contoso.com lautet, muss ping contoso.com nach diesem Schritt in die richtige Microsoft Entra Domain Services-IP-Adresse aufgelöst werden.

Wenn Sie in Ihrem HDInsight-Subnetz Regeln für Netzwerksicherheitsgruppen (NSG) verwenden, müssen Sie die erforderlichen IP-Adressen für den eingehenden und ausgehenden Datenverkehr zulassen.

Fügen Sie zum Testen Ihrer Netzwerkeinrichtung eine Windows-VM in das virtuelle HDInsight-Netzwerk oder -Subnetz ein, und pingen Sie den Domänennamen. Dies sollte in eine IP-Adresse aufgelöst werden. Führen Sie ldp.exe aus, um auf die Domäne "Microsoft Entra Domain Services" zuzugreifen. Verknüpfen Sie dann diese Windows-VM mit der Domäne, um zu bestätigen, dass alle erforderlichen RPC-Aufrufe zwischen Client und Server erfolgreich sind.

Verwenden Sie nslookup, um den Netzwerkzugriff auf Ihr Speicherkonto zu bestätigen. Oder bestätigen Sie den Zugriff auf eine externe Datenbank, die Sie möglicherweise verwenden (beispielsweise einen externen Hive-Metastore oder eine Ranger-DB). Stellen Sie sicher, dass die erforderlichen Ports in den NSG-Regeln des Microsoft Entra Domain Services-Subnetz zulässig sind, wenn eine NSG Microsoft Entra Domain Services sichert. Wenn der Domänenbeitritt dieses virtuellen Windows-Computers erfolgreich ist, können Sie mit dem nächsten Schritt fortfahren und ESP-Cluster erstellen.

Erstellen eines HDInsight-Clusters mit ESP

Wenn Sie die vorherigen Schritte korrekt festgelegt haben, erstellen Sie im nächsten Schritt den HDInsight-Cluster mit aktiviertem ESP. Beim Erstellen eines HDInsight-Clusters können Sie das Enterprise-Sicherheitspaket auf der Registerkarte Sicherheit + Netzwerkbetrieb aktivieren. Verwenden Sie für eine Azure Resource Manager-Vorlage für die Bereitstellung einmalig die Portalbenutzeroberfläche. Laden Sie anschließend die vorausgefüllte Vorlage auf der Seite Überprüfen + erstellen für die zukünftige Wiederverwendung herunter.

Sie können das Feature HDInsight-Identitätsbroker während der Clustererstellung aktivieren. Mit dem Feature „Identitätsbroker“ können Sie sich bei Ambari anmelden, indem Sie Multi-Faktor-Authentifizierung verwenden und die erforderlichen Kerberos-Tickets erhalten, ohne dass Kennworthashes in Microsoft Entra Domain Services erforderlich sind.

Hinweis

Die ersten sechs Zeichen des ESP-Clusternamens müssen in Ihrer Umgebung eindeutig sein. Wählen Sie beispielsweise bei mehreren ESP-Clustern in verschiedenen virtuellen Netzwerken eine Namenskonvention aus, die sicherstellt, dass die ersten sechs Zeichen des Clusternamens eindeutig sind.

Sobald Sie ESP aktivieren, werden häufige Fehlkonfigurationen im Zusammenhang mit Microsoft Entra Domain Services automatisch erkannt und validiert. Nachdem Sie diese Fehler behoben haben, können Sie mit dem nächsten Schritt fortfahren.

Zum Erstellen eines HDInsight-Clusters mit ESP müssen Sie die folgenden Parameter angeben:

• Clusteradministrator: Wählen Sie einen Administrator für Ihren Cluster aus Ihrem synchronisierten Microsoft Entra Domain Services-Instanz aus. Dieses Domänenkonto muss bereits synchronisiert und in Microsoft Entra Domain Services verfügbar sein.

• Clusterzugriffsgruppen: Die Sicherheitsgruppen, deren Benutzer Sie synchronisieren möchten und deren Benutzer Zugriff auf den Cluster haben sollen, sollten in Microsoft Entra Domain Services verfügbar sein. Ein Beispiel hierfür ist die Gruppe HiveUsers. Weitere Informationen dazu finden Sie in Erstellen einer Basisgruppe und Hinzufügen von Mitgliedern mit Microsoft Entra ID.

• LDAPS-URL: z. B. ldaps://contoso.com:636.

Die von Ihnen erstellte verwaltete Identität kann beim Erstellen eines neuen Clusters aus der Dropdownliste für die benutzerseitig zugewiesene verwaltete Identität ausgewählt werden.

.

Nächste Schritte

• Informationen zum Konfigurieren von Hive-Richtlinien und zum Ausführen von Hive-Abfragen finden Sie unter Konfigurieren von Apache Hive-Richtlinien in HDInsight mit dem Enterprise-Sicherheitspaket.
• Informationen zum Verwenden von HDInsight-Clustern mit ESP finden Sie unter Verwenden von SSH mit Linux-basiertem Apache Hadoop in HDInsight unter Linux, Unix oder OS X.