Skonfiguruj klastry HDInsight do integracji z Microsoft Entra przy użyciu pakietu Enterprise Security

Ten artykuł zawiera podsumowanie i omówienie procesu tworzenia i konfigurowania klastra usługi HDInsight zintegrowanego z identyfikatorem Entra firmy Microsoft. Ta integracja opiera się na funkcji HDInsight o nazwie Enterprise Security Package (ESP), Microsoft Entra Domain Services i istniejącej lokalnej usługi Active Directory.

Aby zapoznać się ze szczegółowym samouczkiem krok po kroku dotyczącym konfigurowania i konfigurowania domeny na platformie Azure oraz tworzenia klastra z włączoną usługą ESP, a następnie synchronizowania użytkowników lokalnych, zobacz Tworzenie i konfigurowanie klastrów pakietu Enterprise Security w usłudze Azure HDInsight.

Tło

Pakiet Enterprise Security (ESP) zapewnia integrację usługi Active Directory z usługą Azure HDInsight. Dzięki tej integracji użytkownicy domeny mogą używać swoich poświadczeń domeny, aby uwierzytelniać się w klastrach usługi HDInsight i uruchamiać zadania związane z danymi big data.

Uwaga

Protokół ESP jest ogólnie dostępny w usługach HDInsight 4.0 i 5.0 dla następujących typów klastrów: Apache Spark, Interactive, Hadoop, Apache Kafka i HBase. Klastry ESP utworzone przed datą ogólnej dostępności (1 października 2018 r.) nie są obsługiwane.

Wymagania wstępne

Przed utworzeniem klastra HDInsight z włączoną obsługą ESP należy spełnić kilka wymagań wstępnych:

• Istniejąca lokalna usługa Active Directory i identyfikator Entra firmy Microsoft.
• Włącz usługi Microsoft Entra Domain Services.
• Sprawdź stan kondycji usług Microsoft Entra Domain Services, aby upewnić się, że synchronizacja została ukończona.
• Tworzenie i autoryzacja tożsamości zarządzanej.
• Ukończ konfigurację sieci dla systemu DNS i rozwiąż powiązane problemy.

Każdy z tych elementów jest szczegółowo omówiony. Aby zapoznać się z przewodnikiem po wykonaniu wszystkich tych kroków, zobacz Tworzenie i konfigurowanie klastrów pakietu Enterprise Security w usłudze Azure HDInsight.

Włącz usługi Microsoft Entra Domain Services.

Włączenie usług Microsoft Entra Domain Services jest wymaganiem wstępnym, aby utworzyć klaster HDInsight z ESP. Aby uzyskać więcej informacji, zobacz Włączanie usług Microsoft Entra Domain Services przy użyciu witryny Azure Portal.

Gdy usługa Microsoft Entra Domain Services jest włączona, wszyscy użytkownicy i obiekty zaczynają domyślnie synchronizować się z identyfikatorem Entra firmy Microsoft z usługami Microsoft Entra Domain Services. Długość operacji synchronizacji zależy od liczby obiektów w identyfikatorze Entra firmy Microsoft. Synchronizacja może potrwać kilka dni dla setek tysięcy obiektów.

Nazwa domeny używana z usługami Microsoft Entra Domain Services musi zawierać maksymalnie 39 znaków, aby działać z usługą HDInsight.

Można wybrać synchronizację tylko grup, które wymagają dostępu do klastrów usługi HDInsight. Ta opcja synchronizowania tylko niektórych grup nazywana jest synchronizacją z zakresem. Aby uzyskać instrukcje, zobacz Konfigurowanie synchronizacji o zakresie z Microsoft Entra ID do twojej zarządzanej domeny.

Po włączeniu protokołu Secure LDAP umieść nazwę domeny w nazwie podmiotu. Alternatywna nazwa podmiotu w certyfikacie. Jeśli nazwa domeny jest contoso100.onmicrosoft.com, upewnij się, że dokładna nazwa istnieje w nazwie podmiotu certyfikatu i alternatywnej nazwie podmiotu. Aby uzyskać więcej informacji, zobacz Konfigurowanie bezpiecznego protokołu LDAP dla domeny zarządzanej usług Microsoft Entra Domain Services.

Poniższy przykład tworzy certyfikat z podpisem własnym. Nazwa domeny contoso100.onmicrosoft.com znajduje się zarówno Subject (nazwa podmiotu), jak i DnsName (alternatywna nazwa podmiotu).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Uwaga

Tylko administratorzy dzierżawy mają uprawnienia do włączania usług Microsoft Entra Domain Services. Jeśli magazynem klastra jest usługa Azure Data Lake Storage Gen1 lub Gen2, należy wyłączyć uwierzytelnianie wieloskładnikowe firmy Microsoft tylko dla użytkowników, którzy będą musieli uzyskać dostęp do klastra przy użyciu podstawowego uwierzytelniania Kerberos. Jeśli twoja organizacja wymaga uwierzytelniania wieloskładnikowego, spróbuj użyć funkcji brokera identyfikatorów usługi HDInsight.

Możesz użyć zaufanych adresów IP lub dostępu warunkowego, aby wyłączyć uwierzytelnianie wieloskładnikowe dla określonych użytkowników tylko wtedy, gdy uzyskują dostęp do zakresu adresów IP dla sieci wirtualnej klastra usługi HDInsight.

Jeśli magazyn klastra jest usługą Azure Blob Storage, nie wyłączaj uwierzytelniania wieloskładnikowego.

Sprawdzanie stanu kondycji usług Microsoft Entra Domain Services

Wyświetl stan kondycji usług Microsoft Entra Domain Services, wybierając pozycję Kondycjaw kategorii Zarządzanie . Upewnij się, że stan usług Microsoft Entra Domain Services jest zielony (uruchomiony), a synchronizacja została ukończona.

Tworzenie i autoryzowanie tożsamości zarządzanej

Użyj przypisanej zarządzanej tożsamości przez użytkownika, aby uprościć bezpieczne operacje usług domenowych. Po przypisaniu roli Współautor usług domenowych HDInsight do tożsamości zarządzanej może ona odczytywać, tworzyć, modyfikować i usuwać operacje usług domenowych.

Niektóre operacje usług domenowych, takie jak tworzenie jednostek organizacyjnych i jednostek usługi, są wymagane dla pakietu HDInsight Enterprise Security. Tożsamości zarządzane można tworzyć w dowolnej subskrypcji. Aby uzyskać więcej informacji na temat tożsamości zarządzanych w ogóle, zobacz Tożsamości zarządzane dla zasobów platformy Azure. Aby uzyskać więcej informacji na temat sposobu działania tożsamości zarządzanych w usłudze Azure HDInsight, zobacz Tożsamości zarządzane w usłudze Azure HDInsight.

Aby skonfigurować klastry ESP, utwórz tożsamość zarządzaną przypisaną przez użytkownika, jeśli jeszcze jej nie masz. Zobacz: Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Następnie przypisz rolę Współautora usług domenowych HDInsight do tożsamości zarządzanej w sekcji Kontrola dostępu dla usług Microsoft Entra Domain Services. Aby wykonać to przypisanie roli, musisz mieć uprawnienia administratora usługi Microsoft Entra Domain Services.

Przypisanie roli HDInsight Domain Services Contributor gwarantuje, że ta tożsamość ma odpowiedni (on behalf of) dostęp do wykonywania operacji usług domenowych w domenie Microsoft Entra Domain Services. Te operacje obejmują tworzenie i usuwanie jednostek organizacyjnych.

Gdy tożsamość zarządzana zostanie przypisana do roli, administrator usługi Microsoft Entra Domain Services zarządza, kto jej używa. Najpierw administrator wybiera tożsamość zarządzaną w portalu. Następnie wybiera Kontrola dostępu (IAM) w obszarze Przegląd. Administrator przypisuje rolę Operator tożsamości zarządzanej użytkownikom lub grupom, które chcą tworzyć klastry ESP.

Na przykład administrator usługi Microsoft Entra Domain Services może przypisać tę rolę do grupy MarketingTeam dla tożsamości zarządzanej sjmsi . Przykład pokazano na poniższej ilustracji. To przypisanie gwarantuje, że odpowiednie osoby w organizacji mogą używać tożsamości zarządzanej do tworzenia klastrów ESP.

Konfiguracja sieci

Uwaga

Usługi Microsoft Entra Domain Services należy wdrożyć w sieci wirtualnej opartej na usłudze Azure Resource Manager. Klasyczne sieci wirtualne nie są obsługiwane w przypadku usług Microsoft Entra Domain Services. Aby uzyskać więcej informacji, zobacz Włączanie usług Microsoft Entra Domain Services przy użyciu witryny Azure Portal.

Włącz usługi Microsoft Entra Domain Services. Następnie lokalny serwer systemu nazw domen (DNS) działa na maszynach wirtualnych usługi Active Directory. Skonfiguruj sieć wirtualną usług Microsoft Entra Domain Services do korzystania z tych niestandardowych serwerów DNS. Aby zlokalizować odpowiednie adresy IP, wybierz pozycję Właściwości w kategorii Zarządzaj i poszukaj w obszarze ADRES IP W SIECI WIRTUALNEJ.

Zmień konfigurację serwerów DNS w sieci wirtualnej usług Microsoft Entra Domain Services. Aby użyć tych niestandardowych adresów IP, wybierz pozycję Serwery DNS w kategorii Ustawienia. Następnie wybierz opcję Niestandardowy , wprowadź pierwszy adres IP w polu tekstowym, a następnie wybierz pozycję Zapisz. Dodaj więcej adresów IP, wykonując te same kroki.

Łatwiej jest umieścić zarówno wystąpienie usługi Microsoft Entra Domain Services, jak i klaster HDInsight w tej samej sieci wirtualnej platformy Azure. Jeśli planujesz używać różnych sieci wirtualnych, musisz połączyć te sieci wirtualne poprzez połączenie równorzędne, aby kontroler domeny był widoczny dla maszyn wirtualnych HDInsight. Aby uzyskać więcej informacji, zobacz Peering sieci wirtualnych.

Po komunikacji równorzędnej sieci wirtualnych skonfiguruj sieć wirtualną usługi HDInsight do używania niestandardowego serwera DNS. Wprowadź prywatne adresy IP usług Microsoft Entra Domain Services jako adresy serwera DNS. Gdy obie sieci wirtualne używają tych samych serwerów DNS, niestandardowa nazwa domeny jest rozpoznawana jako właściwy adres IP i jest osiągalna z usługi HDInsight. Jeśli na przykład nazwa domeny to contoso.com, po wykonaniu tego kroku ping contoso.com powinna zostać rozpoznana jako odpowiedni adres IP usług Microsoft Entra Domain Services.

Jeśli używasz reguł sieciowej grupy zabezpieczeń w podsieci usługi HDInsight, należy zezwolić na wymagane adresy IP dla ruchu przychodzącego i wychodzącego.

Aby przetestować konfigurację sieci, dołącz maszynę wirtualną z systemem Windows do sieci wirtualnej/podsieci usługi HDInsight i wyślij polecenie ping do nazwy domeny. (Powinien on zostać rozpoznany jako adres IP). Uruchom ldp.exe , aby uzyskać dostęp do domeny usług Microsoft Entra Domain Services. Następnie dołącz tę maszynę wirtualną z systemem Windows do domeny, aby potwierdzić, że wszystkie wymagane wywołania RPC kończą się powodzeniem między klientem a serwerem.

Użyj nslookup, aby potwierdzić dostęp sieciowy do konta magazynowego. Lub dowolnej zewnętrznej bazy danych, której można użyć (na przykład zewnętrznego magazynu metadanych Hive lub bazy danych Ranger). Upewnij się, że wymagane porty są dozwolone w regułach grupy zabezpieczeń sieci podsieci Microsoft Entra Domain Services, jeśli ta grupa zabezpieczeń chroni Microsoft Entra Domain Services. Jeśli przyłączanie domeny do tej maszyny wirtualnej z systemem Windows zakończy się pomyślnie, możesz przejść do następnego kroku i utworzyć klastry ESP.

Tworzenie klastra usługi HDInsight przy użyciu esp

Po poprawnym skonfigurowaniu poprzednich kroków następnym krokiem jest utworzenie klastra usługi HDInsight z włączonym trybem ESP. Podczas tworzenia klastra usługi HDInsight można włączyć pakiet Enterprise Security na karcie Zabezpieczenia i sieć . W przypadku szablonu usługi Azure Resource Manager do wdrożenia użyj środowiska portalu raz. Następnie pobierz wstępnie wypełniany szablon na stronie Przeglądanie i tworzenie w celu ponownego użycia w przyszłości.

Funkcję brokera ID HDInsight można również włączyć podczas tworzenia klastra. Funkcja ID Broker umożliwia logowanie się do Ambari przy użyciu uwierzytelniania wieloskładnikowego oraz uzyskanie wymaganych biletów Kerberos bez konieczności użycia skrótów haseł w Microsoft Entra Domain Services.

Uwaga

Pierwsze sześć znaków nazw klastrów ESP musi być unikatowe w danym środowisku. Jeśli na przykład masz wiele klastrów ESP w różnych sieciach wirtualnych, wybierz konwencję nazewnictwa, która gwarantuje, że pierwsze sześć znaków w nazwach klastra jest unikatowe.

Po włączeniu esp typowe błędy konfiguracji związane z usługami Microsoft Entra Domain Services są automatycznie wykrywane i weryfikowane. Po usunięciu tych błędów możesz kontynuować wykonywanie następnego kroku.

Podczas tworzenia klastra usługi HDInsight przy użyciu esp należy podać następujące parametry:

• Użytkownik administratora klastra: Wybierz administratora dla swojego klastra z zsynchronizowanego wystąpienia usług Microsoft Entra Domain Services. To konto domeny musi być już zsynchronizowane i dostępne w usługach Microsoft Entra Domain Services.

• Grupy dostępu do klastra: grupy zabezpieczeń, których użytkownicy mają być synchronizowani i mają dostęp do klastra, powinny być dostępne w usługach Microsoft Entra Domain Services. Przykładem jest grupa HiveUsers. Aby uzyskać więcej informacji, zobacz Tworzenie grupy i dodawanie członków w identyfikatorze Entra firmy Microsoft.

• URL protokołu LDAPS: Przykład to ldaps://contoso.com:636.

Stworzona tożsamość zarządzana może być wybrana z listy rozwijanej tożsamości zarządzanej przypisanej przez użytkownika w trakcie tworzenia nowego klastra.

.

Następne kroki

• Aby skonfigurować zasady programu Hive i uruchamiać zapytania Hive, zobacz Konfigurowanie zasad apache Hive dla klastrów usługi HDInsight przy użyciu esp.
• Aby użyć protokołu SSH do nawiązywania połączenia z klastrami usługi HDInsight przy użyciu protokołu ESP, zobacz Use SSH with Linux-based Apache Hadoop on HDInsight from Linux, Unix, or OS X (Używanie protokołu SSH z opartą na systemie Linux platformą Apache Hadoop w usłudze HDInsight z systemów Linux, Unix lub OS X).