Konfigurowanie klastrów usługi HDInsight dla integracji firmy Microsoft z pakietem Enterprise Security

Ten artykuł zawiera podsumowanie i omówienie procesu tworzenia i konfigurowania klastra usługi HDInsight zintegrowanego z identyfikatorem Entra firmy Microsoft. Ta integracja opiera się na funkcji usługi HDInsight o nazwie Enterprise Security Package (ESP), Microsoft Entra Domain Services i istniejących lokalna usługa Active Directory.

Aby zapoznać się ze szczegółowym samouczkiem krok po kroku dotyczącym konfigurowania i konfigurowania domeny na platformie Azure oraz tworzenia klastra z włączoną usługą ESP, a następnie synchronizowania użytkowników lokalnych, zobacz Tworzenie i konfigurowanie klastrów pakietu Enterprise Security w usłudze Azure HDInsight.

Tło

Pakiet Enterprise Security (ESP) zapewnia integrację usługi Active Directory z usługą Azure HDInsight. Dzięki tej integracji użytkownicy domeny mogą używać swoich poświadczeń domeny, aby uwierzytelniać się w klastrach usługi HDInsight i uruchamiać zadania związane z danymi big data.

Uwaga

Protokół ESP jest ogólnie dostępny w usługach HDInsight 4.0 i 5.0 dla następujących typów klastrów: Apache Spark, Interactive, Hadoop, Apache Kafka i HBase. Klastry ESP utworzone przed datą dostępności ze stanem rejestracji (1 października 2018 r.) nie są obsługiwane.

Wymagania wstępne

Przed utworzeniem klastra usługi HDInsight z włączoną obsługą rejestracji należy spełnić kilka wymagań wstępnych:

• Istniejąca lokalna usługa Active Directory i identyfikator Entra firmy Microsoft.
• Włącz usługi Microsoft Entra Domain Services.
• Sprawdź stan kondycji usług Microsoft Entra Domain Services, aby upewnić się, że synchronizacja została ukończona.
• Tworzenie i autoryzacja tożsamości zarządzanej.
• Ukończ konfigurację sieci dla systemu DNS i powiązane problemy.

Każdy z tych elementów jest szczegółowo omówiony. Aby zapoznać się z przewodnikiem po wykonaniu wszystkich tych kroków, zobacz Tworzenie i konfigurowanie klastrów pakietu Enterprise Security w usłudze Azure HDInsight.

Włącz usługi Microsoft Entra Domain Services.

Włączenie usług Microsoft Entra Domain Services jest wymaganiem wstępnym przed utworzeniem klastra usługi HDInsight przy użyciu esp. Aby uzyskać więcej informacji, zobacz Włączanie usług Microsoft Entra Domain Services przy użyciu witryny Azure Portal.

Gdy usługa Microsoft Entra Domain Services jest włączona, wszyscy użytkownicy i obiekty zaczynają domyślnie synchronizować się z identyfikatorem Entra firmy Microsoft z usługami Microsoft Entra Domain Services. Długość operacji synchronizacji zależy od liczby obiektów w identyfikatorze Entra firmy Microsoft. Synchronizacja może potrwać kilka dni dla setek tysięcy obiektów.

Nazwa domeny używana z usługami Microsoft Entra Domain Services musi zawierać co najmniej 39 znaków, aby pracować z usługą HDInsight.

Można wybrać synchronizację tylko grup, które wymagają dostępu do klastrów usługi HDInsight. Ta opcja synchronizowania tylko niektórych grup jest nazywana synchronizacją w zakresie. Aby uzyskać instrukcje, zobacz Konfigurowanie synchronizacji o zakresie z identyfikatora Entra firmy Microsoft do domeny zarządzanej.

Po włączeniu protokołu Secure LDAP umieść nazwę domeny w nazwie podmiotu. Alternatywna nazwa podmiotu w certyfikacie. Jeśli nazwa domeny jest contoso100.onmicrosoft.com, upewnij się, że dokładna nazwa istnieje w nazwie podmiotu certyfikatu i alternatywnej nazwie podmiotu. Aby uzyskać więcej informacji, zobacz Konfigurowanie bezpiecznego protokołu LDAP dla domeny zarządzanej usług Microsoft Entra Domain Services.

Poniższy przykład tworzy certyfikat z podpisem własnym. Nazwa domeny contoso100.onmicrosoft.com znajduje się zarówno Subject (nazwa podmiotu), jak i DnsName (alternatywna nazwa podmiotu).

$lifetime=Get-Date
New-SelfSignedCertificate -Subject contoso100.onmicrosoft.com `
  -NotAfter $lifetime.AddDays(365) -KeyUsage DigitalSignature, KeyEncipherment `
  -Type SSLServerAuthentication -DnsName *.contoso100.onmicrosoft.com, contoso100.onmicrosoft.com

Uwaga

Tylko administratorzy dzierżawy mają uprawnienia do włączania usług Microsoft Entra Domain Services. Jeśli magazynem klastra jest usługa Azure Data Lake Storage Gen1 lub Gen2, należy wyłączyć uwierzytelnianie wieloskładnikowe firmy Microsoft tylko dla użytkowników, którzy będą musieli uzyskać dostęp do klastra przy użyciu podstawowego uwierzytelniania Kerberos. Jeśli twoja organizacja wymaga uwierzytelniania wieloskładnikowego, spróbuj użyć funkcji brokera identyfikatorów usługi HDInsight.

Możesz użyć zaufanych adresów IP lub dostępu warunkowego, aby wyłączyć uwierzytelnianie wieloskładnikowe dla określonych użytkowników tylko wtedy, gdy uzyskują dostęp do zakresu adresów IP dla sieci wirtualnej klastra usługi HDInsight.

Jeśli magazyn klastra jest usługą Azure Blob Storage, nie wyłączaj uwierzytelniania wieloskładnikowego.

Sprawdzanie stanu kondycji usług Microsoft Entra Domain Services

Wyświetl stan kondycji usług Microsoft Entra Domain Services, wybierając pozycję Kondycja w kategorii Zarządzanie . Upewnij się, że stan usług Microsoft Entra Domain Services jest zielony (uruchomiony), a synchronizacja została ukończona.

Tworzenie i autoryzowanie tożsamości zarządzanej

Użyj tożsamości zarządzanej przypisanej przez użytkownika, aby uprościć bezpieczne operacje usług domenowych. Po przypisaniu roli Współautor usług domenowych HDInsight do tożsamości zarządzanej może ona odczytywać, tworzyć, modyfikować i usuwać operacje usług domenowych.

Niektóre operacje usług domenowych, takie jak tworzenie jednostek organizacyjnych i jednostek usługi, są wymagane dla pakietu HDInsight Enterprise Security. Tożsamości zarządzane można tworzyć w dowolnej subskrypcji. Aby uzyskać więcej informacji na temat tożsamości zarządzanych w ogóle, zobacz Tożsamości zarządzane dla zasobów platformy Azure. Aby uzyskać więcej informacji na temat sposobu działania tożsamości zarządzanych w usłudze Azure HDInsight, zobacz Tożsamości zarządzane w usłudze Azure HDInsight.

Aby skonfigurować klastry ESP, utwórz tożsamość zarządzaną przypisaną przez użytkownika, jeśli jeszcze jej nie masz. Zobacz: Create, list, delete, or assign a role to a user-assigned managed identity by using the Azure portal.

Następnie przypisz rolę Współautor usług domenowych HDInsight do tożsamości zarządzanej w kontroli dostępu dla usług Microsoft Entra Domain Services. Aby wykonać to przypisanie roli, musisz mieć uprawnienia administratora usługi Microsoft Entra Domain Services.

Przypisanie roli Współautor usług domenowych w usłudze HDInsight gwarantuje, że ta tożsamość ma odpowiedni (on behalf of) dostęp do operacji usług domenowych w domenie microsoft Entra Domain Services. Te operacje obejmują tworzenie i usuwanie jednostek organizacyjnych.

Gdy tożsamość zarządzana zostanie nadana roli, administrator usługi Microsoft Entra Domain Services zarządza tym, kto go używa. Najpierw administrator wybiera tożsamość zarządzaną w portalu. Następnie wybiera pozycję Kontrola dostępu (Zarządzanie dostępem i tożsamościami ) w obszarze Przegląd. Administrator przypisuje rolę Operator tożsamości zarządzanej do użytkowników lub grup, które chcą tworzyć klastry ESP.

Na przykład administrator usługi Microsoft Entra Domain Services może przypisać tę rolę do grupy MarketingTeam dla tożsamości zarządzanej sjmsi . Przykład pokazano na poniższej ilustracji. To przypisanie gwarantuje, że odpowiednie osoby w organizacji mogą używać tożsamości zarządzanej do tworzenia klastrów ESP.

Konfiguracja sieci

Uwaga

Usługi Microsoft Entra Domain Services należy wdrożyć w sieci wirtualnej opartej na usłudze Azure Resource Manager. Klasyczne sieci wirtualne nie są obsługiwane w przypadku usług Microsoft Entra Domain Services. Aby uzyskać więcej informacji, zobacz Włączanie usług Microsoft Entra Domain Services przy użyciu witryny Azure Portal.

Włącz usługi Microsoft Entra Domain Services. Następnie lokalny serwer systemu nazw domen (DNS) działa na maszynach wirtualnych usługi Active Directory. Skonfiguruj sieć wirtualną usług Microsoft Entra Domain Services do korzystania z tych niestandardowych serwerów DNS. Aby zlokalizować odpowiednie adresy IP, wybierz pozycję Właściwości w kategorii Zarządzaj i poszukaj w obszarze ADRES IP W SIECI WIRTUALNEJ.

Zmień konfigurację serwerów DNS w sieci wirtualnej usług Microsoft Entra Domain Services. Aby użyć tych niestandardowych adresów IP, wybierz pozycję Serwery DNS w kategorii Ustawienia. Następnie wybierz opcję Niestandardowy , wprowadź pierwszy adres IP w polu tekstowym, a następnie wybierz pozycję Zapisz. Dodaj więcej adresów IP, wykonując te same kroki.

Łatwiej jest umieścić zarówno wystąpienie usług Microsoft Entra Domain Services, jak i klaster usługi HDInsight w tej samej sieci wirtualnej platformy Azure. Jeśli planujesz używać różnych sieci wirtualnych, musisz połączyć te sieci wirtualne za pomocą komunikacji równorzędnej, aby kontroler domeny był widoczny dla maszyn wirtualnych usługi HDInsight. Aby uzyskać więcej informacji, zobacz Komunikacja równorzędna sieci wirtualnych.

Po komunikacji równorzędnej sieci wirtualnych skonfiguruj sieć wirtualną usługi HDInsight do używania niestandardowego serwera DNS. Wprowadź prywatne adresy IP usług Microsoft Entra Domain Services jako adresy serwera DNS. Gdy obie sieci wirtualne używają tych samych serwerów DNS, niestandardowa nazwa domeny jest rozpoznawana jako właściwy adres IP i jest osiągalna z usługi HDInsight. Jeśli na przykład nazwa domeny to contoso.com, po wykonaniu tego kroku ping contoso.com powinna zostać rozpoznana odpowiedni adres IP usług Microsoft Entra Domain Services.

Jeśli używasz reguł sieciowej grupy zabezpieczeń w podsieci usługi HDInsight, należy zezwolić na wymagane adresy IP dla ruchu przychodzącego i wychodzącego.

Aby przetestować konfigurację sieci, dołącz maszynę wirtualną z systemem Windows do sieci wirtualnej/podsieci usługi HDInsight i wyślij polecenie ping do nazwy domeny. (Powinien on zostać rozpoznany jako adres IP). Uruchom ldp.exe , aby uzyskać dostęp do domeny usług Microsoft Entra Domain Services. Następnie dołącz tę maszynę wirtualną z systemem Windows do domeny, aby potwierdzić, że wszystkie wymagane wywołania RPC kończą się powodzeniem między klientem a serwerem.

Użyj polecenia nslookup , aby potwierdzić dostęp sieciowy do konta magazynu. Lub dowolnej zewnętrznej bazy danych, której można użyć (na przykład zewnętrznego magazynu metadanych Hive lub bazy danych Ranger). Upewnij się, że wymagane porty są dozwolone w regułach sieciowej grupy zabezpieczeń usługi Microsoft Entra Domain Services, jeśli sieciowa grupa zabezpieczeń zabezpiecza usługi Microsoft Entra Domain Services. Jeśli przyłączanie domeny do tej maszyny wirtualnej z systemem Windows zakończy się pomyślnie, możesz przejść do następnego kroku i utworzyć klastry ESP.

Tworzenie klastra usługi HDInsight przy użyciu esp

Po poprawnym skonfigurowaniu poprzednich kroków następnym krokiem jest utworzenie klastra usługi HDInsight z włączonym trybem ESP. Podczas tworzenia klastra usługi HDInsight można włączyć pakiet Enterprise Security na karcie Zabezpieczenia i sieć . W przypadku szablonu usługi Azure Resource Manager do wdrożenia użyj środowiska portalu raz. Następnie pobierz wstępnie wypełniany szablon na stronie Przeglądanie i tworzenie w celu ponownego użycia w przyszłości.

Funkcję brokera identyfikatorów usługi HDInsight można również włączyć podczas tworzenia klastra. Funkcja brokera identyfikatorów umożliwia logowanie się do systemu Ambari przy użyciu uwierzytelniania wieloskładnikowego i uzyskiwanie wymaganych biletów protokołu Kerberos bez konieczności używania skrótów haseł w usługach Microsoft Entra Domain Services.

Uwaga

Pierwsze sześć znaków nazw klastrów ESP musi być unikatowe w danym środowisku. Jeśli na przykład masz wiele klastrów ESP w różnych sieciach wirtualnych, wybierz konwencję nazewnictwa, która gwarantuje, że pierwsze sześć znaków w nazwach klastra jest unikatowe.

Po włączeniu esp typowe błędy konfiguracji związane z usługami Microsoft Entra Domain Services są automatycznie wykrywane i weryfikowane. Po usunięciu tych błędów możesz kontynuować wykonywanie następnego kroku.

Podczas tworzenia klastra usługi HDInsight przy użyciu esp należy podać następujące parametry:

• Użytkownik administratora klastra: wybierz administratora klastra z zsynchronizowanego wystąpienia usług Microsoft Entra Domain Services. To konto domeny musi być już zsynchronizowane i dostępne w usługach Microsoft Entra Domain Services.

• Grupy dostępu do klastra: grupy zabezpieczeń, których użytkownicy mają być synchronizowani i mają dostęp do klastra, powinny być dostępne w usługach Microsoft Entra Domain Services. Przykładem jest grupa HiveUsers. Aby uzyskać więcej informacji, zobacz Tworzenie grupy i dodawanie członków w identyfikatorze Entra firmy Microsoft.

• Adres URL protokołu LDAPS: przykład: ldaps://contoso.com:636.

Tożsamość zarządzana, którą utworzono, można wybrać z listy rozwijanej Tożsamość zarządzana przypisana przez użytkownika podczas tworzenia nowego klastra.

.

Następne kroki

• Aby skonfigurować zasady programu Hive i uruchamiać zapytania Hive, zobacz Konfigurowanie zasad apache Hive dla klastrów usługi HDInsight przy użyciu esp.
• Aby użyć protokołu SSH do nawiązywania połączenia z klastrami usługi HDInsight przy użyciu protokołu ESP, zobacz Use SSH with Linux-based Apache Hadoop on HDInsight from Linux, Unix, or OS X (Używanie protokołu SSH z opartą na systemie Linux platformą Apache Hadoop w usłudze HDInsight z systemów Linux, Unix lub OS X).