Kontrolowanie ruchu sieciowego z usługi HDInsight w pulach klastrów i klastrach usługi AKS
Uwaga
Wycofamy usługę Azure HDInsight w usłudze AKS 31 stycznia 2025 r. Przed 31 stycznia 2025 r. należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure, aby uniknąć nagłego zakończenia obciążeń. Pozostałe klastry w ramach subskrypcji zostaną zatrzymane i usunięte z hosta.
Tylko podstawowa pomoc techniczna będzie dostępna do daty wycofania.
Ważne
Ta funkcja jest aktualnie dostępna jako funkcja podglądu. Dodatkowe warunki użytkowania dla wersji zapoznawczych platformy Microsoft Azure obejmują więcej warunków prawnych, które dotyczą funkcji platformy Azure, które znajdują się w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje o tej konkretnej wersji zapoznawczej, zobacz Informacje o wersji zapoznawczej usługi Azure HDInsight w usłudze AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie w usłudze AskHDInsight , aby uzyskać szczegółowe informacje i postępuj zgodnie z nami, aby uzyskać więcej aktualizacji w społeczności usługi Azure HDInsight.
Usługa HDInsight w usłudze AKS to zarządzana platforma jako usługa (PaaS), która działa w usłudze Azure Kubernetes Service (AKS). Usługa HDInsight w usłudze AKS umożliwia wdrażanie popularnych obciążeń analizy typu open source, takich jak Apache Spark™, Apache Flink®️ i Trino, bez konieczności wprowadzania obciążeń związanych z zarządzaniem kontenerami i ich monitorowaniem.
Domyślnie usługa HDInsight w klastrach usługi AKS zezwala na wychodzące połączenia sieciowe z klastrów do dowolnego miejsca docelowego, jeśli miejsce docelowe jest osiągalne z interfejsu sieciowego węzła. Oznacza to, że zasoby klastra mogą uzyskiwać dostęp do dowolnego publicznego lub prywatnego adresu IP, nazwy domeny lub adresu URL w Internecie lub w sieci wirtualnej.
Jednak w niektórych scenariuszach możesz chcieć kontrolować lub ograniczyć ruch wychodzący z klastra ze względów bezpieczeństwa i zgodności.
Na przykład możesz chcieć wykonać następujące elementy:
Zapobiegaj dostępowi klastrów do złośliwych lub niechcianych usług.
Wymuszanie zasad sieciowych lub reguł zapory dla ruchu wychodzącego.
Monitoruj lub przeprowadź inspekcję ruchu wychodzącego z klastra na potrzeby rozwiązywania problemów lub zgodności.
Metody i narzędzia do kontrolowania ruchu wychodzącego
Dostępne są różne opcje i narzędzia do zarządzania przepływem ruchu wychodzącego z usługi HDInsight w klastrach usługi AKS. Niektóre z nich można skonfigurować na poziomie puli klastrów, a inne na poziomie klastra.
Ruch wychodzący z modułem równoważenia obciążenia. Podczas wdrażania puli klastrów przy użyciu tej ścieżki ruchu wychodzącego publiczny adres IP jest aprowizowany i przypisywany do zasobu modułu równoważenia obciążenia. Niestandardowa sieć wirtualna (VNET) nie jest wymagana; jednak zdecydowanie zaleca się. Możesz użyć usługi Azure Firewall lub sieciowych grup zabezpieczeń w niestandardowej sieci wirtualnej, aby zarządzać ruchem opuszczający sieć.
Ruch wychodzący z routingiem zdefiniowanym przez użytkownika. Podczas wdrażania puli klastrów przy użyciu tej ścieżki ruchu wychodzącego użytkownik może zarządzać ruchem wychodzącym na poziomie podsieci przy użyciu usługi Azure Firewall/ bramy TRANSLATOR adresów sieciowych i niestandardowych tabel tras. Ta opcja jest dostępna tylko w przypadku korzystania z niestandardowej sieci wirtualnej.
Włącz prywatną usługę AKS. Po włączeniu prywatnej usługi AKS w puli klastrów serwer interfejsu API usługi AKS zostanie przypisany do wewnętrznego adresu IP i nie będzie dostępny publicznie. Ruch sieciowy między serwerem interfejsu API usługi AKS a usługą HDInsight w pulach węzłów usługi AKS (klastrów) pozostanie w sieci prywatnej.
Prywatny klaster ruchu przychodzącego. Po wdrożeniu klastra z włączoną opcją prywatnego ruchu przychodzącego żaden publiczny adres IP nie zostanie utworzony, a klaster będzie dostępny tylko z klientów w tej samej sieci wirtualnej. Należy podać własne rozwiązanie NAT, takie jak brama translatora adresów sieciowych lub translator adresów sieciowych dostarczone przez zaporę, aby nawiązać połączenie z wychodzącą publiczną usługą HDInsight w zależnościach usługi AKS.
W poniższych sekcjach szczegółowo opisano każdą metodę.
Ruch wychodzący z modułem równoważenia obciążenia
Moduł równoważenia obciążenia jest używany do ruchu wychodzącego za pośrednictwem usługi HDInsight w przypisanym publicznym adresie IP usługi AKS. Podczas konfigurowania typu wychodzącego modułu równoważenia obciążenia w puli klastrów można oczekiwać ruchu wychodzącego z modułu równoważenia obciążenia utworzonego przez usługę HDInsight w usłudze AKS.
Ruch wychodzący można skonfigurować przy użyciu konfiguracji modułu równoważenia obciążenia przy użyciu witryny Azure Portal.
Po wybraniu tej konfiguracji usługa HDInsight w usłudze AKS automatycznie ukończy tworzenie publicznego adresu IP aprowizowanego dla ruchu wychodzącego klastra i przypisuje je do zasobu modułu równoważenia obciążenia.
Publiczny adres IP utworzony przez usługę HDInsight w usłudze AKS i jest to zasób zarządzany przez usługę AKS, co oznacza, że usługa AKS zarządza cyklem życia tego publicznego adresu IP i nie wymaga akcji użytkownika bezpośrednio w zasobie publicznego adresu IP.
Po utworzeniu klastrów niektóre publiczne adresy IP ruchu przychodzącego również są tworzone.
Aby zezwolić na wysyłanie żądań do klastra, musisz zezwolić na listę ruchu. Można również skonfigurować niektóre reguły w sieciowej grupie zabezpieczeń , aby wykonać gruboziarnistą kontrolkę.
Ruch wychodzący ze zdefiniowanym przez użytkownika routingiem
Uwaga
Typ userDefinedRouting ruchu wychodzącego jest zaawansowanym scenariuszem sieciowym i wymaga odpowiedniej konfiguracji sieci przed rozpoczęciem.
Zmiana typu ruchu wychodzącego po utworzeniu puli klastrów nie jest obsługiwana.
Jeśli parametr userDefinedRouting jest ustawiony, usługa HDInsight w usłudze AKS nie będzie automatycznie konfigurować ścieżek ruchu wychodzącego. Konfiguracja ruchu wychodzącego musi być wykonywana przez użytkownika.
Należy wdrożyć usługę HDInsight w klastrze usługi AKS w istniejącej sieci wirtualnej z wcześniej skonfigurowaną podsiecią i należy ustanowić jawny ruch wychodzący.
Ta architektura wymaga jawnego wysyłania ruchu wychodzącego do urządzenia, takiego jak zapora, brama lub serwer proxy, więc publiczny adres IP przypisany do standardowego modułu równoważenia obciążenia lub urządzenia może obsługiwać translatora adresów sieciowych (NAT).
Usługa HDInsight w usłudze AKS nie konfiguruje wychodzącego publicznego adresu IP ani reguł ruchu wychodzącego, w przeciwieństwie do ruchu wychodzącego z klastrami typu modułu równoważenia obciążenia zgodnie z opisem w powyższej sekcji. Trasa zdefiniowana przez użytkownika jest jedynym źródłem ruchu wychodzącego.
W przypadku ruchu przychodzącego należy wybrać na podstawie wymagań dotyczących wybierania klastra prywatnego (do zabezpieczania ruchu na płaszczyźnie sterowania/serwerze interfejsu API usługi AKS) i wybrać opcję prywatnego ruchu przychodzącego dostępnego w każdym kształcie klastra, aby używać publicznego lub wewnętrznego ruchu opartego na równoważeniu obciążenia.
Tworzenie puli klastrów dla ruchu wychodzącego za pomocą polecenia userDefinedRouting
W przypadku korzystania z usługi HDInsight w pulach klastrów usługi AKS i wybrania opcji userDefinedRouting (UDR) jako ścieżki ruchu wychodzącego nie ma aprowizowanego standardowego modułu równoważenia obciążenia. Przed rozpoczęciem działania należy skonfigurować reguły zapory dla zasobów userDefinedRouting wychodzących.
Ważne
Ścieżka ruchu wychodzącego trasy zdefiniowanej przez użytkownika wymaga trasy dla adresu 0.0.0.0/0 i miejsca docelowego następnego przeskoku zapory lub urządzenia WUS w tabeli tras. Tabela tras ma już domyślną 0.0.0.0/0 do Internetu. Nie można uzyskać wychodzącej łączności internetowej, dodając tę trasę, ponieważ platforma Azure potrzebuje publicznego adresu IP dla protokołu SNAT. Usługa AKS sprawdza, czy nie utworzysz trasy 0.0.0.0/0 wskazującej Internet, ale bramy, urządzenia WUS itp. W przypadku korzystania z trasy zdefiniowanej przez użytkownika publiczny adres IP modułu równoważenia obciążenia dla żądań przychodzących jest tworzony tylko w przypadku skonfigurowania usługi typu loadbalancer. Usługa HDInsight w usłudze AKS nigdy nie tworzy publicznego adresu IP dla żądań wychodzących podczas korzystania ze ścieżki ruchu wychodzącego trasy zdefiniowanej przez użytkownika.
W poniższych krokach dowiesz się, jak zablokować ruch wychodzący z usługi HDInsight w usłudze AKS do zasobów platformy Azure zaplecza lub innych zasobów sieciowych za pomocą usługi Azure Firewall. Ta konfiguracja pomaga zapobiegać eksfiltracji danych lub ryzyku wszczepienia złośliwego programu.
Usługa Azure Firewall umożliwia kontrolowanie ruchu wychodzącego na znacznie bardziej szczegółowym poziomie i filtrowanie ruchu na podstawie analizy zagrożeń w czasie rzeczywistym z poziomu usługi Microsoft Cyber Security. Możesz centralnie tworzyć, wymuszać i rejestrować zasady łączności aplikacji i sieci w subskrypcjach i sieciach wirtualnych.
Poniżej przedstawiono przykład konfigurowania reguł zapory i testowania połączeń wychodzących
Oto przykład konfigurowania reguł zapory i sprawdzania połączeń wychodzących.
Tworzenie wymaganej podsieci zapory
Aby wdrożyć zaporę w zintegrowanej sieci wirtualnej, potrzebna jest podsieć o nazwie AzureFirewallSubnet lub Nazwa wybranej nazwy.
W witrynie Azure Portal przejdź do sieci wirtualnej zintegrowanej z aplikacją.
W obszarze nawigacji po lewej stronie wybierz pozycję Podsieci + Podsieć>.
W polu Nazwa wpisz AzureFirewallSubnet.
Zakres adresów podsieci zaakceptuj wartość domyślną lub określ zakres o rozmiarze co najmniej /26.
Wybierz pozycję Zapisz.
Wdrażanie zapory i uzyskiwanie jej adresu IP
W menu witryny Azure Portal lub na stronie głównej wybierz pozycję Utwórz zasób.
Wpisz zaporę w polu wyszukiwania i naciśnij Enter.
Wybierz pozycję Zapora, a następnie wybierz pozycję Utwórz.
Na stronie Tworzenie zapory skonfiguruj zaporę, jak pokazano w poniższej tabeli:
Ustawienie Wartość Grupa zasobów Ta sama grupa zasobów co zintegrowana sieć wirtualna. Nazwisko Wybrana nazwa Region (Region) Ten sam region co zintegrowana sieć wirtualna. Zasady zapory Utwórz go, wybierając pozycję Dodaj nową. Sieć wirtualna Wybierz zintegrowaną sieć wirtualną. Publiczny adres IP Wybierz istniejący adres lub utwórz go, wybierając pozycję Dodaj nowy. 
Kliknij pozycję Przejrzyj i utwórz.
Wybierz ponownie pozycję Utwórz. Wdrożenie tego procesu trwa kilka minut.
Po zakończeniu wdrażania przejdź do grupy zasobów i wybierz zaporę.
Na stronie Przegląd zapory skopiuj prywatny adres IP. Prywatny adres IP będzie używany jako adres następnego przeskoku w regule routingu dla sieci wirtualnej.
Kierowanie całego ruchu do zapory
Podczas tworzenia sieci wirtualnej platforma Azure automatycznie tworzy domyślną tabelę tras dla każdej z jej podsieci i dodaje domyślne trasy systemowe do tabeli. W tym kroku utworzysz tabelę tras zdefiniowaną przez użytkownika, która kieruje cały ruch do zapory, a następnie skojarzysz ją z podsiecią usługi App Service w zintegrowanej sieci wirtualnej.
W menu witryny Azure Portal wybierz pozycję Wszystkie usługi lub wyszukaj i wybierz pozycję Wszystkie usługi na dowolnej stronie.
W obszarze Sieć wybierz pozycję Tabele tras.
Wybierz Dodaj.
Skonfiguruj tabelę tras, tak jak w poniższym przykładzie:
Upewnij się, że wybrano ten sam region co utworzona zapora.
Wybierz pozycję Przejrzyj i utwórz.
Wybierz pozycję Utwórz.
Po zakończeniu wdrażania wybierz pozycję Przejdź do zasobu.
W obszarze nawigacji po lewej stronie wybierz pozycję Trasy > Dodaj.
Skonfiguruj nową trasę, jak pokazano w poniższej tabeli:
Ustawienie Wartość Typ miejsca docelowego Adresy IP Docelowe adresy IP/zakresy CIDR 0.0.0.0/0 Typ następnego przeskoku Urządzenie wirtualne Adres następnego przeskoku Prywatny adres IP skopiowanego zapory W obszarze nawigacji po lewej stronie wybierz pozycję Kojarzenie podsieci>.
W obszarze Sieć wirtualna wybierz zintegrowaną sieć wirtualną.
W obszarze Podsieć wybierz podsieć usługi HDInsight w podsieci usługi AKS, której chcesz użyć.
Wybierz przycisk OK.
Konfigurowanie zasad zapory
Ruch wychodzący z usługi HDInsight w podsieci usługi AKS jest teraz kierowany przez zintegrowaną sieć wirtualną do zapory. Aby kontrolować ruch wychodzący, dodaj regułę aplikacji do zasad zapory.
Przejdź do strony przeglądu zapory i wybierz zasady zapory.
Na stronie zasad zapory z lewej nawigacji dodaj reguły sieci i aplikacji. Na przykład wybierz pozycję Reguły > sieciowe Dodaj kolekcję reguł.
W obszarze Reguły dodaj regułę sieci z podsiecią jako adres źródłowy i określ docelową nazwę FQDN. Podobnie dodaj reguły aplikacji.
- Musisz dodać reguły ruchu wychodzącego podane tutaj. Zapoznaj się z tym dokumentem, aby dodawać reguły aplikacji i sieci, aby umożliwić działanie klastra. (Serwer ApiServer usługi AKS musi zostać dodany po utworzeniu puli klastrów, ponieważ po utworzeniu puli klastra można uzyskać tylko klaster ApiServer usługi AKS).
- Możesz również dodać prywatne punkty końcowe dla wszystkich zasobów zależnych w tej samej podsieci dla klastra, aby uzyskać do nich dostęp (na przykład — magazyn).
Wybierz Dodaj.
Sprawdź, czy utworzono publiczny adres IP
Po ustawieniu reguł zapory można wybrać podsieć podczas tworzenia puli klastrów.
Po utworzeniu puli klastrów można obserwować w grupie MC, że nie ma utworzonego publicznego adresu IP.
Ważne
Przed utworzeniem klastra w konfiguracji puli klastrów ze Outbound with userDefinedRouting ścieżką ruchu wychodzącego należy nadać klastrowi usługi AKS — zgodnemu z pulą klastrów — Network Contributor rolę w zasobach sieciowych używanych do definiowania routingu, takich jak sieć wirtualna, tabela tras i sieciowa grupa zabezpieczeń (jeśli jest używana). Dowiedz się więcej o przypisywaniu roli tutaj
Uwaga
Podczas wdrażania puli klastrów ze ścieżką ruchu wychodzącego trasy zdefiniowanej przez użytkownika i prywatnym klastrem ruchu przychodzącego usługa HDInsight w usłudze AKS automatycznie utworzy prywatną strefę DNS i zamapuje wpisy, aby rozpoznać nazwę FQDN na potrzeby uzyskiwania dostępu do klastra.
Tworzenie puli klastrów za pomocą prywatnej usługi AKS
W przypadku prywatnej usługi AKS płaszczyzna sterowania lub serwer interfejsu API ma wewnętrzne adresy IP zdefiniowane w RFC1918 — alokacja adresów dla prywatnego dokumentu internetowego. Korzystając z tej opcji prywatnej usługi AKS, możesz zapewnić ruch sieciowy między serwerem interfejsu API i usługą HDInsight w klastrach obciążeń usługi AKS tylko w sieci prywatnej.
Podczas aprowizacji prywatnego klastra usługi AKS usługa AKS domyślnie tworzy prywatną nazwę FQDN z prywatną strefą DNS i dodatkową publiczną nazwę FQDN z odpowiednim rekordem A w publicznym systemie DNS platformy Azure. Węzły agenta nadal używają rekordu w prywatnej strefie DNS, aby rozpoznać prywatny adres IP prywatnego punktu końcowego na potrzeby komunikacji z serwerem interfejsu API.
Ponieważ usługa HDInsight w usłudze AKS automatycznie wstawi rekord do prywatnej strefy DNS w usłudze HDInsight w utworzonej grupie zarządzanej usługi AKS dla prywatnego ruchu przychodzącego.
Klastry z prywatnymi ruchami przychodzącymi
Podczas tworzenia klastra z usługą HDInsight w usłudze AKS ma on publiczną nazwę FQDN i adres IP, do którego każdy może uzyskać dostęp. Dzięki funkcji prywatnego ruchu przychodzącego możesz upewnić się, że tylko sieć prywatna może wysyłać i odbierać dane między klientem a usługą HDInsight w klastrze usługi AKS.
Uwaga
Dzięki tej funkcji usługa HDInsight w usłudze AKS automatycznie utworzy rekordy A w prywatnej strefie DNS dla ruchu przychodzącego.
Ta funkcja uniemożliwia publiczny dostęp do Internetu do klastra. Klaster pobiera wewnętrzny moduł równoważenia obciążenia i prywatny adres IP. Usługa HDInsight w usłudze AKS używa prywatnej strefy DNS utworzonej przez pulę klastrów w celu połączenia sieci wirtualnej klastra i rozpoznawania nazw.
Każdy klaster prywatny zawiera dwie nazwy FQDN: publiczną nazwę FQDN i prywatną nazwę FQDN.
Publiczna nazwa FQDN: {clusterName}.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net
Publiczna nazwa FQDN może być rozpoznawana tylko jako nazwa CNAME z poddomeną, dlatego należy jej używać z poprawną nazwą Private DNS zone setting , aby upewnić się, że można ostatecznie rozwiązać nazwę FQDN, aby poprawić prywatny adres IP.
Strefa Prywatna strefa DNS powinna być w stanie rozpoznać prywatną nazwę FQDN na adres IP (privatelink.{clusterPoolName}.{subscriptionId}).
Uwaga
Usługa HDInsight w usłudze AKS tworzy prywatną strefę DNS w puli klastrów, sieci wirtualnej. Jeśli aplikacje klienckie znajdują się w tej samej sieci wirtualnej, nie musisz ponownie konfigurować prywatnej strefy DNS. Jeśli używasz aplikacji klienckiej w innej sieci wirtualnej, musisz użyć komunikacji równorzędnej sieci wirtualnej i powiązać z prywatną strefą DNS w sieci wirtualnej puli klastrów lub użyć prywatnych punktów końcowych w sieci wirtualnej i prywatnych stref DNS, aby dodać rekord A do prywatnego adresu IP punktu końcowego.
Prywatna nazwa FQDN: {clusterName}.privatelink.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net
Prywatna nazwa FQDN zostanie przypisana do klastrów z włączonym tylko prywatnym wejściem. Jest to rekord A w prywatnej strefie DNS rozpoznawany jako prywatny adres IP klastra.
Odwołanie
Komunikacja równorzędna usługi Azure Virtual Network.
Ruch wychodzący w usłudze HDInsight w usłudze AKS — Azure HDInsight w usłudze AKS