Kontrolowanie ruchu sieciowego z usługi HDInsight w pulach klastrów i klastrach usługi AKS

Ważny

Usługa Azure HDInsight w usłudze AKS została wycofana 31 stycznia 2025 r. Dowiedz się więcej dzięki temu ogłoszeniu.

Aby uniknąć nagłego kończenia obciążeń, należy przeprowadzić migrację obciążeń do usługi Microsoft Fabric lub równoważnego produktu platformy Azure.

Ważny

Ta funkcja jest obecnie dostępna w wersji zapoznawczej. Dodatkowe warunki użytkowania platformy Microsoft Azure zawierają więcej warunków prawnych, które dotyczą funkcji platformy Azure w wersji beta, w wersji zapoznawczej lub w inny sposób nie zostały jeszcze wydane w wersji ogólnodostępnej. Aby uzyskać informacje na temat tej konkretnej wersji zapoznawczej, zobacz informacje o wersji zapoznawczej Azure HDInsight na AKS. W przypadku pytań lub sugestii dotyczących funkcji prześlij żądanie dotyczące AskHDInsight, aby uzyskać więcej informacji na temat społeczności usługi Azure HDInsight.

HDInsight na AKS to zarządzana platforma jako usługa (PaaS), która działa na Azure Kubernetes Service (AKS). Usługa HDInsight w usłudze AKS umożliwia wdrażanie popularnych obciążeń usługi Open-Source Analytics, takich jak Apache Spark™, Apache Flink®️ i Trino, bez konieczności zarządzania kontenerami i monitorowania ich.

Domyślnie usługa HDInsight w klastrach usługi AKS zezwala na wychodzące połączenia sieciowe z klastrów do dowolnego miejsca docelowego, jeśli miejsce docelowe jest osiągalne z interfejsu sieciowego węzła. Oznacza to, że zasoby klastra mogą uzyskiwać dostęp do dowolnego publicznego lub prywatnego adresu IP, nazwy domeny lub adresu URL w Internecie lub w sieci wirtualnej.

Jednak w niektórych scenariuszach możesz chcieć kontrolować lub ograniczyć ruch wychodzący z klastra ze względów bezpieczeństwa i zgodności.

Na przykład możesz chcieć:

• Zapobiegaj dostępowi klastrów do złośliwych lub niechcianych usług.

• Wymuszanie zasad sieciowych lub reguł zapory dla ruchu wychodzącego.

• Monitoruj lub przeprowadź inspekcję ruchu wychodzącego z klastra na potrzeby rozwiązywania problemów lub zgodności.

Metody i narzędzia do kontrolowania ruchu wychodzącego

Masz różne opcje i narzędzia do zarządzania tym, jak przepływa ruch wychodzący z HDInsight na klastrach AKS. Niektóre z nich można skonfigurować na poziomie puli klastrów, a inne na poziomie klastra.

• Trasowanie wychodzące z modułem równoważenia obciążenia. Kiedy wdrażasz pulę klastrów przez tę ścieżkę Egress, publiczny adres IP jest aprowizowany i przypisywany do zasobu równoważnika obciążenia. Niestandardowa sieć wirtualna (VNET) nie jest wymagana; jednak zdecydowanie zaleca się. Możesz użyć usługi Azure Firewall lub Grup Zabezpieczeń Sieci (NSG) w niestandardowej sieci wirtualnej, aby zarządzać ruchem opuszczającym sieć.

• Ruch wychodzący z routingiem zdefiniowanym przez użytkownika. Podczas wdrażania puli klastrów przy użyciu tej ścieżki ruchu wychodzącego użytkownik może zarządzać ruchem wychodzącym na poziomie podsieci przy użyciu usługi Azure Firewall lub bramy NAT oraz niestandardowych tabel tras. Ta opcja jest dostępna tylko w przypadku korzystania z niestandardowej sieci wirtualnej.

• Włącz prywatną usługę AKS. Po włączeniu prywatnej usługi AKS w grupie węzłów serwer interfejsu API usługi AKS otrzyma wewnętrzny adres IP i nie będzie dostępny publicznie. Ruch sieciowy między serwerem API AKS a usługą HDInsight na pulach węzłów AKS (klastrach) będzie utrzymywany w sieci prywatnej.

• Prywatny klaster wejściowy. Po wdrożeniu klastra z włączoną opcją prywatnego ruchu przychodzącego żaden publiczny adres IP nie zostanie utworzony, a klaster będzie dostępny tylko z klientów w tej samej sieci wirtualnej. Należy podać własne rozwiązanie NAT, takie jak brama NAT lub NAT dostarczony przez zaporę sieciową, aby połączyć się z zewnętrznymi usługami publicznymi HDInsight w zależnościach na AKS.

W poniższych sekcjach szczegółowo opisano każdą metodę.

Ruch wychodzący z modułem równoważenia obciążenia

Moduł równoważenia obciążenia jest używany do ruchu wychodzącego za pośrednictwem usługi HDInsight w przypisanym publicznym adresie IP usługi AKS. Podczas konfigurowania typu wychodzącego modułu równoważenia obciążenia w puli klastrów można oczekiwać ruchu wychodzącego z modułu równoważenia obciążenia utworzonego przez usługę HDInsight w usłudze AKS.

Możesz skonfigurować ruch wychodzący za pomocą konfiguracji modułu równoważenia obciążenia w portalu Azure.

Po wybraniu tej konfiguracji usługa HDInsight w usłudze AKS automatycznie kończy tworzenie publicznego adresu IP, który jest aprowizowany dla ruchu wychodzącego klastra, a & przypisuje go do zasobu równoważenia obciążenia.

Publiczny adres IP utworzony przez usługę HDInsight w usłudze AKS i jest to zasób zarządzany przez usługę AKS, co oznacza, że usługa AKS zarządza cyklem życia tego publicznego adresu IP i nie wymaga akcji użytkownika bezpośrednio w zasobie publicznego adresu IP.

Po utworzeniu klastrów niektóre publiczne adresy IP ruchu przychodzącego również są tworzone.

Aby zezwolić na wysyłanie żądań do klastra, należy zezwalać na listę ruchu. Niektóre reguły można również skonfigurować w sieciowej grupie zabezpieczeń , aby wykonać gruboziarniste zarządzanie.

Ruch wychodzący z trasowaniem zdefiniowanym przez użytkownika

Notatka

Typ userDefinedRouting ruchu wychodzącego jest zaawansowanym scenariuszem sieciowym i wymaga odpowiedniej konfiguracji sieci przed rozpoczęciem.
Zmiana typu ruchu wychodzącego po utworzeniu puli klastrów nie jest obsługiwana.

Jeśli parametr userDefinedRouting jest ustawiony, usługa HDInsight w usłudze AKS nie będzie automatycznie konfigurować ścieżek ruchu wychodzącego. Konfiguracja wyjść musi być wykonana przez użytkownika.

Należy wdrożyć usługę HDInsight w klastrze usługi AKS w istniejącej sieci wirtualnej z wcześniej skonfigurowaną podsiecią i należy skonfigurować jawne zasady ruchu wychodzącego.

Ta architektura wymaga jawnego wysyłania ruchu wychodzącego do urządzenia, takiego jak zapora, brama lub serwer proxy, aby publiczny adres IP przypisany do standardowego równoważnika obciążenia lub urządzenia mógł obsługiwać translację adresów sieciowych (NAT).

Usługa HDInsight w usłudze AKS nie konfiguruje wychodzącego publicznego adresu IP ani reguł ruchu wychodzącego, w przeciwieństwie do klastrów typu z modułem równoważenia obciążenia, jak opisano w powyższej sekcji. Twój UDR jest jedynym źródłem ruchu wychodzącego.

Dla ruchu przychodzącego należy wybrać zgodnie z wymaganiami klaster prywatny (w celu zabezpieczenia ruchu w płaszczyźnie sterowania lub na serwerze API AKS) oraz wybrać opcję prywatnego dostępu przychodzącego dostępną dla każdego typu klastra, aby korzystać z publicznego lub wewnętrznego równoważenia obciążenia.

Tworzenie puli klastrów dla ruchu wychodzącego za pomocą userDefinedRouting

W przypadku korzystania z usługi HDInsight w pulach klastrów usługi AKS i wybrania opcji userDefinedRouting (UDR) jako ścieżki ruchu wychodzącego nie jest obecny standardowy load balancer. Aby userDefinedRouting mogło funkcjonować, należy skonfigurować reguły zapory dla zasobów wychodzących.

Ważny

Ścieżka wychodząca Użytkownik Zdefiniowane Trasy wymaga trasy dla adresu 0.0.0.0/0 oraz następnego punktu docelowego w postaci zapory lub NVA w tabeli routingu. Tabela tras ma już domyślną 0.0.0.0/0 do Internetu. Nie można uzyskać wychodzącej łączności internetowej, dodając tę trasę, ponieważ platforma Azure potrzebuje publicznego adresu IP dla protokołu SNAT. Usługa AKS sprawdza, czy nie utworzysz trasy 0.0.0.0/0 wskazującej do Internetu, ale do bramy, wirtualnego urządzenia sieciowego itp. W przypadku korzystania z trasy zdefiniowanej przez użytkownika, publiczny adres IP równoważnika obciążenia dla żądań przychodzących jest tworzony tylko w przypadku skonfigurowania usługi typu równoważnika obciążenia. Usługa HDInsight w usłudze AKS nigdy nie tworzy publicznego adresu IP dla żądań wychodzących podczas korzystania ze ścieżki egressu trasy zdefiniowanej przez użytkownika.

W poniższych krokach dowiesz się, jak zablokować ruch wychodzący z Twojej usługi HDInsight działającej na AKS do zasobów zaplecza platformy Azure lub innych zasobów sieciowych, wykorzystując usługę Azure Firewall. Ta konfiguracja pomaga zapobiegać eksfiltracji danych lub ryzyku wszczepienia złośliwego programu.

Usługa Azure Firewall umożliwia kontrolowanie ruchu wychodzącego na znacznie bardziej szczegółowym poziomie i filtrowanie ruchu na podstawie analizy zagrożeń w czasie rzeczywistym z poziomu usługi Microsoft Cyber Security. Można centralnie tworzyć, wymuszać i rejestrować zasady aplikacji i łączności sieciowej w subskrypcjach i sieciach wirtualnych.

Poniżej przedstawiono przykład konfigurowania reguł zapory i testowania połączeń wychodzących

Oto przykład konfigurowania reguł zapory i sprawdzania połączeń wychodzących.

1. Utwórz wymaganą podsieć zapory

   Aby wdrożyć zaporę w zintegrowanej sieci wirtualnej, potrzebna jest podsieć o nazwie AzureFirewallSubnet lub nazwa według twojego wyboru.

   1. W witrynie Azure Portal przejdź do sieci wirtualnej zintegrowanej z aplikacją.

   2. Z lewego paska nawigacyjnego wybierz pozycję Podsieci > + Podsieć.

   3. W Nazwawpisz AzureFirewallSubnet.

   4. zakres adresów podsieci, zaakceptuj domyślną wartość lub określ zakres o rozmiarze co najmniej /26.

   5. Wybierz pozycję Zapisz.

2. Wdróż zaporę i uzyskaj jej adres IP

   1. Na menu portalu Azure lub na stronie Strona główna wybierz pozycję Utwórz zasób.

   2. Wpisz zaporę w polu wyszukiwania i naciśnij Wprowadź.

   3. Wybierz Firewall, a następnie wybierz Utwórz.

   4. Na stronie Tworzenie zapory skonfiguruj zaporę, jak pokazano w poniższej tabeli:

      Ustawienie	Wartość
      Grupa zasobów	Ta sama grupa zasobów co zintegrowana sieć wirtualna.
      Nazwa	Wybrana nazwa
      Region	Ten sam region co zintegrowana sieć wirtualna.
      Zasady zapory	Utwórz go, wybierając pozycję Dodaj nową.
      Sieć wirtualna	Wybierz zintegrowaną sieć wirtualną.
      Publiczny adres IP	Wybierz istniejący adres lub utwórz go, wybierając pozycję Dodaj nowy.

      

   5. Kliknij Przejrzyj i utwórz.

   6. Wybierz ponownie Utwórz. Wdrożenie tego procesu trwa kilka minut.

   7. Po zakończeniu wdrażania przejdź do grupy zasobów i wybierz zaporę.

   8. Na stronie przeglądu zapory skopiuj prywatny adres IP. Prywatny adres IP będzie używany jako adres następnego przeskoku w regule routingu dla sieci wirtualnej.

      

3. Skieruj cały ruch do zapory

   Podczas tworzenia sieci wirtualnej platforma Azure automatycznie tworzy domyślną tabelę tras dla każdej z jej podsieci i dodaje system domyślnych tras do tabeli. W tym kroku utworzysz tabelę tras zdefiniowaną przez użytkownika, która kieruje cały ruch do zapory, a następnie skojarzysz ją z podsiecią usługi App Service w zintegrowanej sieci wirtualnej.

   1. W menu witryny Azure Portal wybierz pozycję Wszystkie usługi lub wyszukaj i wybierz pozycję Wszystkie usługi na dowolnej stronie.

   2. W obszarze Networkingwybierz pozycję Route tables.

   3. Wybierz pozycję Dodaj.

   4. Skonfiguruj tabelę tras, tak jak w poniższym przykładzie:

      

      Upewnij się, że wybrano ten sam region co utworzona zapora.

   5. Wybierz Przejrzyj i utwórz.

   6. Wybierz pozycję Utwórz.

   7. Po zakończeniu wdrażania wybierz pozycję Przejdź do zasobu.

   8. W menu po lewej stronie wybierz pozycję Trasy > Dodaj.

   9. Skonfiguruj nową trasę, jak pokazano w poniższej tabeli:

      Ustawienie	Wartość
      Typ miejsca docelowego	Adresy IP
      Docelowe adresy IP/zakresy CIDR	0.0.0.0/0
      Typ następnego przeskoku	Urządzenie wirtualne
      Adres następnego przeskoku	Prywatny adres IP zapory, który skopiowałeś/skopiowałaś

   10. W menu nawigacji po lewej stronie wybierz pozycję Podsieci > Połącz.

   11. W sieć wirtualnawybierz zintegrowaną sieć wirtualną.

   12. W obszarze Podsiećwybierz podsieć usługi HDInsight w podsieci usługi AKS, której chcesz użyć.

       

   13. Wybierz pozycję OK.

4. Konfigurowanie zasad zapory

   Ruch wychodzący z usługi HDInsight na podsieci AKS jest teraz kierowany przez zintegrowaną sieć wirtualną do zapory. Aby kontrolować ruch wychodzący, dodaj regułę aplikacji w zasadach zapory.

   1. Przejdź do strony przeglądu zapory i wybierz jej politykę zapory.

   2. Na stronie zasad zapory z lewej nawigacji dodaj reguły sieci i aplikacji. Na przykład wybierz pozycję Reguły sieci > Dodaj kolekcję reguł.

   3. W Regułydodaj regułę sieciową, w której podsieć będzie adresem źródłowym, i określ nazwę FQDN jako cel. Podobnie dodaj reguły aplikacji.

      1. Musisz dodać podane tutaj reguły ruchu wychodzącego . Zapoznaj się z tym dokumentem, aby dodać reguły aplikacji i sieci, które umożliwią przepływ ruchu potrzebnego do działania klastra. (Serwer API AKS musi zostać dodany po utworzeniu puli klastrów, ponieważ można go uzyskać dopiero po utworzeniu tej puli).
      2. Możesz również dodać prywatne punkty końcowe dla wszelkich zasobów zależnych w tej samej podsieci, aby klaster mógł uzyskać do nich dostęp (na przykład — magazyn).

   4. Wybierz pozycję Dodaj.

5. Sprawdź, czy utworzono publiczny adres IP

Po ustawieniu reguł zapory można wybrać podsieć podczas tworzenia puli klastrów.

Po utworzeniu puli klastrów widać w grupie MC, że nie utworzono publicznego adresu IP.

Ważny

Przed utworzeniem klastra w ramach konfiguracji puli klastrów z użyciem ścieżki Outbound with userDefinedRouting ruchu wychodzącego, trzeba nadać klastrowi AKS — który odpowiada puli klastrów — rolę Network Contributor w zasobach sieciowych wykorzystywanych do definiowania routingu, takich jak sieć wirtualna, tabela tras i grupa zabezpieczeń sieciowych (jeśli jest używana). Dowiedz się więcej o tym, jak przypisać rolę tutaj

Notatka

Podczas wdrażania puli klastrów ze ścieżką wychodzącą UDR i prywatnym klastrem wejściowym, usługa HDInsight w usłudze AKS automatycznie utworzy prywatną strefę DNS i zamapuje wpisy w celu rozpoznania FQDN na potrzeby uzyskiwania dostępu do klastra.

Tworzenie puli klastrów za pomocą prywatnej usługi AKS

W przypadku prywatnej usługi AKS płaszczyzna kontrolna lub serwer interfejsu API ma wewnętrzne adresy IP zdefiniowane w dokumencie RFC1918 - Alokacja Adresów dla Prywatnego Internetu. Korzystając z tej opcji prywatnej usługi AKS, możesz zapewnić, że ruch sieciowy między serwerem interfejsu API a klastrami obciążeń HDInsight na AKS pozostaje wyłącznie w sieci prywatnej.

Podczas udostępniania prywatnego klastra AKS, usługa AKS domyślnie tworzy prywatny FQDN z prywatną strefą DNS oraz dodatkowy publiczny FQDN z odpowiednim rekordem A w publicznym systemie DNS platformy Azure. Węzły agenta nadal używają rekordu w prywatnej strefie DNS, aby rozpoznać prywatny adres IP prywatnego punktu końcowego na potrzeby komunikacji z serwerem interfejsu API.

Ponieważ HDInsight na AKS automatycznie wstawi rekord do prywatnej strefy DNS w ramach utworzonej przez HDInsight na AKS grupy zarządzanej, dla prywatnego dostępu przychodzącego.

Klastry z prywatnym dostępem

Podczas tworzenia klastra HDInsight na platformie AKS, posiada on publiczny FQDN oraz adres IP, do którego każdy może uzyskać dostęp. Dzięki funkcji prywatnego wejścia sieciowego możesz upewnić się, że tylko twoja sieć prywatna może wysyłać i odbierać dane między klientem a HDInsight w klastrze AKS.

Notatka

Dzięki tej funkcji usługa HDInsight w usłudze AKS automatycznie utworzy rekordy A w prywatnej strefie DNS dla ruchu przychodzącego.

Ta funkcja uniemożliwia publiczny dostęp do Internetu do klastra. Klaster otrzymuje wewnętrzny program równoważenia obciążenia i prywatny adres IP. Usługa HDInsight w usłudze AKS używa prywatnej strefy DNS, którą utworzyła pula klastrów, do połączenia wirtualnej sieci klastra i do rozpoznawania nazw.

Każdy klaster prywatny zawiera dwie nazwy FQDN: publiczną nazwę FQDN i prywatną nazwę FQDN.

Publiczna nazwa FQDN: {clusterName}.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net

Publiczna nazwa FQDN może być rozpoznawana tylko jako nazwa CNAME z poddomeną, dlatego musi być używana z poprawnym Private DNS zone setting, aby upewnić się, że można ostatecznie rozwiązać nazwę FQDN do poprawnego prywatnego adresu IP.

Prywatna strefa DNS powinna być w stanie rozwiązać prywatny FQDN na adres IP - (privatelink.{clusterPoolName}.{subscriptionId}).

Notatka

Usługa HDInsight w usłudze AKS tworzy prywatną strefę DNS w puli klastrów, sieci wirtualnej. Jeśli aplikacje klienckie znajdują się w tej samej sieci wirtualnej, nie musisz ponownie konfigurować prywatnej strefy DNS. Jeśli używasz aplikacji klienckiej w innej sieci wirtualnej, konieczne jest zastosowanie równoległego połączenia sieci wirtualnych i powiązanie ze strefą DNS w sieci wirtualnej puli klastrów lub użycie prywatnych punktów końcowych w sieci wirtualnej i prywatnych stref DNS, aby dodać rekord A do prywatnego adresu IP punktu końcowego.

Prywatna nazwa FQDN: {clusterName}.privatelink.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net

Prywatna nazwa FQDN zostanie przypisana tylko do klastrów z włączonym prywatnym wejściem. Jest to rekord A w prywatnej strefie DNS rozpoznawany jako prywatny adres IP klastra.

Odniesienie

• pl-PL: Jak rozpocząć pracę z klastrami prywatnymi usługi HDInsight działającymi na AKS w celu zabezpieczania obciążeń analitycznych.

• routowanie ruchu wirtualnej sieci platformy Azure.

• Peering sieci wirtualnych Azure.

• Ruch wychodzący w HDInsight na AKS — Azure HDInsight na AKS

• Reguły Sieci Wychodzącej i Reguły FQDN dla Klastrów Usługi Azure Kubernetes Service (AKS) — Azure Kubernetes Service.