Delen via

Netwerkverkeer beheren vanuit HDInsight in AKS-clustergroepen en -clusters

  • Artikel

Belangrijk

Azure HDInsight op AKS is op 31 januari 2025 buiten gebruik gesteld. Meer informatie via deze aankondiging.

U moet uw workloads migreren naar Microsoft Fabric- of een gelijkwaardig Azure-product om plotselinge beëindiging van uw workloads te voorkomen.

Belangrijk

Deze functie is momenteel beschikbaar als preview-versie. De aanvullende gebruiksvoorwaarden voor Microsoft Azure Previews meer juridische voorwaarden bevatten die van toepassing zijn op Azure-functies die bèta, in preview of anderszins nog niet in algemene beschikbaarheid zijn vrijgegeven. Zie Azure HDInsight op AKS preview-informatievoor meer informatie over deze specifieke preview. Voor vragen of suggesties voor functies dient u een aanvraag in op AskHDInsight- met de details en volgt u ons voor meer updates over Azure HDInsight Community-.

HDInsight in AKS is een beheerd PaaS (Platform as a Service) dat wordt uitgevoerd op Azure Kubernetes Service (AKS). Met HDInsight op AKS kunt u populaire Open-Source Analytics-workloads zoals Apache Spark™, Apache Flink®️ en Trino implementeren zonder de overhead van het beheren en bewaken van containers.

HdInsight op AKS-clusters staat standaard uitgaande netwerkverbindingen van clusters naar een bestemming toe als de bestemming bereikbaar is vanaf de netwerkinterface van het knooppunt. Dit betekent dat clusterbronnen toegang hebben tot elk openbaar of privé IP-adres, domeinnaam of URL op internet of in uw virtuele netwerk.

In sommige scenario's wilt u echter het uitgaand verkeer van uw cluster controleren of beperken om beveiligingsredenen, nalevingsredenen.

U kunt bijvoorbeeld het volgende doen:

  • Voorkom dat clusters toegang hebben tot schadelijke of ongewenste services.

  • Netwerkbeleid of firewallregels afdwingen voor uitgaand verkeer.

  • Bewaak of controleer het uitgaand verkeer van het cluster voor probleemoplossing of nalevingsdoeleinden.

Methoden en hulpprogramma's voor het beheren van uitgaand verkeer

U hebt verschillende opties en hulpprogramma's voor het beheren van de manier waarop uitgaand verkeer vanuit HDInsight op AKS-clusters stroomt. U kunt een aantal hiervan instellen op clustergroepniveau en andere op clusterniveau.

  • Uitgaand met load balancer. Wanneer u een clustergroep met dit uitgaande pad implementeert, wordt een openbaar IP-adres ingericht en toegewezen aan de load balancer-resource. Er is geen aangepast virtueel netwerk (VNET) vereist; het wordt echter ten zeerste aanbevolen. U kunt Azure Firewall of netwerkbeveiligingsgroepen (NSG's) in het aangepaste VNET gebruiken om het verkeer te beheren dat het netwerk verlaat.

  • Uitgaand met routering die door de gebruiker is gedefinieerd. Wanneer u een clustergroep met dit uitgaand pad implementeert, kan de gebruiker het uitgaand verkeer op subnetniveau beheren met behulp van Azure Firewall/NAT Gateway en aangepaste routetabellen. Deze optie is alleen beschikbaar wanneer u een aangepast VNET gebruikt.

  • Privé AKS inschakelen. Wanneer u privé-AKS inschakelt in uw clustergroep, wordt aan de AKS-API-server een intern IP-adres toegewezen en is deze niet openbaar toegankelijk. Het netwerkverkeer tussen de AKS-API-server en de HDInsight op AKS-knooppuntgroepen (clusters) blijft in het privénetwerk.

  • Privé-toegangsbeheercluster. Wanneer u een cluster implementeert met de privé-inkomstoptie ingeschakeld, zal er geen openbaar IP-adres worden aangemaakt en is het cluster alleen toegankelijk voor clients binnen hetzelfde virtuele netwerk (VNET). U moet uw eigen NAT-oplossing, zoals een NAT-gateway of een NAT van uw firewall, opgeven voor verbinding met openbare, uitgaande HDInsight-verbindingen voor AKS-afhankelijkheden.

In de volgende secties beschrijven we elke methode in detail.

Uitgaand met load balancer

De load balancer wordt gebruikt voor uitgaand verkeer via een HDInsight op een openbaar IP-adres van AKS. Wanneer u het uitgaande type load balancer in uw clustergroep configureert, kunt u uitgaand verkeer verwachten van de load balancer die is gemaakt door HDInsight in AKS.

U kunt de uitgaande configuratie met load balancer configureren met behulp van Azure Portal.

schermopname van de netwerkinstelling van de clustergroep.

Zodra u voor deze configuratie hebt gekozen, wordt in HDInsight in AKS automatisch een openbaar IP-adres gemaakt dat is ingericht voor uitgaand clusterverkeer & toegewezen aan de load balancer-resource.

Een openbaar IP-adres dat is gemaakt door HDInsight in AKS en het is een door AKS beheerde resource, wat betekent dat AKS de levenscyclus van dat openbare IP-adres beheert en geen gebruikersactie rechtstreeks op de openbare IP-resource vereist.

Wanneer clusters worden gemaakt, worden bepaalde openbare IP-adressen voor inkomend verkeer ook gemaakt.

Als u wilt toestaan dat aanvragen naar het cluster worden verzonden, moet u het verkeer toestaan. U kunt ook bepaalde regels configureren in de NSG om een grofmazige controle uit te voeren.

Uitgaand met gebruikersgedefinieerde routering

Notitie

Het userDefinedRouting-uitgaande type is een geavanceerd netwerkscenario en vereist de juiste netwerkconfiguratie voordat u begint.
Het wijzigen van het uitgaande type na het maken van een clusterpool wordt niet ondersteund.

Als userDefinedRouting is ingesteld, configureert HDInsight in AKS niet automatisch uitgaande paden. De configuratie voor uitgaand verkeer moet door de gebruiker worden uitgevoerd.

schermopname met door de gebruiker gedefinieerde routering.

U moet de HDInsight op een AKS-cluster implementeren in een bestaand virtueel netwerk met een subnet dat eerder is geconfigureerd, en u moet expliciet uitgaand verkeer configureren.

Voor deze architectuur moet uitgaand verkeer expliciet worden verzonden naar een apparaat, zoals een firewall, gateway of proxy, zodat een openbaar IP-adres dat is toegewezen aan de standaard load balancer of het apparaat de NAT (Network Address Translation) kan verwerken.

HDInsight in AKS configureert geen uitgaand openbaar IP-adres of regels voor uitgaand verkeer, in tegenstelling tot de uitgaande clusters met een load balancer, zoals hierboven beschreven. Uw UDR is de enige bron voor uitgaand verkeer.

Voor inkomend verkeer moet u volgens de vereisten kiezen voor een privécluster (voor het beveiligen van verkeer op het AKS-besturingsvlak/API-server) en de privétoegangsoptie selecteren die beschikbaar is op elk van de clustervormen om verkeer via een openbare of interne load balancer te laten verlopen.

Clustergroep maken voor uitgaand verkeer met userDefinedRouting

Wanneer u HDInsight in AKS-clustergroepen gebruikt en userDefinedRouting (UDR) als uitgangspunt kiest, is er geen standaard load balancer ingericht. U moet de firewallregels voor de uitgaande resources instellen voordat userDefinedRouting kan functioneren.

Belangrijk

UDR-uitgaand pad heeft een route nodig voor 0.0.0.0/0 en een volgende hopbestemming van uw firewall of NVA in de routetabel. De routetabel heeft al een standaardwaarde 0.0.0.0/0 op internet. U kunt geen uitgaande internetverbinding krijgen door alleen deze route toe te voegen, omdat Azure een openbaar IP-adres voor SNAT nodig heeft. AKS controleert of u geen route 0.0.0.0/0 maakt die verwijst naar internet, maar naar een gateway, NVA, enzovoort. Wanneer u UDR gebruikt, wordt er alleen een openbaar IP-adres van een load balancer voor binnenkomende aanvragen gemaakt als u een service van het type loadbalancer configureert. HDInsight op AKS maakt nooit een openbaar IP-adres voor uitgaande aanvragen wanneer u een uitgaand UDR-pad gebruikt.

Schermopname met ingeschakelde privé-AKS.

Met de volgende stappen begrijpt u hoe u het uitgaande verkeer van uw HDInsight op AKS-service kunt vergrendelen naar back-end Azure-resources of andere netwerkbronnen met Azure Firewall. Deze configuratie helpt bij het voorkomen van gegevensexfiltratie of het risico van schadelijke programma-implantatie.

Met Azure Firewall kunt u uitgaand verkeer op een veel gedetailleerder niveau beheren en verkeer filteren op basis van realtime bedreigingsinformatie van Microsoft Cyber Security. U kunt beleid voor toepassings- en netwerkconnectiviteit centraal maken, afdwingen en registreren voor abonnementen en virtuele netwerken.

Hieronder volgt een voorbeeld van het instellen van firewallregels en het testen van uw uitgaande verbindingen

Hier volgt een voorbeeld van het configureren van firewallregels en het controleren van uw uitgaande verbindingen.

  1. Het vereiste firewallsubnet maken

    Als u een firewall wilt implementeren in het geïntegreerde virtuele netwerk, hebt u een subnet nodig met de naam AzureFirewallSubnet of de naam van uw keuze.

    1. Navigeer in Azure Portal naar het virtuele netwerk dat is geïntegreerd met uw app.

    2. Selecteer in het linkernavigatievenster Subnetten > + Subnet.

    3. Typ in de Name, AzureFirewallSubnet.

    4. subnetadresbereik, accepteer de standaardinstelling of geef een bereik op dat ten minste een grootte van /26 heeft.

    5. Selecteer opslaan.

  2. De firewall implementeren en het IP-adres ophalen

    1. Selecteer in het menu van de Azure portal of op de startpaginaEen resource maken.

    2. Typ firewall in het zoekvak en druk op Enter-.

    3. Selecteer Firewall- en selecteer vervolgens Maken.

    4. Op de pagina Een firewall maken configureer de firewall zoals weergegeven in de volgende tabel:

      Instelling Waarde
      Resourcegroep Dezelfde resourcegroep als het geïntegreerde virtuele netwerk.
      Naam Naam van uw keuze
      Regio Dezelfde regio als het geïntegreerde virtuele netwerk.
      Firewallbeleid Maak er een door nieuwe toevoegen te selecteren.
      Virtueel netwerk Selecteer het geïntegreerde virtuele netwerk.
      Openbaar IP-adres Selecteer een bestaand adres of maak er een door nieuwe toevoegen te selecteren.

      schermopname van het tabblad Basis van een firewall maken.

    5. Klik Review en maken.

    6. Selecteer Opnieuw maken. Het duurt enkele minuten voordat dit proces is geïmplementeerd.

    7. Nadat de implementatie is voltooid, gaat u naar uw resourcegroep en selecteert u de firewall.

    8. Kopieer het privé-IP-adres op de pagina Overzicht van de firewall. Het privé-IP-adres wordt gebruikt als volgend hopadres in de routeringsregel voor het virtuele netwerk.

      Schermopname waarin wordt getoond hoe u een firewall instelt.

  3. Al het verkeer naar de firewall routeren

    Wanneer u een virtueel netwerk maakt, maakt Azure automatisch een standaardroutetabel voor elk van de bijbehorende subnetten en voegt systeem-standaardroutes toe aan de tabel. In deze stap maakt u een door de gebruiker gedefinieerde routetabel die al het verkeer naar de firewall routeert en deze vervolgens koppelt aan het App Service-subnet in het geïntegreerde virtuele netwerk.

    1. Selecteer in het menu van het Azure-portaal de optie Alle services, of zoek en selecteer vanaf een willekeurige pagina Alle services.

    2. Selecteer onder netwerkende routetabellen.

    3. Selecteer toevoegen.

    4. Configureer de routetabel zoals in het volgende voorbeeld:

      Schermopname waarin wordt getoond hoe u een routetabel maakt.

      Zorg ervoor dat u dezelfde regio selecteert als de firewall die u hebt gemaakt.

    5. Selecteer Beoordelen enmaken.

    6. Selecteer Maak.

    7. Nadat de implementatie is voltooid, selecteert u Ga naar de resource.

    8. Selecteer in de linkernavigatie Routes > toevoegen.

    9. Configureer de nieuwe route, zoals wordt weergegeven in de volgende tabel:

      Instelling Waarde
      Doeltype IP-adressen
      DOEL-IP-adressen/CIDR-bereiken 0.0.0.0/0
      Volgende hoptype Virtueel apparaat
      Adres van de volgende hop Het privé-IP-adres voor de firewall die u hebt gekopieerd

    10. Selecteer in het linkernavigatievenster Subnetten > Koppelen.

    11. Selecteer in Virtueel netwerkuw geïntegreerde virtuele netwerk.

    12. Selecteer in Subnethet HDInsight-subnet op AKS-subnet dat u wilt gebruiken.

      schermopname waarin wordt getoond hoe u subnet koppelt.

    13. Selecteer OK-.

  4. Firewallbeleid configureren

    Uitgaand verkeer van uw HDInsight op AKS-subnet wordt nu doorgestuurd via het geïntegreerde virtuele netwerk naar de firewall. Als u het uitgaande verkeer wilt beheren, voegt u een toepassingsregel toe aan het firewallbeleid.

    1. Navigeer naar de overzichtspagina van de firewall en selecteer het bijbehorende firewallbeleid.

    2. Voeg op de pagina firewallbeleid vanuit het linkernavigatievenster netwerk- en toepassingsregels toe. Selecteer bijvoorbeeld Netwerkregels > Een regelverzameling toevoegen.

    3. Voeg in regelseen netwerkregel toe met het subnet als bronadres en geef een FQDN-bestemming op. Voeg op dezelfde manier de toepassingsregels toe.

      1. U moet de regels voor uitgaand verkeer toevoegen, zoals hier gegeven. Raadpleeg dit document voor het toevoegen van applicatie- en netwerkregels om het verkeer toe te staan zodat het cluster kan functioneren. (AKS ApiServer moet worden toegevoegd nadat de clusterPool is gemaakt, omdat u de AKS ApiServer alleen kunt ophalen nadat u de clusterPool hebt gemaakt).
      2. U kunt ook de privé-eindpunten toevoegen voor alle afhankelijke resources in hetzelfde subnet, zodat het cluster toegang tot hen kan krijgen (bijvoorbeeld opslag).

    4. Selecteer toevoegen.

  5. Controleren of er een openbaar IP-adres is gemaakt

Als de firewallregels zijn ingesteld, kunt u het subnet selecteren tijdens het maken van de clustergroep.

schermopname die laat zien hoe u een IP-adres kunt verifiëren.

Zodra de clustergroep is gemaakt, kunt u zien in de MC-groep dat er geen openbaar IP-adres is gemaakt.

schermopname van de netwerklijst.

Belangrijk

Voordat u het cluster maakt in de opzet van de clustergroep met Outbound with userDefinedRouting uitgaand pad, moet u het AKS-cluster - dat overeenkomt met de clustergroep - de rol Network Contributor toekennen op uw netwerkbronnen die worden gebruikt voor het definiëren van de routering, zoals virtueel netwerk, routetabel en NSG (indien gebruikt). Meer informatie over het toewijzen van de rol hier

Notitie

Wanneer u een clusterpool implementeert met een UDR-uitgangspad en een privé-inkomend cluster, maakt HDInsight op AKS automatisch een privé-DNS-zone aan en koppelt de vermeldingen om de FQDN op te lossen voor toegang tot het cluster.

Clustergroep maken met privé-AKS

Met privé-AKS heeft het besturingsvlak of de API-server interne IP-adressen die zijn gedefinieerd in de RFC1918 - Adrestoewijzing voor privé-internetdocument. Met deze optie van privé-AKS kunt u ervoor zorgen dat netwerkverkeer tussen uw API-server en uw HDInsight op AKS-workloadclusters alleen in het privénetwerk blijft.

Schermopname van de ingeschakelde privé-AKS.

Wanneer u een privé-AKS-cluster inricht, maakt AKS standaard een privé-FQDN met een privé-DNS-zone en een extra openbare FQDN met een bijbehorende A-record in openbare AZURE DNS. De agentknooppunten blijven de record in de privé-DNS-zone gebruiken om het privé-IP-adres van het privé-eindpunt om te zetten voor communicatie met de API-server.

Omdat HDInsight op AKS de record automatisch invoegt in de privé-DNS-zone in de door HDInsight op AKS aangemaakte beheerde groep, voor privégebruik van inkomend verkeer.

Clusters met privé-toegang

Wanneer u een cluster met HDInsight in AKS maakt, heeft het een openbare FQDN en een IP-adres waartoe iedereen toegang heeft. Met de functie privé-inkomend verkeer kunt u ervoor zorgen dat alleen uw privénetwerk gegevens kan verzenden en ontvangen tussen de client en de HDInsight-cluster op AKS.

Schermopname van het tabblad Basiscluster maken.

Notitie

Met deze functie maakt HDInsight in AKS automatisch A-records in de privé-DNS-zone voor inkomend verkeer.

Met deze functie voorkomt u openbare internettoegang tot het cluster. Het cluster krijgt een interne load balancer en een privé-IP-adres. HDInsight in AKS maakt gebruik van de privé-DNS-zone die door de clustergroep is gemaakt om het virtuele clusternetwerk te verbinden en naamomzetting uit te voeren.

Elk privécluster bevat twee FQDN's: openbare FQDN en privé-FQDN.

Openbare FQDN: {clusterName}.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net

De openbare FQDN kan alleen worden omgezet in een CNAME met subdomein. Daarom moet deze worden gebruikt met de juiste Private DNS zone setting om ervoor te zorgen dat de FQDN eindelijk kan worden omgezet om het privé-IP-adres te corrigeren.

De privé-DNS-zone moet de privé-FQDN kunnen omzetten in een IP-(privatelink.{clusterPoolName}.{subscriptionId}).

Notitie

HDInsight in AKS maakt een privé-DNS-zone in de clustergroep, het virtuele netwerk. Als uw clienttoepassingen zich in hetzelfde virtuele netwerk bevinden, hoeft u de privé-DNS-zone niet opnieuw te configureren. Als u een clienttoepassing in een ander virtueel netwerk gebruikt, moet u peering gebruiken voor virtuele netwerken en verbinden met een privé-DNS-zone in het virtuele netwerk van de clustergroep of privé-eindpunten gebruiken in het virtuele netwerk en privé-DNS-zones om de A-record toe te voegen aan het privé-IP-adres van het privé-eindpunt.

Privé-FQDN: {clusterName}.privatelink.{clusterPoolName}.{subscriptionId}.{region}.hdinsightaks.net

De privé-FQDN wordt alleen toegewezen aan clusters waarvoor private ingress is ingeschakeld. Het is een A-RECORD in de privé-DNS-zone dat naar het privé-IP-adres van het cluster verwijst.

Referentie