Netwerkverkeer beheren in Azure HDInsight

Netwerkverkeer in een virtuele Azure-netwerken kan worden beheerd met behulp van de volgende methoden:

• Met netwerkbeveiligingsgroepen (NSG) kunt u binnenkomend en uitgaand verkeer naar het netwerk filteren. Zie het document Netwerkverkeer filteren met netwerkbeveiligingsgroepen voor meer informatie.

• Virtuele netwerkapparaten (NVA) kunnen alleen worden gebruikt met uitgaand verkeer. NVA's repliceren de functionaliteit van apparaten, zoals firewalls en routers. Zie het document Netwerkapparaten voor meer informatie.

Als beheerde service vereist HDInsight onbeperkte toegang tot de HDInsight-status- en beheerservices voor inkomend en uitgaand verkeer van het VNET. Wanneer u NSG's gebruikt, moet u ervoor zorgen dat deze services nog steeds kunnen communiceren met het HDInsight-cluster.

HDInsight met netwerkbeveiligingsgroepen

Als u van plan bent netwerkbeveiligingsgroepen te gebruiken om netwerkverkeer te beheren, moet u de volgende acties uitvoeren voordat u HDInsight installeert:

1. Identificeer de Azure-regio die u wilt gebruiken voor HDInsight.

2. Identificeer de servicetags die zijn vereist voor HDInsight voor uw regio. Er zijn meerdere manieren om deze servicetags te verkrijgen:

   1. Raadpleeg de lijst met gepubliceerde servicetags in NSG-servicetags (Network Security Group) voor Azure HDInsight.
   2. Als uw regio niet aanwezig is in de lijst, gebruikt u de Service Tag Discovery-API om een servicetag voor uw regio te vinden.
   3. Als u de API niet kunt gebruiken, downloadt u het JSON-bestand met de servicetag en zoekt u naar de gewenste regio.

3. Maak of wijzig de netwerkbeveiligingsgroepen voor het subnet waarnaar u HDInsight wilt installeren.

   • Netwerkbeveiligingsgroepen: inkomend verkeer toestaan op poort 443 vanaf de IP-adressen. Dit zorgt ervoor dat HDInsight-beheerservices het cluster van buiten het virtuele netwerk kunnen bereiken. Sta ook inkomend verkeer op poort 9400 toe voor clusters waarvoor Kafka REST-proxy is ingeschakeld. Dit zorgt ervoor dat de Kafka REST-proxyserver bereikbaar is.

Zie het overzicht van netwerkbeveiligingsgroepen voor meer informatie over netwerkbeveiligingsgroepen.

Uitgaand verkeer van HDInsight-clusters beheren

Zie Beperkingen voor uitgaand netwerkverkeer configureren voor Azure HDInsight-clusters voor meer informatie over het beheren van uitgaand verkeer van HDInsight-clusters.

Geforceerde tunneling naar on-premises

Geforceerde tunneling is een door de gebruiker gedefinieerde routeringsconfiguratie waarbij al het verkeer van een subnet wordt gedwongen naar een specifiek netwerk of een specifieke locatie, zoals uw on-premises netwerk of firewall. Geforceerde tunneling van alle gegevensoverdracht naar on-premises wordt niet aanbevolen vanwege grote hoeveelheden gegevensoverdracht en mogelijke invloed op de prestaties.

Klanten die geforceerde tunneling willen instellen, moeten aangepaste metastores gebruiken en de juiste connectiviteit instellen vanuit het clustersubnet of on-premises netwerk voor deze aangepaste metastores.

Zie De beperking voor uitgaand netwerkverkeer configureren voor Azure HDInsight-clusters voor een voorbeeld van de UDR die is ingesteld met Azure Firewall.

Vereiste poorten

Als u van plan bent een firewall te gebruiken en toegang te krijgen tot het cluster van buiten op bepaalde poorten, moet u mogelijk verkeer toestaan op die poorten die nodig zijn voor uw scenario. Standaard is er geen speciale filtering van poorten nodig zolang het Azure-beheerverkeer dat in de vorige sectie wordt uitgelegd, cluster mag bereiken op poort 443.

Zie de poorten die worden gebruikt door Apache Hadoop-services in HDInsight voor een lijst met poorten voor specifieke services.

Zie het scenariodocument voor virtuele apparaten voor meer informatie over firewallregels voor virtuele apparaten.

Volgende stappen

• Zie Virtuele netwerken maken voor Azure HDInsight-clusters voor codevoorbeelden en voorbeelden van het maken van virtuele Azure-netwerken.
• Zie HDInsight verbinden met een on-premises netwerk voor een end-to-end-voorbeeld van het configureren van HDInsight om verbinding te maken met een on-premises netwerk.
• Zie het overzicht van azure Virtual Network voor meer informatie over virtuele Azure-netwerken.
• Zie Netwerkbeveiligingsgroepen voor meer informatie over netwerkbeveiligingsgroepen.
• Zie Door de gebruiker gedefinieerde routes en doorsturen via IP voor meer informatie over door de gebruiker gedefinieerde routes.
• Zie VNET's plannen voor HDInsight voor meer informatie over virtuele netwerken.