Openbare eindpuntconnectiviteit voor virtuele machines met behulp van Azure Standard Load Balancer in SCENARIO's met hoge beschikbaarheid van SAP

Het bereik van dit artikel is het beschrijven van configuraties waarmee uitgaande connectiviteit met openbare eindpunten mogelijk wordt gemaakt. De configuraties zijn voornamelijk in de context van hoge beschikbaarheid met Pacemaker voor SUSE / RHEL.

Als u Pacemaker gebruikt met de Azure Fence-agent in uw oplossing voor hoge beschikbaarheid, moeten de VM's uitgaande connectiviteit hebben met de Azure Management-API. In het artikel vindt u verschillende opties waarmee u de optie kunt selecteren die het meest geschikt is voor uw scenario.

Overzicht

Bij het implementeren van hoge beschikbaarheid voor SAP-oplossingen via clustering is een van de benodigde onderdelen Azure Load Balancer. Azure biedt twee load balancer-SKU's: standard en basic.

Standard Azure Load Balancer biedt enkele voordelen ten opzichte van de Basic-load balancer. Het werkt bijvoorbeeld tussen Azure-beschikbaarheidszones, het heeft betere bewakings- en logboekmogelijkheden voor eenvoudigere probleemoplossing, verminderde latentie. De functie HA-poorten omvat alle poorten, dat wil gezegd, het is niet meer nodig om alle afzonderlijke poorten weer te geven.

Er zijn enkele belangrijke verschillen tussen de basis- en standaard-SKU van Azure Load Balancer. Een daarvan is het verwerken van uitgaand verkeer naar een openbaar eindpunt. Zie de vergelijking van Load Balancer SKU's voor een volledige vergelijking van Basic- versus Standard-SKU's.

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van interne (geen openbaar IP-adres) Standard Azure Load Balancer, is er geen uitgaande connectiviteit met openbare eindpunten, tenzij er aanvullende configuratie wordt uitgevoerd.

Als aan een virtuele machine een openbaar IP-adres is toegewezen of als de VIRTUELE machine zich in de back-endpool van een load balancer bevindt met een openbaar IP-adres, heeft deze uitgaande connectiviteit met openbare eindpunten.

SAP-systemen bevatten vaak gevoelige bedrijfsgegevens. Het is zelden acceptabel dat VM's die SAP-systemen hosten, toegankelijk zijn via openbare IP-adressen. Tegelijkertijd zijn er scenario's die uitgaande connectiviteit van de VIRTUELE machine naar openbare eindpunten vereisen.

Voorbeelden van scenario's waarbij toegang tot het openbare Azure-eindpunt is vereist, zijn:

• Azure Fence Agent vereist toegang tot management.azure.com en login.microsoftonline.com
• Azure Backup
• Azure Site Recovery
• Openbare opslagplaats gebruiken voor het patchen van het besturingssysteem
• Voor de SAP-toepassingsgegevensstroom is mogelijk uitgaande connectiviteit met een openbaar eindpunt vereist

Als uw SAP-implementatie geen uitgaande connectiviteit met openbare eindpunten vereist, hoeft u de aanvullende configuratie niet te implementeren. Het is voldoende om interne standaard-SKU Azure Load Balancer te maken voor uw scenario met hoge beschikbaarheid, ervan uitgaande dat er ook geen binnenkomende connectiviteit vanaf openbare eindpunten nodig is.

Notitie

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van interne (geen openbaar IP-adres) Standard Azure Load Balancer, is er geen uitgaande internetverbinding, tenzij er aanvullende configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan.
Als de VM's openbare IP-adressen hebben of zich al in de back-endpool van Azure Load balancer bevinden met een openbaar IP-adres, heeft de virtuele machine al uitgaande connectiviteit met openbare eindpunten.

Lees eerst de volgende documenten:

• Azure Standard Load Balancer
  • Overzicht van Azure Standard Load Balancer : uitgebreid overzicht van Azure Standard Load Balancer, belangrijke principes, concepten en zelfstudies
  • Uitgaande verbindingen in Azure : scenario's voor het bereiken van uitgaande connectiviteit in Azure
  • Uitgaande regels voor load balancer- legt de concepten van uitgaande regels van load balancer uit en hoe u uitgaande regels maakt
• Azure Firewall
  • Overzicht van Azure Firewall- overzicht van Azure Firewall
  • Zelfstudie: Azure Firewall implementeren en configureren - instructies voor het configureren van Azure Firewall via Azure Portal
• Virtuele netwerken -User gedefinieerde regels - Azure-routeringsconcepten en -regels
• Servicetags voor beveiligingsgroepen : het vereenvoudigen van uw netwerkbeveiligingsgroepen en firewallconfiguratie met servicetags

Optie 1: Extra externe Azure Standard Load Balancer voor uitgaande verbindingen met internet

Een optie om uitgaande connectiviteit met openbare eindpunten te bereiken, zonder binnenkomende connectiviteit met de VIRTUELE machine vanaf een openbaar eindpunt toe te staan, is door een tweede load balancer te maken met een openbaar IP-adres, de VM's toe te voegen aan de back-endpool van de tweede load balancer en alleen uitgaande regels te definiëren.
Gebruik netwerkbeveiligingsgroepen om de openbare eindpunten te beheren die toegankelijk zijn voor uitgaande aanroepen van de virtuele machine.
Zie Scenario 2 in document Uitgaande verbindingen voor meer informatie.
De configuratie ziet er als volgt uit:

Belangrijke overwegingen

• U kunt één extra openbare load balancer gebruiken voor meerdere VM's in hetzelfde subnet om uitgaande connectiviteit met een openbaar eindpunt te bereiken en kosten te optimaliseren
• Gebruik netwerkbeveiligingsgroepen om te bepalen welke openbare eindpunten toegankelijk zijn vanaf de VM's. U kunt de netwerkbeveiligingsgroep toewijzen aan het subnet of aan elke virtuele machine. Gebruik waar mogelijk servicetags om de complexiteit van de beveiligingsregels te verminderen.
• Azure Standard Load Balancer met openbaar IP-adres en uitgaande regels biedt directe toegang tot een openbaar eindpunt. Als u bedrijfsbeveiligingsvereisten hebt om al het uitgaande verkeer via gecentraliseerde bedrijfsoplossing te laten passeren voor controle en logboekregistratie, kunt u mogelijk niet voldoen aan de vereiste met dit scenario.

Hint

Gebruik waar mogelijk servicetags om de complexiteit van de netwerkbeveiligingsgroep te verminderen.

Installatiestappen

1. Load Balancer maken

   1. Klik in Azure Portal op Alle resources, Toevoegen en zoek vervolgens naar Load Balancer
   2. Klik op Maken
   3. Naam van Load Balancer MyPublicILB
   4. Openbaar selecteren als een type, standaard als SKU
   5. Selecteer Openbaar IP-adres maken en geef op als een naam MyPublicILBFrondEndIP
   6. Selecteer Zone Redundant als beschikbaarheidszone
   7. Klik op Controleren en maken en klik vervolgens op Maken

2. Maak Back-endpool MyBackendPoolOfPublicILB en voeg de VM's toe.

   1. Het virtuele netwerk selecteren
   2. Selecteer de VM's en hun IP-adressen en voeg ze toe aan de back-endpool

3. Regels voor uitgaand verkeer maken.

    az network lb outbound-rule create --address-pool MyBackendPoolOfPublicILB --frontend-ip-configs MyPublicILBFrondEndIP --idle-timeout 30 --lb-name MyPublicILB --name MyOutBoundRules  --outbound-ports 10000 --enable-tcp-reset true --protocol All --resource-group MyResourceGroup
   
   

4. Maak regels voor netwerkbeveiligingsgroepen om de toegang tot specifieke openbare eindpunten te beperken. Als er een bestaande netwerkbeveiligingsgroep is, kunt u deze aanpassen. In het onderstaande voorbeeld ziet u hoe u toegang tot de Azure Management-API inschakelt:

   1. Navigeer naar de netwerkbeveiligingsgroep
   2. Klik op Uitgaande beveiligingsregels
   3. Voeg een regel toe om alle uitgaande toegang tot internet te weigeren.
   4. Voeg een regel toe om toegang tot AzureCloudtoe te staan, met prioriteit lager dan de prioriteit van de regel om alle internettoegang te weigeren.

   De uitgaande beveiligingsregels zien er als volgt uit:

   

   Zie Beveiligingsgroepen voor meer informatie over Azure-netwerkbeveiligingsgroepen.

Optie 2: Azure Firewall voor uitgaande verbindingen met internet

Een andere optie om uitgaande connectiviteit met openbare eindpunten te bereiken, zonder binnenkomende connectiviteit met de VIRTUELE machine vanaf openbare eindpunten toe te staan, is met Azure Firewall. Azure Firewall is een beheerde service, met ingebouwde hoge beschikbaarheid en kan meerdere beschikbaarheidszones omvatten.
U moet ook door de gebruiker gedefinieerde route implementeren die is gekoppeld aan het subnet waar VM's en de Azure-load balancer worden geïmplementeerd, die verwijst naar de Azure-firewall, om verkeer via de Azure Firewall te routeren.
Zie Azure Firewall implementeren en configureren voor meer informatie over het implementeren van Azure Firewall.

De architectuur ziet er als volgt uit:

Belangrijke overwegingen

• Azure Firewall is systeemeigen cloudservice, met ingebouwde hoge beschikbaarheid en biedt ondersteuning voor zonegebonden implementatie.
• Vereist extra subnet met de naam AzureFirewallSubnet.
• Als het overdragen van grote gegevenssets vanuit het virtuele netwerk waar de SAP-VM's zich bevinden naar een virtuele machine in een ander virtueel netwerk of naar een openbaar eindpunt, kan dit wellicht geen kosteneffectieve oplossing zijn. Een voorbeeld hiervan is het kopiëren van grote back-ups in virtuele netwerken. Zie prijzen voor Azure Firewall voor meer informatie.
• Als de bedrijfsfirewalloplossing niet Azure Firewall is en u beveiligingsvereisten hebt om al het uitgaande verkeer te laten passeren via gecentraliseerde bedrijfsoplossing, is deze oplossing mogelijk niet praktisch.

Hint

Gebruik waar mogelijk servicetags om de complexiteit van de Azure Firewall-regels te verminderen.

Installatiestappen

1. Bij de implementatiestappen wordt ervan uitgegaan dat u al een virtueel netwerk en subnet hebt gedefinieerd voor uw VM's.

2. Maak subnet AzureFirewallSubnet in hetzelfde virtuele netwerk, waar de VMS en de Standard Load Balancer worden geïmplementeerd.

   1. Navigeer in Azure Portal naar het virtuele netwerk: klik op Alle resources, zoek naar het virtuele netwerk, klik op het virtuele netwerk en selecteer subnetten.
   2. Klik op Subnet toevoegen. Voer AzureFirewallSubnet in als naam. Voer het juiste adresbereik in. Opslaan.

3. Azure Firewall maken.

   1. Selecteer alle resources in Azure Portal, klik op Toevoegen, Firewall, Maken. Selecteer Resourcegroep (selecteer dezelfde resourcegroep, waarbij het virtuele netwerk zich bevindt).
   2. Voer de naam in voor de Azure Firewall-resource. Bijvoorbeeld MyAzureFirewall.
   3. Selecteer Regio en selecteer ten minste twee beschikbaarheidszones, afgestemd op de beschikbaarheidszones waar uw VM's worden geïmplementeerd.
   4. Selecteer uw virtuele netwerk, waarbij de SAP-VM's en Azure Standard Load Balancer worden geïmplementeerd.
   5. Openbaar IP-adres: klik op Maken en voer een naam in. Bijvoorbeeld MyFirewallPublicIP.

4. Maak een Azure Firewall-regel om uitgaande connectiviteit met opgegeven openbare eindpunten toe te staan. In het voorbeeld ziet u hoe u toegang tot het openbare eindpunt van de Azure Management-API toestaat.

   1. Selecteer Regels, Netwerkregelverzameling en klik vervolgens op Verzameling netwerkregels toevoegen.
   2. Naam: MyOutboundRule, voer Prioriteit in, Selecteer Actie toestaan.
   3. Service: Naam ToAzureAPI. Protocol: Selecteer Een van deze. Bronadres: voer het bereik voor uw subnet in, waarbij de VM's en Standard Load Balancer bijvoorbeeld worden geïmplementeerd: 11.97.0.0/24. Doelpoorten: voer in *.
   4. Opslaan
   5. Aangezien u nog steeds op de Azure Firewall bent, selecteert u Overzicht. Noteer het privé-IP-adres van de Azure Firewall.

5. Route maken naar Azure Firewall

   1. Selecteer alle resources in Azure Portal en klik vervolgens op Toevoegen, Routetabel, Maken.
   2. Voer De naam MyRouteTable in, selecteer Abonnement, Resourcegroep en Locatie (overeenkomend met de locatie van uw virtuele netwerk en firewall).
   3. Opslaan

   De firewallregel ziet er als volgt

6. Maak door de gebruiker gedefinieerde route van het subnet van uw VM's naar het privé-IP-adres van MyAzureFirewall.

   1. Wanneer u in de routetabel bent geplaatst, klikt u op Routes. Selecteer Toevoegen.
   2. Routenaam: ToMyAzureFirewall, adresvoorvoegsel: 0.0.0.0/0. Volgend hoptype: Selecteer Virtueel apparaat. Volgend hopadres: voer het privé-IP-adres in van de firewall die u hebt geconfigureerd: 11.97.1.4.
   3. Opslaan

Optie 3: Proxy gebruiken voor Pacemaker-aanroepen naar Azure Management API

U kunt proxy gebruiken om Pacemaker-aanroepen naar het openbare eindpunt van de Azure Management API toe te staan.

Belangrijke overwegingen

• Als er al een bedrijfsproxy aanwezig is, kunt u uitgaande aanroepen doorsturen naar openbare eindpunten. Uitgaande oproepen naar openbare eindpunten lopen via het bedrijfsbeheerpunt.
• Zorg ervoor dat de proxyconfiguratie uitgaande connectiviteit met de Azure Management-API toestaat: https://management.azure.com en https://login.microsoftonline.com
• Zorg ervoor dat er een route van de VM's naar de proxy is
• Proxy verwerkt alleen HTTP/HTTPS-aanroepen. Als er extra behoefte is aan uitgaande aanroepen naar een openbaar eindpunt via verschillende protocollen (zoals RFC), is er een alternatieve oplossing nodig
• De proxyoplossing moet maximaal beschikbaar zijn om instabiliteit in het Pacemaker-cluster te voorkomen
• Afhankelijk van de locatie van de proxy kan dit leiden tot extra latentie in de aanroepen van de Azure Fence-agent naar de Azure Management-API. Als uw bedrijfsproxy zich nog steeds on-premises bevindt, terwijl uw Pacemaker-cluster zich in Azure bevindt, meet latentie en overweeg, als deze oplossing geschikt is voor u
• Als er nog geen zeer beschikbare bedrijfsproxy bestaat, raden we deze optie niet aan, omdat de klant extra kosten en complexiteit met zich mee zou brengen. Als u echter besluit om een extra proxyoplossing te implementeren om uitgaande connectiviteit van Pacemaker naar de openbare API van Azure Management mogelijk te maken, moet u ervoor zorgen dat de proxy hoog beschikbaar is en dat de latentie van de virtuele machines naar de proxy laag is.

Pacemaker-configuratie met proxy

Er zijn veel verschillende proxyopties beschikbaar in de branche. Stapsgewijze instructies voor de proxy-implementatie vallen buiten het bereik van dit document. In het onderstaande voorbeeld wordt ervan uitgegaan dat uw proxy reageert op MyProxyService en luistert naar poort MyProxyPort.
Voer de volgende stappen uit op alle clusterknooppunten om pacemaker te laten communiceren met de Azure Management-API:

1. Bewerk het pacemaker-configuratiebestand /etc/sysconfig/pacemaker en voeg de volgende regels toe (alle clusterknooppunten):

   sudo vi /etc/sysconfig/pacemaker
   # Add the following lines
   http_proxy=http://MyProxyService:MyProxyPort
   https_proxy=http://MyProxyService:MyProxyPort
   

2. Start de pacemaker-service opnieuw op alle clusterknooppunten.

• SUSE

  # Place the cluster in maintenance mode
  sudo crm configure property maintenance-mode=true
  #Restart on all nodes
  sudo systemctl restart pacemaker
  # Take the cluster out of maintenance mode
  sudo crm configure property maintenance-mode=false
  

• Red Hat

  # Place the cluster in maintenance mode
  sudo pcs property set maintenance-mode=true
  #Restart on all nodes
  sudo systemctl restart pacemaker
  # Take the cluster out of maintenance mode
  sudo pcs property set maintenance-mode=false
  

Andere opties

Als uitgaand verkeer wordt gerouteerd via een externe, op URL gebaseerde firewallproxy:

• als u de Azure Fence-agent gebruikt, moet u ervoor zorgen dat de firewallconfiguratie uitgaande connectiviteit met de Azure Management-API toestaat: https://management.azure.com en https://login.microsoftonline.com
• Als u de update-infrastructuur voor de openbare Azure-cloud van SUSE gebruikt voor het toepassen van updates en patches, raadpleegt u Azure Public Cloud Update Infrastructure 101

Volgende stappen

• Meer informatie over het configureren van Pacemaker in SUSE in Azure
• Meer informatie over het configureren van Pacemaker in Red Hat in Azure