Hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's in SUSE Linux Enterprise Server voor multi-SID-gids voor SAP-toepassingen

In dit artikel wordt beschreven hoe u meerdere maximaal beschikbare SAP NetWeaver- of S4HANA-systemen (met meerdere SID's) implementeert in een cluster met twee knooppunten op Azure-VM's met SUSE Linux Enterprise Server voor SAP-toepassingen.

In de voorbeeldconfiguraties worden installatieopdrachten enzovoort drie SAP NetWeaver 7.50-systemen geïmplementeerd in één cluster met twee knooppunten met hoge beschikbaarheid. De SAP-systemen-SID's zijn:

• NW1: ASCS-exemplaarnummer 00 en virtuele hostnaam msnw1ascs; ERS-exemplaarnummer 02 en virtuele hostnaam msnw1ers.
• NW2: ASCS-exemplaar nummer 10 en virtuele hostnaam msnw2ascs; ERS-instantienummer 12 en virtuele hostnaam msnw2ers.
• NW3: ASCS-exemplaar nummer 20 en virtuele hostnaam msnw3ascs; ERS-exemplaarnummer 22 en virtuele hostnaam msnw3ers.

Het artikel heeft geen betrekking op de databaselaag en de implementatie van de SAP NFS-shares. In de voorbeelden in dit artikel gebruiken we virtuele namen nw2-nfs voor de NW2 NFS-shares en nw3-nfs voor de NW3 NFS-shares, ervan uitgaande dat het NFS-cluster is geïmplementeerd.

Raadpleeg eerst de volgende SAP-notities en -documenten voordat u begint:

• SAP-notitie 1928533, met:
  • Lijst met Azure VM-grootten die worden ondersteund voor de implementatie van SAP-software
  • Belangrijke capaciteitsinformatie voor Azure VM-grootten
  • Ondersteunde SAP-software en besturingssysteemcombinaties (OS) en databasecombinaties
  • Vereiste SAP-kernelversie voor Windows en Linux in Microsoft Azure
• SAP Note 2015553 bevat vereisten voor SAP-ondersteunde SAP-software-implementaties in Azure.
• SAP Note 2205917 heeft aanbevolen besturingssysteeminstellingen voor SUSE Linux Enterprise Server voor SAP-toepassingen
• SAP-opmerking 1944799 heeft SAP HANA-richtlijnen voor SUSE Linux Enterprise Server voor SAP-toepassingen
• SAP Note 2178632 bevat gedetailleerde informatie over alle metrische bewakingsgegevens die zijn gerapporteerd voor SAP in Azure.
• SAP-opmerking 2191498 beschikt over de vereiste VERSIE van de SAP Host Agent voor Linux in Azure.
• SAP Note 2243692 informatie heeft over SAP-licenties in Linux in Azure.
• SAP-opmerking 1984787 bevat algemene informatie over SUSE Linux Enterprise Server 12.
• SAP Note 1999351 bevat aanvullende informatie over probleemoplossing voor de uitgebreide Azure-bewakingsextensie voor SAP.
• SAP Community WIKI bevat alle vereiste SAP-notities voor Linux.
• Azure Virtual Machines plannen en implementeren voor SAP in Linux
• Azure Virtual Machines-implementatie voor SAP in Linux
• DBMS-implementatie van Azure Virtual Machines voor SAP in Linux
• SUSE SAP HA Best Practice Guides : de handleidingen bevatten alle vereiste informatie voor het instellen van Netweaver HA en SAP HANA System Replication on-premises. Gebruik deze handleidingen als een algemene basislijn. Ze bieden veel gedetailleerdere informatie.
• Releaseopmerkingen voor SUSE-extensie met hoge beschikbaarheid 12 SP3
• SUSE multi-SID-clusterhandleiding voor SLES 12 en SLES 15
• NetApp SAP-toepassingen in Microsoft Azure met behulp van Azure NetApp Files

Overzicht

De virtuele machines die deelnemen aan het cluster, moeten de grootte hebben om alle resources uit te kunnen voeren, voor het geval er een failover plaatsvindt. Elke SAP-SID kan onafhankelijk van elkaar een failover uitvoeren in het cluster met hoge beschikbaarheid met meerdere SID's. Als u SBD-fencing gebruikt, kunnen de SBD-apparaten worden gedeeld tussen meerdere clusters.

Voor hoge beschikbaarheid vereist SAP NetWeaver maximaal beschikbare NFS-shares. In dit voorbeeld wordt ervan uitgegaan dat de SAP NFS-shares worden gehost op een maximaal beschikbare NFS-bestandsserver, die door meerdere SAP-systemen kan worden gebruikt. Of de shares worden geïmplementeerd op Azure NetApp Files NFS-volumes.

Belangrijk

De ondersteuning voor clustering met meerdere SID's van SAP ASCS/ERS met SUSE Linux als gastbesturingssysteem in Azure-VM's is beperkt tot vijf SAP-SID's op hetzelfde cluster. Elke nieuwe SID verhoogt de complexiteit. Een combinatie van SAP Enqueue Replication Server 1 en Enqueue Replication Server 2 op hetzelfde cluster wordt niet ondersteund. Clustering met meerdere SID's beschrijft de installatie van meerdere SAP ASCS/ERS-exemplaren met verschillende SID's in één Pacemaker-cluster. Clustering met meerdere SID's wordt momenteel alleen ondersteund voor ASCS/ERS.

Tip

De clustering met meerdere SID's van SAP ASCS/ERS is een oplossing met een hogere complexiteit. Het is complexer om te implementeren. Het omvat ook een hogere administratieve inspanning bij het uitvoeren van onderhoudsactiviteiten (zoals patching van het besturingssysteem). Voordat u de daadwerkelijke implementatie start, moet u de implementatie zorgvuldig plannen en alle betrokken onderdelen, zoals VM's, NFS-koppelingen, VIP's, load balancer-configuraties, enzovoort.

De NFS-server, SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS en de SAP HANA-database gebruiken virtuele hostnaam en virtuele IP-adressen. In Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. We raden u aan standard load balancer te gebruiken.

De gepresenteerde configuratie voor dit voorbeeld van een multi-SID-cluster met drie SAP-systemen toont een load balancer met:

• Front-end-IP-adressen voor ASCS: 10.3.1.14 (NW1), 10.3.1.16 (NW2) en 10.3.1.13 (NW3)
• Front-end-IP-adressen voor ERS: 10.3.1.15 (NW1), 10.3.1.17 (NW2) en 10.3.1.19 (NW3)
• Testpoort 62000 voor NW1 ASCS, 62010 voor NW2 ASCS en 62020 voor NW3 ASCS
• Testpoort 62102 voor NW1 ASCS, 62112 voor NW2 ASCS en 62122 voor NW3 ASCS

Notitie

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van interne (geen openbaar IP-adres) Standard Azure Load Balancer, is er geen uitgaande internetverbinding, tenzij er aanvullende configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan. Zie Openbare eindpuntconnectiviteit voor virtuele machines met behulp van Azure Standard Load Balancer in scenario's met hoge beschikbaarheid van SAP voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

• Schakel TCP-tijdstempels niet in op Azure-VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, mislukken de statustests. Stel de net.ipv4.tcp_timestamps parameter in op 0. Zie Statustests van Load Balancer voor meer informatie.
• Als u wilt voorkomen dat saptune de handmatig ingestelde net.ipv4.tcp_timestamps waarde wijzigt van 0 terug naar 1, moet u saptune-versie bijwerken naar 3.1.1 of hoger. Zie saptune 3.1.1 – Moet ik bijwerken? voor meer informatie.

SAP NFS-shares

SAP NetWeaver vereist gedeelde opslag voor het transport, de profielmap, enzovoort. Voor sap-systeem met hoge beschikbaarheid is het belangrijk dat u maximaal beschikbare NFS-shares hebt. U moet beslissen over de architectuur voor uw SAP NFS-shares. Een optie is het bouwen van een maximaal beschikbare NFS-cluster op Azure-VM's op SUSE Linux Enterprise Server, dat kan worden gedeeld tussen meerdere SAP-systemen.

Een andere optie is het implementeren van de shares op Azure NetApp Files NFS-volumes. Met Azure NetApp Files krijgt u ingebouwde hoge beschikbaarheid voor de SAP NFS-shares.

Het eerste SAP-systeem in het cluster implementeren

Implementeer op basis van de architectuur voor de SAP NFS-shares het eerste SAP-systeem in het cluster, volgens de bijbehorende documentatie.

• Als u een maximaal beschikbare NFS-server gebruikt, volgt u hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's op SUSE Linux Enterprise Server voor SAP-toepassingen.
• Als u Azure NetApp Files NFS-volumes gebruikt, volgt u hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's op SUSE Linux Enterprise Server met Azure NetApp Files voor SAP-toepassingen

De bovenstaande documenten leiden u door de stappen voor het voorbereiden van de benodigde infrastructuren, het bouwen van het cluster, het voorbereiden van het besturingssysteem voor het uitvoeren van de SAP-toepassing.

Tip

Test altijd de failoverfunctionaliteit van het cluster, nadat het eerste systeem is geïmplementeerd, voordat u de extra SAP-SID's toevoegt aan het cluster. Op die manier weet u dat de clusterfunctionaliteit werkt, voordat u de complexiteit van extra SAP-systemen aan het cluster toevoegt.

Aanvullende SAP-systemen implementeren in het cluster

In dit voorbeeld gaan we ervan uit dat systeem NW1 al in het cluster is geïmplementeerd. We laten zien hoe u implementeert in de CLUSTER SAP-systemen NW2 en NW3.

De volgende items worden voorafgegaan door [A] - van toepassing op alle knooppunten, [1] - alleen van toepassing op knooppunt 1 of [2] - alleen van toepassing op knooppunt 2.

Vereisten

Belangrijk

Voordat u de instructies voor het implementeren van extra SAP-systemen in het cluster volgt, volgt u de instructies voor het implementeren van het eerste SAP-systeem in het cluster, omdat er stappen zijn die alleen nodig zijn tijdens de eerste systeemimplementatie.

In deze documentatie wordt ervan uitgegaan dat:

• Het Pacemaker-cluster is al geconfigureerd en wordt uitgevoerd.
• Ten minste één SAP-systeem (ASCS/ERS-exemplaar) is al geïmplementeerd en wordt uitgevoerd in het cluster.
• De functionaliteit van de cluster-failover wordt getest.
• De NFS-shares voor alle SAP-systemen worden geïmplementeerd.

Voorbereiden op SAP NetWeaver-installatie

1. Voeg de configuratie voor het zojuist geïmplementeerde systeem (dat wil gezegd NW2, NW3) toe aan de bestaande Azure Load Balancer. Volg hiervoor de instructies om Azure Load Balancer handmatig te configureren via Azure Portal. Pas de IP-adressen, statustestpoorten en taakverdelingsregels voor uw configuratie aan.

2. [A] Naamomzetting instellen voor de aanvullende SAP-systemen. U kunt dns-server gebruiken of wijzigen /etc/hosts op alle knooppunten. In dit voorbeeld ziet u hoe u het /etc/hosts bestand gebruikt. Pas de IP-adressen en de hostnamen aan uw omgeving aan.

   sudo vi /etc/hosts
   
   # IP address of the load balancer frontend configuration for NW2 ASCS
   10.3.1.16 msnw2ascs
   # IP address of the load balancer frontend configuration for NW3 ASCS
   10.3.1.13 msnw3ascs
   # IP address of the load balancer frontend configuration for NW2 ERS
   10.3.1.17 msnw2ers
   # IP address of the load balancer frontend configuration for NW3 ERS
   10.3.1.19 msnw3ers
   # IP address for virtual host name for the NFS server for NW2
   10.3.1.31 nw2-nfs
   # IP address for virtual host name for the NFS server for NW3
   10.3.1.32 nw3-nfs
   

3. [A] Maak de gedeelde mappen voor de extra NW2 - en NW3 SAP-systemen die u in het cluster implementeert.

   sudo mkdir -p /sapmnt/NW2
   sudo mkdir -p /usr/sap/NW2/SYS
   sudo mkdir -p /usr/sap/NW2/ASCS10
   sudo mkdir -p /usr/sap/NW2/ERS12
   sudo mkdir -p /sapmnt/NW3
   sudo mkdir -p /usr/sap/NW3/SYS
   sudo mkdir -p /usr/sap/NW3/ASCS20
   sudo mkdir -p /usr/sap/NW3/ERS22
   
   sudo chattr +i /sapmnt/NW2
   sudo chattr +i /usr/sap/NW2/SYS
   sudo chattr +i /usr/sap/NW2/ASCS10
   sudo chattr +i /usr/sap/NW2/ERS12
   sudo chattr +i /sapmnt/NW3
   sudo chattr +i /usr/sap/NW3/SYS
   sudo chattr +i /usr/sap/NW3/ASCS20
   sudo chattr +i /usr/sap/NW3/ERS22
   

4. [A] Configureer autofs om de /sapmnt/SID en /usr/sap/SID/SYS-bestandssystemen te koppelen voor de aanvullende SAP-systemen die u in het cluster implementeert. In dit voorbeeld NW2 en NW3.

   Werk het bestand /etc/auto.direct bij met de bestandssystemen voor de aanvullende SAP-systemen die u in het cluster implementeert.

   • Als u NFS-bestandsserver gebruikt, volgt u de instructies op de azure-VM's met hoge beschikbaarheid voor SAP NetWeaver op de SLES-pagina
   • Als u Azure NetApp Files gebruikt, volgt u de instructies op de azure-VM's met hoge beschikbaarheid voor SAP NW op SLES met de pagina Azure NetApp Files

   U moet de autofs service opnieuw starten om de zojuist toegevoegde shares te koppelen.

ASCS/ERS installeren

1. Maak de virtuele IP- en statustestclusterresources voor het ASCS-exemplaar van het extra SAP-systeem dat u in het cluster implementeert. Het voorbeeld dat hier wordt weergegeven, is voor NW2 en NW3 ASCS, met behulp van maximaal beschikbare NFS-server.

   Belangrijk

   Recente tests hebben situaties ontdekt waarin Netcat niet meer reageert op aanvragen vanwege achterstand en de beperking van het verwerken van slechts één verbinding. De netcat-resource luistert niet meer naar de Azure Load Balancer-aanvragen en het zwevende IP-adres is niet meer beschikbaar.
   Voor bestaande Pacemaker-clusters raden we in het verleden aan netcat te vervangen door socat. Momenteel wordt u aangeraden azure-lb-resourceagent te gebruiken, die deel uitmaakt van pakketresource-agents, met de volgende pakketversievereisten:

   • Voor SLES 12 SP4/SP5 moet de versie ten minste resource-agents-4.3.018.a7fb5035-3.30.1 zijn.
   • Voor SLES 15/15 SP1 moet de versie ten minste resource-agents-4.3.0184.6ee15eb2-4.13.1 zijn.

   Houd er rekening mee dat voor de wijziging korte downtime is vereist.
   Als voor bestaande Pacemaker-clusters de configuratie al is gewijzigd om socat te gebruiken, zoals beschreven in Azure Load-Balancer Detection Hardening, hoeft u niet onmiddellijk over te schakelen naar de azure-lb-resourceagent.

   sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
   
   sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
       params ip=10.3.1.16 \
       op monitor interval=10 timeout=20
   
   sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010 \
       op monitor timeout=20s interval=10
   
   sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
        meta resource-stickiness=3000
   
   sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
       op start timeout=60s interval=0 \
       op stop timeout=60s interval=0 \
       op monitor interval=20s timeout=40s
   
   sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
      params ip=10.3.1.13 \
      op monitor interval=10 timeout=20
   
   sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020 \
      op monitor timeout=20s interval=10
   
   sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
       meta resource-stickiness=3000
   

   Wanneer u de resources maakt, kunnen ze worden toegewezen aan verschillende clusterbronnen. Wanneer u ze groepeert, worden ze gemigreerd naar een van de clusterknooppunten. Zorg ervoor dat de clusterstatus in orde is en of alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

2. [1] SAP NetWeaver ASCS installeren

   Installeer SAP NetWeaver ASCS als root, met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ASCS. Voor systeem NW2 is de virtuele hostnaam bijvoorbeeld msnw2ascs, 10.3.1.16 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 10. voor systeem NW3 is de virtuele hostnaam msnw3ascs, 10.3.1.13 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 20.

   U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de naam van de virtuele host.

   sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
   

   Als de installatie geen submap kan maken in /usr/sap/SID/ASCSInstance#, probeert u de eigenaar in te stellen op sidadm en groeperen op sapsys van het ASCS-exemplaar# en probeert u het opnieuw.

3. [1] Maak een virtueel IP-adres en statustestclusterresources voor het ERS-exemplaar van het extra SAP-systeem dat u in het cluster implementeert. Het voorbeeld dat hier wordt weergegeven, is voor NW2 en NW3 ERS, met behulp van maximaal beschikbare NFS-server.

    sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
   
    sudo crm configure primitive vip_NW2_ERS IPaddr2 \
      params ip=10.3.1.17 \
      op monitor interval=10 timeout=20
   
    sudo crm configure primitive nc_NW2_ERS azure-lb port=62112 \
      op monitor timeout=20s interval=10
   
    sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS
   
    sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
   
    sudo crm configure primitive vip_NW3_ERS IPaddr2 \
      params ip=10.3.1.19 \
      op monitor interval=10 timeout=20
   
    sudo crm configure primitive nc_NW3_ERS azure-lb port=62122 \
      op monitor timeout=20s interval=10
   
    sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS
   

   Wanneer u de resources maakt, kunnen ze worden toegewezen aan verschillende clusterknooppunten. Wanneer u ze groepeert, worden ze gemigreerd naar een van de clusterknooppunten. Zorg ervoor dat de clusterstatus in orde is en of alle resources zijn gestart.

   Zorg er vervolgens voor dat de resources van de zojuist gemaakte ERS-groep worden uitgevoerd op het clusterknooppunt, in tegenstelling tot het clusterknooppunt waarop het ASCS-exemplaar voor hetzelfde SAP-systeem is geïnstalleerd. Als NW2 ASCS bijvoorbeeld is geïnstalleerd, slesmsscl1controleert u of de NW2 ERS-groep wordt uitgevoerd.slesmsscl2 U kunt de NW2 ERS-groep migreren naar slesmsscl2 door de volgende opdracht uit te voeren:

   crm resource migrate g-NW2_ERS slesmsscl2 force
   

4. [2] SAP NetWeaver ERS installeren

   Installeer SAP NetWeaver ERS als hoofdmap op het andere knooppunt, met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ERS. Voor systeem NW2 is de naam van de virtuele host bijvoorbeeld msnw2ers, 10.3.1.17 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 12. Voor systeem NW3, de naam van de virtuele host msnw3ers, 10.3.1.19 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 22.

   U kunt de sapinst-parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-hoofdgebruiker verbinding te laten maken met sapinst. U kunt parameter SAPINST_USE_HOSTNAME gebruiken om SAP te installeren met behulp van de naam van de virtuele host.

   sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
   

   Notitie

   Gebruik SWPM SP 20 PL 05 of hoger. In lagere versies worden de machtigingen niet correct ingesteld en mislukt de installatie.

   Als de installatie geen submap kan maken in /usr/sap/NW2/ERSInstance#, probeert u de eigenaar in te stellen op sidadm en de groep op sapsys van de map ERSInstance# en probeert u het opnieuw.

   Als het nodig was om de ERS-groep van het zojuist geïmplementeerde SAP-systeem te migreren naar een ander clusterknooppunt, vergeet dan niet om de locatiebeperking voor de ERS-groep te verwijderen. U kunt de beperking verwijderen door de volgende opdracht uit te voeren (het voorbeeld wordt gegeven voor SAP-systemen NW2 en NW3).

   crm resource unmigrate g-NW2_ERS
   crm resource unmigrate g-NW3_ERS
   

5. [1] Pas de ASCS/SCS- en ERS-exemplaarprofielen aan voor de nieuw geïnstalleerde SAP-systemen. Het onderstaande voorbeeld is voor NW2. U moet de ASCS/SCS- en ERS-profielen aanpassen voor alle SAP-exemplaren die aan het cluster zijn toegevoegd.

   • ASCS-/SCS-profiel

   sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs
   
   # Change the restart command to a start command
   #Restart_Program_01 = local $(_EN) pf=$(_PF)
   Start_Program_01 = local $(_EN) pf=$(_PF)
   
   # Add the following lines
   service/halib = $(DIR_CT_RUN)/saphascriptco.so
   service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
   
   # Add the keep alive parameter, if using ENSA1
   enque/encni/set_so_keepalive = TRUE
   

   Zorg ervoor dat voor zowel ENSA1 als ENSA2 de parameters van het keepalive besturingssysteem zijn ingesteld zoals beschreven in SAP note 1410736.

   • ERS-profiel

   sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers
   
   # Change the restart command to a start command
   #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   
   # Add the following lines
   service/halib = $(DIR_CT_RUN)/saphascriptco.so
   service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
   
   # remove Autostart from ERS profile
   # Autostart = 1
   

6. [A] Configureer de SAP-gebruikers voor het zojuist geïmplementeerde SAP-systeem, in dit voorbeeld NW2 en NW3.

   # Add sidadm to the haclient group
   sudo usermod -aG haclient nw2adm
   sudo usermod -aG haclient nw3adm
   

7. Voeg de ASCS- en ERS SAP-services voor het zojuist geïnstalleerde SAP-systeem toe aan het sapservice bestand. Het onderstaande voorbeeld is voor SAP-systemen NW2 en NW3.

   Voeg de ASCS-servicevermelding toe aan het tweede knooppunt en kopieer de ERS-servicevermelding naar het eerste knooppunt. Voer de opdrachten uit voor elk SAP-systeem op het knooppunt, waarbij het ASCS-exemplaar voor het SAP-systeem is geïnstalleerd.

   # Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
   cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
   sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices
   # Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
   cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
   sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices
   

8. [A] Services systemd van het ASCS- en ERS SAP-exemplaar uitschakelen. Deze stap is alleen van toepassing als het SAP-opstartframework wordt beheerd door systeem volgens SAP Note 3115048

   Notitie

   Wanneer u SAP-exemplaren zoals SAP ASCS en SAP ERS beheert met behulp van SLES-clusterconfiguratie, moet u aanvullende wijzigingen aanbrengen om het cluster te integreren met het systeemeigen sap-startframework op basis van een systeem. Dit zorgt ervoor dat onderhoudsprocedures geen inbreuk maken op clusterstabiliteit. Nadat u het SAP-opstartframework hebt geïnstalleerd of overgeschakeld naar de installatie met systeem ingeschakeld volgens SAP Note 3115048, moet u de systemd services voor de ASCS- en ERS SAP-exemplaren uitschakelen.

   # Stop all ASCS and ERS instances using <sid>adm
   sapcontrol -nr 10 -function Stop
   sapcontrol -nr 10 -function StopService
   
   sapcontrol -nr 12 -function Stop
   sapcontrol -nr 12 -function StopService
   
   # Execute below command on VM where you have performed ASCS instance installation for each SAP system (e.g. slesmsscl1)
   sudo systemctl disable SAPNW2_10
   sudo systemctl disable SAPNW3_20
   # Execute below command on VM where you have performed ERS instance installation for each SAP system (e.g. slesmsscl2)
   sudo systemctl disable SAPNW2_12
   sudo systemctl disable SAPNW2_22
   

9. [1] Maak de SAP-clusterbronnen voor het zojuist geïnstalleerde SAP-systeem.

   Afhankelijk van of u een ENSA1- of ENSA2-systeem uitvoert, selecteert u het betreffende tabblad om de resources voor NW2 - en NW3-systemen te definiëren. SAP heeft ondersteuning geïntroduceerd voor ENSA2, inclusief replicatie, in SAP NetWeaver 7.52. Vanaf ABAP Platform 1809 wordt ENSA2 standaard geïnstalleerd. Zie SAP Note 2630416 voor ONDERSTEUNING voor ENSA2.

   ENSA1

   sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
     operations \$id=rsc_sap_NW2_ASCS10-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
     operations \$id=rsc_sap_NW2_ERS12-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
     meta priority=1000
   
   sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
   sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12
   
   sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
   sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
   sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false
   
   sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
     operations \$id=rsc_sap_NW3_ASCS20-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
     operations \$id=rsc_sap_NW3_ERS22-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
     meta priority=1000
   
   sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
   sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22
   
   sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
   sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
   sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
   sudo crm configure property maintenance-mode="false"
   

   ENSA2

   sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
     operations \$id=rsc_sap_NW2_ASCS10-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 
   
   sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
     operations \$id=rsc_sap_NW2_ERS12-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true 
   
   sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
   sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12
   
   sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
   sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false
   
   sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
     operations \$id=rsc_sap_NW3_ASCS20-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000
   
   sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
     operations \$id=rsc_sap_NW3_ERS22-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true
   
   sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
   sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22
   
   sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
   sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
   sudo crm configure property maintenance-mode="false"
   

Als u een upgrade uitvoert van een oudere versie en overschakelt naar server 2 in de wachtrij, raadpleegt u de SAP-notitie 2641019.

Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

In het volgende voorbeeld ziet u de status van de clusterbronnen, nadat SAP-systemen NW2 en NW3 aan het cluster zijn toegevoegd.

sudo crm_mon -r
  
# Online: [ slesmsscl1 slesmsscl2 ]
 
#Full list of resources:
   
#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

In de volgende afbeelding ziet u hoe de resources eruit zouden zien in de HA Web Konsole (Hawk), waarbij de resources voor SAP-systeem NW2 zijn uitgevouwen.

Doorgaan met de SAP-installatie

Voltooi uw SAP-installatie door:

• Uw SAP NetWeaver-toepassingsservers voorbereiden
• Een DBMS-exemplaar installeren
• Een primaire SAP-toepassingsserver installeren
• Een of meer extra SAP-toepassingsexemplaren installeren

De installatie van het cluster met meerdere SID's testen

De volgende tests zijn een subset van de testcases in de best practices-handleidingen van SUSE. Ze zijn inbegrepen voor uw gemak. Raadpleeg de volgende documentatie voor de volledige lijst met clustertests:

• Als u een maximaal beschikbare NFS-server gebruikt, volgt u hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's op SUSE Linux Enterprise Server voor SAP-toepassingen.
• Als u Azure NetApp Files NFS-volumes gebruikt, volgt u hoge beschikbaarheid voor SAP NetWeaver op Azure-VM's op SUSE Linux Enterprise Server met Azure NetApp Files voor SAP-toepassingen

Lees altijd de handleidingen voor aanbevolen procedures voor SUSE en voer alle aanvullende tests uit die mogelijk zijn toegevoegd.
De tests die worden weergegeven, bevinden zich in een cluster met meerdere knooppunten met meerdere SID's waarop drie SAP-systemen zijn geïnstalleerd.

1. HAGetFailoverConfig en HACheckFailoverConfig testen

   Voer de volgende opdrachten uit als <sapsid>adm op het knooppunt waarop het ASCS-exemplaar momenteel wordt uitgevoerd. Als de opdrachten mislukken met FAIL: Onvoldoende geheugen, kan dit worden veroorzaakt door streepjes in uw hostnaam. Dit is een bekend probleem en wordt opgelost door SUSE in het pakket sap-suse-cluster-connector.

    slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig
   
   # 10.12.2019 21:33:08
   # HAGetFailoverConfig
   # OK
   # HAActive: TRUE
   # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
   # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
   # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
   # HAActiveNode: slesmsscl1
   # HANodes: slesmsscl1, slesmsscl2
   
    slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig
   
    # 19.12.2019 21:19:58
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
   
    slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig
   
   # 10.12.2019 21:37:09
   # HAGetFailoverConfig
   # OK
   # HAActive: TRUE
   # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
   # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
   # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
   # HAActiveNode: slesmsscl2
   # HANodes: slesmsscl2, slesmsscl1
   
    slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig
   
    # 19.12.2019 21:17:39
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
   
    slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig
   
   # 10.12.2019 23:35:36
   # HAGetFailoverConfig
   # OK
   # HAActive: TRUE
   # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
   # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
   # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
   # HAActiveNode: slesmsscl1
   # HANodes: slesmsscl1, slesmsscl2
   
    slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig
   
    # 19.12.2019 21:10:42
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
   

2. Migreer het ASCS-exemplaar handmatig. In het voorbeeld ziet u hoe u het ASCS-exemplaar voor SAP-systeem NW2 migreert.

   Resourcestatus, voordat u de test start:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

   Voer de volgende opdrachten uit als root om het ASCS-exemplaar NW2 te migreren.

    crm resource migrate rsc_sap_NW2_ASCS10 force
    # INFO: Move constraint created for rsc_sap_NW2_ASCS10
   
    crm resource unmigrate rsc_sap_NW2_ASCS10
    # INFO: Removed migration constraints for rsc_sap_NW2_ASCS10
   
    # Remove failed actions for the ERS that occurred as part of the migration
    crm resource cleanup rsc_sap_NW2_ERS12
   

   Resourcestatus na de test:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

3. Test HAFailoverToNode. De test die hier wordt weergegeven, toont het migreren van het ASCS-exemplaar voor SAP-systeem NW2.

   Resourcestatus voordat u de test start:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

   Voer de volgende opdrachten uit als nw2adm om het ASCS-exemplaar NW2 te migreren.

    slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""
   
   # run as root
   # Remove failed actions for the ERS that occurred as part of the migration
   crm resource cleanup rsc_sap_NW2_ERS12
   # Remove migration constraints
   crm resource clear rsc_sap_NW2_ASCS10
   #INFO: Removed migration constraints for rsc_sap_NW2_ASCS10
   

   Resourcestatus na de test:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

4. Crash van knooppunt simuleren

   Resourcestatus voordat u de test start:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

   Voer de volgende opdracht uit als root op het knooppunt waarop ten minste één ASCS-exemplaar wordt uitgevoerd. In dit voorbeeld hebben we de opdracht uitgevoerd op slesmsscl2, waarbij de ASCS-exemplaren voor NW1 en NW3 worden uitgevoerd.

    slesmsscl2:~ # echo b > /proc/sysrq-trigger
   

   Als u SBD gebruikt, moet Pacemaker niet automatisch beginnen op het vermoorde knooppunt. De status nadat het knooppunt opnieuw is gestart, moet er als volgt uitzien.

    Online: [ slesmsscl1 ]
    OFFLINE: [ slesmsscl2 ]
    Full list of resources:
   
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   
    Failed Resource Actions:
    * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
        last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
    * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
        last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
    * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
        last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
   

   Gebruik de volgende opdrachten om Pacemaker op het vermoorde knooppunt te starten, de SBD-berichten op te schonen en de mislukte resources op te schonen.

   # run as root
   # list the SBD device(s)
   cat /etc/sysconfig/sbd | grep SBD_DEVICE=
   
   # output is like:
   # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
   
   sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear
   
   systemctl start pacemaker
   crm resource cleanup rsc_sap_NW1_ERS02
   crm resource cleanup rsc_sap_NW2_ERS12
   crm resource cleanup rsc_sap_NW3_ERS22
   

   Resourcestatus na de test:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
   

Volgende stappen

• Azure Virtual Machines plannen en implementeren voor SAP
• Azure Virtual Machines-implementatie voor SAP
• DBMS-implementatie van Azure Virtual Machines voor SAP
• Zie Hoge beschikbaarheid van SAP HANA op Virtuele Azure-machines (VM's) voor meer informatie over het tot stand brengen van hoge beschikbaarheid en het plannen van herstel na noodgevallen van SAP HANA op Virtuele Machines in Azure