Delen via

Azure Virtual Machines HA voor SAP NetWeaver op RHEL met Azure NetApp Files voor SAP-toepassingen

  • Artikel

In dit artikel wordt beschreven hoe u virtuele machines (VM's) implementeert, de VM's configureert, het clusterframework installeert en een maximaal beschikbaar SAP NetWeaver 7.50-systeem installeert met behulp van Azure NetApp Files. In de voorbeeldconfiguraties en installatieopdrachten is het ASCS-exemplaar nummer 00, de ERS-instantie nummer 01, het EXEMPLAAR van de primaire toepassing (PAS) is 02 en het toepassingsexemplaren (AAS) 03. De QAS van de SAP-systeem-id wordt gebruikt.

De databaselaag wordt niet uitgebreid behandeld in dit artikel.

Vereisten

Lees eerst de volgende SAP-notities en -documenten:

Overzicht

Hoge beschikbaarheid (HA) voor centrale SAP NetWeaver-services vereist gedeelde opslag. Tot nu toe was het nodig om een afzonderlijke maximaal beschikbare GlusterFS-cluster te bouwen op Red Hat Linux.

Nu is het mogelijk om SAP NetWeaver HA te bereiken met behulp van gedeelde opslag die is geïmplementeerd in Azure NetApp Files. Het gebruik van Azure NetApp Files voor gedeelde opslag elimineert de noodzaak voor meer GlusterFS-clusters. Pacemaker is nog steeds nodig voor hoge beschikbaarheid van de centrale SAP NetWeaver-services (ASCS/SCS).

Diagram met een overzicht van hoge beschikbaarheid van SAP NetWeaver.

SAP NetWeaver ASCS, SAP NetWeaver SCS, SAP NetWeaver ERS en de SAP HANA-database maken gebruik van virtuele hostnaam en virtuele IP-adressen. In Azure is een load balancer vereist voor het gebruik van een virtueel IP-adres. U wordt aangeraden Azure Load Balancer Standard te gebruiken. De configuratie hier toont een load balancer met een:

  • Front-end-IP-adres 192.168.14.9 voor ASCS.
  • Front-end-IP-adres 192.168.14.10 voor ERS.
  • Testpoort 62000 voor ASCS.
  • Testpoort 62101 voor ERS.

De Azure NetApp Files-infrastructuur instellen

SAP NetWeaver vereist gedeelde opslag voor de transport- en profielmap. Voordat u verdergaat met de installatie van de Infrastructuur van Azure NetApp Files, moet u vertrouwd raken met de documentatie van Azure NetApp Files. Controleer of uw geselecteerde Azure-regio Azure NetApp Files biedt. Zie de beschikbaarheid van Azure NetApp Files per Azure-regio voor de beschikbaarheid van Azure NetApp Files per Azure-regio.

Azure NetApp Files is beschikbaar in verschillende Azure-regio's.

Azure NetApp Files-resources implementeren

Bij de stappen wordt ervan uitgegaan dat u Azure Virtual Network al hebt geïmplementeerd. De Azure NetApp Files-resources en de VM's, waar de Azure NetApp Files-resources worden gekoppeld, moeten worden geïmplementeerd in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele Azure-netwerken.

  1. Maak het Azure NetApp Files-account in de geselecteerde Azure-regio door de instructies te volgen voor het maken van een Azure NetApp Files-account.

  2. Stel een Azure NetApp Files-capaciteitsgroep in door de instructies te volgen voor het instellen van een Azure NetApp Files-capaciteitspool. De SAP NetWeaver-architectuur die in dit artikel wordt gepresenteerd, maakt gebruik van één Azure NetApp Files-capaciteitspool, Premium SKU. We raden de Azure NetApp Files Premium-SKU aan voor de workload van de SAP NetWeaver-toepassing in Azure.

  3. Een subnet delegeren naar Azure NetApp Files, zoals beschreven in de instructies voor het delegeren van een subnet naar Azure NetApp Files.

  4. Implementeer Azure NetApp Files-volumes door de instructies te volgen voor het maken van een volume voor Azure NetApp Files. Implementeer de volumes in het aangewezen Azure NetApp Files-subnet. De IP-adressen van de Azure NetApp-volumes worden automatisch toegewezen. De Azure NetApp Files-resources en de Virtuele Azure-machines moeten zich in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele Azure-netwerken bevinden. In dit voorbeeld gebruiken we twee Azure NetApp Files-volumes: sapQAS en transSAP. De bestandspaden die zijn gekoppeld aan de bijbehorende koppelpunten zijn /usrsapqas/sapmntQAS en /usrsap qas/usrsapQASsys.

    1. Volume sapQAS (nfs://192.168.24.5/usrsapqas/sapmntQAS)
    2. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASascs)
    3. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASsys)
    4. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASers)
    5. Volume transSAP (nfs://192.168.24.4/transSAP)
    6. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASpas)
    7. Volume sapQAS (nfs://192.168.24.5/usrsapqas/usrsapQASaas)

In dit voorbeeld hebben we Azure NetApp Files gebruikt voor alle SAP NetWeaver-bestandssystemen om te laten zien hoe u Azure NetApp Files kunt gebruiken. De SAP-bestandssystemen die niet via NFS hoeven te worden gekoppeld, kunnen ook worden geïmplementeerd als Azure-schijfopslag. In dit voorbeeld moet a-e zich in Azure NetApp Files bevinden en f-g (d.w.v . /usr/sap/QAS/D02 en /usr/sap/QAS/D03) kunnen worden geïmplementeerd als Azure-schijfopslag.

Belangrijke aandachtspunten

Wanneer u Azure NetApp Files voor de SAP NetWeaver op RHEL HA-architectuur overweegt, moet u rekening houden met de volgende belangrijke overwegingen:

  • De minimale capaciteitspool is 4 TiB. U kunt de grootte van de capaciteitspool vergroten in stappen van 1 TiB.
  • Het minimumvolume is 100 GiB.
  • Azure NetApp Files en alle VM's, waar Azure NetApp Files-volumes worden gekoppeld, moeten zich in hetzelfde virtuele Azure-netwerk of in gekoppelde virtuele netwerken in dezelfde regio bevinden. Azure NetApp Files-toegang via peering van virtuele netwerken in dezelfde regio wordt nu ondersteund. Azure NetApp Files-toegang via wereldwijde peering wordt nog niet ondersteund.
  • Het geselecteerde virtuele netwerk moet een subnet hebben dat is gedelegeerd aan Azure NetApp Files.
  • De doorvoer- en prestatiekenmerken van een Azure NetApp Files-volume zijn een functie van het volumequotum en het serviceniveau. Zie Serviceniveau voor Azure NetApp Files voor meer informatie. Wanneer u de GROOTTE van de SAP Azure NetApp-volumes wijzigt, moet u ervoor zorgen dat de resulterende doorvoer voldoet aan de toepassingsvereisten.
  • Azure NetApp Files biedt exportbeleid. U kunt de toegestane clients en het toegangstype beheren (zoals Lezen/Schrijven en Alleen-lezen).
  • De functie Azure NetApp Files is nog niet zonebewust. Momenteel wordt de functie Azure NetApp Files niet geïmplementeerd in alle beschikbaarheidszones in een Azure-regio. Houd rekening met de mogelijke latentie in sommige Azure-regio's.
  • U kunt Azure NetApp Files-volumes implementeren als NFSv3- of NFSv4.1-volumes. Beide protocollen worden ondersteund voor de SAP-toepassingslaag (ASCS/ERS, SAP-toepassingsservers).

De infrastructuur voorbereiden

Azure Marketplace bevat installatiekopieën die zijn gekwalificeerd voor SAP met de invoegtoepassing Hoge beschikbaarheid, die u kunt gebruiken om nieuwe VM's te implementeren met behulp van verschillende versies van Red Hat.

Virtuele Linux-machines handmatig implementeren via Azure Portal

In dit document wordt ervan uitgegaan dat u al een virtueel Azure-netwerk, subnet en resourcegroep hebt geïmplementeerd.

Implementeer VM's voor SAP ASCS-, ERS- en toepassingsservers. Kies een geschikte RHEL-installatiekopieën die worden ondersteund voor het SAP-systeem. U kunt een VIRTUELE machine implementeren in een van de beschikbaarheidsopties: virtuele-machineschaalset, beschikbaarheidszone of beschikbaarheidsset.

Azure Load Balancer configureren

Tijdens de VM-configuratie hebt u de mogelijkheid om een load balancer te maken of te selecteren in de sectie Netwerken. Volg de onderstaande stappen om een standaard load balancer te configureren voor de installatie van SAP ASCS en SAP ERS met hoge beschikbaarheid.

Volg de handleiding voor het maken van load balancers om een standaard load balancer in te stellen voor een SAP-systeem met hoge beschikbaarheid met behulp van Azure Portal. Houd rekening met de volgende punten tijdens het instellen van de load balancer.

  1. Front-end-IP-configuratie: maak twee front-end-IP-adressen, één voor ASCS en een andere voor ERS. Selecteer hetzelfde virtuele netwerk en subnet als uw virtuele ASCS-/ERS-machines.
  2. Back-endpool: back-endpool maken en ASCS- en ERS-VM's toevoegen.
  3. Inkomende regels: maak twee taakverdelingsregel, een voor ASCS en een andere voor ERS. Volg dezelfde stappen voor beide taakverdelingsregels.
    • Front-end-IP-adres: front-end-IP selecteren
    • Back-endpool: back-endpool selecteren
    • Controleer poorten met hoge beschikbaarheid
    • Protocol: TCP
    • Statustest: Maak een statustest met de onderstaande details (geldt voor zowel ASCS als ERS)
      • Protocol: TCP
      • Poort: [bijvoorbeeld: 620<Instance-no.> voor ASCS, 621<Instance-no.> voor ERS]
      • Interval: 5
      • Testdrempel: 2
    • Time-out voor inactiviteit (minuten): 30
    • Schakel Zwevend IP-adres in

Notitie

Het eigenschapsnummer van de statustestconfiguratieofOfProbes, ook wel 'Drempelwaarde beschadigd' genoemd in de portal, wordt niet gerespecteerd. Als u dus het aantal geslaagde of mislukte opeenvolgende tests wilt beheren, stelt u de eigenschap probeThreshold in op 2. Het is momenteel niet mogelijk om deze eigenschap in te stellen met behulp van Azure Portal, dus gebruik de Azure CLI of PowerShell-opdracht .

Notitie

Wanneer VM's zonder openbare IP-adressen worden geplaatst in de back-endpool van een interne (geen openbare IP-adres) standaard load balancer, is er geen uitgaande internetverbinding, tenzij er meer configuratie wordt uitgevoerd om routering naar openbare eindpunten toe te staan. Zie Openbare eindpuntconnectiviteit voor VM's met behulp van Azure Standard Load Balancer in scenario's met hoge beschikbaarheid van SAP voor meer informatie over het bereiken van uitgaande connectiviteit.

Belangrijk

Schakel TCP-tijdstempels niet in op Azure-VM's die achter Azure Load Balancer worden geplaatst. Als u TCP-tijdstempels inschakelt, kunnen de statustests mislukken. Stel de parameter net.ipv4.tcp_timestamps in op 0. Zie Statustests van Load Balancer voor meer informatie.

Id-toewijzing uitschakelen (als u NFSv4.1 gebruikt)

De instructies in deze sectie zijn alleen van toepassing als u Azure NetApp Files-volumes gebruikt met het NFSv4.1-protocol. Voer de configuratie uit op alle VM's waarop Azure NetApp Files NFSv4.1-volumes worden gekoppeld.

  1. Controleer de NFS-domeininstelling. Zorg ervoor dat het domein is geconfigureerd als het standaarddomein van Azure NetApp Files, dat wil gezegd, defaultv4iddomain.comen dat de toewijzing is ingesteld op niemand.

    Belangrijk

    Zorg ervoor dat u het NFS-domein instelt op /etc/idmapd.conf de VIRTUELE machine zodat dit overeenkomt met de standaarddomeinconfiguratie in Azure NetApp Files: defaultv4iddomain.com. Als de domeinconfiguratie op de NFS-client (dat wil gezegd de VM) en de NFS-server (dat wil gezegd de Azure NetApp-configuratie) niet overeenkomen, worden de machtigingen voor bestanden op Azure NetApp-volumes weergegeven als nobody.

    sudo cat /etc/idmapd.conf

# Example
[General]
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody

Het volgende voorvoegsel [A] is van toepassing op zowel PAS als AAS.

  1. [A] Controleer nfs4_disable_idmapping. Deze moet worden ingesteld op Y. Als u de mapstructuur wilt maken waar nfs4_disable_idmapping zich bevindt, voert u de koppelingsopdracht uit. U kunt de map /sys/modules niet handmatig maken omdat de toegang is gereserveerd voor de kernel en stuurprogramma's.

    # Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 192.168.24.5:/sapQAS
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf

SCS instellen (A)

Vervolgens bereidt en installeert u de SAP ASCS- en ERS-exemplaren.

Een Pacemaker-cluster maken

Volg de stappen in Pacemaker instellen op Red Hat Enterprise Linux in Azure om een eenvoudig Pacemaker-cluster te maken voor deze (A)SCS-server.

Voorbereiden op de SAP NetWeaver-installatie

De volgende items worden voorafgegaan door:

  • [A]: Van toepassing op alle knooppunten
  • [1]: Alleen van toepassing op knooppunt 1
  • [2]: Alleen van toepassing op knooppunt 2

  1. [A] Hostnaamomzetting instellen.

    U kunt een DNS-server gebruiken of het /etc/hosts bestand op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het /etc/hosts bestand gebruikt. Vervang het IP-adres en de hostnaam in de volgende opdrachten:

    sudo vi /etc/hosts

    Voeg de volgende regels in op /etc/hosts. Wijzig het IP-adres en de hostnaam zodat deze overeenkomen met uw omgeving.

    # IP address of cluster node 1
192.168.14.5    anftstsapcl1
# IP address of cluster node 2
192.168.14.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
192.168.14.9    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
192.168.14.10    anftstsapers

  2. [1] SAP-directory's maken in het Azure NetApp Files-volume. Koppel het Azure NetApp Files-volume tijdelijk op een van de VM's en maak de SAP-mappen (bestandspaden).

    # mount temporarily the volume
sudo mkdir -p /saptmp

# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 192.168.24.5:/sapQAS /saptmp

# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 192.168.24.5:/sapQAS /saptmp

# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas

# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

  3. [A] Maak de gedeelde mappen.

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

  4. [A] Installeer de NFS-client en andere vereisten.

    sudo yum -y install nfs-utils resource-agents resource-agents-sap

  5. [A] Controleer de versie van resource-agents-sap.

    Zorg ervoor dat de versie van het geïnstalleerde resource-agents-sap pakket ten minste 3.9.5-124.el7is.

    sudo yum info resource-agents-sap

# Loaded plugins: langpacks, product-id, search-disabled-repos
# Repodata is over 2 weeks old. Install yum-cron? Or run: yum makecache fast
# Installed Packages
# Name        : resource-agents-sap
# Arch        : x86_64
# Version     : 3.9.5
# Release     : 124.el7
# Size        : 100 k
# Repo        : installed
# From repo   : rhel-sap-for-rhel-7-server-rpms
# Summary     : SAP cluster resource agents and connector script
# URL         : https://github.com/ClusterLabs/resource-agents
# License     : GPLv2+
# Description : The SAP resource agents and connector script interface with
#          : Pacemaker to allow SAP instances to be managed in a cluster
#          : environment.

  6. [A] Voeg koppelingsvermeldingen toe.

    Als u NFSv3 gebruikt:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

    Als u NFSv4.1 gebruikt:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.5:/sapQAS/usrsapQASsys /usr/sap/QAS/SYS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

    Notitie

    Zorg ervoor dat deze overeenkomt met de versie van het NFS-protocol van de Azure NetApp Files-volumes wanneer u de volumes koppelt. Als de Azure NetApp Files-volumes worden gemaakt als NFSv3-volumes, gebruikt u de bijbehorende NFSv3-configuratie. Als de Azure NetApp Files-volumes zijn gemaakt als NFSv4.1-volumes, volgt u de instructies om id-toewijzing uit te schakelen en ervoor te zorgen dat u de bijbehorende NFSv4.1-configuratie gebruikt. In dit voorbeeld zijn de Azure NetApp Files-volumes gemaakt als NFSv3-volumes.

    Koppel de nieuwe shares.

    sudo mount -a

  7. [A] Configureer het SWAP-bestand.

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Start de agent opnieuw om de wijziging te activeren.

    sudo service waagent restart

  8. [A] Voer de RHEL-besturingssysteemconfiguratie uit.

    Voer op basis van de RHEL-versie de configuratie uit die wordt vermeld in SAP Note 2002167, 2772999 of 3108316.

SAP NetWeaver ASCS/ERS installeren

  1. [1] Configureer de standaardeigenschappen van het cluster.

    pcs resource defaults resource-stickiness=1
pcs resource defaults migration-threshold=3

  2. [1] Maak een virtuele IP-resource en statustest voor het ASCS-exemplaar.

    sudo pcs node standby anftstsapcl2

# If using NFSv3
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
  --group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create fs_QAS_ASCS Filesystem device='192.168.24.5:/sapQAS/usrsapQASascs' \
  directory='/usr/sap/QAS/ASCS00' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
  --group g-QAS_ASCS

sudo pcs resource create vip_QAS_ASCS IPaddr2 \
  ip=192.168.14.9 \
  --group g-QAS_ASCS

sudo pcs resource create nc_QAS_ASCS azure-lb port=62000 \
  --group g-QAS_ASCS

    Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo pcs status

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl1
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1

  3. [1] INSTALLEER SAP NetWeaver ASCS.

    Installeer SAP NetWeaver ASCS als hoofdmap op het eerste knooppunt met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ASCS, bijvoorbeeld anftstsapvh, 192.168.14.9 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 00.

    U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-basisgebruiker verbinding te laten maken met sapinst.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>

    Als de installatie geen submap kan maken in /usr/sap/QAS/ASCS00, probeert u de eigenaar en groep van de map ASCS00 in te stellen en het opnieuw te proberen.

    sudo chown qasadm /usr/sap/QAS/ASCS00
sudo chgrp sapsys /usr/sap/QAS/ASCS00

  4. [1] Maak een virtuele IP-resource en statustest voor het ERS-exemplaar.

    sudo pcs node unstandby anftstsapcl2
sudo pcs node standby anftstsapcl1

# If using NFSv3
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create fs_QAS_AERS Filesystem device='192.168.24.5:/sapQAS/usrsapQASers' \
  directory='/usr/sap/QAS/ERS01' fstype='nfs' force_unmount=safe options='sec=sys,nfsvers=4.1' \
  op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=105 \
 --group g-QAS_AERS

sudo pcs resource create vip_QAS_AERS IPaddr2 \
  ip=192.168.14.10 \
 --group g-QAS_AERS

sudo pcs resource create nc_QAS_AERS azure-lb port=62101 \
 --group g-QAS_AERS

    Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo pcs status

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2<
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2

  5. [2] INSTALLEER SAP NetWeaver ERS.

    Installeer SAP NetWeaver ERS als hoofdmap op het tweede knooppunt met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de ERS, bijvoorbeeld anftstsapers, 192.168.14.10 en het exemplaarnummer dat u hebt gebruikt voor de test van de load balancer, bijvoorbeeld 01.

    U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-basisgebruiker verbinding te laten maken met sapinst.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again.
sudo firewall-cmd --zone=public  --add-port=4237/tcp

sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=<virtual_hostname>

    Als de installatie geen submap kan maken in /usr/sap/QAS/ERS01, probeert u de eigenaar en groep van de MAP ERS01 in te stellen en het opnieuw te proberen.

    sudo chown qaadm /usr/sap/QAS/ERS01
sudo chgrp sapsys /usr/sap/QAS/ERS01

  6. [1] Pas de ASCS/SCS- en ERS-exemplaarprofielen aan.

    • ASCS-/SCS-profiel

      sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = TRUE

      Zorg ervoor dat voor zowel ENSA1 als ENSA2 de keepalive besturingssysteemparameters zijn ingesteld zoals beschreven in SAP Note 1410736.

    • ERS-profiel

      sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

  7. [A] Configureer Keep Alive.

    De communicatie tussen de SAP NetWeaver-toepassingsserver en de ASCS/SCS wordt gerouteerd via een software load balancer. De load balancer verbreekt inactieve verbindingen na een configureerbare time-out. Als u deze actie wilt voorkomen, stelt u een parameter in het SAP NetWeaver ASCS/SCS-profiel in als u ENSA1 gebruikt en wijzigt u de Linux-systeeminstellingen keepalive op alle SAP-servers voor beide ENSA1/ENSA2. Zie SAP Note 1410736 voor meer informatie.

    # Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300

  8. [A] Werk het /usr/sap/sapservices bestand bij.

    Als u het begin van de exemplaren door het sapinit opstartscript wilt voorkomen, moeten alle exemplaren die worden beheerd door Pacemaker, worden uitgeschakeld vanuit het /usr/sap/sapservices bestand.

    sudo vi /usr/sap/sapservices

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ASCS00/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ASCS00/exe/sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh -D -u qasadm
# systemctl --no-ask-password start SAPQAS_00 # sapstartsrv pf=/usr/sap/QAS/SYS/profile/QAS_ASCS00_anftstsapvh

# Depending on whether the SAP Startup framework is integrated with systemd, you will observe one of the two entries on the ASCS node. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/QAS/ERS01/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/QAS/ERS01/exe/sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers -D -u qasadm
# systemctl --no-ask-password start SAPQAS_01 # sapstartsrv pf=/usr/sap/QAS/ERS01/profile/QAS_ERS01_anftstsapers

    Belangrijk

    Met het systeemgebaseerde SAP Startup Framework kunnen SAP-exemplaren nu worden beheerd door een systeem. De minimaal vereiste Red Hat Enterprise Linux-versie (RHEL) is RHEL 8 voor SAP. Zoals beschreven in SAP Note 3115048, resulteert een nieuwe installatie van een SAP-kernel met geïntegreerde systeemgebaseerde SAP Startup Framework-ondersteuning altijd in een door het systeem beheerd SAP-exemplaar. Na een SAP-kernelupgrade van een bestaande SAP-installatie naar een kernel die systeemgebaseerde SAP Startup Framework-ondersteuning heeft, moeten echter enkele handmatige stappen worden uitgevoerd zoals beschreven in SAP Note 3115048 om de bestaande SAP-opstartomgeving te converteren naar een omgeving die wordt beheerd door het systeem.

    Bij het gebruik van Red Hat HA-services voor SAP (clusterconfiguratie) voor het beheren van SAP-toepassingsserverexemplaren, zoals SAP ASCS en SAP ERS, zijn aanvullende wijzigingen nodig om compatibiliteit tussen de SAPInstance-resourceagent en het nieuwe op het systeem gebaseerde SAP-opstartframework te garanderen. Zodra de SAP-toepassingsserverexemplaren zijn geïnstalleerd of zijn overgeschakeld naar een door het systeem ingeschakelde SAP-kernel volgens SAP Note 3115048, moeten de stappen die worden genoemd in Red Hat KBA 6884531 worden voltooid op alle clusterknooppunten.

  9. [1] Maak de SAP-clusterbronnen.

    Afhankelijk van of u een ENSA1- of ENSA2-systeem uitvoert, selecteert u het betreffende tabblad om de resources te definiëren. SAP heeft ondersteuning geïntroduceerd voor ENSA2, inclusief replicatie, in SAP NetWeaver 7.52. Vanaf ABAP Platform 1809 wordt ENSA2 standaard geïnstalleerd. Voor ENSA2-ondersteuning. Zie SAP Note 2630416 voor ondersteuning voor server 2 in de wachtrij.

    Als u server 2-architectuur (ENSA2) in de wachtrij gebruikt, installeert u resourceagent resource-agents-sap-4.1.1-12.el7.x86_64 of hoger en definieert u de resources zoals hier wordt weergegeven:

    sudo pcs property set maintenance-mode=true

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ASCS00 SAPInstance \
InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=105 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_ASCS

sudo pcs resource meta g-QAS_ASCS resource-stickiness=3000

# If using NFSv3
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

# If using NFSv4.1
sudo pcs resource create rsc_sap_QAS_ERS01 SAPInstance \
InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=105 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-QAS_AERS

sudo pcs constraint colocation add g-QAS_AERS with g-QAS_ASCS -5000
sudo pcs constraint location rsc_sap_QAS_ASCS00 rule score=2000 runs_ers_QAS eq 1
sudo pcs constraint order start g-QAS_ASCS then stop g-QAS_AERS kind=Optional symmetrical=false

sudo pcs node unstandby anftstsapcl1
sudo pcs property set maintenance-mode=false

    Als u een upgrade uitvoert van een oudere versie en overschakelt naar server 2 in de wachtrij, raadpleegt u SAP Note 2641322.

    Notitie

    De hogere time-outs die worden voorgesteld wanneer u NFSv4.1 gebruikt, zijn nodig vanwege protocolspecifieke onderbreking, wat te maken heeft met NFSv4.1-leaseverlengingen. Zie de best practice voor NFS in NetApp voor meer informatie. De time-outs in de voorgaande configuratie zijn alleen voorbeelden en moeten mogelijk worden aangepast aan de specifieke SAP-installatie.

    Zorg ervoor dat de clusterstatus in orde is en dat alle resources zijn gestart. Het is niet belangrijk op welk knooppunt de resources worden uitgevoerd.

    sudo pcs status

# Online: [ anftstsapcl1 anftstsapcl2 ]
#
# Full list of resources:
#
# rsc_st_azure    (stonith:fence_azure_arm):      Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl2
#  Resource Group: g-QAS_AERS
#      fs_QAS_AERS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_AERS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_AERS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl1

  10. [1] Voer de volgende stap uit om te configureren priority-fencing-delay (alleen van toepassing op pacemaker-2.0.4-6.el8 of hoger).

    Notitie

    Als u een cluster met twee knooppunten hebt, kunt u de priority-fencing-delay clustereigenschap configureren. Deze eigenschap introduceert meer vertraging bij het afschermen van een knooppunt met een hogere totale resourceprioriteit wanneer er een split-brain-scenario optreedt. Zie Kan Pacemaker het clusterknooppunt omheinen met de minste actieve resources? voor meer informatie.

    De eigenschap priority-fencing-delay is van toepassing op pacemaker-2.0.4-6.el8 of hoger. Als u priority-fencing-delay een bestaand cluster instelt, moet u de pcmk_delay_max instelling op het schermapparaat wissen.

    sudo pcs resource defaults update priority=1
sudo pcs resource update rsc_sap_QAS_ASCS00 meta priority=10

sudo pcs property set priority-fencing-delay=15s

  11. [A] Voeg firewallregels toe voor ASCS en ERS op beide knooppunten.

    # Probe Port of ASCS
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62000,3200,3600,3900,8100,50013,50014,50016}/tcp
# Probe Port of ERS
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62101,3201,3301,50113,50114,50116}/tcp

Voorbereiding van SAP NetWeaver-toepassingsserver

Voor sommige databases is vereist dat de installatie van het database-exemplaar wordt uitgevoerd op een toepassingsserver. Bereid de vm's van de toepassingsserver voor om ze in deze gevallen te kunnen gebruiken.

Bij de volgende stappen wordt ervan uitgegaan dat u de toepassingsserver op een andere server installeert dan de ASCS/SCS- en HANA-servers. Anders zijn sommige stappen (zoals het configureren van hostnaamomzetting) niet nodig.

De volgende items worden voorafgegaan door:

  • [A]: Van toepassing op zowel PAS als AAS
  • [P]: Alleen van toepassing op PAS
  • [S]: Alleen van toepassing op AAS

  1. [A] Hostnaamomzetting instellen.

    U kunt een DNS-server gebruiken of het /etc/hosts bestand op alle knooppunten wijzigen. In dit voorbeeld ziet u hoe u het /etc/hosts bestand gebruikt. Vervang het IP-adres en de hostnaam in de volgende opdrachten:

    sudo vi /etc/hosts

    Voeg de volgende regels in op /etc/hosts. Wijzig het IP-adres en de hostnaam zodat deze overeenkomen met uw omgeving.

    # IP address of the load balancer frontend configuration for SAP NetWeaver ASCS
192.168.14.9 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS ERS
192.168.14.10 anftstsapers
192.168.14.7 anftstsapa01
192.168.14.8 anftstsapa02

  2. [A] Maak de sapmnt map.

    sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

  3. [A] Installeer de NFS-client en andere vereisten.

    sudo yum -y install nfs-utils uuidd

  4. [A] Voeg koppelingsvermeldingen toe.

    Als u NFSv3 gebruikt:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

    Als u NFSv4.1 gebruikt:

    sudo vi /etc/fstab

# Add the following lines to fstab, save and exit
192.168.24.5:/sapQAS/sapmntQAS /sapmnt/QAS nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys
192.168.24.4:/transSAP /usr/sap/trans nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

    Koppel de nieuwe shares.

    sudo mount -a

  5. [P] Maak en koppel de PAS-map.

    Als u NFSv3 gebruikt:

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

    Als u NFSv4.1 gebruikt:

    sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASpas /usr/sap/QAS/D02 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

  6. [S] Maak en koppel de AAS-map.

    Als u NFSv3 gebruikt:

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=3

# Mount
sudo mount -a

    Als u NFSv4.1 gebruikt:

    sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

sudo vi /etc/fstab
# Add the following line to fstab
92.168.24.5:/sapQAS/usrsapQASaas /usr/sap/QAS/D03 nfs rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys

# Mount
sudo mount -a

  7. [A] Configureer het SWAP-bestand.

    sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by VM size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

    Start de agent opnieuw om de wijziging te activeren.

    sudo service waagent restart

De database installeren

In dit voorbeeld wordt SAP NetWeaver geïnstalleerd op SAP HANA. U kunt elke ondersteunde database voor deze installatie gebruiken. Zie Hoge beschikbaarheid van SAP HANA op Azure-VM's in Red Hat Enterprise Linux voor meer informatie over het installeren van SAP HANA in Azure. Zie SAP Note 1928533 voor een lijst met ondersteunde databases.

  • Voer de installatie van het SAP-database-exemplaar uit.

    Installeer het SAP NetWeaver-database-exemplaar als hoofdmap met behulp van een virtuele hostnaam die is toegewezen aan het IP-adres van de front-endconfiguratie van de load balancer voor de database.

    U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-basisgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

Installatie van SAP NetWeaver-toepassingsserver

Volg deze stappen om een SAP-toepassingsserver te installeren.

  1. Bereid de toepassingsserver voor.

    Volg de stappen in de vorige sectie SAP NetWeaver-toepassingsservervoorbereiding om de toepassingsserver voor te bereiden.

  2. Installeer de SAP NetWeaver-toepassingsserver.

    Installeer een primaire of extra SAP NetWeaver-toepassingsserver.

    U kunt de sapinst parameter SAPINST_REMOTE_ACCESS_USER gebruiken om een niet-basisgebruiker verbinding te laten maken met sapinst.

    sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin

  3. Werk de secure store van SAP HANA bij.

    Werk de secure store van SAP HANA bij zodat deze verwijst naar de virtuele naam van de installatie van sap HANA-systeemreplicatie.

    Voer de volgende opdracht uit om de vermeldingen weer te geven als <sapsid>adm.

    hdbuserstore List

    Alle vermeldingen moeten worden weergegeven en er ongeveer als volgt uitzien:

    DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 192.168.14.4:30313
  USER: SAPABAP1
  DATABASE: QAS

    In de uitvoer ziet u dat het IP-adres van de standaardvermelding verwijst naar de VIRTUELE machine en niet naar het IP-adres van de load balancer. U moet deze vermelding wijzigen zodat deze verwijst naar de virtuele hostnaam van de load balancer. Zorg ervoor dat u dezelfde poort (30313 in de voorgaande uitvoer) en databasenaam (QAS in de voorgaande uitvoer) gebruikt.

    su - qasadm
hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>

De clusterinstallatie testen

Test uw Pacemaker-cluster grondig. Zie De typische failovertests uitvoeren voor meer informatie.

Volgende stappen