Sdílet prostřednictvím

Vysoká dostupnost pro SAP NetWeaver na virtuálních počítačích Azure v Red Hat Enterprise Linuxu pro aplikace SAP s více identifikátory SID

  • Článek

Tento článek popisuje, jak nasadit více systémů SAP NetWeaver s vysokou dostupností (multi-SID) ve dvou uzlech na virtuálních počítačích Azure s Red Hat Enterprise Linuxem pro aplikace SAP.

V ukázkových konfiguracích jsou tři systémy SAP NetWeaver 7.50 nasazené v jednom clusteru s vysokou dostupností dvou uzlů. Identifikátory SID systémů SAP jsou:

  • NW1: ASCS číslo 00 a název msnw1ascsvirtuálního hostitele . Číslo instance ERS 02 a název msnw1ersvirtuálního hostitele .
  • NW2: Ascs instance číslo 10 a název msnw2ascsvirtuálního hostitele . ERS instance číslo 12 a název msnw2ersvirtuálního hostitele .
  • NW3: Ascs instance číslo 20 a název msnw3ascsvirtuálního hostitele . ERS instance číslo 22 a název msnw3ersvirtuálního hostitele .

Článek se nezabývá vrstvou databáze a nasazením sdílených složek SAP NFS.

Příklady v tomto článku používají svazek sapMSID Azure NetApp Files pro sdílené složky NFS za předpokladu, že je svazek již nasazený. V příkladech se předpokládá, že svazek Azure NetApp Files je nasazený s protokolem NFSv3. Pro prostředky clusteru pro instance ASCS a ERS systémů NW1NW2SAP používají následující cesty k souborům aNW3:

  • svazek sapMSID (nfs://10.42.0.4/sapmntNW1)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW1ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW2)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW2ers)
  • volume sapMSID (nfs://10.42.0.4/sapmntNW3)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ascs)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3sys)
  • volume sapMSID (nfs://10.42.0.4/usrsapNW3ers)

Než začnete, projděte si následující poznámky a dokumenty SAP:

Přehled

Virtuální počítače, které se účastní clusteru, musí mít velikost, aby bylo možné spouštět všechny prostředky v případě, že dojde k převzetí služeb při selhání. Každý identifikátor SID SAP může převzít služby při selhání nezávisle na sobě v clusteru s vysokou dostupností s více identifikátory SID.

K dosažení vysoké dostupnosti vyžaduje SAP NetWeaver vysoce dostupné sdílené složky. Tento článek ukazuje příklady se sdílenými složkami SAP nasazenými na svazcích NFS služby Azure NetApp Files. Místo toho můžete sdílené složky hostovat v clusteru GlusterFS s vysokou dostupností, který může používat několik systémů SAP.

Diagram znázorňuje přehled vysoké dostupnosti S A P NetWeaver s clusterem Pacemaker a sdílenými složkami SAP NFS.

Důležité

Podpora clusteringu s více identifikátory SID sap ASCS/ERS s Red Hat Linuxem jako hostovaným operačním systémem na virtuálních počítačích Azure je omezená na pět identifikátorů SID SAP ve stejném clusteru. Každý nový identifikátor SID zvyšuje složitost. Kombinace serveru replikace SAP Enqueue 1 a serveru replikace enqueue 2 ve stejném clusteru není podporována. Clustering s více identifikátory SID popisuje instalaci několika instancí SAP ASCS/ERS s různými identifikátory SID v jednom clusteru Pacemaker. Clustering s více identifikátory SID se v současné době podporuje jenom pro ASCS/ERS.

Tip

Clustering SAP ASCS/ERS s více identifikátory SID je řešení s vyšší složitostí. Implementace je složitější. Zahrnuje také vyšší administrativní úsilí při provádění aktivit údržby, jako jsou opravy operačního systému. Než začnete se skutečnou implementací, pečlivě naplánujte nasazení a všechny zahrnuté komponenty, jako jsou virtuální počítače, připojení NFS, virtuální IP adresy, konfigurace nástroje pro vyrovnávání zatížení atd.

SAP NetWeaver ASCS, SAP NetWeaver SCS a SAP NetWeaver ERS používají virtuální název hostitele a virtuální IP adresy. V Azure se k použití virtuální IP adresy vyžaduje nástroj pro vyrovnávání zatížení. Doporučujeme používat load balancer úrovně Standard.

  • IP adresy front-endu pro ASCS: 10.3.1.50 (NW1), 10.3.1.52 (NW2) a 10.3.1.54 (NW3)
  • IP adresy front-endu pro ERS: 10.3.1.51 (NW1), 10.3.1.53 (NW2) a 10.3.1.55 (NW3)
  • Port sondy 62000 pro NW1 ASCS, 62010 pro NW2 ASCS a 62020 pro NW3 ASCS
  • Port sondy 62102 pro NW1 ASCS, 62112 pro NW2 ASCS a 62122 pro NW3 ASCS

Poznámka:

Pokud jsou virtuální počítače bez veřejných IP adres umístěné v back-endovém fondu interního (bez veřejné IP adresy) služby Azure Load Balancer úrovně Standard, neexistuje žádné odchozí připojení k internetu, pokud není provedena další konfigurace umožňující směrování do veřejných koncových bodů. Podrobnosti o tom, jak dosáhnout odchozího připojení, najdete v tématu Připojení k veřejnému koncovému bodu pro virtuální počítače pomocí Azure Standard Load Balanceru ve scénářích s vysokou dostupností SAP.

Důležité

Nepovolujte časové razítka PROTOKOLU TCP na virtuálních počítačích Azure umístěných za Azure Load Balancerem. Povolení časových razítek PROTOKOLU TCP způsobí selhání sond stavu. Nastavte parametr net.ipv4.tcp_timestamps na hodnotu 0. Další informace najdete v tématu Sondy stavu Load Balanceru.

Sdílené složky SAP

SAP NetWeaver vyžaduje sdílené úložiště pro přenos, adresář profilu atd. Pro vysoce dostupný systém SAP je důležité mít vysoce dostupné sdílené složky. Musíte se rozhodnout o architektuře sdílených složek SAP. Jednou z možností je nasazení sdílených složek na svazky NFS služby Azure NetApp Files. S Azure NetApp Files získáte integrovanou vysokou dostupnost pro sdílené složky SAP NFS.

Další možností je vytvořit GlusterFS na virtuálních počítačích Azure v Red Hat Enterprise Linuxu pro SAP NetWeaver, které je možné sdílet mezi několika systémy SAP.

Nasazení prvního systému SAP v clusteru

Po rozhodnutí o architektuře sdílených složek SAP nasaďte první systém SAP v clusteru podle odpovídající dokumentace.

Tyto články vás provedou postupem přípravy potřebné infrastruktury, sestavení clusteru, přípravě operačního systému na spuštění aplikace SAP.

Tip

Před přidáním dalších identifikátorů SID SAP do clusteru vždy otestujte funkčnost převzetí služeb při selhání clusteru po nasazení prvního systému. Díky tomu víte, že funkce clusteru fungují před přidáním složitosti dalších systémů SAP do clusteru.

Nasazení dalších systémů SAP v clusteru

Tento příklad předpokládá, že systém NW1 již byl nasazen v clusteru. Tento příklad ukazuje, jak nasadit systémy NW2 SAP a NW3 v clusteru.

Následující položky mají předponu:

  • [A] Platí pro všechny uzly.
  • [1] Platí pouze pro uzel 1.
  • [2] Platí pouze pro uzel 2.

Požadavky

Důležité

Než budete postupovat podle pokynů k nasazení dalších systémů SAP v clusteru, nasaďte první systém SAP v clusteru. Existují kroky, které jsou nezbytné pouze během prvního nasazení systému.

Tento článek předpokládá, že:

  • Cluster Pacemaker je už nakonfigurovaný a spuštěný.
  • Alespoň jeden systém SAP (instance ASCS/ ERS) je již nasazený a běží v clusteru.
  • Funkce převzetí služeb při selhání clusteru byla testována.
  • Sdílené složky NFS pro všechny systémy SAP se nasazují.

Příprava na instalaci SAP NetWeaver

  1. Přidejte konfiguraci pro nově nasazený systém (tj NW2 . a NW3) do existujícího Azure Load Balanceru podle pokynů Nasaďte Azure Load Balancer ručně přes Azure Portal. Upravte IP adresy, porty sondy stavu a pravidla vyrovnávání zatížení pro vaši konfiguraci.

  2. [A] Nastavte překlad ip adres pro více systémů SAP. Můžete použít server DNS nebo upravit /etc/hosts na všech uzlech. Tento příklad ukazuje, jak používat soubor /etc/hosts . Přizpůsobte IP adresy a názvy hostitelů vašemu prostředí.

    sudo vi /etc/hosts
# IP address of the load balancer frontend configuration for NW2 ASCS
10.3.1.52 msnw2ascs
# IP address of the load balancer frontend configuration for NW3 ASCS
10.3.1.54 msnw3ascs
# IP address of the load balancer frontend configuration for NW2 ERS
10.3.1.53 msnw2ers
# IP address of the load balancer frontend configuration for NW3 ERS
10.3.1.55 msnw3ers

  3. [A] Vytvořte sdílené adresáře pro systémy SAP, NW2 NW3 které se mají nasadit do clusteru.

    sudo mkdir -p /sapmnt/NW2
sudo mkdir -p /usr/sap/NW2/SYS
sudo mkdir -p /usr/sap/NW2/ASCS10
sudo mkdir -p /usr/sap/NW2/ERS12
sudo mkdir -p /sapmnt/NW3
sudo mkdir -p /usr/sap/NW3/SYS
sudo mkdir -p /usr/sap/NW3/ASCS20
sudo mkdir -p /usr/sap/NW3/ERS22


sudo chattr +i /sapmnt/NW2
sudo chattr +i /usr/sap/NW2/SYS
sudo chattr +i /usr/sap/NW2/ASCS10
sudo chattr +i /usr/sap/NW2/ERS12
sudo chattr +i /sapmnt/NW3
sudo chattr +i /usr/sap/NW3/SYS
sudo chattr +i /usr/sap/NW3/ASCS20
sudo chattr +i /usr/sap/NW3/ERS22

  4. [A] Přidejte položky připojení pro systémy souborů /sapmnt/SID a /usr/sap/SID/SYS pro ostatní systémy SAP, které nasazujete do clusteru. V tomto příkladu je to NW2 a NW3.

    Aktualizujte soubor /etc/fstab pomocí systémů souborů pro ostatní systémy SAP, které nasazujete do clusteru.

Instalace SLUŽBY ASCS /ERS

  1. Vytvořte prostředky clusteru virtuální IP adresy a sondy stavu pro instance ASCS ostatních systémů SAP, které nasazujete do clusteru. Tento příklad používá NW2 a NW3 ASCS používá systém souborů NFS na svazcích Azure NetApp Files s protokolem NFSv3.

    sudo pcs resource create fs_NW2_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ascs' \
directory='/usr/sap/NW2/ASCS10' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW2_ASCS

sudo pcs resource create vip_NW2_ASCS IPaddr2 \
ip=10.3.1.52 \
 --group g-NW2_ASCS

sudo pcs resource create nc_NW2_ASCS azure-lb port=62010 \
 --group g-NW2_ASCS

sudo pcs resource create fs_NW3_ASCS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ascs' \
directory='/usr/sap/NW3/ASCS20' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
--group g-NW3_ASCS

sudo pcs resource create vip_NW3_ASCS IPaddr2 \
ip=10.3.1.54 \
--group g-NW3_ASCS

sudo pcs resource create nc_NW3_ASCS azure-lb port=62020 \
--group g-NW3_ASCS

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné.

  2. [1] Nainstalujte SAP NetWeaver ASCS.

    Nainstalujte SAP NetWeaver ASCS jako kořen s použitím virtuálního názvu hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro ASCS. Například v případě systému NW2je msnw2ascs10.3.1.52název virtuálního hostitele a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 10. Pro systém NW3je msnw3ascs10.3.1.54název virtuálního hostitele a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 20. Poznamenejte si, na kterém uzlu clusteru jste nainstalovali SLUŽBU ASCS pro každý identifikátor SID SAP.

    Parametr můžete použít sapinst SAPINST_REMOTE_ACCESS_USER k tomu, aby se uživatel, který není rootem, mohl připojit k sapinstu. K instalaci SAP můžete použít parametr SAPINST_USE_HOSTNAME s použitím názvu virtuálního hostitele.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
sudo firewall-cmd --zone=public --add-port=4237/tcp
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Pokud se instalaci nepodaří vytvořit podsložku v instanci /usr/sap/<SID>/ASCS<#>, zkuste vlastníka nastavit na <sid>adm a seskupit na sapsys instance ASCS<a> zkuste to znovu.

  3. [1] Vytvořte virtuální IP adresu a prostředky clusteru sond stavu pro instanci ERS jiného systému SAP, který nasazujete do clusteru. Tento příklad je určený pro NW2 a NW3 ERS pomocí systému souborů NFS ve svazcích Azure NetApp Files s protokolem NFSv3.

    sudo pcs resource create fs_NW2_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW2ers' \
directory='/usr/sap/NW2/ERS12' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW2_AERS

sudo pcs resource create vip_NW2_AERS IPaddr2 \
ip=10.3.1.53 \
 --group g-NW2_AERS

sudo pcs resource create nc_NW2_AERS azure-lb port=62112 \
 --group g-NW2_AERS

sudo pcs resource create fs_NW3_AERS Filesystem device='10.42.0.4:/sapMSIDR/usrsapNW3ers' \
directory='/usr/sap/NW3/ERS22' fstype='nfs' force_unmount=safe \
op start interval=0 timeout=60 op stop interval=0 timeout=120 op monitor interval=200 timeout=40 \
 --group g-NW3_AERS

sudo pcs resource create vip_NW3_AERS IPaddr2 \
ip=10.3.1.55 \
 --group g-NW3_AERS

sudo pcs resource create nc_NW3_AERS azure-lb port=62122 \
 --group g-NW3_AERS

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky.

    Dále se ujistěte, že prostředky nově vytvořené skupiny ERS běží na uzlu clusteru, naproti uzlu clusteru, na kterém byla nainstalována instance ASCS pro stejný systém SAP. Pokud byla například nainstalována služba rhelmsscl1ASCS NW2 , ujistěte se, že je skupina NW2 ERS spuštěná .rhelmsscl2 Skupinu NW2 ERS můžete migrovat rhelmsscl2 spuštěním následujícího příkazu pro jeden z prostředků clusteru ve skupině:

    pcs resource move fs_NW2_AERS rhelmsscl2

  4. [2] Nainstalujte SAP NetWeaver ERS.

    Nainstalujte SAP NetWeaver ERS jako kořen na druhý uzel pomocí virtuálního názvu hostitele, který se mapuje na IP adresu front-endové konfigurace nástroje pro vyrovnávání zatížení pro službu ERS. Například v případě systému NW2je msnw2ers10.3.1.53název virtuálního hostitele a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 12. Pro systémNW3, název msnw3ers10.3.1.55virtuálního hostitele a číslo instance, které jste použili pro sondu nástroje pro vyrovnávání zatížení, například 22.

    Parametr můžete použít sapinst SAPINST_REMOTE_ACCESS_USER k tomu, aby se uživatel, který není rootem, mohl připojit k sapinstu. K instalaci SAP můžete použít parametr SAPINST_USE_HOSTNAME s použitím názvu virtuálního hostitele.

    # Allow access to SWPM. This rule is not permanent. If you reboot the machine, you have to run the command again
sudo firewall-cmd --zone=public --add-port=4237/tcp
sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname

    Poznámka:

    Použijte SWPM SP 20 PL 05 nebo vyšší. Nižší verze nenastavují správně oprávnění a instalace selže.

    Pokud se instalaci nepodaří vytvořit podsložku v instanci /usr/sap/<NW2>/ERS<#>, zkuste vlastníka nastavit na <sid>adm a skupinu na sapsys složky instance> ERS<a zkuste to znovu.

    Pokud bylo nutné migrovat skupinu ERS nově nasazeného systému SAP do jiného uzlu clusteru, nezapomeňte odebrat omezení umístění pro skupinu ERS. Omezení můžete odebrat spuštěním následujícího příkazu. Tento příklad je uveden pro systémy NW2 SAP a NW3. Nezapomeňte odebrat dočasná omezení pro stejný prostředek, který jste použili v příkazu k přesunutí skupiny clusteru ERS.

    pcs resource clear fs_NW2_AERS
pcs resource clear fs_NW3_AERS

  5. [1] Přizpůsobte profily instancí ASCS/SCS a ERS pro nově nainstalované systémy SAP. Níže uvedený příklad je určen pro NW2. Musíte přizpůsobit profily ASCS/SCS a ERS pro všechny instance SAP přidané do clusteru.

    • Profil ASCS/SCS

      sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = TRUE

      V případě ENSA1 i ENSA2 se ujistěte, že keepalive jsou parametry operačního systému nastavené tak, jak je popsáno v poznámce SAP 1410736.

    • Profil ERS

      sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# remove Autostart from ERS profile
# Autostart = 1

  6. [A] Aktualizujte soubor /usr/sap/sapservices .

    Aby se zabránilo spuštění instancí spouštěcím skriptem sapinit , musí být všechny instance spravované pacemakerem zakomentovány ze souboru /usr/sap/sap/sapservices . Následující příklad je určený pro systémy NW2 SAP a NW3.

    # Depending on whether the SAP Startup framework is integrated with systemd, you may observe below entries on the node for ASCS instances. You should comment out the line(s). 
# LD_LIBRARY_PATH=/usr/sap/NW2/ASCS10/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ASCS10/exe/sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs -D -u nw2adm
# LD_LIBRARY_PATH=/usr/sap/NW3/ASCS20/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ASCS20/exe/sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs -D -u nw3adm
# systemctl --no-ask-password start SAPNW2_10 # sapstartsrv pf=/usr/sap/NW2/SYS/profile/NW2_ASCS10_msnw2ascs
# systemctl --no-ask-password start SAPNW3_20 # sapstartsrv pf=/usr/sap/NW3/SYS/profile/NW3_ASCS20_msnw3ascs

# Depending on whether the SAP Startup framework is integrated with systemd, you may observe below entries on the node for ERS instances. You should comment out the line(s). 
#LD_LIBRARY_PATH=/usr/sap/NW2/ERS12/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW2/ERS12/exe/sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers -D -u nw2adm
#LD_LIBRARY_PATH=/usr/sap/NW3/ERS22/exe:$LD_LIBRARY_PATH; export LD_LIBRARY_PATH; /usr/sap/NW3/ERS22/exe/sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers -D -u nw3adm
# systemctl --no-ask-password start SAPNW2_12 # sapstartsrv pf=/usr/sap/NW2/ERS12/profile/NW2_ERS12_msnw2ers
# systemctl --no-ask-password start SAPNW3_22 # sapstartsrv pf=/usr/sap/NW3/ERS22/profile/NW3_ERS22_msnw3ers

    Důležité

    Se systémem založeným na platformě SAP Startup Framework je teď možné instance SAP spravovat pomocí systému. Minimální požadovaná verze Red Hat Enterprise Linuxu (RHEL) je RHEL 8 pro SAP. Jak je popsáno v sap Note 3115048, nová instalace jádra SAP s integrovanou systémovou podporou ARCHITEKTURY SAP Startup Framework bude vždy mít za následek systémově řízenou instanci SAP. Po upgradu jádra SAP existující instalace SAP na jádro, které má systémovou podporu SAP Startup Framework, je však nutné provést některé ruční kroky popsané v SAP Note 3115048 převést stávající spouštěcí prostředí SAP na prostředí, které je řízeno systémem.

    Při využívání služeb Red Hat HA pro SAP (konfigurace clusteru) ke správě instancí aplikačních serverů SAP, jako jsou SAP ASCS a SAP ERS, budou potřeba další úpravy, které zajistí kompatibilitu mezi agentem prostředků SAPInstance a novou systémovou architekturou spouštění SAP. Jakmile se tedy instance aplikačního serveru SAP nainstalují nebo přepnou do systémového povoleného jádra SAP podle 3115048 SAP Note, kroky uvedené v článku Red Hat KBA 6884531 se musí úspěšně dokončit na všech uzlech clusteru.

  7. [1] Vytvořte prostředky clusteru SAP pro nově nainstalovaný systém SAP.

    V závislosti na tom, jestli používáte systém ENSA1 nebo ENSA2, vyberte příslušnou kartu, abyste definovali prostředky pro systémy NW2 SAP a NW3 následujícím způsobem. SAP zavedl podporu pro ENSA2, včetně replikace, v SAP NetWeaver 7.52. Od verze ABAP Platform 1809 se ensa2 instaluje ve výchozím nastavení. Podporu ENSA2 najdete v tématu SAP Note 2630416 pro podporu fronty serveru 2.

    Pokud používáte architekturu enqueue server 2 (ENSA2), nainstalujte agenta prostředků resource-agents-sap-4.1.1-12.el7.x86_64 nebo novější a definujte prostředky pro systémy NW2 SAP a NW3 následujícím způsobem:

    sudo pcs property set maintenance-mode=true

sudo pcs resource create rsc_sap_NW2_ASCS10 SAPInstance \
InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW2_ASCS

sudo pcs resource meta g-NW2_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW2_ERS12 SAPInstance \
InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW2_AERS

sudo pcs constraint colocation add g-NW2_AERS with g-NW2_ASCS -5000
sudo pcs constraint location rsc_sap_NW2_ASCS10 rule score=2000 runs_ers_NW2 eq 1
sudo pcs constraint order start g-NW2_ASCS then stop g-NW2_AERS kind=Optional symmetrical=false

sudo pcs resource create rsc_sap_NW3_ASCS20 SAPInstance \
InstanceName=NW3_ASCS20_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
AUTOMATIC_RECOVER=false \
meta resource-stickiness=5000 migration-threshold=1 failure-timeout=60 \
op monitor interval=20 on-fail=restart timeout=60 \
op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW3_ASCS

sudo pcs resource meta g-NW3_ASCS resource-stickiness=3000

sudo pcs resource create rsc_sap_NW3_ERS22 SAPInstance \
InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW2_ERS22_msnw3ers" \
AUTOMATIC_RECOVER=false IS_ERS=true \
op monitor interval=20 on-fail=restart timeout=60 op start interval=0 timeout=600 op stop interval=0 timeout=600 \
--group g-NW3_AERS

sudo pcs constraint colocation add g-NW3_AERS with g-NW3_ASCS -5000
sudo pcs constraint location rsc_sap_NW3_ASCS20 rule score=2000 runs_ers_NW3 eq 1
sudo pcs constraint order start g-NW3_ASCS then stop g-NW3_AERS kind=Optional symmetrical=false

sudo pcs property set maintenance-mode=false

    Pokud upgradujete ze starší verze a přecházíte na enqueue server 2, prohlédněte si poznámku SAP 2641019.

    Poznámka:

    Časové limity ve výše uvedené konfiguraci jsou pouze příklady a může být potřeba je přizpůsobit konkrétnímu nastavení SAP.

    Ujistěte se, že je stav clusteru v pořádku a že jsou spuštěné všechny prostředky. Není důležité, na kterém uzlu jsou prostředky spuštěné. Následující příklad ukazuje stav prostředků clusteru po přidání systémů NW2 SAP do NW3 clusteru.

    sudo pcs status

# Online: [ rhelmsscl1 rhelmsscl2 ]

# Full list of resources:

# rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
# Resource Group: g-NW1_ASCS
#   fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW1_AERS
#   fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
#   vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
#   nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
#   rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
# Resource Group: g-NW2_ASCS
#   fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW2_AERS
#   fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW3_ASCS
#   fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#   rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
# Resource Group: g-NW3_AERS
#   fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
#   vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
#   nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
#  rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

  8. [A] Přidejte pravidla brány firewall pro ASCS a ERS na obou uzlech. Následující příklad ukazuje pravidla brány firewall pro systémy NW2 SAP i NW3.

    # NW1 - ASCS
sudo firewall-cmd --zone=public --add-port={62010,3210,3610,3910,8110,51013,51014,51016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62010,3210,3610,3910,8110,51013,51014,51016}/tcp
# NW2 - ERS
sudo firewall-cmd --zone=public --add-port={62112,3212,3312,51213,51214,51216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62112,3212,3312,51213,51214,51216}/tcp
# NW3 - ASCS
sudo firewall-cmd --zone=public --add-port={62020,3220,3620,3920,8120,52013,52014,52016}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62020,3220,3620,3920,8120,52013,52014,52016}/tcp
# NW3 - ERS
sudo firewall-cmd --zone=public --add-port={62122,3222,3322,52213,52214,52216}/tcp --permanent
sudo firewall-cmd --zone=public --add-port={62122,3222,3322,52213,52214,52216}/tcp

Pokračovat v instalaci SAP

Dokončete instalaci SAP pomocí:

Otestování nastavení clusteru s více identifikátory SID

Následující testy jsou podmnožinou testovacích případů v průvodcích osvědčenými postupy Red Hatu. Jsou součástí vašeho pohodlí. Úplný seznam testů clusteru najdete v následující dokumentaci:

Vždy si přečtěte příručky osvědčených postupů pro Red Hat a proveďte všechny ostatní testy, které mohly být přidány. Zobrazené testy jsou v clusteru se dvěma uzly s více identifikátory SID se třemi nainstalovanými systémy SAP.

  1. Ručně migrujte instanci SLUŽBY ASCS. Příklad ukazuje migraci instance ASCS pro systém SAP NW3.

    Stav prostředku před zahájením testu:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

    Spuštěním následujících příkazů jako kořenového adresáře migrujte instanci služby ASCS NW3.

    pcs resource move rsc_sap_NW3_ASCS200
# Clear temporary migration constraints
pcs resource clear rsc_sap_NW3_ASCS20

# Remove failed actions for the ERS that occurred as part of the migration
pcs resource cleanup rsc_sap_NW3_ERS22

    Stav prostředku po testu:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2

  2. Simulace chybového ukončení uzlu

    Stav prostředku před zahájením testu:

    Online: [ rhelmsscl1 rhelmsscl2 ]

Full list of resources:

rsc_st_azure   (stonith:fence_azure_arm):      Started rhelmsscl1
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl2

    Na uzlu, na kterém běží aspoň jedna instance ASCS, spusťte následující příkaz jako kořen. V tomto příkladu se spustí příkaz , ve rhelmsscl1kterém jsou spuštěny instance SLUŽBY ASCS pro NW1NW2a NW3 jsou spuštěny.

    echo c > /proc/sysrq-trigger

    Stav po testu a po opětovném spuštění uzlu, který byl chybově ukončen, by měl vypadat takto:

    Full list of resources:

rsc_st_azure    (stonith:fence_azure_arm):      Started rhelmsscl2
Resource Group: g-NW1_ASCS
    fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW1_AERS
    fs_NW1_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW1_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW1_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW2_ASCS
    fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW2_AERS
    fs_NW2_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW2_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW2_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1
Resource Group: g-NW3_ASCS
    fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started rhelmsscl2
    vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl2
    nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started rhelmsscl2
    rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started rhelmsscl2
Resource Group: g-NW3_AERS
    fs_NW3_AERS        (ocf::heartbeat:Filesystem):    Started rhelmsscl1
    vip_NW3_AERS       (ocf::heartbeat:IPaddr2):       Started rhelmsscl1
    nc_NW3_AERS        (ocf::heartbeat:azure-lb):      Started rhelmsscl1
    rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started rhelmsscl1

    Pokud existují zprávy pro neúspěšné prostředky, vyčistěte stav neúspěšných prostředků. Příklad:

    pcs resource cleanup rsc_sap_NW1_ERS02

Další kroky

Informace o vytvoření vysoké dostupnosti a plánování zotavení po havárii SAP HANA na virtuálních počítačích Azure najdete v tématu Vysoká dostupnost SAP HANA na virtuálních počítačích Azure.