Alta disponibilidade do SAP NetWeaver em VMs do Azure no SUSE Linux Enterprise Server para o guia de vários SIDs em aplicativos SAP

Este artigo descreve como implantar vários sistemas de alta disponibilidade do SAP NetWeaver ou S4HANA (ou seja, vários SIDs) em um cluster de dois nós em VMs do Azure com SUSE Linux Enterprise Server para aplicativos SAP.

Nas configurações de exemplo, nos comandos de instalação e em outras situações, três sistemas SAP NetWeaver 7.50 são implantados em um único cluster de alta disponibilidade de dois nós. Os SIDs de sistemas SAP são:

• NW1: número de instância de ASCS 00 e nome de host virtual msnw1ascs; número de instância ERS 02 e nome de host virtual msnw1ers.
• NW2: número de instância de ASCS 10 e nome de host virtual msnw2ascs; número de instância ERS 12 e nome de host virtual msnw2ers.
• NW3: número de instância de ASCS 20 e nome de host virtual msnw3ascs; número de instância ERS 22 e nome de host virtual msnw3ers.

O artigo não aborda a camada de banco de dados e a implantação dos compartilhamentos NFS do SAP. Nos exemplos deste artigo, usamos os nomes virtuais nw2-nfs para os compartilhamentos NFS do NW2 e nw3-nfs para os compartilhamentos NFS do NW3, supondo que o cluster NFS foi implantado.

Antes de começar, consulte as seguintes notas e documentos do SAP:

• A Nota SAP 1928533, que tem:
  • Lista de tamanhos de VM do Azure que têm suporte para a implantação de software SAP
  • Informações importantes sobre capacidade para tamanhos de VM do Azure
  • Software SAP e combinações de SO (sistema operacional) e banco de dados com suporte
  • A versão do kernel do SAP necessária para Windows e para Linux no Microsoft Azure
• A Nota SAP 2015553 lista pré-requisitos para implantações de software SAP com suporte do SAP no Azure.
• A Nota SAP 2205917 tem configurações de SO recomendadas para SUSE Linux Enterprise Server para aplicativos SAP
• A Nota SAP 1944799 tem Diretrizes SAP HANA para SUSE Linux Enterprise Server para aplicativos SAP
• A Nota SAP 2178632 contém informações detalhadas sobre todas as métricas de monitoramentos relatadas para o SAP no Azure.
• A Nota SAP 2191498 tem a versão necessária do SAP Host Agent para Linux no Azure.
• A Nota SAP 2243692 tem informações sobre o licenciamento do SAP no Linux no Azure.
• A Nota SAP 1984787 tem informações gerais sobre o SUSE Linux Enterprise Server 12.
• A Nota SAP 1999351 tem informações de solução de problemas adicionais para a Extensão de Monitoramento Avançado do Azure para SAP.
• WIKI da comunidade do SAP tem todas as Notas SAP necessárias para Linux.
• Planejamento e implementação de Máquinas Virtuais do Azure para SAP no Linux
• Implantação de Máquinas Virtuais do Azure para SAP no Linux
• Implantação de Máquinas Virtuais do Azure do DBMS para SAP no Linux
• Guias de melhores práticas SUSE SAP HA – Os guias contêm todas as informações necessárias para configurar o Netweaver HA e a Replicação de Sistema SAP HANA no local. Use esses guias como uma linha de base geral. Eles fornecem informações muito mais detalhadas.
• Notas sobre a versão do SUSE High Availability Extension 12 SP3
• Guia de cluster de vários SIDs do SUSE para SLES 12 e SLES 15
• Aplicativos SAP NetApp no Microsoft Azure usando o Azure NetApp Files

Visão geral

As máquinas virtuais que participam do cluster devem ser dimensionadas para conseguirem executar todos os recursos, caso ocorra um failover. Cada SID do SAP pode fazer failover de forma independente uma da outra no cluster de alta disponibilidade de vários SIDs. Se estiver usando o isolamento SBD, os dispositivos SBD poderão ser compartilhados entre vários clusters.

Para obter alta disponibilidade, o SAP NetWeaver requer compartilhamentos NFS com alta disponibilidade. Neste exemplo, supomos que os compartilhamentos NFS do SAP estão hospedados no servidor de arquivos NFS com alta disponibilidade, que pode ser usado por vários sistemas SAP. Ou os compartilhamentos são implantados nos volumes NFS do Azure NetApp Files.

Importante

O suporte para clustering de vários SIDs do SAP ASCS/ERS com SUSE Linux como sistema operacional convidado em VMs do Azure é limitado a cinco SIDs do SAP no mesmo cluster. Cada novo SID aumenta a complexidade. A combinação do Servidor de Replicação de Enfileiramento 1 e do Servidor de Replicação de Enfileiramento 2 do SAP no mesmo cluster não é compatível. O clustering de vários SIDs descreve a instalação de várias instâncias do SAP ASCS/ERS com SIDs diferentes em um cluster Pacemaker. Atualmente, o clustering de vários SIDs é compatível somente para ASCS/ERS.

Dica

O clustering de vários SIDs do SAP ASCS/ERS é uma solução com maior complexidade. É mais complexo de implementar. Também envolve um esforço administrativo maior ao executar atividades de manutenção (como aplicação de patch de SO). Antes de iniciar a implementação real, reserve um tempo para planejar cuidadosamente a implantação e todos os componentes envolvidos, como VMs, montagens de NFS, VIPs, configurações do balanceador de carga e assim por diante.

O servidor NFS, ASCS do SAP NetWeaver, SCS do SAP NetWeaver, ERS do SAP NetWeaver e o banco de dados SAP HANA usam um nome do host virtual e endereços IP virtuais. No Azure, um balanceador de carga é necessário para usar um endereço IP virtual. É recomendável usar o Standard Load Balancer.

A configuração apresentada para este exemplo de cluster com vários SID com três sistemas SAP mostra um balanceador de carga com:

• Endereços IP de front-end para ASCS: 10.3.1.14 (NW1), 10.3.1.16 (NW2) e 10.3.1.13 (NW3)
• Endereços IP de front-end para ERS: 10.3.1.15 (NW1), 10.3.1.17 (NW2) e 10.3.1.19 (NW3)
• Porta de investigação 62000 para NW1 ASCS, 62010 para NW2 ASCS e 62020 para NW3 ASCS
• Porta de investigação 62102 para NW1 ASCS, 62112 para NW2 ASCS e 62122 para NW3 ASCS

Observação

Quando as VMs sem endereços IP públicos forem colocadas no pool de back-end do Standard Azure Load Balancer (sem endereço IP público), não haverá nenhuma conectividade de saída com a Internet se não houver configuração adicional a fim de permitir o roteamento para pontos de extremidade públicos. Para obter detalhes sobre como alcançar conectividade de saída, confira Conectividade de ponto de extremidade público para Máquinas Virtuais usando o Azure Standard Load Balancer em cenários de alta disponibilidade do SAP.

Importante

• Não habilite carimbos de data/hora de TCP em VMs do Azure posicionadas de forma subjacente em relação ao Azure Load Balancer. Habilitar carimbos de data/hora de TCP fará com que as investigações de integridade falhem. Defina o parâmetro de net.ipv4.tcp_timestamps a 0. Para obter detalhes, veja Investigações de integridade do Load Balancer.
• Para evitar que o saptune altere o valor net.ipv4.tcp_timestamps definido manualmente de 0 de volta para 1, você deve atualizar a versão do saptune para 3.1.1 ou superior. Para obter mais informações, confira Saptune 3.1.1: preciso atualizar?.

Compartilhamentos NFS do SAP

O SAP NetWeaver requer armazenamento compartilhado para o transporte, o diretório de perfil e assim por diante. Para um sistema SAP com alta disponibilidade, é importante ter compartilhamentos NFS altamente disponíveis. Você precisaria definir a arquitetura de seus compartilhamentos NFS do SAP. Uma opção é criar um cluster NFS altamente disponível em VMs do Azure no SUSE Linux Enterprise Server, que pode ser compartilhado entre vários sistemas SAP.

Outra opção é implantar os compartilhamentos em volumes do Azure NetApp Files NFS. Com o Azure NetApp Files, você tem alta disponibilidade interna para os compartilhamentos NFS do SAP.

Implantar o primeiro sistema SAP no cluster

Com base na arquitetura dos compartilhamentos NFS do SAP, implante o primeiro sistema SAP no cluster seguindo a documentação correspondente.

• Se estiver usando o servidor NFS de alta disponibilidade, acompanhe Alta disponibilidade do SAP NetWeaver em VMs do Azure no SUSE Linux Enterprise Server para aplicativos SAP.
• Se estiver usando os volumes de NFS do Azure NetApp, acompanhe Alta disponibilidade do SAP NetWeaver em VMs do Azure em SUSE Linux Enterprise Server com Azure NetApp Files para aplicativos SAP

Os documentos listados acima orientam você nas etapas para preparar as infraestruturas necessárias, criar o cluster e preparar o sistema operacional para executar o aplicativo SAP.

Dica

Sempre teste a funcionalidade de failover do cluster depois que o primeiro sistema for implantado, antes de incluir os SIDs adicionais do SAP ao cluster. Dessa forma, você saberá que o cluster funciona antes de incluir a complexidade de sistemas adicionais do SAP ao cluster.

Implantar sistemas adicionais do SAP no cluster

Neste exemplo assumimos que o sistema NW1 já foi implantado no cluster. Mostraremos como implantar os sistemas SAP NW2 e NW3 no cluster.

Os itens a seguir são prefixados com [A] – aplicável a todos os nós, [1] – aplicável somente ao nó 1 ou [2] – aplicável somente ao nó 2.

Pré-requisitos

Importante

Antes de seguir as instruções para implantar sistemas SAP adicionais no cluster, siga as instruções para implantar o primeiro sistema SAP no cluster, pois há etapas que são necessárias apenas durante a primeira implantação do sistema.

Esta documentação assume que:

• O cluster Pacemaker já está configurado e em execução.
• Pelo menos um sistema SAP (instância de ASCS/ERS) já está implantado e está em execução no cluster.
• A funcionalidade de failover do cluster é testada.
• Os compartilhamentos NFS para todos os sistemas SAP estão implantados.

Preparar para a Instalação do SAP NetWeaver

1. Adicione a configuração para o sistema recém-implantado (ou seja, NW2, NW3) no Azure Load Balancer existente, seguindo as instruções para configurar o Azure Load Balancer manualmente por meio de portal do Azure. Ajuste os endereços IP, as portas de investigação de integridade e as regras de balanceamento de carga para sua configuração.

2. [A] Configure a resolução de nomes para os sistemas adicionais do SAP. Use um servidor DNS ou modifique /etc/hosts em todos os nós. Este exemplo mostra como usar o arquivo /etc/hosts. Adapte os endereços IP e os nomes de host ao seu ambiente.

   sudo vi /etc/hosts
   
   # IP address of the load balancer frontend configuration for NW2 ASCS
   10.3.1.16 msnw2ascs
   # IP address of the load balancer frontend configuration for NW3 ASCS
   10.3.1.13 msnw3ascs
   # IP address of the load balancer frontend configuration for NW2 ERS
   10.3.1.17 msnw2ers
   # IP address of the load balancer frontend configuration for NW3 ERS
   10.3.1.19 msnw3ers
   # IP address for virtual host name for the NFS server for NW2
   10.3.1.31 nw2-nfs
   # IP address for virtual host name for the NFS server for NW3
   10.3.1.32 nw3-nfs
   

3. [A] Crie os diretórios compartilhados para os sistemas adicionais do SAP NW2 e NW3 que você está implantando no cluster.

   sudo mkdir -p /sapmnt/NW2
   sudo mkdir -p /usr/sap/NW2/SYS
   sudo mkdir -p /usr/sap/NW2/ASCS10
   sudo mkdir -p /usr/sap/NW2/ERS12
   sudo mkdir -p /sapmnt/NW3
   sudo mkdir -p /usr/sap/NW3/SYS
   sudo mkdir -p /usr/sap/NW3/ASCS20
   sudo mkdir -p /usr/sap/NW3/ERS22
   
   sudo chattr +i /sapmnt/NW2
   sudo chattr +i /usr/sap/NW2/SYS
   sudo chattr +i /usr/sap/NW2/ASCS10
   sudo chattr +i /usr/sap/NW2/ERS12
   sudo chattr +i /sapmnt/NW3
   sudo chattr +i /usr/sap/NW3/SYS
   sudo chattr +i /usr/sap/NW3/ASCS20
   sudo chattr +i /usr/sap/NW3/ERS22
   

4. [A] Configure autofs para montar os sistemas de arquivos /sapmnt/SID e /usr/sap/SID/SYS para os sistemas adicionais do SAP que você está implantando no cluster. Neste exemplo, NW2 e NW3.

   Atualize o arquivo /etc/auto.direct com os sistemas de arquivos para os sistemas adicionais do SAP que você está implantando no cluster.

   • Se estiver usando o servidor de arquivos NFS, siga as instruções na página Alta disponibilidade de VMs do Azure para SAP NetWeaver no SLES
   • Se estiver usando o Azure NetApp Files, siga as instruções na página Alta disponibilidade de VMs do Azure para SAP NW em SLES com Azure NetApp Files

   Será necessário reiniciar o serviço autofs para montar os compartilhamentos adicionados recentemente.

Instalar o ASCS/ERS

1. Crie o IP virtual e os recursos de cluster de investigação de integridade para a instância ASCS do sistema adicional do SAP que você está implantando no cluster. O exemplo mostrado aqui é para ASCS NW2 e NW3, usando o servidor NFS altamente disponível.

   Importante

   Testes recentes revelaram situações em que o netcat deixa de responder às solicitações devido à lista de pendências e à limitação dele de manipular apenas uma conexão. O recurso netcat deixa de escutar as solicitações do Azure Load Balancer e o IP flutuante fica não disponível.
   Para os clusters existentes do Pacemaker, recomendamos a substituição do netcat pelo socat. No momento, é recomendável usar o agente de recursos do azure-lb, que faz parte do pacote resource-agents, com os seguintes requisitos de versão do pacote:

   • Para o SLES 12 SP4/SP5, a versão deve ser pelo menos resource-agents-4.3.018.a7fb5035-3.30.1.
   • Para o SLES 15/15 SP1, a versão deve ser pelo menos resource-agents-4.3.0184.6ee15eb2-4.13.1.

   Observe que a alteração exigirá um breve tempo de inatividade.
   Para clusters do Pacemaker existentes, se a configuração já foi alterada para usar socat conforme descrito em Proteção de Detecção do Azure Load Balancer, não há nenhum requisito para mudar imediatamente para o agente de recursos azure-lb.

   sudo crm configure primitive fs_NW2_ASCS Filesystem device='nw2-nfs:/NW2/ASCS' directory='/usr/sap/NW2/ASCS10' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
   
   sudo crm configure primitive vip_NW2_ASCS IPaddr2 \
       params ip=10.3.1.16 \
       op monitor interval=10 timeout=20
   
   sudo crm configure primitive nc_NW2_ASCS azure-lb port=62010 \
       op monitor timeout=20s interval=10
   
   sudo crm configure group g-NW2_ASCS fs_NW2_ASCS nc_NW2_ASCS vip_NW2_ASCS \
        meta resource-stickiness=3000
   
   sudo crm configure primitive fs_NW3_ASCS Filesystem device='nw3-nfs:/NW3/ASCS' directory='/usr/sap/NW3/ASCS20' fstype='nfs4' \
       op start timeout=60s interval=0 \
       op stop timeout=60s interval=0 \
       op monitor interval=20s timeout=40s
   
   sudo crm configure primitive vip_NW3_ASCS IPaddr2 \
      params ip=10.3.1.13 \
      op monitor interval=10 timeout=20
   
   sudo crm configure primitive nc_NW3_ASCS azure-lb port=62020 \
      op monitor timeout=20s interval=10
   
   sudo crm configure group g-NW3_ASCS fs_NW3_ASCS nc_NW3_ASCS vip_NW3_ASCS \
       meta resource-stickiness=3000
   

   Conforme você cria os recursos, eles podem ser atribuídos a diferentes recursos de cluster. Ao agrupá-los, eles migrarão para um dos nós de cluster. Confira se o status do cluster está como ok e se todos os recursos estão iniciados. Não é importante saber em qual nó os recursos estão sendo executados.

2. [1] Instalar o ASCS do SAP NetWeaver

   Instale o ASCS do SAP NetWeaver como raiz, usando um nome de host virtual que mapeia para o endereço IP da configuração de front-end do balanceador de carga para o ASCS. Por exemplo, para o sistema NW2, o nome de host virtual é msnw2ascs, 10.3.1.16 e o número de instância que você usou para a investigação do balanceador de carga, por exemplo 10. Para o sistema NW3, o nome de host virtual é msnw3ascs, 10.3.1.13 e o número de instância que você usou para a investigação do balanceador de carga, por exemplo 20.

   Você pode usar o parâmetro sapinst SAPINST_REMOTE_ACCESS_USER para permitir que um usuário não raiz se conecte ao sapinst. Você pode usar o parâmetro SAPINST_USE_HOSTNAME para instalar o SAP usando o nome de host virtual.

   sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
   

   Se a instalação não conseguir criar uma subpasta em /usr/sap/SID/ASCSInstância# , tente definir o proprietário como sidadm e o grupo para sapsys do ASCSInstância# e tente novamente.

3. [1] Crie um IP virtual e os recursos de cluster de investigação de integridade para a instância ERS do sistema adicional do SAP que você está implantando no cluster. O exemplo mostrado aqui é para ERS NW2 e NW3, usando o servidor NFS altamente disponível.

    sudo crm configure primitive fs_NW2_ERS Filesystem device='nw2-nfs:/NW2/ASCSERS' directory='/usr/sap/NW2/ERS12' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
   
    sudo crm configure primitive vip_NW2_ERS IPaddr2 \
      params ip=10.3.1.17 \
      op monitor interval=10 timeout=20
   
    sudo crm configure primitive nc_NW2_ERS azure-lb port=62112 \
      op monitor timeout=20s interval=10
   
    sudo crm configure group g-NW2_ERS fs_NW2_ERS nc_NW2_ERS vip_NW2_ERS
   
    sudo crm configure primitive fs_NW3_ERS Filesystem device='nw3-nfs:/NW3/ASCSERS' directory='/usr/sap/NW3/ERS22' fstype='nfs4' \
      op start timeout=60s interval=0 \
      op stop timeout=60s interval=0 \
      op monitor interval=20s timeout=40s
   
    sudo crm configure primitive vip_NW3_ERS IPaddr2 \
      params ip=10.3.1.19 \
      op monitor interval=10 timeout=20
   
    sudo crm configure primitive nc_NW3_ERS azure-lb port=62122 \
      op monitor timeout=20s interval=10
   
    sudo crm configure group g-NW3_ERS fs_NW3_ERS nc_NW3_ERS vip_NW3_ERS
   

   Conforme você cria os recursos, eles podem ser atribuídos a diferentes nós de cluster. Ao agrupá-los, eles migrarão para um dos nós de cluster. Confira se o status do cluster está como ok e se todos os recursos estão iniciados.

   Em seguida, confira se os recursos do grupo ERS recém-criados estão em execução no nó do cluster, oposto ao nó do cluster em que a instância ASCS do mesmo sistema SAP foi instalada. Por exemplo, se o NW2 do ASCS foi instalado em slesmsscl1, confira se o grupo NW2 do ERS está em execução em slesmsscl2. É possível migrar o grupo NW2 do ERS para slesmsscl2 executando o seguinte comando:

   crm resource migrate g-NW2_ERS slesmsscl2 force
   

4. [2] Instalar o ERS do SAP NetWeaver

   Instale o ERS do SAP NetWeaver como raiz, usando um nome de host virtual que mapeia para o endereço IP da configuração de front-end do balanceador de carga para o ERS. Por exemplo, para o sistema NW2, o nome de host virtual é msnw2ers, 10.3.1.17 e o número de instância que você usou para a investigação do balanceador de carga, por exemplo 12. Para o sistema NW3, o nome de host virtual é msnw3ers, 10.3.1.19 e o número de instância que você usou para a investigação do balanceador de carga, por exemplo 22.

   Você pode usar o parâmetro sapinst SAPINST_REMOTE_ACCESS_USER para permitir que um usuário não raiz se conecte ao sapinst. Você pode usar o parâmetro SAPINST_USE_HOSTNAME para instalar o SAP usando o nome de host virtual.

   sudo swpm/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
   

   Observação

   Use SWPM SP 20 PL 05 ou superior. Versões anteriores não configurarão as permissões corretamente e a instalação falhará.

   Se a instalação não conseguir criar uma subpasta em /usr/sap/NW2/ERSInstância# , tente definir o proprietário como sidadm e o grupo para sapsys do ERSInstância# e tente novamente.

   Se for necessário migrar o grupo ERS do sistema SAP recém-implantado para um nó de cluster diferente, não se esqueça de remover a restrição de local do grupo ERS. Você pode remover a restrição executando o comando a seguir (o exemplo é fornecido para os sistemas SAP NW2 e NW3).

   crm resource unmigrate g-NW2_ERS
   crm resource unmigrate g-NW3_ERS
   

5. [1] Adapte os perfis de instância ASCS/SCS e ERS para os sistemas do SAP recém-instalados. O exemplo mostrado abaixo é para NW2. Você precisa adaptar os perfis do ASCS/SCS e do ERS para todas as instâncias SAP adicionadas ao cluster.

   • Perfil do ASCS/SCS

   sudo vi /sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs
   
   # Change the restart command to a start command
   #Restart_Program_01 = local $(_EN) pf=$(_PF)
   Start_Program_01 = local $(_EN) pf=$(_PF)
   
   # Add the following lines
   service/halib = $(DIR_CT_RUN)/saphascriptco.so
   service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
   
   # Add the keep alive parameter, if using ENSA1
   enque/encni/set_so_keepalive = TRUE
   

   Para ENSA1 e ENSA2, verifique se os keepaliveparâmetros do sistema operacional estão definidos conforme descrito na nota do SAP 1410736.

   • Perfil do ERS

   sudo vi /sapmnt/NW2/profile/NW2_ERS12_msnw2ers
   
   # Change the restart command to a start command
   #Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
   
   # Add the following lines
   service/halib = $(DIR_CT_RUN)/saphascriptco.so
   service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector
   
   # remove Autostart from ERS profile
   # Autostart = 1
   

6. [A] Configure os usuários do SAP para o sistema SAP implantado recentemente, neste exemplo NW2 e NW3.

   # Add sidadm to the haclient group
   sudo usermod -aG haclient nw2adm
   sudo usermod -aG haclient nw3adm
   

7. Adicione os serviços de ASCS e ERS do SAP para o sistema SAP recentemente instalado ao arquivo sapservice. O exemplo mostrado abaixo é para os sistemas NW2 e NW3 do SAP.

   Adicione a entrada de serviço do ASCS ao segundo nó e copie a entrada de serviço de ERS para o primeiro nó. Execute os comandos para cada sistema SAP no nó em que a instância de ASCS para o sistema SAP foi instalada.

   # Execute the following commands on slesmsscl1,assuming the NW2 ASCS instance was installed on slesmsscl1
   cat /usr/sap/sapservices | grep ASCS10 | sudo ssh slesmsscl2 "cat >>/usr/sap/sapservices"
   sudo ssh slesmsscl2 "cat /usr/sap/sapservices" | grep ERS12 | sudo tee -a /usr/sap/sapservices
   # Execute the following commands on slesmsscl2, assuming the NW3 ASCS instance was installed on slesmsscl2
   cat /usr/sap/sapservices | grep ASCS20 | sudo ssh slesmsscl1 "cat >>/usr/sap/sapservices"
   sudo ssh slesmsscl1 "cat /usr/sap/sapservices" | grep ERS22 | sudo tee -a /usr/sap/sapservices
   

8. [A] Desabilitar os serviços systemd da instância ASCS e ERS do SAP. Esta etapa só é aplicável se a estrutura de inicialização do SAP for gerenciada pelo systemd, conforme a Nota SAP 3115048

   Observação

   Ao gerenciar instâncias SAP como o SAP ASCS e o SAP ERS usando a configuração de cluster SLES, você precisará fazer modificações adicionais para integrar o cluster com a estrutura de inicialização do SAP baseada no systemd nativo. Isso garante que os procedimentos de manutenção não comprometam a estabilidade do cluster. Após instalar ou alternar a estrutura de inicialização do SAP para a configuração habilitada pelo sistema, conforme a Nota SAP 3115048, você deve desabilitar os serviços systemd para as instâncias ASCS e ERS do SAP.

   # Stop all ASCS and ERS instances using <sid>adm
   sapcontrol -nr 10 -function Stop
   sapcontrol -nr 10 -function StopService
   
   sapcontrol -nr 12 -function Stop
   sapcontrol -nr 12 -function StopService
   
   # Execute below command on VM where you have performed ASCS instance installation for each SAP system (e.g. slesmsscl1)
   sudo systemctl disable SAPNW2_10
   sudo systemctl disable SAPNW3_20
   # Execute below command on VM where you have performed ERS instance installation for each SAP system (e.g. slesmsscl2)
   sudo systemctl disable SAPNW2_12
   sudo systemctl disable SAPNW2_22
   

9. [1] Crie os recursos de cluster do SAP para o sistema SAP recém-instalado.

   Dependendo do fato de você estar executando um sistema ENSA1 ou ENSA2, selecione a respectiva guia para definir os recursos para os sistemas NW2 e NW3. O SAP introduziu o suporte para ENSA2, incluindo replicação, no SAP NetWeaver 7.52. Da Plataforma ABAP 1809 em diante, o ENSA2 é instalado por padrão. Para obter suporte para o ENSA2, confira a Nota SAP 2630416.

   ENSA1

   sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
     operations \$id=rsc_sap_NW2_ASCS10-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
     operations \$id=rsc_sap_NW2_ERS12-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
     meta priority=1000
   
   sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
   sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12
   
   sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
   sudo crm configure location loc_sap_NW2_failover_to_ers rsc_sap_NW2_ASCS10 rule 2000: runs_ers_NW2 eq 1
   sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false
   
   sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
     operations \$id=rsc_sap_NW3_ASCS20-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10
   
   sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
     operations \$id=rsc_sap_NW3_ERS22-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true \
     meta priority=1000
   
   sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
   sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22
   
   sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
   sudo crm configure location loc_sap_NW3_failover_to_ers rsc_sap_NW3_ASCS10 rule 2000: runs_ers_NW3 eq 1
   sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
   sudo crm configure property maintenance-mode="false"
   

   ENSA2

   sudo crm configure property maintenance-mode="true"
   
   sudo crm configure primitive rsc_sap_NW2_ASCS10 SAPInstance \
     operations \$id=rsc_sap_NW2_ASCS10-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ASCS10_msnw2ascs START_PROFILE="/sapmnt/NW2/profile/NW2_ASCS10_msnw2ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000 
   
   sudo crm configure primitive rsc_sap_NW2_ERS12 SAPInstance \
     operations \$id=rsc_sap_NW2_ERS12-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW2_ERS12_msnw2ers START_PROFILE="/sapmnt/NW2/profile/NW2_ERS12_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true 
   
   sudo crm configure modgroup g-NW2_ASCS add rsc_sap_NW2_ASCS10
   sudo crm configure modgroup g-NW2_ERS add rsc_sap_NW2_ERS12
   
   sudo crm configure colocation col_sap_NW2_no_both -5000: g-NW2_ERS g-NW2_ASCS
   sudo crm configure order ord_sap_NW2_first_start_ascs Optional: rsc_sap_NW2_ASCS10:start rsc_sap_NW2_ERS12:stop symmetrical=false
   
   sudo crm configure primitive rsc_sap_NW3_ASCS20 SAPInstance \
     operations \$id=rsc_sap_NW3_ASCS20-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ASCS10_msnw3ascs START_PROFILE="/sapmnt/NW3/profile/NW3_ASCS20_msnw3ascs" \
     AUTOMATIC_RECOVER=false \
     meta resource-stickiness=5000
   
   sudo crm configure primitive rsc_sap_NW3_ERS22 SAPInstance \
     operations \$id=rsc_sap_NW3_ERS22-operations \
     op monitor interval=11 timeout=60 on-fail=restart \
     params InstanceName=NW3_ERS22_msnw3ers START_PROFILE="/sapmnt/NW3/profile/NW3_ERS22_msnw2ers" AUTOMATIC_RECOVER=false IS_ERS=true
   
   sudo crm configure modgroup g-NW3_ASCS add rsc_sap_NW3_ASCS20
   sudo crm configure modgroup g-NW3_ERS add rsc_sap_NW3_ERS22
   
   sudo crm configure colocation col_sap_NW3_no_both -5000: g-NW3_ERS g-NW3_ASCS
   sudo crm configure order ord_sap_NW3_first_start_ascs Optional: rsc_sap_NW3_ASCS20:start rsc_sap_NW3_ERS22:stop symmetrical=false
   sudo crm configure property maintenance-mode="false"
   

Se você estiver atualizando de uma versão mais antiga e alternando para o servidor de enfileiramento 2, confira a nota SAP 2641019.

Verifique se o status do cluster é ok e se todos os recursos estão iniciados. Não é importante saber em qual nó os recursos estão sendo executados.

O exemplo a seguir mostra o status de recursos do cluster depois que os sistemas NW2 e NW3 do SAP foram adicionados ao cluster.

sudo crm_mon -r
  
# Online: [ slesmsscl1 slesmsscl2 ]
 
#Full list of resources:
   
#stonith-sbd     (stonith:external/sbd): Started slesmsscl1
# Resource Group: g-NW1_ASCS
#     fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW1_ERS
#     fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ASCS
#     fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW2_ERS
#     fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
# Resource Group: g-NW3_ASCS
#     fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
#     nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
#     vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
#     rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
# Resource Group: g-NW3_ERS
#     fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
#     nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
#     vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
#     rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2

A imagem a seguir mostra como seriam os recursos no Hawk (Konsole da Web de alta disponibilidade) com os recursos do sistema SAP NW2 expandidos.

Continuar com a instalação do SAP

Conclua a instalação do SAP ao:

• Preparar os servidores de aplicativos do SAP NetWeaver
• Instalar a instância do DBMS
• Instalar o servidor de aplicativos primário do SAP
• Instalar uma ou mais instâncias adicionais dos aplicativos SAP

Testar as configurações dos vários SIDs do cluster

Os testes a seguir são um subconjunto dos casos de teste nos guias de práticas recomendadas do SUSE. Eles foram incluídos para sua conveniência. Para obter a lista completa dos testes de cluster, consulte a seguinte documentação:

• Se estiver usando o servidor NFS de alta disponibilidade, acompanhe Alta disponibilidade do SAP NetWeaver em VMs do Azure no SUSE Linux Enterprise Server para aplicativos SAP.
• Se estiver usando os volumes de NFS do Azure NetApp, acompanhe Alta disponibilidade do SAP NetWeaver em VMs do Azure em SUSE Linux Enterprise Server com Azure NetApp Files para aplicativos SAP

Sempre leia os guias de melhores práticas do SUSE e realize todos os testes adicionais que podem ter sido adicionados.
Os testes apresentados estão em um cluster de dois nós, com vários SIDs, com três sistemas SAP instalados.

1. Testar HAGetFailoverConfig e HACheckFailoverConfig

   Execute os seguintes comandos como <sapsid>adm no nó onde a instância do ASCS está sendo executada. Se os comandos falharem com FALHA: memória insuficiente, talvez isso seja causado por traços em seu nome de host. Isso é um problema conhecido e será corrigido pela SUSE no pacote sap-suse-cluster-connector.

    slesmsscl1:nw1adm 57> sapcontrol -nr 00 -function HAGetFailoverConfig
   
   # 10.12.2019 21:33:08
   # HAGetFailoverConfig
   # OK
   # HAActive: TRUE
   # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
   # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
   # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
   # HAActiveNode: slesmsscl1
   # HANodes: slesmsscl1, slesmsscl2
   
    slesmsscl1:nw1adm 53> sapcontrol -nr 00 -function HACheckFailoverConfig
   
    # 19.12.2019 21:19:58
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
   
    slesmsscl2:nw2adm 35> sapcontrol -nr 10 -function HAGetFailoverConfig
   
   # 10.12.2019 21:37:09
   # HAGetFailoverConfig
   # OK
   # HAActive: TRUE
   # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
   # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
   # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
   # HAActiveNode: slesmsscl2
   # HANodes: slesmsscl2, slesmsscl1
   
    slesmsscl2:nw2adm 52> sapcontrol -nr 10 -function HACheckFailoverConfig
   
    # 19.12.2019 21:17:39
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
   
    slesmsscl1:nw3adm 49> sapcontrol -nr 20 -function HAGetFailoverConfig
   
   # 10.12.2019 23:35:36
   # HAGetFailoverConfig
   # OK
   # HAActive: TRUE
   # HAProductVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4
   # HASAPInterfaceVersion: SUSE Linux Enterprise Server for SAP Applications 12 SP4 (sap_suse_cluster_connector 3.1.0)
   # HADocumentation: https://www.suse.com/products/sles-for-sap/resource-library/sap-best-practices/
   # HAActiveNode: slesmsscl1
   # HANodes: slesmsscl1, slesmsscl2
   
    slesmsscl1:nw3adm 52> sapcontrol -nr 20 -function HACheckFailoverConfig
   
    # 19.12.2019 21:10:42
    # HACheckFailoverConfig
    # OK
    # state, category, description, comment
    # SUCCESS, SAP CONFIGURATION, SAPInstance RA sufficient version, SAPInstance includes is-ers patch
   

2. Migre manualmente a instância ASCS. O exemplo mostra a migração da instância ASCS para o sistema NW2 do SAP.

   Estado do recurso antes de iniciar o teste:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

   Execute os seguintes comandos como raiz para migrar a instância NW2 do ASCS.

    crm resource migrate rsc_sap_NW2_ASCS10 force
    # INFO: Move constraint created for rsc_sap_NW2_ASCS10
   
    crm resource unmigrate rsc_sap_NW2_ASCS10
    # INFO: Removed migration constraints for rsc_sap_NW2_ASCS10
   
    # Remove failed actions for the ERS that occurred as part of the migration
    crm resource cleanup rsc_sap_NW2_ERS12
   

   Estado do recurso após o teste:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

3. Teste HAFailoverToNode. O teste apresentado aqui mostra a migração da instância ASCS para o sistema NW2 do SAP.

   Estado do recurso antes de iniciar o teste:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

   Execute os seguintes comandos como nw2adm para migrar a instância NW2 do ASCS.

    slesmsscl2:nw2adm 53> sapcontrol -nr 10 -host msnw2ascs -user nw2adm password -function HAFailoverToNode ""
   
   # run as root
   # Remove failed actions for the ERS that occurred as part of the migration
   crm resource cleanup rsc_sap_NW2_ERS12
   # Remove migration constraints
   crm resource clear rsc_sap_NW2_ASCS10
   #INFO: Removed migration constraints for rsc_sap_NW2_ASCS10
   

   Estado do recurso após o teste:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

4. Simular falhas de nó

   Estado do recurso antes de iniciar o teste:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   

   Execute o comando a seguir como raiz no nó em que pelo menos uma instância ASCS está em execução. Neste exemplo, executamos o comando em slesmsscl2, em que as instâncias ASCS para NW1 e NW3 estão em execução.

    slesmsscl2:~ # echo b > /proc/sysrq-trigger
   

   Se você usar SBD, o Pacemaker não deverá iniciar automaticamente no nó eliminado. O status depois que o nó for iniciado novamente deve ser assim.

    Online: [ slesmsscl1 ]
    OFFLINE: [ slesmsscl2 ]
    Full list of resources:
   
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl1
   
    Failed Resource Actions:
    * rsc_sap_NW1_ERS02_monitor_11000 on slesmsscl1 'not running' (7): call=125, status=complete, exitreason='',
        last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
    * rsc_sap_NW2_ERS12_monitor_11000 on slesmsscl1 'not running' (7): call=126, status=complete, exitreason='',
        last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
    * rsc_sap_NW3_ERS22_monitor_11000 on slesmsscl1 'not running' (7): call=127, status=complete, exitreason='',
        last-rc-change='Fri Dec 13 19:32:10 2019', queued=0ms, exec=0ms
   

   Use os comandos a seguir para iniciar o Pacemaker no nó eliminado, limpar as mensagens SBD e limpar os recursos com falha.

   # run as root
   # list the SBD device(s)
   cat /etc/sysconfig/sbd | grep SBD_DEVICE=
   
   # output is like:
   # SBD_DEVICE="/dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116;/dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1;/dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3"
   
   sbd -d /dev/disk/by-id/scsi-36001405772fe8401e6240c985857e116 -d /dev/disk/by-id/scsi-36001405034a84428af24ddd8c3a3e9e1 -d /dev/disk/by-id/scsi-36001405cdd5ac8d40e548449318510c3 message slesmsscl2 clear
   
   systemctl start pacemaker
   crm resource cleanup rsc_sap_NW1_ERS02
   crm resource cleanup rsc_sap_NW2_ERS12
   crm resource cleanup rsc_sap_NW3_ERS22
   

   Estado do recurso após o teste:

    Full list of resources:
    stonith-sbd     (stonith:external/sbd): Started slesmsscl1
     Resource Group: g-NW1_ASCS
         fs_NW1_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW1_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW1_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW1_ASCS00 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW1_ERS
         fs_NW1_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW1_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW1_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW1_ERS02  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW2_ASCS
         fs_NW2_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW2_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW2_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW2_ASCS10 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW2_ERS
         fs_NW2_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW2_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW2_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW2_ERS12  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
     Resource Group: g-NW3_ASCS
         fs_NW3_ASCS        (ocf::heartbeat:Filesystem):    Started slesmsscl1
         nc_NW3_ASCS        (ocf::heartbeat:azure-lb):      Started slesmsscl1
         vip_NW3_ASCS       (ocf::heartbeat:IPaddr2):       Started slesmsscl1
         rsc_sap_NW3_ASCS20 (ocf::heartbeat:SAPInstance):   Started slesmsscl1
     Resource Group: g-NW3_ERS
         fs_NW3_ERS (ocf::heartbeat:Filesystem):    Started slesmsscl2
         nc_NW3_ERS (ocf::heartbeat:azure-lb):      Started slesmsscl2
         vip_NW3_ERS        (ocf::heartbeat:IPaddr2):       Started slesmsscl2
         rsc_sap_NW3_ERS22  (ocf::heartbeat:SAPInstance):   Started slesmsscl2
   

Próximas etapas

• Planejamento e implementação de Máquinas Virtuais do Azure para o SAP
• Implantação de Máquinas Virtuais do Azure para SAP
• Implantação do DBMS de Máquinas Virtuais do Azure para SAP
• Para saber como estabelecer a alta disponibilidade e o plano de recuperação de desastre do SAP HANA em VMs do Azure, confira Alta disponibilidade do SAP HANA em VMs (Máquinas Virtuais) do Azure