SAP アプリケーション用の Azure NetApp Files を使用した SUSE Linux Enterprise Server 上の Azure VM 上の SAP NetWeaver の高可用性

[アーティクル]
07/25/2024

この記事では、Azure NetApp Files を使って、SAP NetWeaver アプリケーションの高可用性を構成する方法について説明します。

SLES for SAP Applications 15 への新しい実装では、シンプルなマウント構成で SAP ASCS/ERS 用の高可用性をデプロイすることをお勧めします。この記事で説明されている SAP セントラルサービスディレクトリ用のクラスター制御ファイルシステムに基づく従来の Pacemaker 構成は、引き続きサポートされています。

サンプルの構成やインストールコマンドなどの場合、ASCS インスタンスの番号は 00、ERS インスタンスの番号は 01、プライマリアプリケーションインスタンス (PAS) の番号は 02、アプリケーションインスタンス (AAS) の番号は 03 です。 SAP システム ID QAS が使用されます。データベースレイヤーについては、詳しくは説明していません。

はじめに、次の SAP Note およびガイドを確認してください

Azure NetApp Files のドキュメント
SAP Note 1928533: 次の情報が含まれています。
- SAP ソフトウェアのデプロイでサポートされる Azure VM サイズの一覧
- Azure VM サイズの容量に関する重要な情報
- サポートされる SAP ソフトウェア、およびオペレーティングシステム (OS) とデータベースの組み合わせ
- Microsoft Azure 上の Windows と Linux に必要な SAP カーネルバージョン
SAP Note 2015553: SAP でサポートされる Azure 上の SAP ソフトウェアデプロイの前提条件が記載されています。
SAP Note 2205917: SUSE Linux Enterprise Server for SAP Applications 向けの推奨の OS 設定が記載されています。
SAP Note 1944799: SUSE Linux Enterprise Server for SAP Applications の SAP HANA ガイドラインが記載されています。
SAP Note 2178632: Azure 上の SAP について報告されるすべての監視メトリックに関する詳細情報が記載されています。
SAP Note 2191498: Azure 上の Linux に必要な SAP Host Agent のバージョンが記載されています。
SAP Note 2243692: Azure 上の Linux で動作する SAP のライセンスに関する情報が記載されています。
SAP Note 1984787: SUSE Linux Enterprise Server 12 に関する一般情報が記載されています。
SAP Note 1999351: Azure Enhanced Monitoring Extension for SAP に関するその他のトラブルシューティング情報が記載されています。
SAP Community WIKI: Linux に必要なすべての SAP Note を参照できます。
Linux 上の SAP のための Azure Virtual Machines の計画と実装
Linux 上の SAP のための Azure Virtual Machines のデプロイ
Linux 上の SAP のための Azure Virtual Machines DBMS のデプロイ
SUSE SAP HA ベストプラクティスガイド: このガイドには、オンプレミスで Netweaver HA と SAP HANA System Replication を設定するために必要なすべての情報が記載されています。一般的なベースラインとしてこのガイドを使用してください。このガイドには詳細な情報が提供されています。
SUSE High Availability Extension 12 SP3 リリースノート
Azure NetApp Files を使用した Microsoft Azure 上の NetApp SAP アプリケーション
NetApp NFS のベストプラクティス

概要

SAP Netweaver セントラルサービスの高可用性 (HA) を実現するには、共有ストレージが必要です。従来 SUSE Linux 上でこれを実現するには、別途、高可用性 NFS クラスターを構築する必要がありました。

Azure NetApp Files にデプロイされた共有ストレージを使って、SAP NetWeaver の HA を実現できるようになりました。 Azure NetApp Files を共有ストレージ用に使用すると、NFS クラスターを追加する必要がなくなります。 SAP Netweaver セントラルサービス (ASCS/SCS) の HA を実現するには、依然として Pacemaker が必要です。

SAP NetWeaver の高可用性の概要

SAP NetWeaver ASCS、SAP NetWeaver SCS、SAP NetWeaver ERS、SAP HANA データベースでは、仮想ホスト名と仮想 IP アドレスが使用されます。 Azure 上で仮想 IP アドレスを使用するには、ロードバランサーが必要です。 Standard Load Balancer の使用をお勧めします。表示されている構成は、次のものを含むロードバランサーを示しています。

ASCS のフロントエンド IP アドレス 10.1.1.20
ERS のフロントエンド IP アドレス 10.1.1.21
ASCS のプローブポート 62000
ERS のプローブポート 62101

Azure NetApp Files インフラストラクチャの設定

SAP NetWeaver では、転送とプロファイルディレクトリ用の共有ストレージが必要です。 Azure NetApp Files インフラストラクチャの設定を続行する前に、「Azure NetApp Files のドキュメント」の内容をよく理解しておいてください。選択した Azure リージョンで、Azure NetApp Files が利用できるかどうかを確認します。 Azure リージョン別に Azure NetApp Files が利用可能かどうかを確認するには、Azure リージョン別の Azure NetApp Files の利用可能性に関するページを参照してください。

Azure NetApp Files はいくつかの Azure リージョンで利用できます。

Azure NetApp Files リソースのデプロイ

以下の手順では、Azure Virtual Network が既にインストールされていることを前提としています。 Azure NetApp Files のリソースと、そのリソースがマウントされる VM は、同じ Azure Virtual Network 内またはピアリングされた Azure Virtual Network 内にデプロイする必要があります。

NetApp アカウントの作成手順に関するページに従って、選択した Azure リージョン内で NetApp アカウントを作成します。
Azure NetApp Files の容量プールの設定手順に関するページに従って、Azure NetApp Files の容量プールを設定します。
この記事で示されている SAP Netweaver アーキテクチャでは、1 つの Azure NetApp Files の容量プール、Premium SKU が使用されています。 Azure 上の SAP Netweaver アプリケーションワークロード用には、Azure NetApp Files Premium SKU をお勧めします。
Azure NetApp Files へのサブネットの委任手順に関するページの説明に従って、サブネットを Azure NetApp Files に委任します。
Azure NetApp Files 用のボリュームの作成手順に関するページに従って、Azure NetApp Files のボリュームをデプロイします。指定された Azure NetApp Files のサブネット内にボリュームをデプロイします。 Azure NetApp ボリュームの IP アドレスは、自動的に割り当てられます。 Azure NetApp Files のリソースと Azure VM は、同じ Azure Virtual Network 内またはピアリングされた Azure Virtual Network 内に配置する必要があることに注意してください。この例では、sapQAS と trans という、2 つの Azure NetApp Files ボリュームを使用します。対応するマウントポイントにマウントされるファイルパスは、/usrsapqas/sapmntQAS、/usrsapqas/usrsapQASsys のようになります。
1. ボリューム sapQAS (nfs://10.1.0.4/usrsapqas/sapmntQAS)
2. ボリューム sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASascs)
3. ボリューム sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASsys)
4. ボリューム sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASers)
5. ボリューム trans (nfs://10.1.0.4/trans)
6. ボリューム sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASpas)
7. ボリューム sapQAS (nfs://10.1.0.4/usrsapqas/usrsapQASaas)

この例では、すべての SAP Netweaver ファイルシステム用に Azure NetApp Files を使用して、Azure NetApp Files の使用方法を説明しました。 NFS 経由でマウントする必要がない SAP ファイルシステムを Azure ディスクストレージとしてデプロイすることもできます。この例の場合、a-e は、Azure NetApp Files 上に配置する必要があります。f-g (/usr/sap/QAS/D02、/usr/sap/QAS/D03) は、Azure ディスクストレージとしてデプロイできます。

重要な考慮事項

SUSE High Availability アーキテクチャ上で SAP Netweaver 用に Azure NetApp Files を検討するときは、以下の重要な考慮事項に注意してください。

ボリュームと容量プールの制限については、「Azure NetApp Files のリソース制限」を参照してください。
Azure NetApp Files と、Azure NetApp Files のボリュームがマウントされるすべての仮想マシンは、同じ Azure 仮想ネットワーク内、または同じリージョン内のピアリングされた仮想ネットワーク内に存在する必要があります。同じリージョン内の VNET ピアリング経由での Azure NetApp Files のアクセスが、サポートされるようになっています。グローバルピアリング経由での Azure NetApp Files のアクセスは、まだサポートされていません。
選択した仮想ネットワークには、Azure NetApp Files に委任されているサブネットがある必要があります。
Azure NetApp Files ボリュームのスループットおよびパフォーマンス特性は、「Azure NetApp Files のサービスレベル」に記載されているように、ボリュームクォータとサービスレベルの機能です。 SAP Azure NetApp ボリュームのサイズを設定するときは、結果として得られるスループットがアプリケーション要件を満たしていることを確認してください。
Azure NetApp Files のエクスポートポリシーでは、ユーザーが制御できるのは、許可されたクライアント、アクセスの種類 (読み取りおよび書き込み、読み取り専用など) です。
Azure NetApp Files 機能は、ゾーンにはまだ対応していません。現在、Azure NetApp Files 機能は、Azure リージョン内のすべての可用性ゾーンにはデプロイされていません。 Azure リージョンによっては、待ち時間が発生する可能性があることに注意してください。
Azure NetApp Files ボリュームは、NFSv3 または NFSv4.1 ボリュームとしてデプロイできます。 SAP アプリケーションレイヤー (ASCS/ERS、SAP アプリケーションサーバー) では、両方のプロトコルがサポートされています。

インフラストラクチャの準備

SAP インスタンスのリソースエージェントは、SUSE Linux Enterprise Server for SAP Applications に含まれています。 Azure Marketplace には、SUSE Linux Enterprise Server for SAP Applications 12 または 15 の画像が掲載されています。この画像を使用して新しい VM をデプロイできます。

Azure portal 経由での手動による Linux VM のデプロイ

このドキュメントは、リソースグループ、Azure Virtual Network、サブネットが既にデプロイ済みであることを前提としています。

SLES for SAP Applications イメージを使用して仮想マシンをデプロイします。 SAP システムでサポートされている適切なバージョンの SLES イメージを選択します。 VM は、仮想マシンスケールセット、可用性ゾーン、可用性セットのいずれかの可用性オプションでデプロイできます。

Azure Load Balancer の構成

VM 構成中に、ネットワークセクションでロードバランサーを作成するか既存のものを選択する選択肢もあります。以下の手順に従って、SAP ASCS と SAP ERS の高可用性セットアップ用に標準ロードバランサーを構成します。

「ロードバランサーの作成」のガイドに従い、Azure portal を使って高可用性 SAP システム用に Standard ロードバランサーを設定します。ロードバランサーの設定においては、以下の点を考慮してください。

フロントエンド IP 構成: 2 つのフロントエンド IP を作成します。1 つは ASCS 用、もう 1 つは ERS 用です。 ASCS/ERS 仮想マシンと同じ仮想ネットワークとサブネットを選択します。
バックエンドプール: バックエンドプールを作成し、ASCS および ERS VM を追加します。
受信規則: 2 つの負荷分散規則を作成します。1 つは ASCS 用、もう 1 つは ERS 用です。両方の負荷分散規則に対して同じ手順を実行します。
- フロントエンド IP アドレス: フロントエンド IP を選択します
- バックエンドプール: バックエンドプールを選択します
- [High availability ports] (高可用性ポート) をオンにします
- プロトコル: TCP
- 正常性プローブ: 以下の詳細を使用して正常性プローブを作成します (ASCS と ERS の両方に適用されます)
  - プロトコル: TCP
  - ポート: [例: ASCS に対しては 620<Instance-no.>、ERS に対しては 621<Instance-no.>]
  - 間隔: 5
  - プローブしきい値: 2
- アイドルタイムアウト (分): 30
- [Floating IP を有効にする] をオンにします

Note

正常性プローブ構成プロパティ numberOfProbes (ポータルでは [異常のしきい値] と呼ばれます) が順守されていません。このため、成功または失敗した連続プローブの数を制御するには、プロパティ "probeThreshold" を 2 に設定します。現在、このプロパティは Azure portal を使用して設定できないため、Azure CLI または PowerShell コマンドを使用してください。

Azure CLI を使用して SAP システムの高可用性セットアップ用に Azure Standard Load Balancer を作成するには、以下の手順に従います。

# Create the load balancer resource and another frontend IP resource for ERS. Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address.
az network lb create -g MyResourceGroup -n MyLB --sku Standard --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet --backend-pool-name MyBackendPool --frontend-ip-name MyASCSFrontendIpName
az network lb frontend-ip create -g MyResourceGroup --lb-name MyLB -n MyERSFrontendIpName --vnet-name MyVMsVirtualNetwork --subnet MyVMsSubnet

# Create the health probe for ASCS and ERS
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyASCSHealthProbe --protocol tcp --port MyASCSHealthProbePort --interval 5 --probe-threshold 2
az network lb probe create -g MyResourceGroup --lb-name MyLB -n MyERSHealthProbe --protocol tcp --port MyERSHealthProbePort --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyASCSRuleName --protocol All --frontend-ip-name MyASCSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyASCSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g MyResourceGroup --lb-name MyLB -n MyERSRuleName --protocol All --frontend-ip-name MyERSFrontendIpName --frontend-port 0 --backend-pool-name MyBackendPool --backend-port 0 --probe-name MyERSHealthProbe --idle-timeout-in-minutes 30 --enable-floating-ip  

# Add ASCS and ERS VMs in backend pool
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ASCSVmIpConfigName --nic-name ASCSVmNicName -g MyResourceGroup --lb-name MyLB
az network nic ip-config address-pool add --address-pool MyBackendPool --ip-config-name ERSVmIpConfigName --nic-name ERSVmNicName -g MyResourceGroup --lb-name MyLB

展開して完全な CLI コードを表示する

# Define variables for Resource Group, ASCS/ERS VMs.

rg_name="resourcegroup-name"
vm1_name="ascs-vm-name"
vm2_name="ers-vm-name"

# Define variables for the load balancer that will be use in the creation of the load balancer resource.

lb_name="sap-ci-sid-ilb"
bkp_name="ascs-ers-backendpool"
ascs_fip_name="ascs-frontendip"
ers_fip_name="ers-frontendip"

ascs_hp_name="ascs-healthprobe"
ascs_hp_port="62000"
ers_hp_name="ers-healthprobe"
ers_hp_port="62101"

ascs_rule_name="ascs-lb-rule"
ers_rule_name="ers-lb-rule"
 
# Command to get VMs network information like primary NIC name, primary IP configuration name, virtual network name, and subnet name.
 
vm1_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm1_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm1_nic_name=$(basename $vm1_primary_nic)
vm1_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm1_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vm2_primary_nic=$(az vm nic list -g $rg_name --vm-name $vm2_name --query "[?primary == \`true\`].{id:id} || [?primary == \`null\`].{id:id}" -o tsv)
vm2_nic_name=$(basename $vm2_primary_nic)
vm2_ipconfig=$(az network nic ip-config list -g $rg_name --nic-name $vm2_nic_name --query "[?primary == \`true\`].name" -o tsv)
 
vnet_subnet_id=$(az network nic show -g $rg_name -n $vm1_nic_name --query ipConfigurations[0].subnet.id -o tsv)
vnet_name=$(basename $(dirname $(dirname $vnet_subnet_id)))
subnet_name=$(basename $vnet_subnet_id)
 
# Create the load balancer resource and another frontend IP resource for ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter --private-ip-address. 
  
az network lb create -g $rg_name -n $lb_name --sku Standard --vnet-name $vnet_name --subnet $subnet_name --backend-pool-name $bkp_name --frontend-ip-name $ascs_fip_name
az network lb frontend-ip create -g $rg_name --lb-name $lb_name -n $ers_fip_name --vnet-name $vnet_name --subnet $subnet_name
 
# Create the health probe for ASCS and ERS
 
az network lb probe create -g $rg_name --lb-name $lb_name -n $ascs_hp_name --protocol tcp --port $ascs_hp_port --interval 5 --probe-threshold 2
az network lb probe create -g $rg_name --lb-name $lb_name -n $ers_hp_name --protocol tcp --port $ers_hp_port --interval 5 --probe-threshold 2
 
# Create load balancing rule for ASCS and ERS
  
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ascs_rule_name --protocol All --frontend-ip-name $ascs_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ascs_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
az network lb rule create -g $rg_name --lb-name $lb_name -n  $ers_rule_name --protocol All --frontend-ip-name $ers_fip_name --frontend-port 0 --backend-pool-name $bkp_name --backend-port 0 --probe-name $ers_hp_name --idle-timeout-in-minutes 30 --enable-floating-ip 
 
# Add ASCS and ERS VMs in backend pool
 
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm1_ipconfig --nic-name $vm1_nic_name -g $rg_name --lb-name $lb_name
az network nic ip-config address-pool add --address-pool $bkp_name --ip-config-name $vm2_ipconfig --nic-name $vm2_nic_name -g $rg_name --lb-name $lb_name

# [OPTIONAL] Change the assignment of frontend IP address from dynamic to static
afip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ascs_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ascs_fip_name --private-ip-address $afip

efip=$(az network lb frontend-ip show --lb-name $lb_name -g $rg_name -n $ers_fip_name --query "{privateIPAddress:privateIPAddress}" -o tsv)
az network lb frontend-ip update --lb-name $lb_name -g $rg_name -n $ers_fip_name --private-ip-address $efip

Azure PowerShell を使用して SAP システムの高可用性セットアップ用の Azure Standard Load Balancer を作成するには、以下の手順に従います。

# Create frontend IP configurations
$ascs_fip = New-AzLoadBalancerFrontendIpConfig -Name MyASCSFrontendIpName -SubnetId MyASCSSubnetName
$ers_fip = New-AzLoadBalancerFrontendIpConfig -Name MyERSFrontendIpName -SubnetId MyERSSubnetName

# Create backend pool
$bePool = New-AzLoadBalancerBackendAddressPoolConfig -Name MyBackendPool

# Create health probes for ASCS and ERS
$ascs_healthprobe = New-AzLoadBalancerProbeConfig -Name MyASCSHealthProbe -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1
$ers_healthprobe = New-AzLoadBalancerProbeConfig -Name $ers_hp_name -Protocol 'tcp' -Port MyASCSHealthProbePort -IntervalInSeconds 5 -ProbeThreshold 2 -ProbeCount 1

# Create load balancing rules for ASCS and ERS
$ascs_rule = New-AzLoadBalancerRuleConfig -Name MyASCSRuleName -Probe $ascs_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ascs_fip -BackendAddressPool $bePool -EnableFloatingIP
$ers_rule = New-AzLoadBalancerRuleConfig -Name MyERSRuleName -Probe $ers_healthprobe -Protocol 'All' -IdleTimeoutInMinutes 30 -FrontendIpConfiguration $ers_fip -BackendAddressPool $bePool -EnableFloatingIP

# Create the load balancer resource
$lb = New-AzLoadBalancer -ResourceGroupName MyResourceGroup -Name MyLB -Location MyRegion -Sku 'Standard' -FrontendIpConfiguration $ascs_fip, $ers_fip -BackendAddressPool $bePool -LoadBalancingRule $ascs_rule, $ers_rule -Probe $ascs_healthprobe, $ers_healthprobe

展開して完全な PowerShell コードを表示する

# Define variables for Resource Group, and Database VMs.

$rg_name = 'resourcegroup-name'
$vm1_name = 'ascs-vm-name'
$vm2_name = 'ers-vm-name'

# Define variables for the load balancer that will be utilized in the creation of the load balancer resource.

$lb_name = 'sap-ci-sid-ilb'
$bkp_name = 'ascs-ers-backendpool'
$ascs_fip_name = 'ascs-frontendip'
$ers_fip_name = 'ers-frontendip'
 
$ascs_hp_name = 'ascs-healthprobe'
$ascs_hp_port = '62000'
$ers_hp_name = 'ers-healthprobe'
$ers_hp_port = '62101'
 
$ascs_rule_name = 'ascs-lb-rule'
$ers_rule_name = 'ers-lb-rule'
 
# Command to get VMs network information like NIC name, IP configuration name, Virtual Network name, and Subnet 
 
$vm1 = Get-AzVM -ResourceGroupName $rg_name -Name $vm1_name
$vm1_primarynic = $vm1.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm1_nic_name = $vm1_primarynic.Id.Split('/')[-1]
 
$vm1_nic_info = Get-AzNetworkInterface -Name $vm1_nic_name -ResourceGroupName $rg_name
$vm1_primaryip = $vm1_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm1_ipconfig_name = ($vm1_primaryip).Name
 
$vm2 = Get-AzVM -ResourceGroupName $rg_name -Name $vm2_name
$vm2_primarynic = $vm2.NetworkProfile.NetworkInterfaces | Where-Object {($_.Primary -eq "True") -or ($_.Primary -eq $null)}
$vm2_nic_name = $vm2_primarynic.Id.Split('/')[-1]
 
$vm2_nic_info = Get-AzNetworkInterface -Name $vm2_nic_name -ResourceGroupName $rg_name
$vm2_primaryip = $vm2_nic_info.IpConfigurations | Where-Object -Property Primary -EQ -Value "True"
$vm2_ipconfig_name = ($vm2_primaryip).Name
 
$vnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-3]
$subnet_name = $vm1_primaryip.Subnet.Id.Split('/')[-1]
$location = $vm1.Location
 
# Create frontend IP resource for ASCS and ERS.
# Allocation of private IP address is dynamic using below command. If you want to pass static IP address, include parameter -PrivateIpAddress
 
$ascs_lb_fip = @{
    Name = $ascs_fip_name
    SubnetId = $vm1_primaryip.Subnet.Id
}
$ascs_fip = New-AzLoadBalancerFrontendIpConfig @ascs_lb_fip
 
$ers_lb_fip = @{
    Name = $ers_fip_name
    SubnetId = $vm2_primaryip.Subnet.Id
}
$ers_fip = New-AzLoadBalancerFrontendIpConfig @ers_lb_fip

# Create backend pool
 
$bepool = New-AzLoadBalancerBackendAddressPoolConfig -Name $bkp_name

# Create the health probe for ASCS and ERS
 
$ascs_probe = @{
    Name = $ascs_hp_name
    Protocol = 'tcp'
    Port = $ascs_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ascs_healthprobe = New-AzLoadBalancerProbeConfig @ascs_probe
    
$ers_probe = @{
    Name = $ers_hp_name
    Protocol = 'tcp'
    Port = $ers_hp_port
    IntervalInSeconds = '5'
    ProbeThreshold = '2'
    ProbeCount = '1'
}
$ers_healthprobe = New-AzLoadBalancerProbeConfig @ers_probe

# Create load balancing rule for ASCS and ERS
 
$ascs_lbrule = @{
    Name = $ascs_rule_name
    Probe = $ascs_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ascs_fip
    BackendAddressPool = $bePool 
} 
$ascs_rule = New-AzLoadBalancerRuleConfig @ascs_lbrule -EnableFloatingIP 
 
$ers_lbrule = @{
    Name = $ers_rule_name
    Probe = $ers_healthprobe
    Protocol = 'All'
    IdleTimeoutInMinutes = '30'
    FrontendIpConfiguration = $ers_fip
    BackendAddressPool = $bePool 
} 
$ers_rule = New-AzLoadBalancerRuleConfig @ers_lbrule -EnableFloatingIP

# Create the load balancer resource
 
$loadbalancer = @{
    ResourceGroupName = $rg_name
    Name = $lb_name
    Location = $location
    Sku = 'Standard'
    FrontendIpConfiguration = $ascs_fip,$ers_fip
    BackendAddressPool = $bePool 
    LoadBalancingRule = $ascs_rule,$ers_rule
    Probe = $ascs_healthprobe,$ers_healthprobe 
} 
$lb = New-AzLoadBalancer @loadbalancer

# Add ASCS and ERS VMs in backend pool of load balanceer
 
$vm1_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm2_primaryip.LoadBalancerBackendAddressPools.Add($lb.BackendAddressPools[0])
$vm1_nic_info | Set-AzNetworkInterface
$vm2_nic_info | Set-AzNetworkInterface

Note

パブリック IP アドレスのない VM が、内部 (パブリック IP アドレスがない) Standard の Azure Load Balancer のバックエンドプール内に配置されている場合、パブリックエンドポイントへのルーティングを許可するように追加の構成が実行されない限り、送信インターネット接続はありません。送信接続を実現する方法の詳細については、「SAP の高可用性シナリオにおける Azure Standard Load Balancer を使用した Virtual Machines のパブリックエンドポイント接続」を参照してください。

重要

Azure Load Balancer の背後に配置された Azure VM では TCP タイムスタンプを有効にしないでください。 TCP タイムスタンプを有効にすると正常性プローブが失敗することになります。 net.ipv4.tcp_timestamps パラメーターを 0 に設定します。詳しくは、「Load Balancer の正常性プローブ」を参照してください。
saptune が手動で設定した net.ipv4.tcp_timestamps 値を 0 から 1 に変更するのを防ぐには、saptune バージョンを 3.1.1 以上に更新する必要があります。詳細については、「saptune 3.1.1 – 更新する必要がありますか?」を参照してください。

ID マッピングを無効にする (NFSv4.1 を使用する場合)

このセクションの手順は、NFSv4.1 プロトコルで Azure NetApp Files ボリュームを使用している場合にのみ適用されます。 Azure NetApp Files NFSv4.1 ボリュームがマウントされるすべての VM で構成を実行します。

NFS ドメイン設定を確認します。ドメインが既定の Azure NetApp Files ドメイン (つまり、defaultv4iddomain.com) として構成され、マッピングが nobody に設定されていることを確認します。

重要

Azure NetApp Files の既定のドメイン構成 ( defaultv4iddomain.com ) と一致するように、VM 上の /etc/idmapd.conf に NFS ドメインを設定していることを確認します。 NFS クライアント (つまり、VM) と NFS サーバー (つまり、Azure NetApp 構成) のドメイン構成が一致しない場合、VM にマウントされている Azure NetApp ボリューム上のファイルのアクセス許可は nobody と表示されます。
```
sudo cat /etc/idmapd.conf

# Example
[General]
Verbosity = 0
Pipefs-Directory = /var/lib/nfs/rpc_pipefs
Domain = defaultv4iddomain.com
[Mapping]
Nobody-User = nobody
Nobody-Group = nobody
```
[A]nfs4_disable_idmapping を確認します。これは、Y に設定されている必要があります。nfs4_disable_idmapping が配置されるディレクトリ構造を作成するには、mount コマンドを実行します。アクセスがカーネル/ドライバー用に予約されるため、/sys/modules の下に手動でディレクトリを作成することはできなくなります。
```
# Check nfs4_disable_idmapping 
cat /sys/module/nfs/parameters/nfs4_disable_idmapping

# If you need to set nfs4_disable_idmapping to Y
mkdir /mnt/tmp
mount 10.1.0.4:/sapmnt/qas /mnt/tmp
umount  /mnt/tmp
echo "Y" > /sys/module/nfs/parameters/nfs4_disable_idmapping

# Make the configuration permanent
echo "options nfs nfs4_disable_idmapping=Y" >> /etc/modprobe.d/nfs.conf
```

(A)SCS のセットアップ

次に、SAP ASCS と ERS のインスタンスを準備してインストールします。

Pacemaker クラスターの作成

「Azure の SUSE Linux Enterprise Server に Pacemaker をセットアップする」の手順に従って、この (A)SCS サーバーに対して基本的な Pacemaker クラスターを作成します。

インストール

次の各手順の先頭には、 [A] - 全ノードが該当、 [1] - ノード 1 のみ該当、 [2] - ノード 2 のみ該当、のいずれかが付いています。

[A] SUSE コネクタをインストールします
```
sudo zypper install sap-suse-cluster-connector
```
Note

ホスト名にダッシュを使用する場合の既知の問題は、パッケージ sap-suse-cluster-connector のバージョン 3.1.1 で修正されています。ホスト名にダッシュが付いたクラスターノードを使用している場合は、必ずバージョン 3.1.1 以降のパッケージ sap-suse-cluster-connector を使用してください。そうしないと、クラスターは機能しません。

SAP SUSE クラスターコネクタの新しいバージョンをインストールしたことを確認します。古いものの名前は sap_suse_cluster_connector であり、新しいものの名前は sap-suse-cluster-connectorです。
```
sudo zypper info sap-suse-cluster-connector

# Information for package sap-suse-cluster-connector:
# ---------------------------------------------------
# Repository     : SLE-12-SP3-SAP-Updates
# Name           : sap-suse-cluster-connector
# Version        : 3.1.0-8.1
# Arch           : noarch
# Vendor         : SUSE LLC <https://www.suse.com/>
# Support Level  : Level 3
# Installed Size : 45.6 KiB
# Installed      : Yes
# Status         : up-to-date
# Source package : sap-suse-cluster-connector-3.1.0-8.1.src
# Summary        : SUSE High Availability Setup for SAP Products
```
[A] SAP リソースエージェントを更新します

この記事で説明されている新しい構成を使用するには、resource-agents パッケージ用の修正プログラムが必要です。この修正プログラムが既にインストールされているかどうかは、次のコマンドで確認できます。
```
sudo grep 'parameter name="IS_ERS"' /usr/lib/ocf/resource.d/heartbeat/SAPInstance
```
出力は次のようになります。
```
<parameter name="IS_ERS" unique="0" required="0">
```
grep コマンドで IS_ERS パラメーターが見つからない場合は、SUSE ダウンロードページに記載されている修正プログラムをインストールする必要があります。
```
# example for patch for SLES 12 SP1
sudo zypper in -t patch SUSE-SLE-HA-12-SP1-2017-885=1

# example for patch for SLES 12 SP2
sudo zypper in -t patch SUSE-SLE-HA-12-SP2-2017-886=1
```
[A] ホスト名解決を設定します

DNS サーバーを使用するか、すべてのノードの /etc/hosts を変更します。この例では、/etc/hosts ファイルを使用する方法を示しています。次のコマンドの IP アドレスとホスト名を置き換えます
```
sudo vi /etc/hosts
```
次の行を /etc/hosts に挿入します。お使いの環境に合わせて IP アドレスとホスト名を変更します
```
# IP address of cluster node 1
10.1.1.18    anftstsapcl1
# IP address of cluster node 2
10.1.1.6     anftstsapcl2
# IP address of the load balancer frontend configuration for SAP Netweaver ASCS
10.1.1.20    anftstsapvh
# IP address of the load balancer frontend configuration for SAP Netweaver ERS
10.1.1.21    anftstsapers
```

[1] Azure NetApp Files ボリュームに SAP ディレクトリを作成します。

いずれかの VM で Azure NetApp Files ボリュームを一時的にマウントし、SAP ディレクトリ (ファイルパス) を作成します。

# mount temporarily the volume
sudo mkdir -p /saptmp
# If using NFSv3
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=3,tcp 10.1.0.4:/sapQAS /saptmp
# If using NFSv4.1
sudo mount -t nfs -o rw,hard,rsize=65536,wsize=65536,nfsvers=4.1,sec=sys,tcp 10.1.0.4:/sapQAS /saptmp
# create the SAP directories
sudo cd /saptmp
sudo mkdir -p sapmntQAS
sudo mkdir -p usrsapQASascs
sudo mkdir -p usrsapQASers
sudo mkdir -p usrsapQASsys
sudo mkdir -p usrsapQASpas
sudo mkdir -p usrsapQASaas
# unmount the volume and delete the temporary directory
sudo cd ..
sudo umount /saptmp
sudo rmdir /saptmp

SAP NetWeaver のインストールの準備

[A] 共有ディレクトリを作成します

sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans
sudo mkdir -p /usr/sap/QAS/SYS
sudo mkdir -p /usr/sap/QAS/ASCS00
sudo mkdir -p /usr/sap/QAS/ERS01

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans
sudo chattr +i /usr/sap/QAS/SYS
sudo chattr +i /usr/sap/QAS/ASCS00
sudo chattr +i /usr/sap/QAS/ERS01

[A] 構成 autofs
```
sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct
```
NFSv3 を使用する場合は、次のようなファイルを作成します。
```
sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASsys
```
NFSv4.1 を使用する場合は、次のようなファイルを作成します。
```
sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/SYS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASsys
```
Note

ボリュームをマウントするときは、Azure NetApp Files ボリュームの NFS プロトコルバージョンと一致していることを確認してください。 Azure NetApp Files ボリュームが NFSv3 ボリュームとして作成されている場合は、対応する NFSv3 構成を使用します。 Azure NetApp Files ボリュームが NFSv4.1 ボリュームとして作成されている場合は、手順に従って ID マッピングを無効にし、対応する NFSv4.1 構成を使用してください。この例では、Azure NetApp Files ボリュームが NFSv3 ボリュームとして作成されています。

autofs を再起動して新しい共有をマウントします
```
sudo systemctl enable autofs
sudo service autofs restart
```

[A] スワップファイルを構成します

sudo vi /etc/waagent.conf

# Check if property ResourceDisk.Format is already set to y and if not, set it
ResourceDisk.Format=y

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

エージェントを再起動して変更をアクティブにします

sudo service waagent restart

SAP NetWeaver ASCS/ERS のインストール

[1] ASCS インスタンス用の仮想 IP リソースと正常性プローブを作成します
重要

最近のテストで、バックログと 1 つの接続のみを処理するという制限があるため、netcat によって要求への応答が停止される状況があることが明らかになりました。 netcat リソースでは、Azure ロードバランサー要求のリッスンを停止し、フローティング IP は使用できなくなります。
既存の Pacemaker クラスターについては、以前、netcat を socat に置き換えることをお勧めしました。現時点では、resource-agents パッケージの一部である azure-lb リソースエージェントを使用することをお勧めしています。パッケージのバージョン要件は次のとおりです。
- SLES 12 SP4/SP5 の場合、バージョンは resource-agents-4.3.018.a7fb5035-3.30.1 以上である必要があります。
- SLES 15/15 SP1 の場合、バージョンは resource-agents-4.3.0184.6ee15eb2-4.13.1 以上である必要があります。
変更には短時間のダウンタイムが必要であることに注意してください。
既存の Pacemaker クラスターについては、「Azure Load-Balancer の検出のセキュリティ強化」で説明されているように、socat を使用するよう構成が既に変更されていた場合は、すぐに azure-lb リソースエージェントに切り替える必要はありません。
```
sudo crm node standby anftstsapcl2

# If using NFSv3
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ASCS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASascs' directory='/usr/sap/QAS/ASCS00' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ASCS IPaddr2 \
  params ip=10.1.1.20 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ASCS azure-lb port=62000 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ASCS fs_QAS_ASCS nc_QAS_ASCS vip_QAS_ASCS \
   meta resource-stickiness=3000
```
クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。リソースがどのノードで実行されているかは重要ではありません。
```
sudo crm_mon -r

# Node anftstsapcl2: standby
# Online: [ anftstsapcl1 ]
# 
# Full list of resources:
#
# Resource Group: g-QAS_ASCS
#     fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#     nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#     vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
```
[1] SAP NetWeaver ASCS をインストールします

root として SAP NetWeaver ASCS を最初のノードにインストールします。その際、ASCS のロードバランサーフロントエンド構成の IP アドレスに対応する仮想ホスト名 (たとえば、anftstsapvh、10.1.1.20) と、ロードバランサーのプローブに使用したインスタンス番号 (たとえば、00) を使用します。

sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。仮想ホスト名を使用して SAP をインストールするには、SAPINST_USE_HOSTNAME パラメーターを使用します。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
インストールで /usr/sap/QAS/ASCS00 へのサブフォルダーの作成に失敗する場合は、ASCS00 フォルダーの所有者とグループを設定し、もう一度試してください。
```
chown qasadm /usr/sap/QAS/ASCS00
chgrp sapsys /usr/sap/QAS/ASCS00
```

[1] ERS インスタンス用の仮想 IP リソースと正常性プローブを作成します。

sudo crm node online anftstsapcl2
sudo crm node standby anftstsapcl1

# If using NFSv3
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=40s

# If using NFSv4.1
sudo crm configure primitive fs_QAS_ERS Filesystem device='10.1.0.4:/usrsapqas/usrsapQASers' directory='/usr/sap/QAS/ERS01' fstype='nfs' options='sec=sys,nfsvers=4.1' \
  op start timeout=60s interval=0 \
  op stop timeout=60s interval=0 \
  op monitor interval=20s timeout=105s

sudo crm configure primitive vip_QAS_ERS IPaddr2 \
  params ip=10.1.1.21 \
  op monitor interval=10 timeout=20

sudo crm configure primitive nc_QAS_ERS azure-lb port=62101 \
  op monitor timeout=20s interval=10

sudo crm configure group g-QAS_ERS fs_QAS_ERS nc_QAS_ERS vip_QAS_ERS

クラスターの状態が正常であることと、すべてのリソースが起動されていることを確認します。リソースがどのノードで実行されているかは重要ではありません。

sudo crm_mon -r

# Node anftstsapcl1: standby
# Online: [ anftstsapcl2 ]
# 
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS  (ocf::heartbeat:IPaddr2):     Started anftstsapcl2

[2] SAP NetWeaver ERS をインストールします

root として SAP NetWeaver ERS を 2 番目のノードにインストールします。その際、ERS のロードバランサーフロントエンド構成の IP アドレスに対応する仮想ホスト名 (たとえば、anftstsapers、10.1.1.21) と、ロードバランサーのプローブに使用したインスタンス番号 (たとえば、01) を使用します。

sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。仮想ホスト名を使用して SAP をインストールするには、SAPINST_USE_HOSTNAME パラメーターを使用します。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin SAPINST_USE_HOSTNAME=virtual_hostname
```
Note

SWPM SP 20 PL 05 以降を使用します。これより下位のバージョンではアクセス許可が正しく設定されないため、インストールが失敗します。

インストールで /usr/sap/QAS/ERS01 へのサブフォルダーの作成に失敗する場合は、ERS01 フォルダーの所有者とグループを設定し、もう一度試してください。
```
chown qasadm /usr/sap/QAS/ERS01
chgrp sapsys /usr/sap/QAS/ERS01
```

[1] ASCS/SCS および ERS インスタンスプロファイルを適用します

ASCS/SCS プロファイル

sudo vi /sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh

# Change the restart command to a start command
#Restart_Program_01 = local $(_EN) pf=$(_PF)
Start_Program_01 = local $(_EN) pf=$(_PF)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# Add the keep alive parameter, if using ENSA1
enque/encni/set_so_keepalive = true

ENSA1 と ENSA2 の両方について、keepalive OS パラメーターが SAP ノート keepalive の説明に従って設定されていることを確認します。

ERS プロファイル

sudo vi /sapmnt/QAS/profile/QAS_ERS01_anftstsapers

# Change the restart command to a start command
#Restart_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)
Start_Program_00 = local $(_ER) pf=$(_PFL) NR=$(SCSID)

# Add the following lines
service/halib = $(DIR_CT_RUN)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_suse_cluster_connector

# remove Autostart from ERS profile
# Autostart = 1

[A] キープアライブを構成します

SAP NetWeaver アプリケーションサーバーと ASCS/SCS の間の通信は、ソフトウェアロードバランサーを介してルーティングされます。ロードバランサーは、構成可能なタイムアウト後に非アクティブな接続を切断します。これを防止するには、SAP NetWeaver ASCS/SCS プロファイル内にパラメーターを設定し (ENSA1 を使用している場合)、ENSA1/ENSA2 の両方について、すべての SAP サーバーで Linux システムの keepalive 設定を変更する必要があります。詳細については、SAP Note 1410736 を参照してください。
```
# Change the Linux system configuration
sudo sysctl net.ipv4.tcp_keepalive_time=300
```

[A] インストール後に SAP ユーザーを構成します

# Add sidadm to the haclient group
sudo usermod -aG haclient qasadm

[1]sapservice ファイルに ASCS および ERS SAP サービスを追加します。

ASCS サービスエントリを 2 番目のノードに追加し、ERS サービスエントリを最初のノードにコピーします。
```
cat /usr/sap/sapservices | grep ASCS00 | sudo ssh anftstsapcl2 "cat >>/usr/sap/sapservices"
sudo ssh anftstsapcl2 "cat /usr/sap/sapservices" | grep ERS01 | sudo tee -a /usr/sap/sapservices
```
[A] ASCS および ERS SAP インスタンスの systemd サービスの無効化。この手順は、SAP スタートアップフレームワークが SAP Note 3115048 に従って systemd によって管理されている場合にのみ適用されます

Note

SLES クラスター構成を使用して SAP ASCS や SAP ERS などの SAP インスタンスを管理する場合は、クラスターをネイティブの systemd ベースの SAP 開始フレームワークと統合するために追加の変更を行う必要があります。これにより、メンテナンス操作によってクラスターの安定性が損なわれなくなります。 SAP Note 3115048 に従って SAP スタートアップフレームワークをインストールまたは systemd 対応セットアップに切り替えた後、ASCS および ERS SAP インスタンスの systemd サービスを無効にする必要があります。
```
# Stop ASCS and ERS instances using <sid>adm
sapcontrol -nr 00 -function Stop
sapcontrol -nr 00 -function StopService

sapcontrol -nr 01 -function Stop
sapcontrol -nr 01 -function StopService

# Execute below command on VM where you have performed ASCS instance installation (e.g. anftstsapcl1)
sudo systemctl disable SAPQAS_00
# Execute below command on VM where you have performed ERS instance installation (e.g. anftstsapcl2)
sudo systemctl disable SAPQAS_01
```

[1] SAP クラスターリソースを作成します。

ENSA1 システムと ENSA2 システムのどちらを実行しているかに応じて、それぞれのタブを選択してリソースを定義します。 SAP では、SAP NetWeaver 7.52 で、レプリケーションを含む ENSA2 のサポートを導入しました。 ABAP Platform 1809 以降では、ENSA2 が既定でインストールされます。 ENSA2 のサポートについては、SAP Note 2630416 を参照してください。

ENSA1
ENSA2

sudo crm configure property maintenance-mode="true"

# If using NFSv3
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
   operations \$id=rsc_sap_QAS_ASCS00-operations \
   op monitor interval=11 timeout=60 on-fail=restart \
   params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
   AUTOMATIC_RECOVER=false \
   meta resource-stickiness=5000 failure-timeout=60 migration-threshold=1 priority=10

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
   operations \$id=rsc_sap_QAS_ASCS00-operations \
   op monitor interval=11 timeout=105 on-fail=restart \
   params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
   AUTOMATIC_RECOVER=false \
   meta resource-stickiness=5000 failure-timeout=105 migration-threshold=1 priority=10

# If using NFSv3   
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
   operations \$id=rsc_sap_QAS_ERS01-operations \
   op monitor interval=11 timeout=60 on-fail=restart \
   params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
   meta priority=1000

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
   operations \$id=rsc_sap_QAS_ERS01-operations \
   op monitor interval=11 timeout=105 on-fail=restart \
   params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true \
   meta priority=1000

sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01

sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
sudo crm configure location loc_sap_QAS_failover_to_ers rsc_sap_QAS_ASCS00 rule 2000: runs_ers_QAS eq 1
sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false

sudo crm_attribute --delete --name priority-fencing-delay

sudo crm node online anftstsapcl1
sudo crm configure property maintenance-mode="false"

Note

ENSA2 を実行している 2 ノードクラスターがある場合は、priority-fencing-delay クラスタープロパティを構成するオプションがあります。このプロパティを使用すると、スプリットブレインシナリオが発生したときに、リソースの優先度の合計が高いノードをフェンスする際に、さらに遅延が発生するようになります。詳細については、SUSE Linux Enteprise Server の High Availability Extension 管理ガイドを参照してください。

priority-fencing-delay プロパティは、2 ノードクラスターで実行されている ENSA2 にのみ適用されます。

sudo crm configure property maintenance-mode="true"

sudo crm configure property priority-fencing-delay=30

# If using NFSv3
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
   operations \$id=rsc_sap_QAS_ASCS00-operations \
   op monitor interval=11 timeout=60 on-fail=restart \
   params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
   AUTOMATIC_RECOVER=false \
   meta resource-stickiness=5000 priority=100

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ASCS00 SAPInstance \
   operations \$id=rsc_sap_QAS_ASCS00-operations \
   op monitor interval=11 timeout=105 on-fail=restart \
   params InstanceName=QAS_ASCS00_anftstsapvh START_PROFILE="/sapmnt/QAS/profile/QAS_ASCS00_anftstsapvh" \
   AUTOMATIC_RECOVER=false \
   meta resource-stickiness=5000 priority=100

# If using NFSv3
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
   operations \$id=rsc_sap_QAS_ERS01-operations \
   op monitor interval=11 timeout=60 on-fail=restart \
   params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true

# If using NFSv4.1
sudo crm configure primitive rsc_sap_QAS_ERS01 SAPInstance \
   operations \$id=rsc_sap_QAS_ERS01-operations \
   op monitor interval=11 timeout=105 on-fail=restart \
   params InstanceName=QAS_ERS01_anftstsapers START_PROFILE="/sapmnt/QAS/profile/QAS_ERS01_anftstsapers" AUTOMATIC_RECOVER=false IS_ERS=true

sudo crm configure modgroup g-QAS_ASCS add rsc_sap_QAS_ASCS00
sudo crm configure modgroup g-QAS_ERS add rsc_sap_QAS_ERS01

sudo crm configure colocation col_sap_QAS_no_both -5000: g-QAS_ERS g-QAS_ASCS
sudo crm configure order ord_sap_QAS_first_start_ascs Optional: rsc_sap_QAS_ASCS00:start rsc_sap_QAS_ERS01:stop symmetrical=false

sudo crm node online anftstsapcl1
sudo crm configure property maintenance-mode="false"

以前のバージョンからアップグレードし、エンキューするサーバー 2 に切り替えている場合は、SAP Note 2641019 を参照してください。

Note

NFSv4.1 のリース更新に関連するプロトコル固有の一時停止のために、NFSv4.1 を使用する場合に推奨されるより大きなタイムアウトが必要です。詳細については、NetApp での NFS のベストプラクティスに関するページを参照してください。

上記の構成のタイムアウトでは、特定の SAP 設定では調整する必要がある場合があります。

sudo crm_mon -r
  
# Full list of resources:
#
# stonith-sbd     (stonith:external/sbd): Started anftstsapcl2
#  Resource Group: g-QAS_ASCS
#      fs_QAS_ASCS        (ocf::heartbeat:Filesystem):    Started anftstsapcl1
#      nc_QAS_ASCS        (ocf::heartbeat:azure-lb):      Started anftstsapcl1
#      vip_QAS_ASCS       (ocf::heartbeat:IPaddr2):       Started anftstsapcl1
#      rsc_sap_QAS_ASCS00 (ocf::heartbeat:SAPInstance):   Started anftstsapcl1
#  Resource Group: g-QAS_ERS
#      fs_QAS_ERS (ocf::heartbeat:Filesystem):    Started anftstsapcl2
#      nc_QAS_ERS (ocf::heartbeat:azure-lb):      Started anftstsapcl2
#      vip_QAS_ERS        (ocf::heartbeat:IPaddr2):       Started anftstsapcl2
#      rsc_sap_QAS_ERS01  (ocf::heartbeat:SAPInstance):   Started anftstsapcl2

SAP NetWeaver アプリケーションサーバーの準備

一部のデータベースでは、データベースインスタンスのインストールがアプリケーションサーバーで実行される必要があります。このような場合に使用できるようにアプリケーションサーバー仮想マシンを準備します。

次の手順では、ASCS/SCS および HANA サーバーとは別のサーバーにアプリケーションサーバーをインストールすることを前提としています。それ以外の場合、以下の手順の一部 (ホスト名解決の構成など) は必要ありません。

次の各手順の先頭には、 [A] - PAS と AAS の両方が該当、 [P] - PAS のみ該当、 [S] - ノード AAS のみ該当、のいずれかが付いています。

[A] オペレーティングシステムを構成します

ダーティキャッシュのサイズを小さくします。詳しくは、「Low write performance on SLES 11/12 servers with large RAM」(大容量 RAM を備えた SLES 11/12 サーバーでの書き込みのパフォーマンスの低さ) をご覧ください。
```
sudo vi /etc/sysctl.conf

# Change/set the following settings
vm.dirty_bytes = 629145600
vm.dirty_background_bytes = 314572800
```
[A] ホスト名解決を設定します

DNS サーバーを使用するか、すべてのノードの /etc/hosts を変更します。この例では、/etc/hosts ファイルを使用する方法を示しています。次のコマンドの IP アドレスとホスト名を置き換えます
```
sudo vi /etc/hosts
```
次の行を /etc/hosts に挿入します。お使いの環境に合わせて IP アドレスとホスト名を変更します
```
# IP address of the load balancer frontend configuration for SAP NetWeaver ASCS/SCS
10.1.1.20 anftstsapvh
# IP address of the load balancer frontend configuration for SAP NetWeaver ERS
10.1.1.21 anftstsapers
# IP address of all application servers
10.1.1.15 anftstsapa01
10.1.1.16 anftstsapa02
```

[A] sapmnt ディレクトリを作成します

sudo mkdir -p /sapmnt/QAS
sudo mkdir -p /usr/sap/trans

sudo chattr +i /sapmnt/QAS
sudo chattr +i /usr/sap/trans

[P] PAS ディレクトリを作成します

sudo mkdir -p /usr/sap/QAS/D02
sudo chattr +i /usr/sap/QAS/D02

[S] AAS ディレクトリを作成します

sudo mkdir -p /usr/sap/QAS/D03
sudo chattr +i /usr/sap/QAS/D03

[P] PAS で autofs を構成

sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

NFSv3 を使用する場合は、次のような新しいファイルを作成します。

sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASpas

NFSv4.1 を使用する場合は、次のような新しいファイルを作成します。

sudo vi /etc/auto.direct
# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D02 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASpas

autofs を再起動して新しい共有をマウントします

sudo systemctl enable autofs
sudo service autofs restart

[P] AAS で autofs を構成

sudo vi /etc/auto.master

# Add the following line to the file, save and exit
/- /etc/auto.direct

NFSv3 を使用する場合は、次のような新しいファイルを作成します。

sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=3,nobind 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=3,nobind 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=3,nobind 10.1.0.4:/usrsapqas/usrsapQASaas

NFSv4.1 を使用する場合は、次のような新しいファイルを作成します。

sudo vi /etc/auto.direct

# Add the following lines to the file, save and exit
/sapmnt/QAS -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/sapmntQAS
/usr/sap/trans -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/trans
/usr/sap/QAS/D03 -nfsvers=4.1,nobind,sec=sys 10.1.0.4:/usrsapqas/usrsapQASaas

autofs を再起動して新しい共有をマウントします

sudo systemctl enable autofs
sudo service autofs restart

[A] スワップファイルを構成します

sudo vi /etc/waagent.conf

# Set the property ResourceDisk.EnableSwap to y
# Create and use swapfile on resource disk.
ResourceDisk.EnableSwap=y

# Set the size of the SWAP file with property ResourceDisk.SwapSizeMB
# The free space of resource disk varies by virtual machine size. Make sure that you do not set a value that is too big. You can check the SWAP space with command swapon
# Size of the swapfile.
ResourceDisk.SwapSizeMB=2000

エージェントを再起動して変更をアクティブにします

sudo service waagent restart

データベースのインストール

この例では、SAP HANA に SAP NetWeaver がインストールされます。このインストールではサポートされているすべてのデータベースを使用できます。 Azure で SAP HANA をインストールする方法の詳細については、Azure 仮想マシン (VM) での SAP HANA の高可用性に関するページを参照してください。サポートされているデータベースの一覧については、SAP Note 1928533 を参照してください。

SAP データベースインスタンスのインストールを実行します

root として SAP NetWeaver データベースインスタンスをインストールします。その際、データベースのロードバランサーフロントエンド構成の IP アドレスに対応する仮想ホスト名を使用します。

sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```

SAP NetWeaver アプリケーションサーバーのインストール

次の手順に従って、SAP アプリケーションサーバーをインストールします。

[A] アプリケーションサーバーを準備します。前述の「SAP NetWeaver アプリケーションサーバーの準備」の章の手順に従って、アプリケーションサーバーを準備します。
[A] SAP NetWeaver アプリケーションサーバーをインストールします。プライマリまたは追加の SAP NetWeaver アプリケーションサーバーをインストールします。

sapinst パラメーターの SAPINST_REMOTE_ACCESS_USER を使用すると、root 以外のユーザーが sapinst に接続することを許可できます。
```
sudo <swpm>/sapinst SAPINST_REMOTE_ACCESS_USER=sapadmin
```
[A] SAP HANA Secure Store を更新します

SAP HANA システムレプリケーションセットアップの仮想名を指すように SAP HANA Secure Store を更新します。

次のコマンドを実行して、エントリを一覧表示します
```
hdbuserstore List
```
これにより、次のようにすべてのエントリが一覧表示されます
```
DATA FILE       : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.DAT
KEY FILE        : /home/qasadm/.hdb/anftstsapa01/SSFS_HDB.KEY

KEY DEFAULT
  ENV : 10.1.1.5:30313
  USER: SAPABAP1
  DATABASE: QAS
```
出力には、既定のエントリの IP アドレスがロードバランサーの IP アドレスではなく仮想マシンを指していることが示されます。このエントリは、ロードバランサーの仮想ホスト名を指すように変更する必要があります。同じポート (上の出力内の 30313) とデータベース名 (上の出力内の QAS) を必ず使用してください。
```
su - qasadm

hdbuserstore SET DEFAULT qasdb:30313@QAS SAPABAP1 <password of ABAP schema>
```

クラスターの設定をテストする

Pacemaker クラスターを十分にテストします。一般的なフェールオーバーテストを実行します。

次のステップ

Azure VM での SAP NW の HA SLES for SAP アプリケーションのマルチ SID ガイド
SAP のための Azure Virtual Machines の計画と実装
SAP のための Azure Virtual Machines のデプロイ
SAP のための Azure Virtual Machines DBMS のデプロイ
Azure VM 上の SAP HANA の高可用性を確保し、ディザスターリカバリーを計画する方法を確認するには、「Azure Virtual Machines (VM) 上の SAP HANA の高可用性」を参照してください。

次の方法で共有

SAP アプリケーション用の Azure NetApp Files を使用した SUSE Linux Enterprise Server 上の Azure VM 上の SAP NetWeaver の高可用性

概要

Azure NetApp Files インフラストラクチャの設定

Azure NetApp Files リソースのデプロイ

重要な考慮事項

インフラストラクチャの準備

Azure portal 経由での手動による Linux VM のデプロイ

Azure Load Balancer の構成

ID マッピングを無効にする (NFSv4.1 を使用する場合)

(A)SCS のセットアップ

Pacemaker クラスターの作成

インストール

SAP NetWeaver のインストールの準備

SAP NetWeaver ASCS/ERS のインストール

SAP NetWeaver アプリケーションサーバーの準備

データベースのインストール

SAP NetWeaver アプリケーションサーバーのインストール

クラスターの設定をテストする

次のステップ

フィードバック

その他のリソース

次の方法で共有

SAP アプリケーション用の Azure NetApp Files を使用した SUSE Linux Enterprise Server 上の Azure VM 上の SAP NetWeaver の高可用性

概要

Azure NetApp Files インフラストラクチャの設定

Azure NetApp Files リソースのデプロイ

重要な考慮事項

インフラストラクチャの準備

Azure portal 経由での手動による Linux VM のデプロイ

Azure Load Balancer の構成

ID マッピングを無効にする (NFSv4.1 を使用する場合)

(A)SCS のセットアップ

Pacemaker クラスターの作成

インストール

SAP NetWeaver のインストールの準備

SAP NetWeaver ASCS/ERS のインストール

SAP NetWeaver アプリケーション サーバーの準備

データベースのインストール

SAP NetWeaver アプリケーション サーバーのインストール

クラスターの設定をテストする

次のステップ

フィードバック

その他のリソース

SAP NetWeaver アプリケーションサーバーの準備

SAP NetWeaver アプリケーションサーバーのインストール