Kubernetes で DH2i DxEnterprise を使って可用性グループをデプロイする

[アーティクル]
08/20/2024

適用対象: SQL Server - Linux

このチュートリアルでは、DH2i DxEnterprise を使って、Azure Kubernetes Service (AKS) Kubernetes クラスターにデプロイされた SQL Server Linux ベースのコンテナーに SQL Server Always On 可用性グループ (AG) を構成する方法について説明します。サイドカー構成 (推奨) を選ぶか、独自のカスタムコンテナーイメージを構築できます。

Note

データ移動、AG、SQL Server コンポーネントは、Microsoft によってサポートされています。 DxEnterprise 製品のサポートは、クラスターとクォーラムの管理も含めて、DH2i によって行われます。

サイドカー構成
カスタムイメージ

この記事で説明されている手順を使って、StatefulSet をデプロイし、DH2i DxEnterprise ソリューションを使って AG を作成および構成する方法について説明します。このチュートリアルは、以下の手順で構成されています。

ヘッドレスサービス構成を作成する
同じポッド内の SQL Server と DxEnterprise をサイドカーコンテナーとして使って StatefulSet 構成を作成する
セカンダリレプリカを追加して SQL Server AG を作成して構成する
AG にデータベースを作成し、フェールオーバーをテストする

前提条件

このチュートリアルでは、3 つのレプリカを含む AG の例を示します。必要なもの:

Azure Kubernetes Service (AKS) または Kubernetes クラスター。
AG 機能とトンネルが有効になっている、有効な DxEnterprise ライセンス。詳しくは、開発者向けエディションに関するページ (非運用環境での使用) か、DxEnterprise ソフトウェアに関するページ (運用ワークロード) を参照してください。

ヘッドレスサービスを作成する

Kubernetes クラスターでは、ヘッドレスサービスによって、ホスト名を使って各ポッドを相互に接続できます。

ヘッドレスサービスを作成するには、次のサンプルコンテンツを含む headless_services.yaml という名前の YAML ファイルを作成します。

#Headless services for local connections/resolution
apiVersion: v1
kind: Service
metadata:
  name: dxemssql-0
spec:
  clusterIP: None
  selector:
    statefulset.kubernetes.io/pod-name: dxemssql-0
  ports:
    - name: dxl
      protocol: TCP
      port: 7979
    - name: dxc-tcp
      protocol: TCP
      port: 7980
    - name: dxc-udp
      protocol: UDP
      port: 7981
    - name: sql
      protocol: TCP
      port: 1433
    - name: listener
      protocol: TCP
      port: 14033
---
apiVersion: v1
kind: Service
metadata:
  name: dxemssql-1
spec:
  clusterIP: None
  selector:
    statefulset.kubernetes.io/pod-name: dxemssql-1
  ports:
    - name: dxl
      protocol: TCP
      port: 7979
    - name: dxc-tcp
      protocol: TCP
      port: 7980
    - name: dxc-udp
      protocol: UDP
      port: 7981
    - name: sql
      protocol: TCP
      port: 1433
    - name: listener
      protocol: TCP
      port: 14033
---
apiVersion: v1
kind: Service
metadata:
  name: dxemssql-2
spec:
  clusterIP: None
  selector:
    statefulset.kubernetes.io/pod-name: dxemssql-2
  ports:
    - name: dxl
      protocol: TCP
      port: 7979
    - name: dxc-tcp
      protocol: TCP
      port: 7980
    - name: dxc-udp
      protocol: UDP
      port: 7981
    - name: sql
      protocol: TCP
      port: 1433
    - name: listener
      protocol: TCP
      port: 14033

次のコマンドを実行して、構成を適用します。
```
kubectl apply -f headless_services.yaml
```

StatefulSet を作成する

次のサンプルコンテンツを含む StatefulSet YAML ファイルを作成し、dxemssql.yaml という名前を付けます。

この StatefulSet 構成では、永続ボリューム要求を利用してデータを格納する 3 つの DxEMSSQL レプリカが作成されます。この StatefulSet の各ポッドは、SQL Server コンテナーと DxEnterprise コンテナーという 2 つのコンテナーで構成されます。これらのコンテナーは "サイドカー" 構成で互いに独立して開始されますが、DxEnterprise によって SQL Server コンテナー内の AG レプリカが管理されます。

#DxEnterprise + MSSQL StatefulSet
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: dxemssql
spec:
  serviceName: "dxemssql"
  replicas: 3
  selector:
    matchLabels:
      app: dxemssql
  template:
    metadata:
      labels:
        app: dxemssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
        - name: sql
          image: mcr.microsoft.com/mssql/server:2022-latest
          env:
            - name: ACCEPT_EULA
              value: "Y"
            - name: MSSQL_ENABLE_HADR
              value: "1"
            - name: MSSQL_SA_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: mssql
                  key: MSSQL_SA_PASSWORD
          volumeMounts:
            - name: mssql
              mountPath: "/var/opt/mssql"
        - name: dxe
          image: docker.io/dh2i/dxe
          env:
            - name: MSSQL_SA_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: mssql
                  key: MSSQL_SA_PASSWORD
          volumeMounts:
            - name: dxe
              mountPath: "/etc/dh2i"
  volumeClaimTemplates:
    - metadata:
        name: dxe
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi
    - metadata:
        name: mssql
      spec:
        accessModes:
          - ReadWriteOnce
        resources:
          requests:
            storage: 1Gi

SQL Server インスタンスの認証情報を作成します。

kubectl create secret generic mssql --from-literal=MSSQL_SA_PASSWORD="<password>"

StatefulSet 構成を適用します。
```
kubectl apply -f dxemssql.yaml
```
ポッドの状態を確認し、ポッドの状態が running になったら次の手順に進みます。
```
kubectl get pods
kubectl describe pods
```

可用性グループの作成とフェールオーバーのテスト

AG の作成と構成、レプリカの追加、フェールオーバーのテストの詳細については、「Kubernetes の SQL Server 可用性グループ」を参照してください。

このチュートリアルでは、Azure Kubernetes Service (AKS) を Kubernetes クラスターとして使います。このチュートリアルは次のタスクで構成されます。

Azure Kubernetes Service を配置する
SQL Server と DH2i カスタムコンテナーイメージを準備する
Azure Kubernetes Service でコンテナーを配置する
DxEnterprise クラスターを構成する
リスナー機能の Read_Write_Routing_URL を構成する (省略可能)

DxEnterprise の詳細については、DH2i DxEnterprise に関するページを参照してください。

前提条件

Azure Kubernetes Service を配置するには、 Azure アカウントが必要です。このチュートリアルを開始するには、2 ノードクラスターが適しています。
Azure portal を使用して Azure コンテナーレジストリを作成する。このレジストリをデプロイスクリプトで使って、カスタムイメージを取得し、コンテナーを Azure Kubernetes にデプロイします。 Azure Container Registry (ACR) ではなく、好きなコンテナーレジストリを使用してカスタムコンテナーイメージをプッシュすることもできます。

Azure Kubernetes Service を配置する

こちらのクイックスタートチュートリアルに従い、Azure Kubernetes Service を使用して 2 ノードの Kubernetes クラスターを設定します。クラスターを作成したら、「クラスターに接続する」セクションで説明されている手順に従って接続できます。

これで、2 ノードの Kubernetes クラスターを作成できました。クライアントマシンから次のコマンドを実行します。

kubectl get nodes

次の出力のような結果が表示されます。

NAME                                STATUS   ROLES   AGE   VERSION
aks-nodepool1-75119571-vmss000000   Ready    agent   61d   v1.19.9
aks-nodepool1-75119571-vmss000001   Ready    agent   61d   v1.19.9

SQL Server と DH2i DxEnterprise カスタムコンテナーイメージを準備する

配置マニフェストで使用されるカスタムコンテナーイメージを作成します。カスタムコンテナーイメージによって、SQL Server、.NET、DxEnterprise がコンテナーにデプロイされるようになります。このセクションでは、展開サンプルの Dockerfile が記載されています。 SQL Server バージョンの変更など、必要に応じて変更できます。

Docker と、Dockerfiles の使用の詳細については、Docker のドキュメントを参照してください。

FROM mcr.microsoft.com/mssql/server:2019-latest
USER root

#Install dotnet
RUN apt-get update \
   && ACCEPT_EULA=Y apt-get upgrade -y \
   && apt-get install -y wget \
   && wget --no-dns-cache https://packages.microsoft.com/config/ubuntu/20.04/packages-microsoft-prod.deb -O packages-microsoft-prod.deb \
   && dpkg -i packages-microsoft-prod.deb \
   && apt-get update \
   && apt-get install -y dotnet-runtime-6.0 zip \
   && dpkg --purge packages-microsoft-prod \
   && apt-get purge -y wget \
   && apt-get clean \
   && rm packages-microsoft-prod.deb \
   && rm -rf /var/lib/apt/lists/*

#Download and unpack DxE, setup permissions
ADD https://repos.dh2i.com/container/ ./dxe.tgz
RUN tar zxvf dxe.tgz && rm dxe.tgz \
   && chown -R mssql /var/opt/mssql \
   && chmod -R 777 /opt/dh2i /etc/dh2i

#Finish setup
EXPOSE 7979 7985
ENV DX_HAS_MSSQLSERVER=1
USER mssql
ENTRYPOINT ["/opt/dh2i/sbin/dxstart.sh"]

Linux マシンで、次のコマンドを実行してイメージをビルドします。
```
mkdir dockerfiles
cd dockerfiles
nano Dockerfile
```
以前に共有したサンプル Dockerfile コンテンツをこの新しいファイルに貼り付けて保存します。
コマンドを使用してイメージをビルドし、<tagname> を sqldh2i/latest で置き換えます。
```
docker build -t <tagname> .
```
Docker images コマンドを実行すると、新しいイメージの sqldh2i を表示することができるようになります。

次のコマンドを使って、イメージにタグを付けて Azure Container Registry (ACR) にプッシュします。 docker login コマンドを使って、Azure Container Registry (ACR) に既にサインインしていることを確認します。詳細については、「ACR へのログイン」をご覧ください。

次のコマンドを使用してイメージをタグ付けします。
```
docker tag sqldh2i/latest <registry-name>.azurecr.io/sqldh2i:latest
```
イメージを ACR リポジトリにプッシュします。
```
docker push <registry-name>.azurecr.io/sqldh2i:latest
```
ポータルから ACR を参照できます。すると、リポジトリと ACR に一覧表示されているタグが表示されます。

これにより、確実にカスタムイメージが Azure Container Registry (ACR) にプッシュされ、次のコマンドを実行して Azure Kubernetes Service (AKS) と ACR を統合できるようになります。詳細については、「Azure Kubernetes Service (AKS) から Azure Container Registry (ACR) の認証を受ける」を参照してください。

<registry-name> の短い名前を使用します。次のコマンドでは、レジストリの完全修飾名は受け入れません。

az aks update -n myAKSCluster -g <myResourceGroup> --attach-acr <registry-name>

Azure Kubernetes Service でコンテナーを配置する

このプロセスでは、StatefulSet デプロイとして SQL Server コンテナーをデプロイします。Azure Kubernetes Service にコンテナーをデプロイするサンプルデプロイファイルを参照用にこの記事の後半で示します。

プライマリレプリカとして 1 つ、セカンダリレプリカとして 2 つの合計 3 つの SQL Server インスタンスを設定します。任意でノードにラベルを追加でき、そうすることで確実にプライマリレプリカが常に 1 つのノードで実行され、セカンダリレプリカが別のノードで実行されるようにできます。ノードにラベルを付ける手順を次に示します。
1. 次のコマンドを使用して、クラスターのノード名を取得します。
```
kubectl get nodes
```
2. 次のコマンドを使用して、ノードにラベルを付けます。
```
kubectl label node aks-nodepool1-75119571-vmss000000 <role=ags-primary>
```
```
kubectl label node aks-nodepool1-75119571-vmss000001 <role=ags-secondary>
```
次のコマンドを使って、SQL Server コンテナーをデプロイする前に、Kubernetes に sa パスワードシークレットを作成します。
```
kubectl create secret generic mssql --from-literal=MSSQL_SA_PASSWORD="MyC0m9l&xP@ssw0rd"
```
MyC0m9l&xP@ssw0rd は、独自の複雑なパスワードに置き換えます。

配置を記述するマニフェスト (YAML ファイル) を作成します。次の例は、前の手順で作成したカスタムコンテナーイメージを使う現在のデプロイを示しています。

注意

この例は、ポート、イメージ、ストレージの詳細を置き換えるなど、環境に合わせて変更する必要があります。

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
     name: azure-disk
provisioner: kubernetes.io/azure-disk
parameters:
  storageaccounttype: Standard_LRS
  kind: Managed
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mssql-pri
  labels:
    app: mssql
spec:
  serviceName: "mssql-pri"
  replicas: 1
  selector:
    matchLabels:
      app: mssql
  template:
    metadata:
      labels:
        app: mssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
      - name: mssql
        image: <registry-name>.azurecr.io/sqldh2i:latest
        env:
        - name: ACCEPT_EULA
          value: "Y"
        - name: MSSQL_AGENT_ENABLED
          value: "Y"
        - name: MSSQL_ENABLE_HADR
          value: "1"
        - name: MSSQL_SA_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mssql
              key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
          mountPath: "/etc/dh2i"
        - name: mssql
          mountPath: "/var/opt/mssql"
      nodeSelector:
       role: ags-primary
  volumeClaimTemplates:
  - metadata:
      name: dxe
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: mssql
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 8Gi
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mssql-sec
  labels:
    app: mssql
spec:
  serviceName: "mssql-sec"
  replicas: 2
  selector:
    matchLabels:
      app: mssql
  template:
    metadata:
      labels:
        app: mssql
    spec:
      securityContext:
        fsGroup: 10001
      containers:
      - name: mssql
        image: <registry-name>.azurecr.io/sqldh2i:latest
        env:
        - name: ACCEPT_EULA
          value: "Y"
        - name: MSSQL_AGENT_ENABLED
          value: "Y"
        - name: MSSQL_ENABLE_HADR
          value: "1"
        - name: MSSQL_SA_PASSWORD
          valueFrom:
            secretKeyRef:
              name: mssql
              key: MSSQL_SA_PASSWORD
        volumeMounts:
        - name: dxe
          mountPath: "/etc/dh2i"
        - name: mssql
          mountPath: "/var/opt/mssql"
      nodeSelector:
       role: ags-secondary
  volumeClaimTemplates:
  - metadata:
      name: dxe
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 1Gi
  - metadata:
      name: mssql
    spec:
      accessModes:
        - ReadWriteOnce
      resources:
        requests:
          storage: 8Gi
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-pri-0
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-pri-0
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-sec-0
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-sec-0
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979
---
apiVersion: v1
kind: Service
metadata:
  name: mssql-sec-1
spec:
  type: LoadBalancer
  selector:
    statefulset.kubernetes.io/pod-name: mssql-sec-1
  ports:
  - name: sql
    protocol: TCP
    port: 1433
    targetPort: 1433
  - name: dxe
    protocol: TCP
    port: 7979
    targetPort: 7979

上記のコードを sqldeployment.yaml という名前の新しいファイルにコピーします。
次のコマンドを使ってデプロイを作成します。
```
kubectl apply -f <Path to sqldeployment.yaml file>
```

配置が完了したら、kubectl get all コマンドを実行します。次のような結果が表示されます。

C:\>kubectl get all
NAME              READY   STATUS    RESTARTS   AGE
pod/mssql-pri-0   1/1     Running   0          33h
pod/mssql-sec-0   1/1     Running   0          33h
pod/mssql-sec-1   1/1     Running   0          33h

NAME                  TYPE           CLUSTER-IP     EXTERNAL-IP     PORT(S)                         AGE
service/kubernetes    ClusterIP      10.0.0.1       <none>          443/TCP                         33h
service/mssql-pri-0   LoadBalancer   10.0.134.183   20.204.22.235   1433:30678/TCP,7979:31136/TCP   33h
service/mssql-sec-0   LoadBalancer   10.0.74.50     20.204.23.32    1433:31009/TCP,7979:30114/TCP   33h
service/mssql-sec-1   LoadBalancer   10.0.63.62     20.204.74.9     1433:31616/TCP,7979:32190/TCP   33h

NAME                         READY   AGE
statefulset.apps/mssql-pri   1/1     33h
statefulset.apps/mssql-sec   2/2     33h

これで SQL Server インスタンスが 3 つあるはずです。それぞれに独自のストレージとサービスがあり、ポート 1433 (SQL Server) と 7979 (DxEnterprise クラスター) が公開されています。 External-IP アドレスを使用して、各 SQL Server インスタンスに接続できます。 SA パスワードは、前の手順で mssql シークレットを作成するときに指定したパスワードと同じです。

デプロイされたコンテナーで DxEnterprise クラスターを構成する

DxEnterprise は DH2i の高可用性クラスタリングソフトウェアであり、コンテナー内を含む、AG をサポートしています。フル機能の開発者向けエディションは、実稼働環境以外で使用できます。コンテナーで DxEnterprise クラスターを構成するには、こちらの DH2i ガイドの手順に従います。

これらの手順により、AG が作成され、高可用性をサポートするこのグループにデータベースが追加されるはずです。

Note

基本的な Always On 可用性グループは SQL Server standard エディションで配置できますが、ご存知のように、基本的な AG の制限事項の 1 つに、レプリカが 2 個だけで、自動フェールオーバーを成功させるために必要な追加の構成専用レプリカは 1 個しか持てないことがあります。構成専用レプリカを使用したフェールオーバーの詳細については、「構成専用レプリカと Quorum」を参照してください。コンテナーにも構成専用レプリカを追加できます。そのためには、DH2i のドキュメントを参照してください。'dxcli add-ags-node' コマンドの可用性モードが 'configuration_only ' として渡されていることを確認してください。

可用性グループリスナーを構成する手順 (省略可能)

また、以下の手順で、AG リスナーを構成することもできます。

DH2i のドキュメントの終わりの方に省略可能な手順として記載されている通り、DxEnterprise を使用して AG リスナーを作成したことを確認します。
Kubernetes では、必要に応じて静的 IP アドレスを作成できます。静的 IP アドレスを作成する時、リスナーサービスが削除されて再作成された場合に、リスナーサービスに割り当てられた外部 IP アドレスが変更されないことを確かめます。この手順に従って、Azure Kubernetes Service (AKS) で静的 IP アドレスを作成します。

IP アドレスを作成したら、次の YAML サンプルに示すように、その IP アドレスを割り当て、ロードバランサーサービスを作成します。

apiVersion: v1
kind: Service
metadata:
  name: agslistener
spec:
  type: LoadBalancer
  loadBalancerIP: 52.140.117.62
  selector:
    app: mssql
  ports:
  - protocol: TCP
    port: 44444
    targetPort: 44444

読み取り/書き込み接続リダイレクトを構成する手順 (省略可能)

AG を作成したら、これらの手順に従って、セカンダリからプライマリへの読み取り/書き込み接続リダイレクトを有効にできます。詳しくは、「セカンダリからプライマリレプリカへの読み取り/書き込み接続のリダイレクト (Always On 可用性グループ)」をご覧ください。

USE [master];
GO

ALTER AVAILABILITY
GROUP [ag_name] MODIFY REPLICA
    ON N'<name of the primary replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP [AGS1] MODIFY REPLICA
    ON N'<name of the secondary-0 replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP [AGS1] MODIFY REPLICA
    ON N'<name of the secondary-1 replica>'
WITH (SECONDARY_ROLE(ALLOW_CONNECTIONS = ALL));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the primary replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of primary -0>:1433'));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the secondary-0 replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of secondary -0>:1433'));
GO

USE [master];
GO

ALTER AVAILABILITY
GROUP AGS1 MODIFY REPLICA
    ON N'<name of the secondary-1 replica>'
WITH (PRIMARY_ROLE(READ_WRITE_ROUTING_URL = 'TCP://<External IP address of secondary -1>:1433'));
GO

次の方法で共有

Kubernetes で DH2i DxEnterprise を使って可用性グループをデプロイする

前提条件

ヘッドレスサービスを作成する

StatefulSet を作成する

可用性グループの作成とフェールオーバーのテスト

前提条件

Azure Kubernetes Service を配置する

SQL Server と DH2i DxEnterprise カスタムコンテナーイメージを準備する

Azure Kubernetes Service でコンテナーを配置する

デプロイされたコンテナーで DxEnterprise クラスターを構成する

可用性グループリスナーを構成する手順 (省略可能)

読み取り/書き込み接続リダイレクトを構成する手順 (省略可能)

フィードバック

その他のリソース

次の方法で共有

Kubernetes で DH2i DxEnterprise を使って可用性グループをデプロイする

前提条件

ヘッドレス サービスを作成する

StatefulSet を作成する

可用性グループの作成とフェールオーバーのテスト

可用性グループ リスナーを構成する手順 (省略可能)

読み取り/書き込み接続リダイレクトを構成する手順 (省略可能)

関連するコンテンツ

フィードバック

その他のリソース

ヘッドレスサービスを作成する

可用性グループリスナーを構成する手順 (省略可能)