你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

CycleCloud GridEngine 群集

本页介绍将 (Altair) GridEngine 与 CycleCloud 配合使用的功能和配置。

配置资源

cyclecloud-gridengine 应用程序将 sge 资源与 Azure 云资源匹配，以提供丰富的自动缩放和群集配置工具。 应用程序将自动为通过 CycleCloud UI 创建的群集部署，也可以安装在现有群集上的任何网格引擎管理主机上。

安装或升级 cyclecloud-gridengine

cyclecloud-gridengine 捆绑包在 github 中作为发布项目提供。 安装和升级过程相同。 应用程序需要 python3 和 virtualenv。

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

重要文件

每次调用 sge 配置时，应用程序都会分析它 - 作业、队列、复杂项。 信息在命令的 stderr 和 stdout 中以及日志文件中提供，这两种信息都是在可配置的级别提供的。 所有带参数的 gridengine 管理命令也会记录到 文件中。

描述	位置
自动缩放配置	/opt/cycle/gridengine/autoscale.json
自动缩放日志	/opt/cycle/jetpack/logs/autoscale.log
qconf 跟踪日志	/opt/cycle/jetpack/logs/qcmd.log

SGE 队列、主机组和并行环境

cyclecloud-gridengine 自动缩放实用工具 azge将根据群集配置将主机添加到群集。 自动缩放操作执行以下操作。

1. 读取作业资源请求并查找要启动的相应 VM
2. 启动 VM 并等待它准备就绪
3. 从作业中读取队列和并行环境
4. 根据队列/pe 将主机分配到相应的主机组
5. 将主机添加到群集以及包含主机组的任何其他队列

对于名为 short.q 的队列，请考虑以下队列定义

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

通过 qsub -q short.q -pe mpi02 12 my-script.sh 提交作业将从租用一个 VM 开始，在将其添加到群集时，它将加入主机组 @mpihg02 ，因为这是可用于队列和并行环境的主机组。 它还将添加到 @allhosts，这是一个特殊的主机组。

如果不指定 pe， qsub -q short.q my-script.sh 生成的 VM 将添加到 @allhosts ， @lowpriority 这些是队列中未分配 pes 的主机组。

最后，使用 qsub -q short.q -pe mpi0* 12 my-script.sh 提交的作业将导致 VM 添加到 @mpihg01 或 @mpihg02 ，具体取决于 CycleCloud 分配预测。

并行环境隐式等同于 cyclecloud 放置组。 PE 中的 VM 被限制为在同一网络中。 如果要使用不保留放置组的 PE，请使用 autoscale.json 选择退出。

在这里，我们选择退出放置组， 使 pe：

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

CycleCloud 放置组

CycleCloud 放置组使用 SinglePlacementGroup 将一对一映射到 Azure VMSS - 放置组中的 VM 共享 Infiniband Fabric，仅与放置组中的 VM 共享。 为了直观地保留这些接收器，放置组还使用网格引擎并行环境映射 1：1。

为作业指定并行环境将限制作业通过智能主机组分配逻辑在放置组中运行。 可以使用 autoscale.json 中的上述配置选择退出此行为： "required_placement_groups" : false。

自动缩放配置

此插件将自动缩放网格以满足工作负载的需求。 autoscale.json 配置文件确定网格引擎自动缩放程序的行为。

• 设置 cyclecloud 连接详细信息
• 设置空闲节点的终止计时器
• 可以进行多维自动缩放，设置在作业打包中使用的属性，例如槽、内存
• 注册要管理的队列、并行环境和主机组

配置	类型	描述
url	字符串	抄送 URL
username/password	字符串	CC 连接详细信息
cluster_name	字符串	CC 群集名称
default_resources	映射	将节点资源链接到网格引擎主机资源进行自动缩放
idle_timeout	int	在终止空闲节点之前等待时间 ()
boot_timeout	int	在长时间配置阶段终止节点之前等待时间 ()
gridengine.relevant_complexes	列出 (字符串)	在自动缩放（例如槽、mem_free）中要考虑的网格引擎复杂体
gridengine.logging	文件	日志记录配置文件的位置
gridengine.pes	结构	指定 PE 的行为，例如 ，requires_placement_group = false

自动缩放程序将仅考虑 相关资源

其他自动缩放资源

默认情况下，根据作业请求的槽数缩放群集。 我们可以向自动缩放添加另一个维度。

假设我们希望按 的 m_mem_free作业资源请求自动缩放。

1. 将 添加到 m_mem_freegridengine.relevant_resourcesautoscale.json 中的
2. 链接到 m_mem_freeautoscale.json 中的节点级内存资源

这些属性可以是引用，作为 node.* _default/resources 中的值。

节点	类型	描述
nodearray	字符串	cyclecloud nodearray 的名称
placement_group	字符串	nodearray 中 cyclecloud 放置组的名称
vm_size	字符串	VM 产品名称，例如“Standard_F2s_v2”
vcpu_count	int	节点上可用的虚拟 CPU，如单个产品页上所示
pcpu_count	int	节点上可用的物理 CPU
内存	字符串	具有单元指示器的 VM 中可用的大致物理内存，例如“8.0g”

命名空间中有 node.resources.* 其他属性，例如“node.resources”。

节点	类型	描述
ncpus	字符串	VM 中可用的 CPU 数
pcpus	字符串	VM 中可用的物理 CPU 数
ngpus	Integer	VM 中可用的 GPU 数
memb	字符串	具有单元指示器的 VM 中可用的近似物理内存，例如“8.0b”
memkb	字符串	具有单元指示器的 VM 中可用的大致物理内存，例如“8.0k”
memmb	字符串	具有单元指示器的 VM 中可用的大致物理内存，例如“8.0m”
memgb	字符串	具有单元指示器的 VM 中可用的大致物理内存，例如“8.0g”
memtb	字符串	具有单元指示器的 VM 中可用的大致物理内存，例如“8.0t”
slots	Integer	与 ncpus 相同
slot_type	字符串	扩展的添加标签。 不一般使用。
m_mem_free	字符串	执行主机上的预期可用内存，例如“3.0g”
mfree	字符串	与 _m/_mem/free 相同

资源映射

还有可用于default_resources的数学运算 - 将特定节点数组上的槽数减少两个，并将 docker 资源添加到所有节点：

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

将节点 vCPU 映射到槽复杂和 memmb 映射到 mem_free 是常用的默认值。 第一个关联是必需的。

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

请注意，如果复数的快捷方式不等于整个值，则在 default_resources 定义两者，其中 physical_cpu 是复数名称：

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

需要特定属性的特定行为时，排序非常重要。 为特定节点数组分配单个槽，同时保留所有其他节点数组的默认槽计数：

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

主机组

CycleCloud 自动缩放程序在尝试满足作业要求时，会将节点映射到相应的主机组。 考虑队列、并行环境和综合体。 大部分逻辑与相应的 sge 主机组匹配相应的 cyclecloud 存储桶 (和节点数量) 。

对于以如下方式提交的作业： qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

CycleCloud 将找到主机组的交集，这些主机组：

1. 包含在 cloud.q 的pe_list中，并且与 pe 名称匹配，例如 pe_list [@allhosts=mpislots],[@hpc1=mpi]。
2. 有足够的资源和订阅配额来提供所有作业资源。
3. 不按主机组约束配置进行筛选。

多个主机组可能满足这些要求，在这种情况下，需要选择逻辑。 可通过三种方法解决主机组成员身份中的歧义：

1. 配置队列，以免有歧义。
2. 向 autoscale.json 添加约束。
3. 通过调整 weight_queue_host_sort < weight_queue_seqno 计划程序配置，让 CycleCloud 以按名称顺序选择匹配的主机组。
4. 在队列配置中设置 seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] 以指示主机组首选项。

主机组约束

当队列或 xproject 定义多个主机组时，所有这些主机组都可能会将主机添加到其中。 可以通过设置主机组约束来限制可将哪些类型的主机添加到哪些队列。 根据节点属性设置约束。

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

提示：通过 azge buckets检查所有可用的节点属性。

azge

此包附带了命令行 azge。 此程序应用于执行自动缩放，并已分解自动缩放下的所有子进程。 这些命令依赖于要设置的 gridengine 环境变量 - 必须能够从调用 的azge同一配置文件调用 qconf 和 qsub 。

azge commands	描述
validate	检查自动缩放程序或网格工程中的已知配置错误
jobs	显示队列中的所有作业
存储桶	显示用于自动缩放的可用资源池
nodes	显示群集主机和属性
demand	将作业要求与 cyclecloud 存储桶匹配，并提供自动缩放结果
自动缩放	完全自动缩放，根据配置启动和删除节点

当修改计划程序配置 (qconf) 或自动缩放配置 (autoscale.json) ，甚至首次设置时， azge 可用于检查自动缩放行为是否与预期匹配。 作为 root，可以运行以下命令。 建议熟悉这些内容，以了解自动缩放行为。

1. 运行 azge validate 以验证已知问题的配置。
2. 运行 azge buckets 以检查 CycleCloud 群集提供的资源。
3. 运行 azge jobs 以检查排队作业详细信息。
4. 运行 azge demand 执行到存储桶匹配的作业，检查哪些作业与哪些存储桶和主机组匹配。
5. 运行 azge autoscale 以启动节点分配过程，或添加已准备好加入的节点。

然后，当这些命令按预期运行时，通过将命令添加到 azge autoscale 根 crontab 来启用持续自动缩放。 (将 gridengine 环境变量)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

创建混合群集

CycleCloud 将支持突发到云的方案。 基本配置假定目录 $SGE_ROOT 可用于云节点。 可以通过在本地设置 gridengine.shared.spool = falsegridengine.shared.bin = false 和安装 GridEngine 来放宽此假设。 对于简单情况，应提供可由包含目录的执行节点装载的 $SGE_ROOT 文件系统，并在可选设置中配置该装载。 释放 sched 目录和共享目录的依赖项后，可以默认关闭群集中的计划程序节点，并使用外部文件系统中的配置。

1. 创建新的 gridengine 群集。
2. 禁用返回代理。
3. 将 /sched 和 /shared 替换为外部文件系统。
4. 保存群集。
5. 在 UI 中将计划程序节点作为操作删除。
6. 启动群集，最初不会启动任何节点。
7. 使用 cyclecloud-gridengineautoscale.json 配置以使用新群集

在 CycleCloud 中使用 Univa Grid Engine

GridEngine 的 CycleCloud 项目默认使用 sge-2011.11 。 可以根据 Altair 许可协议使用自己的 Altair GridEngine 安装程序。
本部分介绍如何将 Altair GridEngine 与 CycleCloud GridEngine 项目配合使用。

先决条件

此示例将使用 8.6.1-demo 版本，但支持所有 ge 版本 > 8.4.0。

1. 用户必须提供 UGE 二进制文件

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. 必须配置 CycleCloud CLI。 此处 提供了文档

将二进制文件复制到云保险箱中

AGE (8.6.7-demo) 的补充版本随 CycleCloud 一起分发。 若要使用其他版本，请将二进制文件上传到 CycleCloud 使用的存储帐户。

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

修改群集模板的配置

创建 gridengine 模板的本地副本，并将其修改为使用 UGE 安装程序而不是默认安装程序。

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

在 gridengine.txt 文件中，找到 的第一个匹配项 [[[configuration]]] 并插入文本，使其与下面的代码片段匹配。 此文件对缩进不敏感。

注意：配置中的详细信息（尤其是版本）应与安装程序文件名匹配。

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

群集启动时，这些配置将替代默认的 gridengine 版本和安装位置。 从 中移出是不安全的， /sched 因为它是群集中专门共享的 nfs 位置。