OpenPBS

Připojení PBS pomocí CycleCloudu

CycleCloud spravuje clustery OpenPBS prostřednictvím instalovatelného agenta, kterému se říká azpbs. Tento agent se připojí ke službě CycleCloud ke čtení konfigurací clusteru a virtuálních počítačů a také se integruje s OpenPBS, aby efektivně zpracovával informace o úloze a hostiteli. Všechny azpbs konfigurace jsou nalezeny v autoscale.json souboru, obvykle /opt/cycle/pbspro/autoscale.json.

  "password": "260D39rWX13X",
  "url": "https://cyclecloud1.contoso.com",
  "username": "cyclecloud_api_user",
  "logging": {
    "config_file": "/opt/cycle/pbspro/logging.conf"
  },
  "cluster_name": "mechanical_grid",

Důležité soubory

Agent azpbs analyzuje konfiguraci PBS při každém volání – úlohy, fronty, prostředky. Informace jsou k dispozici ve stderru a stdout příkazu i v souboru protokolu, a to jak na konfigurovatelných úrovních. Všechny příkazy pro správu PBS (qcmd) s argumenty se protokolují také do souboru.

Všechny tyto soubory najdete v adresáři /opt/cycle/pbspro/, kde je agent nainstalovaný.

Soubor	Umístění	Popis
Konfigurace automatického škálování	autoscale.json	Konfigurace pro informace o přístupu k automatickému škálování, mapě prostředků, cycleCloudu
Protokol automatického škálování	autoscale.log	Protokolování hlavního vlákna agenta včetně správy hostitelů CycleCloud
Protokol poptávky	demand.log	Podrobný protokol pro porovnávání prostředků
protokol trasování qcmd	qcmd.log	Protokolování volání agenta qcmd
Konfigurace protokolování	logging.conf	Konfigurace pro masky protokolování a umístění souborů

Definování prostředků OpenPBS

Tento projekt umožňuje obecně přidružovat prostředky OpenPBS k prostředkům virtuálních počítačů Azure prostřednictvím projektu cyclecloud-pbspro (azpbs). Tento vztah prostředku definovaný v .autoscale.json

Výchozí prostředky definované šablonou clusteru, se kterými se dodáváme, jsou

{"default_resources": [
   {
      "select": {},
      "name": "ncpus",
      "value": "node.vcpu_count"
   },
   {
      "select": {},
      "name": "group_id",
      "value": "node.placement_group"
   },
   {
      "select": {},
      "name": "host",
      "value": "node.hostname"
   },
   {
      "select": {},
      "name": "mem",
      "value": "node.memory"
   },
   {
      "select": {},
      "name": "vm_size",
      "value": "node.vm_size"
   },
   {
      "select": {},
      "name": "disk",
      "value": "size::20g"
   }]
}

Prostředek OpenPBS s názvem mem se rovná atributu uzlu s názvem node.memory, což je celková paměť libovolného virtuálního počítače. Tato konfigurace umožňuje azpbs zpracovat požadavek na prostředek, například -l mem=4gb porovnáním hodnoty požadavků na prostředky úlohy s prostředky uzlu.

Všimněte si, že disk je nyní pevně zakódován na size::20g. Tady je příklad zpracování velikosti konkrétního disku velikosti virtuálního počítače.

   {
      "select": {"node.vm_size": "Standard_F2"},
      "name": "disk",
      "value": "size::20g"
   },
   {
      "select": {"node.vm_size": "Standard_H44rs"},
      "name": "disk",
      "value": "size::2t"
   }

Automatické škálování a škálovací sady

CycleCloud zpracovává spanning a sériové úlohy v clusterech OpenPBS odlišně. Úlohy, které jsou součástí stejné skupiny umístění, budou přistály na uzlech. Skupina umístění má konkrétní význam platformy (VirtualMachineScaleSet s SinglePlacementGroup=true) a kopie bude spravovat pojmenovanou skupinu umístění pro každou rozloženou sadu uzlů. Pro tento název skupiny umístění použijte prostředek group_id PBS.

Fronta hpc připojí ekvivalent -l place=scatter:group=group_id pomocí výchozích hodnot nativní fronty.

Instalace agenta CycleCloud OpenPBS azpbs

Cluster OpenPBS CycleCloud bude spravovat instalaci a konfiguraci agenta na uzlu serveru. Příprava zahrnuje nastavení prostředků, front a háků PBS. Skriptovanou instalaci je možné provést i mimo CycleCloud.

# Prerequisite: python3, 3.6 or newer, must be installed and in the PATH
wget https://github.com/Azure/cyclecloud-pbspro/releases/download/2.0.5/cyclecloud-pbspro-pkg-2.0.5.tar.gz
tar xzf cyclecloud-pbspro-pkg-2.0.5.tar.gz
cd cyclecloud-pbspro

# Optional, but recommended. Adds relevant resources and enables strict placement
./initialize_pbs.sh

# Optional. Sets up workq as a colocated, MPI focused queue and creates htcq for non-MPI workloads.
./initialize_default_queues.sh

# Creates the azpbs autoscaler
./install.sh  --venv /opt/cycle/pbspro/venv

# Otherwise insert your username, password, url, and cluster name here.
./generate_autoscale_json.sh --install-dir /opt/cycle/pbspro \
                             --username user \
                             --password password \
                             --url https://fqdn:port \
                             --cluster-name cluster_name

azpbs validate

CycleCloud podporuje standardní sadu atributů automatickéhotopu napříč plánovači:

Atribut	Popis
cyclecloud.cluster.autoscale.stop_enabled	Je na tomto uzlu povolené automatické dokončování? [true/false]
cyclecloud.cluster.autoscale.idle_time_after_jobs	Doba (v sekundách) pro uzel, který se po dokončení úloh po dokončení úloh nastaví jako nečinný, než se škáluje.
cyclecloud.cluster.autoscale.idle_time_before_jobs	Doba (v sekundách) pro uzel, která má být nečinná před dokončením úloh před vertikálním snížením kapacity.

Poznámka

CycleCloud nepodporuje konfiguraci roztrhání pomocí Open PBS.

Poznámka

I když je Windows oficiálně podporovanou platformou Open PBS, CycleCloud v tuto chvíli nepodporuje spuštění Open PBS ve Windows.