CycleCloud GridEngine-Cluster

Diese Seite enthält Funktionen und Konfiguration der Verwendung von GridEngine (Altair) mit CycleCloud.

Konfigurieren von Ressourcen

Die cyclecloud-gridengine-Anwendung gleicht Sge-Ressourcen mit Azure-Cloudressourcen ab, um umfangreiche Tools für die automatische Skalierung und Clusterkonfiguration bereitzustellen. Die Anwendung wird automatisch für Cluster bereitgestellt, die über die CycleCloud-Benutzeroberfläche erstellt werden, oder sie kann auf einem beliebigen gridengine-Administratorhost auf einem vorhandenen Cluster installiert werden.

Installieren oder Aktualisieren von cyclecloud-gridengine

Das Bundle cyclecloud-gridengine ist in github als Releaseartefakt verfügbar. Das Installieren und Aktualisieren ist der gleiche Prozess. Die Anwendung erfordert python3 mit virtualenv.

tar xzf cyclecloud-gridengine-pkg-*.tar.gz
cd cyclecloud-gridengine
./install.sh

Wichtige Dateien

Die Anwendung analysiert die Sgekonfiguration jedes Mal, wenn sie aufgerufen wird – Aufträge, Warteschlangen, Komplexe. Informationen werden im stderr und stdout des Befehls sowie in einer Protokolldatei bereitgestellt, beide auf konfigurierbaren Ebenen. Alle gridengine-Verwaltungsbefehle mit Argumenten werden ebenfalls in der Datei protokolliert.

BESCHREIBUNG	Standort
Konfiguration für automatische Skalierung	/opt/cycle/gridengine/autoscale.json
Protokoll automatisch skalieren	/opt/cycle/jetpack/logs/autoscale.log
qconf-Ablaufverfolgungsprotokoll	/opt/cycle/jetpack/logs/qcmd.log

SGE-Warteschlangen, Hostgruppen und parallele Umgebungen

Das Cyclecloud-gridengine-Autoskalierungs-Hilfsprogramm azgefügt dem Cluster Hosts gemäß der Clusterkonfiguration hinzu. Die Vorgänge zur automatischen Skalierung führen die folgenden Aktionen aus.

1. Lesen Sie die Auftragsressourcenanforderung, und suchen Sie nach einer geeigneten VM zum Starten.
2. Starten Sie den virtuellen Computer, und warten Sie, bis sie bereit ist.
3. Lesen der Warteschlange und parallelen Umgebung aus dem Auftrag
4. Weisen Sie den Host basierend auf der Warteschlange/pe einer entsprechenden Hostgruppe zu.
5. Hinzufügen des Hosts zum Cluster sowie zu jeder anderen Warteschlange, die die Hostgruppe enthält

Betrachten Sie die folgende Warteschlangendefinition für eine Warteschlange namens short.q

hostlist              @allhosts @mpihg01 @mpihg02 @lowprio 
...
seq_no                10000,[@lowprio=10],[@mpihg01=100],[@mpihg02=200]
pe_list               NONE,[@mpihg01=mpi01], \
                      [@mpihg02=mpi02]

Das Übermitteln eines Auftrags von qsub -q short.q -pe mpi02 12 my-script.sh beginnt beim Leasen eines virtuellen Computers. Wenn er dem Cluster hinzugefügt wird, wird er hostgroup @mpihg02 hinzugefügt, da dies die Hostgruppe ist, die sowohl für die Warteschlange als auch für die parallele Umgebung verfügbar ist. Sie wird auch @allhosts hinzugefügt, bei der es sich um eine spezielle Hostgruppe handelt.

Ohne angabe eines pe qsub -q short.q my-script.sh wird die resultierende VM @allhosts hinzugefügt, und @lowpriority dies die Hostgruppen in der Warteschlange sind, denen kein pes zugewiesen ist.

Schließlich führt ein mit übermittelter qsub -q short.q -pe mpi0* 12 my-script.sh Auftrag dazu, dass je nach CycleCloud-Zuordnungsvorhersagen eine VM entweder @mpihg01 oder @mpihg02 hinzugefügt wird.

Parallele Umgebungen entsprechen implizit der Platzierungsgruppe cyclecloud. VMs in einem PE sind darauf beschränkt, sich innerhalb desselben Netzwerks zu befinden. Wenn Sie ein PE verwenden möchten, das keine Platzierungsgruppe behält, verwenden Sie autoscale.json , um sich abzumelden.

Hier deaktivieren wir Platzierungsgruppen für die make pe:

"gridengine": {
    "pes": {
      "make": {
        "requires_placement_groups": false
      }
    },

CycleCloud-Platzierungsgruppen

CycleCloud-Platzierungsgruppen ordnen Azure VMSS mit SinglePlacementGroup eins zu 1 zu: VMs in einer Platzierungsgruppe teilen sich ein Infiniband Fabric und geben nur für virtuelle Computer innerhalb der Platzierungsgruppe frei. Um diese Silos intuitiv zu erhalten, ordnen die Platzierungsgruppen 1:1 der parallelen Umgebung gridengine zu.

Wenn Sie eine parallele Umgebung für einen Auftrag angeben, wird die Ausführung des Auftrags in einer Platzierungsgruppe über eine intelligente Hostgruppenzuweisungslogik eingeschränkt. Sie können dieses Verhalten mit der oben genannten Konfiguration in autoscale.json deaktivieren: "required_placement_groups" : false.

Konfiguration mit automatischer Skalierung

Dieses Plug-In skaliert das Raster automatisch, um die Anforderungen der Workload zu erfüllen. Die Konfigurationsdatei autoscale.json bestimmt das Verhalten der Automatischskalierung der Grid-Engine.

• Festlegen der Cyclecloud-Verbindungsdetails
• Festlegen des Terminierungszeitgebers für Knoten im Leerlauf
• Mehrdimensionale automatische Skalierung ist möglich, legen Sie fest, welche Attribute in der Auftragsverpackung verwendet werden sollen, z. B. Slots, Arbeitsspeicher
• Registrieren der zu verwaltenden Warteschlangen, parallelen Umgebungen und Hostgruppen

Konfiguration	type	Beschreibung
url	String	CC-URL
Benutzername/Kennwort	String	CC-Verbindungsdetails
cluster_name	String	CC-Clustername
default_resources	Zuordnung	Verknüpfen einer Knotenressource mit einer Grid Engine-Hostressource für die automatische Skalierung
idle_timeout	Int	Wartezeit vor dem Beenden von Knoten im Leerlauf
boot_timeout	Int	Wartezeit vor dem Beenden von Knoten während langer Konfigurationsphasen
gridengine.relevant_complexes	Liste (Zeichenfolge)	Bei der automatischen Skalierung zu berücksichtigende Rastermodulkomplexe, z. B. Slots, mem_free
gridengine.logging	Datei	Speicherort der Protokollierungskonfigurationsdatei
gridengine.pes	Struktur	Geben Sie das Verhalten von PEs an, z. B. requires_placement_group = false

Das Programm zur automatischen Skalierung berücksichtigt nur die relevante Ressource.

Zusätzliche Ressource für die automatische Skalierung

Standardmäßig wird der Cluster mit Skalierung basierend auf der Anzahl von Slots, die von den Aufträgen angefordert werden, skaliert. Wir können der automatischen Skalierung eine weitere Dimension hinzufügen.

Angenommen, wir möchten die Anforderung der Auftragsressource für m_mem_freeautomatisch skalieren.

1. Hinzufügen m_mem_free zur gridengine.relevant_resources in autoscale.json
2. Link m_mem_free zur Arbeitsspeicherressource auf Knotenebene in autoscale.json

Diese Attribute können Verweise mit node.* als Wert in _default/Ressourcen sein.

Node	type	BESCHREIBUNG
nodearray	String	Name des Nodearrays "cyclecloud"
placement_group	String	Name der Cyclecloud-Platzierungsgruppe in einem Nodearray
vm_size	String	VM-Produktname, z. B. "Standard_F2s_v2"
vcpu_count	Int	Virtuelle CPUs, die auf dem Knoten verfügbar sind, wie auf einzelnen Produktseiten angegeben
pcpu_count	Int	Auf dem Knoten verfügbare physische CPUs
Arbeitsspeicher	String	Ungefährer physischer Arbeitsspeicher auf dem virtuellen Computer mit Einheitenindikator, z. B. "8,0g"

Zusätzliche Attribute befinden sich im node.resources.* Namespace, z. B. "node.resources.

Node	type	Beschreibung
ncpus	String	Anzahl der cpUs, die in auf dem virtuellen Computer verfügbar sind
pcpus	String	Anzahl der auf dem virtuellen Computer verfügbaren physischen CPUs
ngpus	Integer	Anzahl der auf dem virtuellen Computer verfügbaren GPUs
Memb	String	Ungefährer physischer Arbeitsspeicher auf dem virtuellen Computer mit Einheitenindikator, z. B. "8.0b"
memkb	String	Ungefährer physischer Arbeitsspeicher auf dem virtuellen Computer mit Einheitenindikator, z. B. "8.0k"
memmb	String	Ungefährer physischer Arbeitsspeicher auf dem virtuellen Computer mit Einheitenindikator, z. B. "8,0m"
memgb	String	Ungefährer physischer Arbeitsspeicher auf dem virtuellen Computer mit Einheitenindikator, z. B. "8,0g"
memtb	String	Ungefährer physischer Arbeitsspeicher auf dem virtuellen Computer mit Einheitenindikator, z. B. "8.0t"
slots	Integer	Identisch mit ncpus
slot_type	String	Additionsbezeichnung für Erweiterungen. Nicht allgemein verwendet.
m_mem_free	String	Freier Arbeitsspeicher auf dem Ausführungshost erwartet, z. B. "3.0g"
mfree	String	Identisch mit _m/_mem/free

Ressourcenzuordnung

Dem default_resources stehen auch Berechnungen zur Verfügung: Reduzieren Sie die Slots auf einem bestimmten Knotenarray um zwei, und fügen Sie die Docker-Ressource allen Knoten hinzu:

    "default_resources": [
    {
      "select": {"node.nodearray": "beegfs"},
      "name": "slots",
      "value": "node.vcpu_count",
      "subtract": 2
    },
    {
      "select": {},
      "name": "docker",
      "value": true
    },

Das Zuordnen der Knoten-vCPUs zu den komplexen Slots und memmb zu mem_free sind häufig verwendete Standardwerte. Die erste Zuordnung ist erforderlich.

    "default_resources": [
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
    {
      "select": {},
      "name": "mem_free",
      "value": "node.resources.memmb"
    }
 ],

Wenn ein Komplex über eine Verknüpfung verfügt, die nicht dem gesamten Wert entspricht, definieren Sie beide in default_resources wobei physical_cpu der komplexe Name ist:

"default_resources": [
    {
      "select": {},
      "name": "physical_cpu",
      "value": "node.pcpu_count"
    },
    {
      "select": {},
      "name": "pcpu",
      "value": "node.resources.physical_cpu"
    }
]

Die Reihenfolge ist wichtig, wenn Sie ein bestimmtes Verhalten für ein bestimmtes Attribut wünschen. So weisen Sie einen einzelnen Slot für ein bestimmtes nodearray zu, während die Standardanzahl der Slots für alle anderen nodearrays beibehalten wird:

    "default_resources": [
    {
      "select": {"node.nodearray": "FPGA"},
      "name": "slots",
      "value": "1",
    },
    {
      "select": {},
      "name": "slots",
      "value": "node.vcpu_count"
    },
]

Hostgruppen

Die Automatische Skalierung von CycleCloud zuordnen Knoten der entsprechenden Hostgruppe, um die Auftragsanforderungen zu erfüllen. Warteschlangen, parallele Umgebungen und Komplexe werden berücksichtigt. Ein Großteil der Logik entspricht dem entsprechenden Cyclecloud-Bucket (und der Knotenmenge) mit der entsprechenden Sge-Hostgruppe.

Für einen Auftrag, der als übermittelt wird: qsub -q "cloud.q" -l "m_mem_free=4g" -pe "mpi*" 48 ./myjob.sh

CycleCloud findet die Schnittmenge von Hostgruppen, die:

1. Sind in der pe_list für cloud.q enthalten und stimmen mit dem pe-Namen überein, z. B. pe_list [@allhosts=mpislots],[@hpc1=mpi].
2. Verfügen Sie über ausreichende Ressourcen und ein Abonnementkontingent, um alle Auftragsressourcen bereitzustellen.
3. Werden nicht nach der Konfiguration der Hostgruppeneinschränkungen gefiltert.

Es ist möglich, dass mehrere Hostgruppen diese Anforderungen erfüllen. In diesem Fall muss die Logik auswählen. Es gibt drei Möglichkeiten, Mehrdeutigkeiten in der Hostgruppenmitgliedschaft zu beheben:

1. Konfigurieren Sie die Warteschlangen so, dass es keine Mehrdeutigkeiten gibt.
2. Fügen Sie autoscale.json Einschränkungen hinzu.
3. Lassen Sie CycleCloud die übereinstimmenden Hostgruppen in namensgeordneter Weise auswählen, indem Sie in der Planerkonfiguration anpassen weight_queue_host_sort < weight_queue_seqno .
4. Legen Sie seq_no 10000,[@hostgroup1=100],[@hostgroup2=200] in der Warteschlangenkonfiguration fest, um eine Hostgruppenpräferenz anzugeben.

Hostgruppeneinschränkungen

Wenn mehrere Hostgruppen durch eine Warteschlange oder ein xproject definiert werden, können für alle diese Hostgruppen möglicherweise die Hosts hinzugefügt werden. Sie können einschränken, welche Arten von Hosts welchen Warteschlangen hinzugefügt werden können, indem Sie Hostgruppeneinschränkungen festlegen. Legen Sie eine Einschränkung basierend auf den Knoteneigenschaften fest.

"gridengine": {
    "hostgroups": {
      "@mpi": {
        "constraints": {
          "node.vm_size": "Standard_H44rs"
        }
      },
      "@amd-mem": {
        "constraints" : { 
            "node.vm_size": "Standard_D2_v3",
            "node.nodearray": "hpc" 
            }
        },
    }
  }

HINWEIS: Überprüfen Sie alle verfügbaren Knoteneigenschaften nach azge buckets.

azge

Dieses Paket enthält die Befehlszeile azge. Dieses Programm sollte für die automatische Skalierung verwendet werden und hat alle Unterprozesse unter der automatischen Skalierung aufgebrochen. Diese Befehle basieren auf den festzulegenden gridengine-Umgebungsvariablen. Sie müssen in der Lage sein, und qsub aus demselben Profil aufzurufenqconf, in dem azge aufgerufen wird.

azge-Befehle	Beschreibung
validate	Überprüft auf bekannte Konfigurationsfehler in der automatischen Skalierung oder gridengine
jobs	Zeigt alle Aufträge in der Warteschlange an.
buckets	Zeigt verfügbare Ressourcenpools für die automatische Skalierung an.
nodes	Zeigt Clusterhosts und Eigenschaften an.
demand	Entspricht den Auftragsanforderungen für Cyclecloud-Buckets und stellt Ergebnisse für die automatische Skalierung bereit.
Automatische Skalierung	Führt die vollständige autoskalierte Skalierung durch, wobei Knoten gemäß den Konfigurationen gestartet und entfernt werden.

Wenn Sie Planerkonfigurationen (qconf) oder Autoscale-Konfigurationen (autoscale.json) ändern oder sogar zum ersten Mal einrichten, kann azge verwendet werden, um zu überprüfen, ob das Verhalten der automatischen Skalierung den Erwartungen entspricht. Als Stamm können Sie die folgenden Vorgänge ausführen. Es ist ratsam, sich mit diesen vertraut zu machen, um das Verhalten der automatischen Skalierung zu verstehen.

1. Führen Sie aus azge validate , um Konfigurationen auf bekannte Probleme zu überprüfen.
2. Führen Sie aus azge buckets , um zu untersuchen, welche Ressourcen Ihr CycleCloud-Cluster anbietet.
3. Führen Sie aus azge jobs , um die Auftragsdetails in der Warteschlange zu überprüfen.
4. Führen Sie azge demand den Auftrag ausführen aus, um den Bucketabgleich durchzuführen, und untersuchen Sie, welche Aufträge mit welchen Buckets und Hostgruppen übereinstimmen.
5. Führen Sie aus azge autoscale , um den Knotenzuordnungsprozess zu starten, oder fügen Sie Knoten hinzu, die bereit für die Verknüpfung sind.

Wenn sich diese Befehle dann wie erwartet verhalten, aktivieren Sie die fortlaufende automatische Skalierung, indem Sie den azge autoscale Befehl zum Stammkrontab hinzufügen. (Zuordnen der Gridengine-Umgebungsvariablen)

* * * * * . $SGE_ROOT/common/settings.sh && /usr/local/bin/azge autoscale -c /opt/cycle/gridengine/autoscale.json

Erstellen eines Hybridclusters

CycleCloud unterstützt das Szenario des Bursts in die Cloud. Bei der Basiskonfiguration wird davon ausgegangen, dass das $SGE_ROOT Verzeichnis für die Cloudknoten verfügbar ist. Diese Annahme kann gelockert werden, indem Sie gridengine.shared.spool = falsefestlegen gridengine.shared.bin = false und GridEngine lokal installieren. Für einen einfachen Fall sollten Sie ein Dateisystem bereitstellen, das von den Ausführungsknoten eingebunden werden kann, die das $SGE_ROOT Verzeichnis enthält, und dieses Einbinden in den optionalen Einstellungen konfigurieren. Wenn die Abhängigkeit der sched- und freigegebenen Verzeichnisse freigegeben wird, können Sie den Planerknoten, der teil des Clusters ist, standardmäßig herunterfahren und die Konfigurationen aus dem externen Dateisystem verwenden.

1. Erstellen Sie einen neuen gridengine-Cluster.
2. Deaktivieren Sie den Rückgabeproxy.
3. Ersetzen Sie /sched und /shared durch externe Dateisysteme.
4. Speichern Sie den Cluster.
5. Entfernen Sie den Planerknoten als Aktion auf der Benutzeroberfläche.
6. Starten Sie den Cluster, und es werden zunächst keine Knoten gestartet.
7. Konfigurieren mit cyclecloud-gridengineautoscale.json für die Verwendung des neuen Clusters

Verwenden der Univa Grid Engine in CycleCloud

Das CycleCloud-Projekt für GridEngine verwendet standardmäßig sge-2011.11 . Sie können Ihre eigenen Altair GridEngine-Installationsprogramme gemäß Ihrem Altair-Lizenzvertrag verwenden.
In diesem Abschnitt wird die Verwendung von Altair GridEngine mit dem CycleCloud GridEngine-Projekt beschrieben.

Voraussetzungen

In diesem Beispiel wird die Demoversion 8.6.1 verwendet, aber alle Ge-Versionen > 8.4.0 werden unterstützt.

1. Benutzer müssen UGE-Binärdateien bereitstellen

• ge-8.6.x-bin-lx-amd64.tar.gz
• ge-8.6.x-common.tar.gz

2. Die CycleCloud CLI muss konfiguriert werden. Dokumentation finden Sie hier.

Kopieren der Binärdateien in das Cloudschließfach

Eine ergänzende Version von AGE (8.6.7-demo) wird mit CycleCloud verteilt. Um eine andere Version zu verwenden, laden Sie die Binärdateien in das Speicherkonto hoch, das CycleCloud verwendet.

$ azcopy cp ge-8.6.12-bin-lx-amd64.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/
$ azcopy cp ge-8.6.12-common.tar.gz https://<storage-account-name>.blob.core.windows.net/cyclecloud/gridengine/blobs/

Ändern von Konfigurationen für die Clustervorlage

Erstellen Sie eine lokale Kopie der gridengine-Vorlage, und ändern Sie sie so, dass die UGE-Installationsprogramme anstelle des Standardwerts verwendet werden.

wget https://raw.githubusercontent.com/Azure/cyclecloud-gridengine/master/templates/gridengine.txt

Suchen Sie in dergridengine.txt-Datei nach dem ersten Vorkommen von [[[configuration]]] , und fügen Sie Text ein, sodass er mit dem folgenden Codeausschnitt übereinstimmt. Diese Datei ist nicht empfindlich gegenüber Einzug.

HINWEIS: Die Details in der Konfiguration, insbesondere die Version, sollten mit dem Dateinamen des Installationsprogramms übereinstimmen.

[[[configuration gridengine]]]
    make = ge
    version = 8.6.12-demo
    root = /sched/ge/ge-8.6.12-demo
    cell = "default"
    sge_qmaster_port = "537"
    sge_execd_port = "538"
    sge_cluster_name = "grid1"
    gid_range = "20000-20100"
    qmaster_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool/qmaster" 
    execd_spool_dir = "/sched/ge/ge-8.6.12-demo/default/spool"
    spooling_method = "berkeleydb"
    shadow_host = ""
    admin_mail = ""
    idle_timeout = 300

    managed_fs = true
    shared.bin = true

    ignore_fqdn = true
    group.name = "sgeadmin"
    group.gid = 536
    user.name = "sgeadmin"
    user.uid = 536
    user.gid = 536
    user.description = "SGE admin user"
    user.home = "/shared/home/sgeadmin"
    user.shell = "/bin/bash"

Diese Konfigurationen überschreiben die standardmäßige gridengine-Version und den Installationsspeicherort, wenn der Cluster gestartet wird. Es ist nicht sicher, von der /sched zu wechseln, da es sich um einen speziell freigegebenen nfs-Speicherort im Cluster handelt.