Sdílet prostřednictvím

Microsoft HPC Pack

  • Článek

Microsoft HPC Pack je bezplatné řešení HPC založené na Microsoft Azure s technologiemi Windows Serveru a podporuje širokou škálu úloh HPC. Tato stránka vyjadřuje možnosti a podrobnosti konfigurace pro integraci sady HPC Pack s Cyclecloudem.

Omezení a podporované verze

Microsoft HPC Pack 2016 (s aktualizací Update 3) a Microsoft HPC Pack 2019 jsou podporovány v CycleCloudu s následujícími omezeními:

  • Cluster se musí vytvořit v Doména služby Active Directory.
  • Cluster může obsahovat pouze jeden hlavní uzel.
  • Vysoká dostupnost hlavního uzlu se zatím nepodporuje.
  • Přizpůsobení image hlavního uzlu se nepodporuje.
  • Výpočetní uzly Linuxu se zatím nepodporují.
  • Hlavní uzel vyžaduje odchozí internetový přístup ke stažení binárních souborů Nuget a Python3.
  • Konfigurace rozhraní příkazového řádku a cloud-init se zatím nepodporuje.

Požadavky

Doména služby Active Directory

V současné době musí být všechny uzly sady HPC Pack připojené k Doména služby Active Directory. Pokud nasazujete cluster HPC Pack ve virtuální síti, která má připojení VPN typu Site-to-Site nebo ExpressRoute k podnikové síti, obvykle už existuje existující Doména služby Active Directory. Pokud ještě ve své virtuální síti nemáte doménu AD, můžete vytvořit novou doménu AD tak, že propagujete hlavní uzel jako řadič domény.

Azure Key Vault

Microsoft HPC Pack vyžaduje certifikát PFX k zabezpečení komunikace uzlů a vyžaduje také přihlašovací údaje uživatele domény AD pro připojení uzlů k doméně AD. I když v šabloně můžete přímo zadat soubor PFX, heslo ochrany a uživatelské heslo, důrazně doporučujeme použít Azure Key Vault k zabezpečenému zpracování certifikátu a hesla uživatele. Projděte si informace o vytvoření certifikátu Azure Key Vault.

Cluster také vyžaduje uživatelské jméno a heslo účtu správce SLUŽBY AD, aby se připojily uzly k doméně při jejich vytváření. Důrazně doporučujeme používat Azure Key Vault.

Spravovaná identita přiřazená uživatelem Azure

Abyste mohli používat Azure Key Vault pro certifikát a přihlašovací údaje, musíte vytvořit spravovanou identitu přiřazenou uživatelem Azure a udělit oprávnění Získat pro tajný kód i certifikát Azure Key Vault.

V tomto Key Vault kurzu můžete vytvořit Key Vault a spravovanou identitu s přístupem Key Vault.

Doporučujeme použít Azure Role-Based Access Control k přiřazení oprávnění Key Vault spravované identitě.

Role uzlů sady HPC Pack

V clusteru HPC Pack existují tři různé role uzlů:

  • Hlavní uzel: Poskytuje správu clusteru a služby plánování úloh. V současné době se podporuje pouze jeden hlavní uzel s místními databázemi.
  • Uzel zprostředkovatele: Přijímá požadavky od klienta SOA, distribuuje je hostitelům služby na výpočetních uzlech a pak shromažďuje odpovědi a odesílá je zpět klientovi. Uzly zprostředkovatele se vytvoří v poli zprostředkovatelového uzlu. Pokud chcete v clusteru spustit úlohu SOA, musíte vytvořit uzly zprostředkovatele.
  • Výpočetní uzel: Přijímá a spouští úlohy clusteru. Výpočetní uzly se vytvoří v poli uzlů cn .

Vytvoření nového clusteru hpC Pack

Kliknutím na ikonu sady Microsoft HPC Pack v části Plánovače můžete vytvořit nový cluster Microsoft HPC Pack.

Na stránce Informace zadejte jedinečný název clusteru , protože se použije jako název počítače netBIOS hlavního uzlu, ujistěte se, že je jedinečný v doméně AD a splňuje zásady vytváření názvů.

Základní nastavení

  • Verze sady HPC Pack: Můžete vybrat sadu HPC Pack 2019 nebo HPC Pack 2016 (s aktualizací Update 3). Doporučujeme používat nejnovější verzi sady HPC Pack, tj. HPC Pack 2019.
  • Virtual Machines: Můžete vybrat oblast Azure, ve které chcete vytvořit cluster HPC Pack, a typ virtuálního počítače pro každou roli uzlu clusteru. Můžete také zadat hodnotu Num. Zprostředkovatelé pro vytvoření jednoho nebo více uzlů zprostředkovatele, pokud chcete v clusteru spouštět úlohy SOA.

Automatické škálování

Cluster se spustí bez výpočetních uzlů. Automatické škálování umožňuje automatické škálování automaticky vertikálně navyšovat nebo snížit kapacitu výpočetních uzlů v závislosti na úlohách clusteru. Maximální počet jader můžete použít k určení maximálního počtu výpočetních jader vCPU vašeho clusteru. Automatické škálování běží každou minutu jako naplánovaná úloha Windows na hlavním uzlu.

Existují dvě možnosti vertikálního snížení kapacity pro výpočetní uzly: Uvolnění nebo ukončení. Pokud zvolíte možnost Ukončit , cluster HPC Pack vždy odebere virtuální počítače výpočetních uzlů při vertikálním snížení kapacity. Pokud zvolíte možnost Uvolnit přidělení , cluster HPC Pack uvolní virtuální počítače výpočetních uzlů při vertikálním snížení kapacity a zachová je až po konfigurovatelný počet dnů (dny uchovávání virtuálních počítačů). Uvolněné výpočetní uzly nebudou odebrány z clusteru HPC Pack, pokud jsou stále zachovány. V clusteru HPC Pack se ale převedou do offline režimu a zobrazí se jako nedostupné. Možnost Uvolnit přidělení se doporučuje pro cluster HPC Pack, protože může výrazně snížit dobu přípravy uzlů při vertikálním navýšení kapacity a platíte jenom za diskové úložiště uvolněných virtuálních počítačů.

Nastavení infrastruktury

  • Virtual Network: Můžete vybrat existující virtuální síť a podsíť, ve které se vytvoří cluster HPC Pack.
  • Doména služby Active Directory: Pokud ve vaší virtuální síti už existuje doména AD, zadejte úplný název domény a cestu organizačního objektu, ve které budou uzly clusteru připojené. Nebo vyberte Novou doménu AD a vytvořte novou doménu AD tak, že propaguje hlavní uzel jako řadič domény.
  • Tajné kódy a certifikát: Důrazně doporučujeme, abyste k předání komunikačního certifikátu a uživatelského hesla uzlu vybrali Key Vault možnost Použít službu KeyVault. V části Identita MSI vyberte identitu přiřazenou uživatelem Azure, kterou jste vytvořili v části Požadavky , a zadejte název služby Azure Key Vault vytvořený v požadavcích.
  • Přihlašovací údaje uživatele: V uživatelském jménu zadejte uživatelské jméno domény. V tajném kódu hesla zadejte název tajného kódu Azure Key Vault, který jste vytvořili v požadavcích pro uložení hesla uživatele domény.
  • Certifikát PFX: V názvu certifikátu zadejte název certifikátu Azure Key Vault, který jste vytvořili v požadavcích.

Upřesnit nastavení

  • Nastavení Azure: V rozevíracím seznamu vyberte přihlašovací údaje ke cloudu Azure.
  • Software clusteru: Zadejte operační systém (OS) pro jednotlivé role uzlů clusteru.
  • Pokročilé sítě: Ve výchozím nastavení se servery DNS nakonfigurované ve virtuální síti použijí na všechny uzly HPC, můžete volitelně zadat server DNS , pokud chcete použít jiný server DNS. Můžete také vybrat veřejnou IP adresu HN a přiřadit veřejnou IP adresu hlavního uzlu.

azhpcpack CLI

Rozhraní příkazového řádku azhpcpack.ps1 je hlavním rozhraním pro veškeré chování automatického škálování (volání azhpcpack.ps1 autoscalenaplánovaných úloh). Rozhraní příkazového řádku je k dispozici v C:\cycle\hpcpack-autoscaler\bin.

Rozhraní příkazového řádku se dá použít k diagnostice problémů s automatickým škálováním nebo ručnímu řízení škálování clusteru z hlavního uzlu.

Příkaz Popis
automatické škálování Kompletní proces automatického škálování, včetně vytvoření, odstranění a spojení uzlů.
Kbelíky Vytiskne informace o kontejneru automatického škálování, jako jsou limity atd.
config Zapíše efektivní konfiguraci automatického škálování po jakémkoli předběžném zpracování do stdoutu.
create_nodes Vytvořte sadu uzlů s různými omezeními. Verze rozhraní příkazového řádku rozhraní nodemanager.
default_output_columns Výstupem jsou výchozí výstupní sloupce volitelného příkazu.
delete_nodes Odstraňte uzel a vyřazení z clusteru.
initconfig Vytvoří počáteční konfiguraci automatického škálování. Zápisy do stdout.
Limity Zapíše podrobnou sadu limitů pro jednotlivé kontejnery. Výchozí hodnota json je způsobená počtem polí.
Uzly Dotazy na uzly
refresh_autocomplete Aktualizuje informace o místním automatickém dokončování pro konkrétní prostředky a uzly clusteru.
retry_failed_nodes Opakuje všechny uzly ve stavu selhání.
validate_constraint Ověří pak výstup jako jeden nebo více omezení JSON.