Přidání cílů úložiště

Cíle úložiště jsou back-endové úložiště pro soubory, ke kterým se přistupuje prostřednictvím služby Azure HPC Cache. Můžete přidat úložiště NFS (například místní hardwarový systém) nebo ukládat data do azure Blob.

Mezipaměť představuje všechny cíle úložiště v jednom agregovaném oboru názvů. Cesty k oboru názvů se konfigurují samostatně po přidání cílů úložiště.

Nezapomeňte, že exporty úložiště musí být přístupné z virtuální sítě vaší mezipaměti. V případě místního hardwarového úložiště možná budete muset nastavit server DNS, který dokáže přeložit názvy hostitelů pro přístup k úložišti NFS. Přečtěte si další informace o přístupu k DNS.

Po vytvoření mezipaměti přidejte cíle úložiště. Postupujte podle tohoto postupu:

1. Vytvoření mezipaměti
2. Definování cíle úložiště (informace v tomto článku)
3. Vytvoření cest směřujících k klientovi (pro agregovaný obor názvů)

Postup přidání cíle úložiště se mírně liší v závislosti na typu úložiště, které používá. Podrobnosti o každé z nich jsou uvedené níže.

Zvolte správný typ cíle úložiště.

Můžete vybrat ze tří cílových typů úložiště: NFS, Blob a ADLS-NFS. Zvolte typ, který odpovídá typu systému úložiště, který použijete k ukládání souborů během tohoto projektu služby HPC Cache.

• NFS – Vytvořte cíl úložiště NFS pro přístup k datům v systému úložiště připojeného k síti (NAS). Může to být místní systém úložiště nebo jiný typ úložiště, který je přístupný se systémem souborů NFS.

  • Požadavky: Požadavky na úložiště NFS
  • Pokyny: Přidání nového cíle úložiště NFS

• Objekt blob – K uložení pracovních souborů do nového kontejneru objektů blob Azure použijte cíl úložiště objektů blob. Tento kontejner může být jen pro čtení nebo zápis ze služby Azure HPC Cache.

  • Požadavky: Požadavky na úložiště objektů blob
  • Pokyny: Přidání nového cíle služby Azure Blob Storage

• ADLS-NFS – Cíl úložiště ADLS-NFS přistupuje k datům z kontejneru objektů blob s podporou systému souborů NFS. Kontejner můžete předem načíst pomocí standardních příkazů NFS a soubory je možné číst později pomocí systému souborů NFS.

  • Požadavky: Požadavky na úložiště ADLS-NFS
  • Pokyny: Přidání nového cíle úložiště ADLS-NFS

Přidání nového cíle služby Azure Blob Storage

Nový cíl úložiště objektů blob potřebuje prázdný kontejner objektů blob nebo kontejner naplněný daty ve formátu cloudového systému souborů Azure HPC Cache. Přečtěte si další informace o předběžném načtení kontejneru objektů blob v části Přesun dat do služby Azure Blob Storage.

Stránka Přidat cíl úložiště na webu Azure Portal obsahuje možnost vytvořit nový kontejner objektů blob těsně před přidáním.

Poznámka:

• Pro úložiště objektů blob připojených systémem souborů NFS použijte cílový typ úložiště ADLS-NFS.
• Konfigurace mezipaměti s vysokou propustností nepodporují standardní cíle služby Azure Blob Storage. Místo toho použijte úložiště objektů blob s podporou systému souborů NFS (ADLS-NFS).

Azure Portal

Na webu Azure Portal otevřete instanci mezipaměti a na levém bočním panelu klikněte na Cíle úložiště.

Na stránce Cíle úložiště se zobrazí seznam všech existujících cílů a odkaz pro přidání nového cíle.

Klikněte na tlačítko Přidat cíl úložiště.

Pokud chcete definovat kontejner objektů blob Azure, zadejte tyto informace.

• Název cíle úložiště – Nastavte název, který identifikuje tento cíl úložiště ve službě Azure HPC Cache.

• Typ cíle – zvolte objekt blob.

• Účet úložiště – Vyberte účet, který chcete použít.

  Abyste mohli získat přístup k účtu úložiště, budete muset autorizovat instanci mezipaměti, jak je popsáno v části Přidání přístupových rolí.

  Informace o typu účtu úložiště, který můžete použít, najdete v požadavcích na úložiště objektů blob.

• Kontejner úložiště – Vyberte kontejner objektů blob pro tento cíl nebo klikněte na Vytvořit nový.

  

Po dokončení klikněte na OK a přidejte cíl úložiště.

Poznámka:

Pokud je brána firewall účtu úložiště nastavená tak, aby omezovala přístup jenom na vybrané sítě, použijte dočasné alternativní řešení popsané v nastavení brány firewall účtu úložiště objektů blob.

Přidání rolí řízení přístupu do účtu

Azure HPC Cache používá řízení přístupu na základě role Azure (Azure RBAC) k autorizaci služby mezipaměti pro přístup k vašemu účtu úložiště pro cíle služby Azure Blob Storage.

Vlastník účtu úložiště musí explicitně přidat role Přispěvatel účtů úložiště a Přispěvatel dat objektů blob úložiště pro uživatele "Poskytovatel prostředků služby HPC Cache".

Můžete to udělat předem nebo kliknutím na odkaz na stránce portálu, kde přidáte cíl úložiště objektů blob. Mějte na paměti, že rozšíření nastavení role v prostředí Azure může trvat až pět minut. Před vytvořením cíle úložiště počkejte několik minut po přidání rolí.

1. Otevřete řízení přístupu (IAM) pro váš účet úložiště.

2. Kliknutím na Přidat>Přidat přiřazení role otevřete stránku Přidat přiřazení role.

3. Přiřaďte následující role po jednom. Podrobný postup najdete v tématu Přiřazování rolí Azure s využitím webu Azure Portal.

   Nastavení	Hodnota
   Role	Přispěvatel účtů úložiště Přispěvatel dat objektů blob úložiště
   Přiřadit přístup k	Poskytovatel prostředků služby HPC Cache nebo StorageCache

   

Azure CLI

Předpoklad: Přístup k účtu úložiště

Nastavení Azure CLI pro Azure HPC Cache

Než přidáte cíl úložiště objektů blob, zkontrolujte, jestli má mezipaměť správné role pro přístup k účtu úložiště a že nastavení brány firewall umožní vytvoření cíle úložiště.

Azure HPC Cache používá řízení přístupu na základě role Azure (Azure RBAC) k autorizaci služby mezipaměti pro přístup k vašemu účtu úložiště pro cíle služby Azure Blob Storage.

Vlastník účtu úložiště musí explicitně přidat role Přispěvatel účtů úložiště a Přispěvatel dat objektů blob úložiště pro uživatele "Poskytovatel prostředků služby HPC Cache".

Vytvoření cíle úložiště selže, pokud mezipaměť tyto role nemá.

Rozšíření nastavení role v prostředí Azure může trvat až pět minut, takže byste měli počkat několik minut po přidání rolí před vytvořením cíle úložiště.

Podrobné pokyny najdete v tématu Přidání nebo odebrání přiřazení rolí Azure pomocí Azure CLI .

Zkontrolujte také nastavení brány firewall účtu úložiště. Pokud je brána firewall nastavená tak, aby omezovala přístup jenom na vybrané sítě, vytvoření cíle úložiště může selhat. Použijte alternativní řešení popsané v nastavení brány firewall účtu úložiště objektů blob.

Přidání cíle úložiště objektů blob pomocí Azure CLI

K definování cíle služby Azure Blob Storage použijte rozhraní az hpc-cache blob-storage-target add.

Poznámka:

Příkazy Azure CLI v současné době vyžadují, abyste při přidání cíle úložiště vytvořili cestu oboru názvů. To se liší od procesu používaného s rozhraním webu Azure Portal.

Kromě standardní skupiny prostředků a parametrů názvu mezipaměti musíte zadat tyto možnosti pro cíl úložiště:

• --name – Nastavte název, který identifikuje tento cíl úložiště v Azure HPC Cache.

• --storage-account– Identifikátor účtu v tomto formátu: /subscriptions/<subscription_id>/resourceGroups/<storage_resource_group>/providers/Microsoft.Storage/storageAccounts/account_name<>

  Informace o typu účtu úložiště, který můžete použít, najdete v požadavcích na úložiště objektů blob.

• --container-name – Zadejte název kontejneru, který se má použít pro tento cíl úložiště.

• --virtual-namespace-path – Nastavte cestu k souboru určenému klientem pro tento cíl úložiště. Uzavřete cesty do uvozovek. Další informace o funkci virtuálního oboru názvů najdete v tématu Plánování agregovaného oboru názvů .

Příklad příkazu:

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Přidání nového cíle úložiště NFS

Cíl úložiště NFS má jiná nastavení než cíl úložiště objektů blob, včetně nastavení modelu využití, které říká mezipaměti, jak ukládat data z tohoto systému úložiště.

Poznámka:

Před vytvořením cíle úložiště NFS se ujistěte, že je váš systém úložiště přístupný ze služby Azure HPC Cache a splňuje požadavky na oprávnění. Vytvoření cíle úložiště selže, pokud mezipaměť nemá přístup k systému úložiště. Podrobnosti najdete v požadavcích na úložiště NFS a řešení potíží s konfigurací NAS a cílovým úložištěm NFS.

Volba modelu využití

Když vytvoříte cíl úložiště, který používá systém souborů NFS k dosažení svého systému úložiště, musíte pro tento cíl zvolit model využití. Tento model určuje způsob ukládání dat do mezipaměti.

Další podrobnosti o všech těchtonastaveních

Předdefinované modely využití služby HPC Cache umožňují zvolit, jak rychle reagovat s rizikem získání zastaralých dat. Pokud chcete optimalizovat rychlost čtení souborů, nemusí vás zajímat, jestli jsou soubory v mezipaměti kontrolovány proti back-endovým souborům. Případně pokud chcete zajistit, aby vaše soubory byly vždy aktuální se vzdáleným úložištěm, zvolte model, který často kontroluje.

Poznámka:

Mezipaměti ve stylu vysoké propustnosti podporují ukládání do mezipaměti jen pro čtení.

Tyto tři možnosti pokrývají většinu situací:

• Čtení náročné, občasné zápisy – zrychluje přístup pro čtení k souborům, které jsou statické nebo zřídka změněné.

  Tato možnost ukládá soubory z klientských čtení do mezipaměti, ale předává zápisy klientů do back-endového úložiště okamžitě. Soubory uložené v mezipaměti se automaticky nerovnají se soubory na svazku úložiště NFS.

  Tuto možnost nepoužívejte, pokud existuje riziko, že by se soubor mohl upravit přímo v systému úložiště bez toho, aby ho napřed zapisovaly do mezipaměti. V takovém případě se verze souboru v mezipaměti nesynchronizuje s back-endovým souborem.

• Více než 15 % zápisů – tato možnost zrychluje výkon čtení i zápisu.

  Čtení klienta i zápisy klientů jsou uloženy do mezipaměti. U souborů v mezipaměti se předpokládá, že jsou novější než soubory v back-endovém systému úložiště. Soubory uložené v mezipaměti se automaticky kontrolují pouze u souborů v back-endovém úložišti každých osm hodin. Změněné soubory v mezipaměti se zapisují do back-endového systému úložiště poté, co byly v mezipaměti po dobu jedné hodiny bez dalších změn.

  Tuto možnost nepoužívejte, pokud některý klient připojí přímo back-endový svazek úložiště, protože existuje riziko, že bude mít zastaralé soubory.

• Klienti zapisují do cíle systému souborů NFS a obcházejí mezipaměť – Tuto možnost vyberte, pokud klienti v pracovním postupu zapisují data přímo do systému úložiště bez prvního zápisu do mezipaměti nebo pokud chcete optimalizovat konzistenci dat.

  Soubory, které klienti požadují, se ukládají do mezipaměti, ale všechny změny těchto souborů z klienta se okamžitě předávají do back-endového systému úložiště. Soubory v mezipaměti se často kontrolují u back-endových verzí aktualizací. Toto ověření udržuje konzistenci dat, když se soubory mění přímo v systému úložiště místo prostřednictvím mezipaměti.

Podrobnosti o dalších možnostech najdete v tématu Vysvětlení modelů využití.

Tato tabulka shrnuje rozdíly mezi všemi modely využití:

Model využití	Režim ukládání do mezipaměti	Časovač ověření	Časovač zpětného zápisu
Ukládání do mezipaměti jen pro čtení	Čteno	30 sekund	Nic
Ukládání do mezipaměti pro čtení i zápis	Čtení/zápis	8 hodin	1 hodina

Poznámka:

Hodnota ověření back-endu se zobrazí, když mezipaměť automaticky porovná své soubory se zdrojovými soubory ve vzdáleném úložišti. Porovnání však můžete aktivovat odesláním požadavku klienta, který obsahuje operaci readdirplus v back-endovém systému úložiště. Readdirplus je standardní rozhraní NFS API (označované také jako rozšířené čtení), které vrací metadata adresáře, což způsobí, že mezipaměť bude porovnávat a aktualizovat soubory.

Vytvoření cíle úložiště NFS

Azure Portal

Na webu Azure Portal otevřete instanci mezipaměti a na levém bočním panelu klikněte na Cíle úložiště.

Na stránce Cíle úložiště se zobrazí seznam všech existujících cílů a odkaz pro přidání nového cíle.

Klikněte na tlačítko Přidat cíl úložiště.

Zadejte tyto informace pro cíl úložiště založeného na systému souborů NFS:

• Název cíle úložiště – Nastavte název, který identifikuje tento cíl úložiště ve službě Azure HPC Cache.

• Typ cíle – Zvolte systém souborů NFS.

• Název hostitele – Zadejte IP adresu nebo plně kvalifikovaný název domény pro váš systém úložiště NFS. (Název domény použijte pouze v případě, že vaše mezipaměť má přístup k serveru DNS, který dokáže přeložit název.) Pokud na systém úložiště odkazuje více IP adres, můžete zadat více IP adres.

• Model použití – Zvolte jeden z profilů ukládání dat do mezipaměti na základě pracovního postupu, který je popsaný v části Zvolit model použití výše.

Po dokončení klikněte na OK a přidejte cíl úložiště.

Azure CLI

Nastavení Azure CLI pro Azure HPC Cache

K vytvoření cíle úložiště použijte příkaz Azure CLI az hpc-cache nfs-storage-target add .

Poznámka:

Příkazy Azure CLI v současné době vyžadují, abyste při přidání cíle úložiště vytvořili cestu oboru názvů. To se liší od procesu používaného s rozhraním webu Azure Portal.

Kromě názvu mezipaměti a skupiny prostředků mezipaměti zadejte tyto hodnoty:

• --name – Nastavte název, který identifikuje tento cíl úložiště v Azure HPC Cache.

• --nfs3-target – IP adresa vašeho systému úložiště NFS. (Tady můžete použít plně kvalifikovaný název domény, pokud má vaše mezipaměť přístup k serveru DNS, který dokáže přeložit název.)

• --nfs3-usage-model – Jeden z profilů ukládání do mezipaměti dat popsaných výše v části Zvolit model použití

  Pomocí příkazu az hpc-cache usage-model list ověřte názvy modelů využití.

• --junction – Parametr spojení propojuje cestu k virtuálnímu souboru orientovanému na klienta s cestou exportu v systému úložiště.

  Cíl úložiště NFS může mít více virtuálních cest, pokud každá cesta představuje jiný export nebo podadresář ve stejném systému úložiště. Vytvořte všechny cesty pro jeden systém úložiště v jednom cíli úložiště.

  Cesty oboru názvů v cíli úložiště můžete kdykoli přidávat a upravovat.

  Parametr --junction používá tyto hodnoty:

  • namespace-path – Cesta k virtuálnímu souboru přístupnému klientovi
  • nfs-export – Export systému úložiště, který se má přidružit k cestě směřující k klientovi
  • target-path (volitelné) – podadresář exportu v případě potřeby

  Příklad: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Další informace o funkci virtuálního oboru názvů najdete v tématu Konfigurace agregovaného oboru názvů .

Příklad příkazu:

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Výstup:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Přidání nového cíle úložiště ADLS-NFS

Cíle úložiště ADLS-NFS používají kontejnery objektů blob Azure, které podporují protokol NFS (Network File System) 3.0.

Další informace o této funkci najdete v podpoře protokolu NFS 3.0.

Cíle úložiště ADLS-NFS mají určité podobnosti s cíli úložiště objektů blob a s cíli úložiště NFS. Příklad:

• Podobně jako cíl služby Blob Storage potřebujete službě Azure HPC Cache udělit oprávnění pro přístup k účtu úložiště.

• Podobně jako cíl úložiště NFS musíte nastavit model využití mezipaměti.

• Protože kontejnery objektů blob s podporou systému souborů NFS mají hierarchickou strukturu kompatibilní se systémem souborů NFS, nemusíte mezipaměť používat k příjmu dat a kontejnery jsou čitelné jinými systémy NFS.

  Data můžete předem načíst v kontejneru ADLS-NFS a pak je přidat do služby HPC Cache jako cíl úložiště a později přistupovat k datům mimo službu HPC Cache. Při použití standardního kontejneru objektů blob jako cíle úložiště služby HPC Cache se data zapisují v speciálním formátu a dají se získat přístup jenom z jiných produktů kompatibilních se službou Azure HPC Cache.

Než budete moct vytvořit cíl úložiště ADLS-NFS, musíte vytvořit účet úložiště s podporou systému souborů NFS. Postupujte podle kroků v části Požadavky pro Azure HPC Cache a pokyny v připojení úložiště objektů blob pomocí systému souborů NFS. Pokud nepoužíváte stejnou virtuální síť pro mezipaměť a účet úložiště, ujistěte se, že virtuální síť mezipaměti má přístup k virtuální síti účtu úložiště.

Po nastavení účtu úložiště můžete při vytváření cíle úložiště vytvořit nový kontejner.

Další informace o této konfiguraci najdete v tématu Použití úložiště objektů blob připojeného k systému souborů NFS se službou Azure HPC Cache .

Pokud chcete vytvořit cíl úložiště ADLS-NFS, otevřete na webu Azure Portal stránku Přidat cíl úložiště. (Další metody jsou ve vývoji.)

Zadejte tyto informace.

• Název cíle úložiště – Nastavte název, který identifikuje tento cíl úložiště ve službě Azure HPC Cache.

• Typ cíle – Zvolte ADLS-NFS.

• Účet úložiště – Vyberte účet, který chcete použít. Pokud se váš účet úložiště s podporou systému souborů NFS nezobrazuje v seznamu, zkontrolujte, jestli odpovídá požadavkům a že k mezipaměti má přístup.

  Abyste mohli získat přístup k účtu úložiště, budete muset autorizovat instanci mezipaměti, jak je popsáno v části Přidání přístupových rolí.

• Kontejner úložiště – Vyberte kontejner objektů blob s podporou systému souborů NFS pro tento cíl nebo klikněte na Vytvořit nový.

• Model použití – Zvolte jeden z profilů ukládání dat do mezipaměti na základě pracovního postupu, který je popsaný v části Zvolit model použití výše.

Po dokončení klikněte na OK a přidejte cíl úložiště.

Zobrazení cílů úložiště

Pomocí webu Azure Portal nebo Azure CLI můžete zobrazit cíle úložiště, které už jsou definované pro vaši mezipaměť.

Azure Portal

Na webu Azure Portal otevřete instanci mezipaměti a klikněte na Cíle úložiště, která je pod nadpisem Nastavení na levém bočním panelu. Stránka cíle úložiště obsahuje seznam všech existujících cílů a ovládacích prvků pro jejich přidání nebo odstranění.

Kliknutím na název cíle úložiště otevřete stránku s podrobnostmi.

Další informace najdete v zobrazení a správě cílů úložiště a úpravách cílů úložiště.

Azure CLI

Nastavení Azure CLI pro Azure HPC Cache

Pomocí možnosti az hpc-cache storage-target list zobrazte existující cíle úložiště pro mezipaměť. Zadejte název mezipaměti a skupinu prostředků (pokud jste ji nenastavili globálně).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Pomocí příkazu az hpc-cache storage-target show zobrazte podrobnosti o konkrétním cíli úložiště. (Zadejte cíl úložiště podle názvu.)

Příklad:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Další kroky

Po vytvoření cílů úložiště pokračujte těmito úlohami a připravte mezipaměť k použití:

• Nastavení agregovaného oboru názvů
• Připojení služby Azure HPC Cache
• Přesun dat do služby Azure Blob Storage

Pokud potřebujete aktualizovat všechna nastavení, můžete upravit cíl úložiště.