Incorporación de destinos de almacenamiento

Los destinos de almacenamiento son espacios de almacenamiento en servidores de back-end para archivos a los que se accede mediante una instancia de Azure HPC Cache. Puede agregar almacenamiento NFS (como un sistema de hardware local) o almacenar datos en Azure Blob Storage.

La caché presenta todos los destinos de almacenamiento en un espacio de nombres agregado. Las rutas de acceso del espacio de nombres se configuran por separado después de agregar los destinos de almacenamiento.

Recuerde que las exportaciones de almacenamiento deben ser accesibles desde la red virtual de la caché. En el caso del almacenamiento en hardware local, es posible que tenga que configurar un servidor DNS que pueda resolver nombres de host para el acceso al almacenamiento de NFS. Obtenga más información en Acceso DNS.

Agregue destinos de almacenamiento después de crear su caché. Siga este proceso:

1. Creación de la memoria caché
2. Definición de un destino de almacenamiento (información en este artículo)
3. Cree las rutas de acceso orientadas al cliente (para el espacio de nombres agregado)

El procedimiento para agregar un destino de almacenamiento es ligeramente diferente según el tipo de almacenamiento que use. A continuación se muestran los detalles de cada uno.

Elección del tipo de destino de almacenamiento correcto

Puede seleccionar entre tres tipos de destino de almacenamiento: NFS, Blob y ADLS-NFS. Elija el tipo que coincida con la clase de sistema de almacenamiento que usará para almacenar los archivos durante este proyecto de HPC Cache.

• NFS: cree un destino de almacenamiento de NFS para acceder a los datos en un sistema de almacenamiento conectado a la red (NAS). Puede ser un sistema de almacenamiento local u otro tipo de almacenamiento al que se pueda acceder con NFS.

  • Requisitos: requisitos del almacenamiento de NFS
  • Instrucciones. Incorporación de un nuevo destino de almacenamiento NFS

• Blob: use un destino de almacenamiento de blobs para almacenar los archivos de trabajo en un nuevo contenedor de blobs de Azure. Este contenedor solo se puede leer o escribir desde Azure HPC Cache.

  • Requisitos previos: requisitos del almacenamiento de blobs
  • Instrucciones: Incorporación de un nuevo destino de almacenamiento de Azure Blob Storage

• ADLS-NFS: el destino de almacenamiento de ADLS-NFS accede a los datos de un contenedor de blobs habilitado para NFS. Puede cargar previamente el contenedor mediante comandos NFS estándar y los archivos se pueden leer después con NFS.

  • Requisitos previos: requisitos del almacenamiento de ADLS-NFS
  • Instrucciones. Incorporación de un nuevo destino de almacenamiento de ADLS-NFS

Incorporación de un nuevo destino de almacenamiento de Azure Blob Storage

Un nuevo destino de almacenamiento de Azure Blob Storage necesita un contenedor de blobs vacío o un contenedor rellenado con datos con el formato de sistema de archivos en la nube de Azure HPC Cache. Obtenga más información sobre la carga previa de un contenedor de blobs en Traslado de datos a Azure Blob Storage.

En la página Agregar destino de almacenamiento de Azure Portal se incluye la opción de crear un nuevo contenedor de blobs justo antes de agregar el destino.

Nota:

• En el caso de la instancia de Blob Storage montada en NFS, use el tipo de destino de almacenamiento de ADLS-NFS.
• Las configuraciones de caché de alto rendimiento no admiten destinos estándar de almacenamiento de blobs de Azure. En su lugar, use el almacenamiento de blobs habilitado para NFS (ADLS-NFS).

Portal

En Azure Portal, abra la instancia de caché y haga clic en Destinos de almacenamiento en la barra lateral izquierda.

En la página Destinos de almacenamiento se enumeran todos los destinos existentes y se proporciona un vínculo para agregar uno nuevo.

Haga clic en el botón Agregar destino de almacenamiento.

Para definir un contenedor de blobs de Azure, escriba esta información.

• Storage target name (Nombre de destino de almacenamiento): establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.

• Target type (Tipo de destino): elija Blob.

• Cuenta de almacenamiento: seleccione la cuenta que quiere usar.

  Tendrá que autorizar a la instancia de caché para acceder a la cuenta de almacenamiento, tal como se describe en Incorporación de los roles de acceso.

  Para más información sobre el tipo de cuenta de almacenamiento que puede usar, consulte Requisitos de Blob Storage.

• Contenedor de almacenamiento: seleccione el contenedor de blobs para este destino o haga clic en Crear.

  

Cuando termine, haga clic en Aceptar para agregar el destino de almacenamiento.

Nota:

Si el firewall de la cuenta de almacenamiento está configurado para restringir el acceso solo a "redes seleccionadas", use la solución alternativa documentada en Solución alternativa para la configuración del firewall de la cuenta de Blob Storage.

Incorporación de los roles de control de acceso a la cuenta

Azure HPC Cache usa el control de acceso basado en rol de Azure (Azure RBAC) para autorizar el acceso del servicio de caché a la cuenta de almacenamiento de los destinos de Azure Blob Storage.

El propietario de la cuenta de almacenamiento debe agregar explícitamente los roles Colaborador de la cuenta de almacenamiento y Colaborador de datos de Storage Blob para el usuario "HPC Cache Resource Provider" (Proveedor de recursos de HPC Cache).

Puede realizar esta tarea con anterioridad, o bien hacer clic en un vínculo de la página del portal donde se agrega un destino de almacenamiento de blobs. Tenga en cuenta que la configuración del rol puede tardar hasta cinco minutos en propagarse a través del entorno de Azure. Espere unos minutos después de agregar los roles antes de crear un destino de almacenamiento.

1. Abra Control de acceso (IAM) para su cuenta de almacenamiento.

2. Seleccione Agregar>Agregar asignación de roles para abrir la página Agregar asignación de roles.

3. Asigne los siguientes roles, de uno en uno. Para asignar roles, consulte Asignación de roles de Azure mediante Azure Portal.

   Configuración	Valor
   Roles	Colaborador de la cuenta de almacenamiento Colaborador de datos de blobs de almacenamiento
   Asignar acceso a	"Proveedor de recursos de HPC Cache" o "Proveedor de recursos StorageCache"

   

CLI de Azure

Requisito previo: acceso a la cuenta de almacenamiento

Configurar la CLI de Azure para Azure HPC Cache.

Antes de agregar un destino de almacenamiento de blobs, compruebe que la memoria caché tiene los roles correctos para acceder a la cuenta de almacenamiento y que la configuración del firewall permite la creación del destino de almacenamiento.

Azure HPC Cache usa el control de acceso basado en rol de Azure (Azure RBAC) para autorizar el acceso del servicio de caché a la cuenta de almacenamiento de los destinos de Azure Blob Storage.

El propietario de la cuenta de almacenamiento debe agregar explícitamente los roles Colaborador de la cuenta de almacenamiento y Colaborador de datos de Storage Blob para el usuario "HPC Cache Resource Provider" (Proveedor de recursos de HPC Cache).

Se producirá un error en la creación del destino de almacenamiento si la memoria caché no tiene estos roles.

La configuración de roles puede tardar hasta cinco minutos en propagarse por el entorno de Azure, por lo que, después de agregar los roles, debe esperar para crear un destino de almacenamiento.

Lea Incorporación o eliminación de asignaciones de roles de Azure mediante la CLI de Azure para instrucciones detalladas.

Compruebe también la configuración del firewall de la cuenta de almacenamiento. Si restringe el acceso solo a las "redes seleccionadas", puede producirse un error al crearse el destino de almacenamiento. Use la solución alternativa que se indica en el documento Solución alternativa para la configuración del firewall de la cuenta de Blob Storage.

Incorporación de un destino de almacenamiento de blobs con la CLI de Azure

Use la interfaz az hpc-cache blob-storage-target add para definir un destino de almacenamiento en Azure Blob Storage.

Nota:

Actualmente, los comandos de la CLI de Azure requieren la creación de una ruta de acceso de espacio de nombres al agregar un destino de almacenamiento. Esto es diferente del proceso que se usa con la interfaz de Azure Portal.

Además de los parámetros estándar del grupo de recursos y del nombre de la memoria caché, para el destino de almacenamiento debe proporcionar estas opciones:

• --name: establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.

• --storage-account - Identificador de la cuenta, en este formato: /subscriptions/<>/resourceGroups/<>/providers/Microsoft.Storage/storageAccounts/<>

  Para más información sobre el tipo de cuenta de almacenamiento que puede usar, consulte Requisitos de Blob Storage.

• --container-name -Especifique el nombre del contenedor que se va a usar para este destino de almacenamiento.

• --virtual-namespace-path: Establezca la ruta de acceso del archivo orientada al cliente para este destino de almacenamiento. Escriba las rutas de acceso entre comillas. Lea Planeamiento del espacio de nombres agregado para más información acerca de la característica de espacio de nombres virtual.

Comando de ejemplo:

az hpc-cache blob-storage-target add --resource-group "hpc-cache-group" \
    --cache-name "cache1" --name "blob-target1" \
    --storage-account "/subscriptions/<subscriptionID>/resourceGroups/myrgname/providers/Microsoft.Storage/storageAccounts/myaccountname" \
    --container-name "container1" --virtual-namespace-path "/blob1"

Incorporación de un nuevo destino de almacenamiento NFS

Un destino de almacenamiento de NFS tiene una configuración diferente de un destino de almacenamiento de blobs, incluida una configuración de modelo de uso que indica a la memoria caché cómo almacenar los datos de este sistema de almacenamiento.

Nota:

Antes de crear un destino de almacenamiento NFS, asegúrese de que el sistema de almacenamiento sea accesible desde la instancia de Azure HPC Cache y cumple los requisitos de permisos. Se producirá un error en la creación del destino de almacenamiento si la memoria caché no tiene acceso suficiente al sistema de almacenamiento. Consulte Requisitos de almacenamiento NFS y Solución de problemas de configuración de NAS y problemas del destino de almacenamiento de NFS para más información.

Selección de un modelo de uso

Cuando cree un destino de almacenamiento que use NFS para comunicarse con el sistema de almacenamiento, deberá elegir un modelo de uso de ese destino. Este modelo determina cómo se almacenan los datos en caché.

Consulte Definición de los modelos de uso para obtener más información sobre todos estos valores.

Los modelos de uso integrados de HPC Cache permiten elegir cómo equilibrar la respuesta rápida con el riesgo de obtener datos obsoletos. Si quiere optimizar la velocidad de lectura de los archivos, es posible que no le interese si los archivos de la memoria caché se comparan con los archivos de back-end. Por otro lado, si quiere asegurarse de que los archivos estén siempre actualizados con el almacenamiento remoto, elija un modelo que realice comparaciones frecuentes.

Nota:

Las memorias caché de estilo de alto rendimiento solo admiten el almacenamiento en caché de lectura.

Estas tres opciones cubren la mayoría de las situaciones:

• Read heavy, infrequent writes (lectura intensiva, operaciones de escritura poco frecuentes): use esta opción si quiere acelerar el acceso de lectura a archivos que son estáticos o que no se suelen modificar.

  Esta opción almacena en caché los archivos de las lecturas del cliente, pero pasa las escrituras del cliente al almacenamiento de back-end inmediatamente. Los archivos almacenados en la memoria caché no se comparan automáticamente con los archivos del volumen de almacenamiento NFS.

  No use esta opción si existe el riesgo de que un archivo se pueda modificar directamente en el sistema de almacenamiento sin escribirlo primero en la memoria caché. Si esto sucede, la versión en caché del archivo no estará sincronizada con el archivo de back-end.

• Mayor que el 15 % de textos: esta opción acelera el rendimiento de lectura y escritura.

  Las lecturas de cliente y las escrituras de cliente se almacenan en caché. Se supone que los archivos de la memoria caché son más recientes que los archivos del sistema de almacenamiento de back-end. Los archivos almacenados en caché solo se comparan automáticamente con los archivos del almacenamiento de back-end cada ocho horas. Los archivos modificados en la caché se escriben en el sistema de almacenamiento de back-end, después de que hayan estado en dicha caché durante una hora sin cambios adicionales.

  No use esta opción si los clientes montan el volumen de almacenamiento back-end directamente, ya que existe el riesgo de que haya archivos obsoletos.

• Los clientes escriben en el destino NFS omitiendo la caché: elija esta opción si algún cliente del flujo de trabajo escribe datos directamente en el sistema de almacenamiento sin escribir primero en la caché o si quiere optimizar la coherencia de los datos.

  Los archivos que solicitan los clientes se almacenan en caché, pero los cambios que se realicen en esos archivos desde el cliente se pasan al sistema de almacenamiento de back-end inmediatamente. Los archivos de la memoria caché se comparan con frecuencia con las versiones de back-end para determinar si hay actualizaciones. Esta comprobación mantiene la coherencia de los datos cuando los archivos se modifican directamente en el sistema de almacenamiento en lugar de a través de la memoria caché.

Para obtener más información sobre las demás opciones, consulte Definición de los modelos de uso.

En esta tabla se resumen las diferencias entre todos los modelos de uso:

Modelo de uso	Modo de almacenamiento en caché	Temporizador de comprobación	Temporizador de escritura diferida
Almacenamiento en caché de solo lectura	Lectura	30 segundos	None
Almacenamiento en caché de lectura y escritura	Lectura/escritura	8 horas	1 hora

Nota:

El valor de la Comprobación de back-end muestra cuándo la caché compara automáticamente sus archivos con los archivos de origen que están en el almacenamiento remoto. Sin embargo, puede iniciar una comparación al enviar una solicitud de cliente que incluya una operación readdirplus en el sistema de almacenamiento de back-end. Readdirplus es una API NFS estándar (también llamada lectura extendida) que devuelve metadatos de directorio, lo que hace que la caché compare y actualice los archivos.

Creación de un destino de almacenamiento de NFS

Portal

En Azure Portal, abra la instancia de caché y haga clic en Destinos de almacenamiento en la barra lateral izquierda.

En la página Destinos de almacenamiento se enumeran todos los destinos existentes y se proporciona un vínculo para agregar uno nuevo.

Haga clic en el botón Agregar destino de almacenamiento.

Proporcione esta información para un destino de almacenamiento respaldado por NFS:

• Storage target name (Nombre de destino de almacenamiento): establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.

• Target type (Tipo de destino): elija NFS.

• Hostname (Nombre de host): escriba la dirección IP o el nombre de dominio completo del sistema de almacenamiento NFS. (Use un nombre de dominio solo si la memoria caché tiene acceso a un servidor DNS que pueda resolver el nombre). Puede especificar varias direcciones IP si varias direcciones IP hacen referencia al sistema de almacenamiento.

• Modelo de uso: elija uno de los perfiles de almacenamiento en caché de datos en función del flujo de trabajo, tal como se describe en la sección Selección de un modelo de uso anterior.

Cuando termine, haga clic en Aceptar para agregar el destino de almacenamiento.

CLI de Azure

Configurar la CLI de Azure para Azure HPC Cache.

Use el comando az hpc-cache nfs-storage-target add de la CLI de Azure para crear el destino de almacenamiento.

Nota:

Actualmente, los comandos de la CLI de Azure requieren la creación de una ruta de acceso de espacio de nombres al agregar un destino de almacenamiento. Esto es diferente del proceso que se usa con la interfaz de Azure Portal.

Proporcione estos valores además del nombre de la caché y el grupo de recursos de caché:

• --name: establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.

• --nfs3-target: dirección IP del sistema de almacenamiento NFS. (Puede usar un nombre de dominio completo aquí si la caché tiene acceso a un servidor DNS que lo resuelva).

• --nfs3-usage-model: uno de los perfiles de almacenamiento en caché de datos, que se describe en la sección Selección de un modelo de uso anterior.

  Compruebe los nombres de los modelos de uso con el comando az hpc-cache usage-model list.

• --junction: parámetro de unión que vincula la ruta de acceso del archivo virtual orientado al cliente con una ruta de acceso de exportación del sistema de almacenamiento.

  Un destino de almacenamiento NFS puede tener varias rutas de acceso virtuales, siempre y cuando cada ruta represente una exportación o un subdirectorio diferente sen el mismo sistema de almacenamiento. Creación de todas las rutas de acceso de un sistema de almacenamiento en un destino de almacenamiento.

  Puede agregar y editar rutas de acceso de espacio de nombres en un destino de almacenamiento en cualquier momento.

  El parámetro --junction usa estos valores:

  • namespace-path: Ruta de acceso del archivo virtual orientado al cliente
  • nfs-export: Exportación del sistema de almacenamiento que se va a asociar a la ruta de acceso orientada al cliente
  • target-path (opcional): Subdirectorio de la exportación, si es necesario

  Ejemplo: --junction namespace-path="/nas-1" nfs-export="/datadisk1" target-path="/test"

  Lea Configuración del espacio de nombres agregado para obtener más información acerca de la característica de espacio de nombres virtual.

Comando de ejemplo:

az hpc-cache nfs-storage-target add --resource-group "hpc-cache-group" --cache-name "doc-cache0629" \
    --name nfsd1 --nfs3-target 10.0.0.4 --nfs3-usage-model WRITE_WORKLOAD_15 \
    --junction namespace-path="/nfs1/data1" nfs-export="/datadisk1" target-path=""

Salida:

{- Finished ..
  "clfs": null,
  "id": "/subscriptions/<subscriptionID>/resourceGroups/hpc-cache-group/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "hpc-cache-group",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}

Incorporación de un nuevo destino de almacenamiento de ADLS-NFS

Los destinos de almacenamiento de ADLS-NFS usan contenedores de blobs de Azure que admiten el protocolo Network File System (NFS) 3.0.

Consulte Compatibilidad con el protocolo NFS 3.0 para más información sobre esta característica.

Los destinos de almacenamiento de ADLS-NFS tienen algunas similitudes con los destinos de Blob Storage y otros con destinos de almacenamiento NFS. Por ejemplo:

• Al igual que con un destino de Blob Storage, debe conceder permiso a Azure HPC Cache para acceder a la cuenta de almacenamiento.

• Al igual que con un destino de almacenamiento NFS, debe establecer un modelo de uso de caché.

• Dado que los contenedores de blobs habilitados para NFS tienen una estructura jerárquica compatible con NFS, no es necesario usar la caché para ingerir datos; además, otros sistemas NFS pueden leer los contenedores.

  Puede cargar previamente los datos en un contenedor de ADLS-NFS y, a continuación, agregarlos a una instancia de HPC Cache como destino de almacenamiento para, finalmente, acceder a los datos más adelante desde fuera de HPC Cache. Cuando se usa un contenedor de blobs estándar como destino de almacenamiento en HPC Cache, los datos se escriben en un formato propietario y solo se puede acceder a ellos desde otros productos compatibles con Azure HPC Cache.

Para que pueda crear un destino de almacenamiento de ADLS-NFS, primero debe crear una cuenta de almacenamiento habilitada para NFS. Siga los pasos de Requisitos previos de Azure HPC Cache y las instrucciones de Montaje de Blob Storage con NFS. Si no usa la misma red virtual para la caché y la cuenta de almacenamiento, asegúrese de que la red virtual de la caché pueda acceder a la red virtual de la cuenta de almacenamiento.

Una vez configurada la cuenta de almacenamiento, podrá crear un nuevo contenedor cuando cree el destino de almacenamiento.

Consulte Uso del almacenamiento de blobs montado en NFS (versión preliminar) con Azure HPC Cache para más información sobre esta configuración.

Para crear un destino de almacenamiento de ADLS-NFS, abra la página Agregar destino de almacenamiento en Azure Portal. (Hay otros métodos en desarrollo).

Escriba esta información.

• Storage target name (Nombre de destino de almacenamiento): establezca un nombre que identifique este destino de almacenamiento en Azure HPC Cache.

• Tipo de destino: elija ADLS-NFS.

• Cuenta de almacenamiento: seleccione la cuenta que quiere usar. Si la cuenta de almacenamiento habilitada para NFS no aparece en la lista, compruebe que cumple los requisitos previos y que la memoria caché puede acceder a ella.

  Tendrá que autorizar a la instancia de caché para acceder a la cuenta de almacenamiento, tal como se describe en Incorporación de los roles de acceso.

• Contenedor de almacenamiento: seleccione el contenedor de blobs habilitado para NFS para este destino o haga clic en Crear.

• Modelo de uso: elija uno de los perfiles de almacenamiento en caché de datos en función del flujo de trabajo, tal como se describe en la sección Selección de un modelo de uso anterior.

Cuando termine, haga clic en Aceptar para agregar el destino de almacenamiento.

Visualización de los destinos de almacenamiento

Puede usar Azure Portal o la CLI de Azure para mostrar los destinos de almacenamiento ya definidos para la memoria caché.

Portal

En Azure Portal, abra la instancia de caché y haga clic en Destinos de almacenamiento, que se encuentra debajo del título Configuración en la barra lateral izquierda. En la página Destinos de almacenamiento se enumeran todos los destinos y se proporciona un vínculo para agregar uno nuevo.

Haga clic en el nombre de un destino de almacenamiento para abrir su página de detalles.

Lea Visualización y administración de destinos de almacenamiento y Edición de los destinos de almacenamiento para más información.

CLI de Azure

Configurar la CLI de Azure para Azure HPC Cache.

Use la opción az hpc-cache storage-target list para mostrar los destinos de almacenamiento de la caché existentes. Proporcione el nombre de la caché y el grupo de recursos (a menos que lo haya establecido como global).

az hpc-cache storage-target list --resource-group "scgroup" --cache-name "sc1"

Use az hpc-cache storage-target show para ver detalles sobre un destino de almacenamiento concreto (especifíquelo por su nombre).

Ejemplo:

$ az hpc-cache storage-target show --cache-name doc-cache0629 --name nfsd1

{
  "clfs": null,
  "id": "/subscriptions/<subscription_ID>/resourceGroups/scgroup/providers/Microsoft.StorageCache/caches/doc-cache0629/storageTargets/nfsd1",
  "junctions": [
    {
      "namespacePath": "/nfs1/data1",
      "nfsExport": "/datadisk1",
      "targetPath": ""
    }
  ],
  "location": "eastus",
  "name": "nfsd1",
  "nfs3": {
    "target": "10.0.0.4",
    "usageModel": "WRITE_WORKLOAD_15"
  },
  "provisioningState": "Succeeded",
  "resourceGroup": "scgroup",
  "targetType": "nfs3",
  "type": "Microsoft.StorageCache/caches/storageTargets",
  "unknown": null
}
$

Pasos siguientes

Después de crear destinos de almacenamiento, continúe con estas tareas para preparar la caché para su uso:

• Configuración del espacio de nombres agregado
• Montaje de la instancia de Azure HPC Cache
• Traslado de datos a Azure Blob Storage

Si necesita actualizar cualquier configuración, puede editar un destino de almacenamiento.