Подключение клиентов к управляемой файловой системе Lustre Azure

Завершено

В этом уроке описывается подготовка клиентов и подключение управляемой файловой системы Lustre Azure с клиентского компьютера.

Требования к клиенту

Клиентские компьютеры под управлением Linux могут получить доступ к Управляемому Lustre Azure. Ниже приведены основные требования к клиенту.

• Клиентское программное обеспечение Lustre: клиенты должны иметь соответствующий пакет клиента Lustre. Предварительно созданные клиентские пакеты тестируются с помощью Управляемого Lustre Azure. Сведения об установке или обновлении клиентского программного обеспечения Lustre см. в разделе "Инструкции и параметры загрузки пакета". Клиентские пакеты доступны для нескольких часто используемых дистрибутивов ОС Linux.
• Сетевой доступ: клиентские компьютеры нуждаются в сетевом подключении к подсети, на котором размещена файловая система Azure Managed Lustre. Если клиенты находятся в другой виртуальной сети, может потребоваться использовать пиринг между виртуальными сетями.
• Команда подключения — клиенты должны иметь возможность использовать команду POSIX mount для подключения к файловой системе.
• Производительность. Чтобы обеспечить оптимальную производительность, клиенты должны соответствовать следующим требованиям:
  • Клиенты должны находиться в той же зоне доступности, что и кластер.
  • Включите ускоренную сеть на всех клиентских виртуальных машинах. Если этот параметр не включен, то для полного включения ускоренной сети требуется остановка или освобождение каждой виртуальной машины (VM).
• Тип безопасности. При выборе типа безопасности для виртуальной машины выберите стандартный тип безопасности. При выборе доверенного запуска или конфиденциальности модуль Lustre не будет правильно установлен на клиенте.

Ниже описан базовый рабочий процесс для подключения клиента к управляемой файловой системе Lustre Azure:

1. Установите или обновите клиентское программное обеспечение Lustre на каждом клиенте.
2. mount Используйте команду, чтобы сделать файловую систему Azure Managed Lustre доступной на клиенте.
3. Если клиент больше не нужен, используйте umount команду без -f параметров (force) или -l (отложенных) для очистки клиента перед завершением работы. Сбой правильного отключения клиента перед перезагрузкой или отменой подготовки может привести к проблемам с производительностью для других клиентов.

Установка или обновление клиентского программного обеспечения Lustre

Каждый клиент, подключающийся к файловой системе Lustre, должен иметь клиентский пакет Lustre, совместимый с версией Lustre файловой системы (в настоящее время 2.15).

Предварительно созданные и проверенные клиентские пакеты для Управляемого Lustre Azure можно скачать из репозитория программного обеспечения Linux для продуктов Майкрософт.

Пакеты и модули ядра доступны для следующих операционных систем Linux:

• AlmaLinux HPC 8.6
• AlmaLinux 8
• Red Hat Enterprise Linux (RHEL) 7
• Red Hat Enterprise Linux (RHEL) 8
• Red Hat Enterprise Linux (RHEL) 9
• Ubuntu 18.04
• Ubuntu 20.04
• Ubuntu 22.04

Если вам нужно обновить старую версию клиента Lustre в системе Linux, ознакомьтесь с обновлением клиента Lustre до текущей версии. В процессе обновления необходимо удалить старые модули ядра и пакеты программного обеспечения.

Примечание.

Корпорация Майкрософт опубликует новые пакеты в течение одного рабочего дня после доступности нового ядра. Если у вас возникли проблемы, отправьте запрос в службу поддержки.

Запустите клиент Lustre с помощью команды подключения

Примечание.

Перед выполнением mount команды убедитесь, что узел клиента может видеть виртуальную сеть управляемой файловой системы Azure Lustre. Это можно сделать, указав IP-адрес сервера файловой системы. Если команда ping не выполнена, сделайте файловую систему одноранговым в сети вычислительных ресурсов.

Подключите все клиенты к IP-адресу MGS файловой системы. На странице подключения клиента в портал Azure показан IP-адрес и приведен пример mount команды, которую можно скопировать и использовать для подключения клиентов.

Команда mount включает три компонента:

• Путь клиента: путь на клиентском компьютере, где должна быть подключена управляемая файловая система Lustre Azure. Значением по умолчанию является имя файловой системы, но его можно изменить. Перед использованием команды убедитесь, что этот путь к каталогу существует на клиентском mount компьютере.
• IP-адрес MGS: IP-адрес для службы управления Lustre управляемой файловой системы Azure (MGS).
• Параметры команды подключения: в пример mount команды включены дополнительные рекомендуемые параметры.

Эти компоненты собираются в команду с помощью следующей mount формы:

sudo mount -t lustre -o noatime,flock <MGS_IP>@tcp:/lustrefs /<client_path>

Значение lustrefs в термине IP-адреса MSG — это внутреннее имя, назначенное системой, связанное с кластером Lustre в управляемой Azure системе. Не изменяйте это литеральное значение при создании собственных mount команд.

Задайте для клиента любой удобный путь подключения, который существует на клиентах. Это не обязательно имя управляемой файловой системы Lustre Azure (которое является значением по умолчанию).

Пример mount команды:

sudo mount -t lustre -o noatime,flock 10.0.0.4@tcp:/lustrefs /azure-lustre-mount

Теперь, когда клиенты подключены к файловой системе, вы можете использовать файловую систему Azure Managed Lustre, как и любую подключенную файловую систему. Например, можно запустить задание вычислений для обработки данных, импортированных из контейнера BLOB-объектов.

Внимание

Если клиент больше не нужен, необходимо полностью отключить клиент без использования -f параметров (force) или -l (отложенных) перед завершением работы. Сбой правильного отключения клиента перед перезагрузкой или отменой подготовки может привести к проблемам с производительностью для других клиентов.