Определение требований для Управляемого Lustre в Azure

Завершено

Прежде чем развернуть управляемую файловую систему Lustre Azure, необходимо выполнить предварительные требования для настройки сети и, при необходимости, интеграцию БОЛЬШИХ двоичных объектов. В этом уроке представлен общий обзор топологии службы и описаны предварительные требования, которые необходимо настроить перед созданием файловой системы Azure Managed Lustre.

Обзор

На следующей схеме описана базовая топология службы управляемой файловой системы Lustre Azure, показывающая, как она упорядочена и как она подключается к другим службам Azure и взаимодействует с ними:

Предварительные требования к сети

Управляемые файловые системы Lustre Azure существуют в подсети виртуальной сети. Подсеть содержит службу управления Lustre (MGS) и обрабатывает все взаимодействия клиента с виртуальным кластером Lustre.

Требования к размеру сети

Размер нужной подсети зависит от размера создаваемой файловой системы. В следующей таблице приведена приблизительная оценка минимального размера подсети для управляемых файловых систем Lustre Azure с различными размерами.

Ресурсы хранилища	Рекомендуемое значение префикса CIDR
4 ТиБ до 16 ТиБ	/27 или больше
20 ТиБ до 40 ТиБ	/26 или больше
44 ТиБ до 92 ТиБ	/25 или больше
96 ТиБ до 196 ТиБ	/24 или больше
200 ТиБ до 400 ТиБ	/23 или больше

Доступ и разрешения подсети

По умолчанию для включения Управляемого Lustre Azure не требуется вносить определенные изменения. Если в вашей среде включены политики ограниченной сети или безопасности, следует рассмотреть следующее руководство.

Тип доступа	Обязательные параметры сети
Доступ к DNS	Используйте DNS-сервер на основе Azure по умолчанию.
Доступ между узлами	Разрешить входящий и исходящий доступ между узлами в подсети Azure Managed Lustre. Например, для развертывания кластера необходим доступ к TCP-порту 22 (SSH).
Доступ к облачной службе Azure	Настройте группу безопасности сети, чтобы разрешить управляемой файловой системе Lustre Azure доступ к облачным службам Azure из подсети файловой системы. Добавьте правило безопасности исходящего трафика со следующими свойствами: - Порт: любой - Протокол: любой - Источник: виртуальная сеть - Назначение: тег службы AzureCloud - Действие: Разрешить Примечание. Настройка облачной службы Azure также обеспечивает необходимую конфигурацию службы очередей Azure. Дополнительные сведения см. в разделе тегов службы виртуальной сети.
Доступ к сетевому порту Lustre	Группа безопасности сети должна разрешить входящий и исходящий доступ через порт 988 и порты 1019-1023. Другие службы не могут зарезервировать или использовать эти порты на клиентах Lustre. Правила 65000 AllowVnetInBound по умолчанию и 65000 AllowVnetOutBound соответствуют этому требованию.

Подробные инструкции по настройке группы безопасности сети для управляемых файловых систем Azure Lustre см. в статье "Создание и настройка группы безопасности сети".

Другие рекомендации по сети

При планировании конфигурации виртуальной сети и подсети учитывайте следующие рекомендации и ограничения.

• Служба Azure Kubernetes (AKS): если вы используете кластер AKS с файловой системой Azure Managed Lustre, вы можете найти кластер AKS в той же подсети, что и файловая система. В этом случае необходимо предоставить достаточно IP-адресов для узлов и модулей pod AKS в дополнение к адресной области файловой системы Lustre. Если в виртуальной сети используется несколько кластеров AKS, убедитесь, что виртуальная сеть имеет достаточную емкость для всех ресурсов во всех кластерах. Дополнительные сведения о сетевых стратегиях для управляемого Lustre и AKS Azure см. в статье "Доступ к подсети AKS".
• Вычислительные виртуальные машины или несколько кластеров. Если вы планируете использовать другой ресурс для размещения вычислительных виртуальных машин в той же виртуальной сети, что и файловая система, проверьте требования для этого процесса перед созданием виртуальной сети и подсети для файловой системы Azure Managed Lustre. При планировании нескольких кластеров в одной подсети обязательно используйте адресное пространство достаточно большого размера, чтобы соответствовать общим требованиям для всех кластеров.
• Azure NetApp Files: ресурсы Azure Managed Lustre и Azure NetApp Files не могут совместно использовать подсеть. Если вы используете службу Azure NetApp Files, необходимо создать управляемую файловую систему Lustre Azure в отдельной подсети. Развертывание завершается ошибкой, если вы попытаетесь создать управляемую файловую систему Azure Lustre в подсети, которая в настоящее время содержит или содержит ресурсы Azure NetApp Files.
• ypbind: если вы используете ypbind управляющую программу на клиентах для поддержания сведений о привязке сетевых служб (NIS), необходимо убедиться, что ypbind не резервирует порт 988. Вы можете вручную настроить порты, которые ypbind резервируются, или убедиться, что инфраструктура запуска системы запускает подключение клиента Lustre перед запуском ypbind.
• После создания файловой системы невозможно переместить другую виртуальную сеть или подсеть файловой системы.
• Управляемый Lustre Azure принимает только IPv4-адреса. IPv6 не поддерживается.

Примечание.

После создания файловой системы Azure Managed Lustre в группе ресурсов файловой системы появятся несколько новых сетевых интерфейсов. Их имена начинаются с amlfs- и заканчиваются -snic. Не изменяйте параметры этих интерфейсов. В частности, оставьте значение по умолчанию включено для параметра ускорения сети. Отключение ускоренной сети в этих сетевых интерфейсах снижает производительность файловой системы.

Предварительные требования для интеграции BLOB-объектов

Если вы планируете интегрировать файловую систему Azure Managed Lustre с Хранилище BLOB-объектов Azure, выполните следующие предварительные требования перед созданием файловой системы.

Чтобы интегрировать Хранилище BLOB-объектов Azure с управляемой файловой системой Lustre Azure, перед созданием файловой системы необходимо создать или настроить следующие ресурсы:

• Учетная запись хранения
• Контейнеры BLOB-объектов

Дополнительные сведения об интеграции BLOB-объектов см. в статье "Использование хранилища BLOB-объектов Azure" с файловой системой Azure Managed Lustre.

Storage account

Создайте новую учетную запись хранения или используйте существующую. Учетная запись хранения должна иметь следующие параметры:

• Тип учетной записи — совместимый тип учетной записи хранения.
• Доступ к ролям — назначения ролей , которые позволяют системе Azure Managed Lustre изменять данные.
• Ключи доступа. Учетная запись хранения должна иметь параметр доступа к ключу учетной записи хранения, для которых задано значение "Включено".

Поддерживаемые типы учетных записей хранения

Следующие типы учетных записей хранения можно использовать с управляемыми файловыми системами Lustre Azure:

Storage account type	Избыточность
Стандартные	Локально избыточное хранилище (LRS), геоизбыточное хранилище (GRS) Хранилище, избыточное между зонами (ZRS), геоизбыточное хранилище (RAGRS), геоизбыточное хранилище (GZRS), хранилище с избыточностью между зонами чтения (RA-GZRS)
Премиум — блочные BLOB-объекты	LRS, ZRS

Дополнительные сведения о типах учетных записей хранения см. в разделе "Типы учетных записей хранения".

Доступ к ролям для интеграции BLOB-объектов

Для доступа к учетной записи хранения требуется авторизация Управляемого Lustre Azure. Используйте управление доступом на основе ролей Azure (Azure RBAC), чтобы предоставить файловой системе доступ к хранилищу BLOB-объектов.

Владелец учетной записи хранения должен добавить эти роли перед созданием файловой системы:

• Участник учетной записи хранения
• Участник данных хранилища BLOB-объектов

Чтобы добавить роли для поставщика ресурсов HPC Cache субъекта-службы, выполните следующие действия.

1. Перейдите к учетной записи хранения и выберите элемент управления доступом (IAM) в области навигации слева.
2. Выберите Добавить>Добавить назначение ролей, чтобы открыть страницу Добавление назначения ролей.
3. Назначьте роль.
4. Добавьте поставщика ресурсов HPC Cache в ту роль.

   Совет

   Если поставщик ресурсов HPC Cache не удается найти, выполните поиск хранилища . Поставщик ресурсов storagecache был именем субъекта-службы до общедоступной доступности продукта.

5. Повторите шаги 3 и 4, чтобы добавить каждую роль.

Подробные инструкции см. в статье Назначение ролей Azure с помощью портала Microsoft Azure.

контейнеров BLOB-объектов;

В одной учетной записи хранения должны быть два отдельных контейнера БОЛЬШИХ двоичных объектов, которые используются в следующих целях:

• Контейнер данных: контейнер BLOB-объектов в учетной записи хранения, содержащий файлы, которые вы хотите использовать в файловой системе Azure Managed Lustre.
• Контейнер ведения журнала: второй контейнер для журналов импорта и экспорта в учетной записи хранения. Журналы должны храниться в другом контейнере из контейнера данных.

Примечание.

Файлы можно добавить в файловую систему позже из клиентов. Однако файлы, добавленные в исходный контейнер BLOB-объектов после создания файловой системы, не будут импортированы в файловую систему Azure Managed Lustre, если только не создадите задание импорта.

Частные конечные точки (необязательно)

Если вы используете частную конечную точку с хранилищем, необходимо включить параметр Интеграции с частной зоной DNS во время создания новой частной конечной точки. Этот параметр гарантирует, что частная конечная точка может разрешить DNS-имя учетной записи хранения.