Поделиться через

Что такое Управляемый Lustre Azure?

  • Статья

Служба Azure Managed Lustre предоставляет возможность быстро создавать файловую систему Lustre на основе Azure для облачных высокопроизводительных вычислений.

Lustre — это параллельная файловая система с открытым исходным кодом, которая может масштабироваться до больших размеров хранилища, обеспечивая высокую пропускную способность. Lustre используется самыми быстрыми суперкомпьютерами в мире и в рабочих процессах, ориентированных на данные для многих типов отраслей. Дополнительные сведения см. в разделе https://www.lustre.org.

Управляемый Lustre Azure сохраняет работу по подготовке, настройке и управлению собственной файловой системой Lustre. Используя команду Create в портал Azure, вы можете быстро развернуть файловую систему Lustre в нужном размере, подключить клиентов и быть готовым к использованию системы.

Microsoft Хранилище BLOB-объектов Azure интегрирована с Управляемым Lustre Azure, что позволяет указать файлы для импорта из контейнера BLOB-объектов для использования файловой системы. После завершения высокопроизводительных вычислений можно экспортировать измененные данные в Хранилище BLOB-объектов Azure и удалить систему Azure Managed Lustre. Дополнительные сведения см. в разделе Хранилище BLOB-объектов Azure интеграции далее в этой статье.

Вы также можете использовать файловую систему Azure Managed Lustre с контейнерами Служба Azure Kubernetes (AKS). Дополнительные сведения см. в статье Об использовании Управляемого Lustre Azure с Kubernetes.

Безопасность данных в Управляемом Lustre в Azure

Все данные, хранящиеся в Azure, шифруются неактивных с помощью управляемых ключей Azure по умолчанию. Если вы хотите управлять ключами, используемыми для шифрования данных, хранящихся в кластере Azure Managed Lustre, следуйте инструкциям в шифровании на стороне сервера хранилища дисков Azure.

Все сведения в управляемой файловой системе Lustre Azure также защищены шифрованием узла виртуальной машины на управляемых дисках, в которых хранятся данные, даже если вы добавляете управляемый клиентом ключ для дисков Lustre. Добавление ключа, управляемого клиентом, обеспечивает дополнительный уровень безопасности для клиентов с высокими потребностями безопасности. Дополнительные сведения см. в статье о шифровании на стороне сервера хранилища дисков Azure.

Примечание.

Управляемый Lustre Azure не хранит данные клиентов за пределами региона, в котором развертывается экземпляр службы.

Устойчивость данных в Управляемом Lustre Azure

В управляемой файловой системе Lustre Azure используются управляемые диски Azure в качестве дисков данных, предназначенных для хранения объектов (OST).

Все управляемые файловые системы Azure Lustre, созданные как "устойчивый" тип файловой системы, используют диски SSD Azure Premium (твердотельный диск), настроенные как локально избыточное хранилище (LRS). Содержимое диска LRS реплицируется три раза в локальном центре обработки данных для защиты от сбоев диска и стойки сервера.

Сама файловая система Azure Lustre также способствует устойчивости данных через процессы хранения объектов, которые он использует для хранения данных на этих дисках.

Если вам нужна региональная или глобальная избыточность данных, вы можете интегрировать файловую систему с Хранилище BLOB-объектов Azure. После интеграции можно инициировать задание экспорта для экспорта файлов в контейнер Хранилище BLOB-объектов Azure с другой политикой избыточности для долгосрочного хранения. Настройте Хранилище BLOB-объектов Azure избыточность для учетной записи хранения. Вы можете выбрать зональную избыточность данных (ZRS) или глобальную избыточность данных (GRS) при создании учетной записи хранения. Дополнительные сведения о параметрах избыточности данных для управляемых файлов Lustre Azure см. в статье "Поддерживаемые типы учетных записей хранения".

интеграция Хранилище BLOB-объектов Azure

Microsoft Хранилище BLOB-объектов Azure интегрирована с Управляемым Lustre Azure, что позволяет указать файлы для импорта из контейнера BLOB-объектов для использования файловой системы. Хранилище BLOB-объектов Azure интеграция — это приложение управления иерархическим хранилищем Lustre (HSM). Для каждого задания не требуется импортировать весь набор данных. Вместо этого можно создать другую файловую систему для различных заданий и хранить данные в контейнерах больших двоичных объектов Azure с более низкой стоимостью между использованием. После завершения высокопроизводительных вычислений можно экспортировать измененные данные в Хранилище BLOB-объектов Azure и удалить систему Azure Managed Lustre.

Управляемый Lustre Azure настраивается для эффективной работы с Хранилище BLOB-объектов Azure. Можно указать существующий контейнер BLOB-объектов, чтобы сделать существующие данные доступными из файловой системы Azure Managed Lustre или указать пустой контейнер, который вы заполняете данными или используете для хранения выходных данных. Настройка и обслуживание выполняются для вас. Просто укажите, какой контейнер BLOB-объектов следует использовать.

При интеграции Хранилище BLOB-объектов Azure при создании файловой системы Lustre можно использовать функции Lustre HSM. Если вы не хотите воспользоваться преимуществами Lustre HSM, вы можете импортировать и экспортировать данные для управляемой файловой системы Azure Lustre с помощью клиентских команд напрямую.

Использование Управляемого Lustre Azure с Kubernetes

Если вы хотите использовать систему хранения Azure Managed Lustre с контейнерами Kubernetes, можно использовать драйвер поддержки контейнеров Azure Lustre (CSI) для Kubernetes, совместимый с Служба Azure Kubernetes (AKS). В настоящее время другие типы установки Kubernetes не поддерживаются.

Kubernetes может упростить настройку и развертывание конечных точек виртуальных клиентов для рабочей нагрузки Azure Managed Lustre, автоматив такие задачи установки, как:

  • Создание azure Масштабируемые наборы виртуальных машин, используемой Служба Azure Kubernetes (AKS) для запуска модулей pod.
  • Загрузка правильного клиентского программного обеспечения Lustre на экземплярах виртуальных машин.
  • Указание точки подключения Azure Managed Lustre и распространение этой информации на клиентские модули pod.

Драйвер Azure Lustre CSI для Kubernetes может автоматизировать установку клиентского программного обеспечения и подключенных дисков. Драйвер предоставляет подключаемый модуль контроллера CSI в качестве развертывания с двумя репликами по умолчанию и подключаемый модуль узла CSI в качестве daemonSet. Количество реплик можно изменить.

Чтобы узнать, какие версии драйверов следует использовать, ознакомьтесь с совместимыми версиями Kubernetes.

Следующие шаги