Как работает Azure HPC
Существует четыре основных компонента системы HPC: вычисление, хранилище, сеть и визуализация.
Службы вычислений
Высокопроизводительные вычислительные ресурсы предоставляются практически в неограниченном масштабе в Azure. Вы можете использовать различные серии H, N-серии и Cray для памяти, графических и управляемых приложений.
- Виртуальные машины серии H для приложений, привязанных к памяти
- Виртуальные машины серии N для графических интенсивных приложений и приложений на основе CUDA/OpenCL
- Крей для полностью выделенного и настраиваемого суперкомпьютера, доставленного как управляемая служба
Хранилище
Высокозащищенное облачное хранилище доступно клиентам в большом масштабе. Это позволяет приложениям HPC эффективно использовать платформу, адаптируя её с использованием Azure Managed Lustre, Azure NetApp Files или Cray ClusterStor.
- Управляемый Lustre Azure идеально подходит для рабочих нагрузок HPC, требующих высокой пропускной способности и низкой задержки, что позволяет приложениям быстро обрабатывать большие наборы данных.
- Доступ к большим объемам операций ввода-вывода с задержкой субмиллисекунда с помощью Azure NetApp Files, доставленной в качестве службы Azure в собственном центре обработки данных Azure.
- Для решения хранилища с высокой пропускной способностью используйте Cray ClusterStor, решение хранилища HPC на основе Lustre, полностью интегрированное с Azure.
Сеть
Azure позволяет создавать частные виртуальные сети в облаке, что упрощает сетевую архитектуру и защищает подключение между конечными точками, отключив воздействие данных на общедоступный Интернет.
- Устанавливайте частные и безопасные туннели для гибридного облачного подключения с помощью Azure ExpressRoute.
- Воспользуйтесь преимуществами удаленного прямого доступа к памяти (RDMA) в Linux, применяя InfiniBand для рабочих нагрузок интерфейса MPI в вашем центре обработки данных.
Визуализация
Запустите рабочие нагрузки визуализации с помощью HPC и Azure Виртуальные машины, которые повышают производительность, снижают затраты и имеют гибкие развертывания.
- Визуализируйте данные моделирования и выполняйте сценарии потоковой передачи, игр, кодирования и VDI на виртуальных машинах Azure серии NV, оснащенных GPU.
- Для самых экстремальных графических сценариев применения, рассчитанных на мощные графические процессоры, таких как 3D-моделирование в CAD, трехмерная отрисовка и научная визуализация, используйте высокопроизводительные виртуальные машины серии NVv3.
- Виртуальные машины NVv3 поддерживают хранилище класса Premium и вдвое больше системной памяти (ОЗУ), чем предыдущие виртуальные машины NV.
Сопоставление продуктов виртуальной машины Azure и хранилища с компонентами в системе HPC
Решения для вычислений виртуальных машин Azure
Виртуальные машины с низкой задержкой (SKU HPC)
Следующие виртуальные машины серии H и N-серии RDMA могут взаимодействовать по низкой задержке и сети InfiniBand с высокой пропускной способностью. Поддержка RDMA в таком взаимодействии очень важна для повышения масштабируемости и производительности рабочих нагрузок распределенного узла HPC и ИИ.
Виртуальные машины с ускорителями
| ЦП | GP-GPU | ЗРИТЕЛЬНЫЙ |
|---|---|---|
|
Виртуальные машины серии HB оптимизированы для приложений, которые являются интенсивными в памяти, такими как динамическая динамика, явный анализ конечных элементов и моделирование погоды. Виртуальные машины серии HC оптимизированы для приложений, которые являются интенсивными вычислениями, такими как молекулярной динамики, неявный анализ конечных элементов и вычислительной химии. |
Виртуальные машины серии NC поддерживаются картой NVIDIA Tesla K80 и процессором Intel Xeon E5-2690 v3 (Haswell). Пользователи могут ускорить обработку данных с помощью CUDA для приложений для исследования энергии, моделирования сбоев, отрисовки лучей, глубокого обучения и многого другого. Виртуальные машины серии ND являются новым дополнением к семейству GPU, предназначенным для рабочих нагрузок искусственного интеллекта и глубокого обучения. Она предлагает конфигурацию со вторичной низкой задержкой, сетью с высокой пропускной способностью через RDMA и подключение InfiniBand обеспечивает выполнение крупномасштабных заданий обучения, охватывающих множество GPU. |
Виртуальные машины серии NV предназначены для классических приложений и виртуальных рабочих столов, где клиенты могут визуализировать свои данные или имитации. Позволяет пользователям визуализировать рабочие процессы с интенсивным графикой на экземплярах NV, чтобы получить более высокую возможность графики и дополнительно запускать одноточные рабочие нагрузки точности, такие как кодировка и отрисовка. |
решения служба хранилища Azure
Хранилище BLOB-объектов Azure
Позволяет масштабируемому и безопасному хранилищу объектов для облачных рабочих нагрузок, архивов, озер данных, высокопроизводительных вычислений и машинного обучения. Масштабируемость и оптимизация для озер данных с помощью комплексного управления данными.
Ключевые функции проектирования включают:
- Передача изображений или документов напрямую в браузер.
- Хранение файлов для распределенного доступа.
- Потоковая передача видео и звука.
- Запись в файлы журнала.
- Хранение данных для резервного копирования и восстановления, аварийного восстановления и архивации.
- Хранение данных для анализа локальной службой или службой, размещенной в Azure.
Azure NetApp Files
Упрощает работу корпоративных бизнес-специалистов и специалистов по хранилищу для миграции и запуска сложных файловых приложений без изменения кода. Она используется в качестве базовой общей службы хранилища файлов в различных сценариях, таких как перенос posIX-совместимых приложений Linux и Windows, SAP HANA, баз данных и корпоративных веб-приложений.
Основные преимущества:
- Доступность 99,99 % и высокая производительность, безопасность.
- Служба PaaS — удобная для использования и управления ими.
- Увеличение и уменьшение размера в сети и /или уровней обслуживания.
- Защита данных с помощью репликации между регионами.
- Расширенные функции корпоративного Управление данными.
Файлы Azure
Служба "Файлы Azure" предоставляет полностью управляемые общие файловые ресурсы в облаке, доступ к которым можно получить с помощью стандартного отраслевого протокола SMB или протокола NFS.
- Можно одновременно подключаться в облаке или локальном развертывании.
- Общие папки SMB службы "Файлы Azure" доступны для клиентов Windows, Linux и macOS.
- Общие папки NFS службы "Файлы Azure" доступны для клиентов Linux или macOS.
- Кроме того, Файлы Azure общих папок SMB можно кэшировать на серверах Windows с Синхронизация файлов Azure для быстрого доступа рядом с местом использования данных.
Полезно для:
- Замена или дополнение локальных файловых серверов.
- Лифт и смена приложений.
- Упрощение разработки в облаке.
- Контейнеризация.
Основные преимущества:
- Общий доступ
- Полная управляемость
- Скрипты и инструменты
- Устойчивость
- Знакомая программируемость
Azure Managed Lustre
Служба Azure Managed Lustre предоставляет возможность быстро создавать файловую систему Lustre на основе Azure для облачных высокопроизводительных вычислений.
- Azure Managed Lustre — это полностью управляемая параллельная файловая система, наилучшим образом подходящая для средних и больших высокопроизводительных вычислительных задач.
- Позволяет приложениям HPC в облаке работать без нарушения совместимости с приложениями, предоставляя знакомые функции параллельной файловой системы Lustre, её характеристики и производительность, обеспечивая защиту долгосрочных инвестиций в приложения.
Сценарии использования.
- Идеально подходит для рабочих нагрузок HPC, требующих высокой пропускной способности и низкой задержки, что позволяет быстро обрабатывать большие наборы данных.
Основные преимущества:
- Высокая емкость хранилища до 12,5 PiB по запросу.
- Низкая задержка (~2 мс).
- До 1 млн операций ввода-вывода в секунду, до 500 ГиБ/с.
- Разверните новые кластеры за считанные минуты.
- Поддерживает выполнение контейнерных рабочих нагрузок с использованием AKS.
- Интегрируется с хранилищем BLOB-объектов Azure в качестве источника для импорта и экспорта данных для долгосрочного хранения.
Файловые системы на основе виртуальных машин
Nas для одной виртуальной машины
- Облачное подключенное к сети хранилище (NAS) помогает решать потребности в хранилище в облаке, используя те же конструкции, что и локальная система NAS.
- Предоставляет организациям хранилище, которое выполняется как локальный NAS с добавленной возможностью масштабирования в облаке, и все без необходимости вносить существенные изменения в существующие интерфейсы и процессы приложений.
- NAS — это централизованное устройство хранения, которое позволяет приложениям и службам получать доступ к данным из централизованного расположения в сети.
- Виртуальная NAS — это версия виртуальных систем NAS, которые могут работать на платформах виртуализации, таких как VMware, Hyper-V и т. д.
Основные преимущества:
- Сетевые устройства, обращающиеся к хранилищу Виртуального NAS, могут продолжать использовать те же протоколы без каких-либо перенастройок.
- Управление емкостью также проще, так как любое требуемое хранилище можно выделить из базового уровня виртуализации.
Параллельные файловые системы с несколькими узлами
- Параллельные файловые системы распределяют хранилище на уровне блока между несколькими сетевыми узлами хранилища.
- Данные файлов распределяется между этими узлами, то есть данные файлов распределяется между несколькими устройствами хранения. Он пулирует все отдельные запросы ввода-вывода хранилища на нескольких узлах хранилища, доступных через общее пространство имен.
- Для обеспечения высокой степени параллелизма используются несколько устройств хранения и нескольких путей к данным, что сокращает узкие места, налагаемые путем доступа только к одному узлу за раз.
- Параллельные файловые системы разделены на две основные части:
- Службы метаданных — хранилище метаданных пространства имен, таких как имена файлов, каталоги, разрешения доступа и макет файла. На основе параллельной файловой системы службы метаданных предоставляются как интегрированная часть общего распределения узлов хранилища или через отдельный серверный кластер.
- Хранилище объектов — хранилище объектов содержит фактические данные файла. Клиенты извлекает расположение файлов и каталогов из служб метаданных, а затем напрямую обращается к хранилищу файлов.
- Преимущества распределенного хранилища и повышения производительности операций ввода-вывода делают параллельные файловые системы предпочтительнее NFS в большинстве сценариев HPC, особенно если речь идет о общем рабочем пространстве хранения.
Cray ClusterStor
Cray ClusterStor в системе хранилища Azure — это решение с высокой емкостью и высокой пропускной способностью для ускорения моделирования HPC.
Это устройство без операционной системы, которое полностью интегрировано в структуру Azure и доступно для большого количества других служб Azure.
Cray ClusterStor в Azure предоставляет среду Lustre, основанную на одном клиенте, без операционной системы и полностью управляемую среду HPC в Microsoft Azure.
Основные преимущества:
- Можно использовать с суперкомпьютерами серии Cray XC и CS, а также поддерживает обработку данных заданий HPC, выполняемых на виртуальных машинах серии H из Azure.
- Может перемещать данные в Azure с высокой производительности с нуля, в теплое хранилище BLOB-объектов Azure и холодное архивное хранилище.
- Получите доступ к высокой производительности и емкости во время моделирования. Переместите данные после имитации в избыточное, менее дорогое облачное хранилище, чтобы быть легко распределенным или доступным для следующего моделирования.
- Включает более трех раз пропускную способность в ГБ/с на серверы хранилища объектов Lustre (OSS), чем доступное в настоящее время предложение Lustre.