Поделиться через

Целевая зона для HPC

  • Статья

Методология готовности Cloud Adoption Framework для Azure поможет вам подготовить среду для внедрения облака. На этапе готовности можно использовать целевую зону Azure. Целевая зона — это технический акселератор, предоставляющий базовый стандартный блок для любой среды внедрения облака. Целевая зона может автоматизировать настройку среды Azure, выравнивая рекомендации из Cloud Adoption Framework. При подготовке к высокопроизводительным вычислениям (HPC) могут возникнуть конфигурации среды, зависящие от варианта использования и требований отрасли.

Концептуальная архитектура целевой зоны Azure

При подготовке среды к устойчивому внедрению в облако можно использовать концептуальную архитектуру целевой зоны Azure, представляющую целевое конечное состояние. Для HPC существует несколько концептуальных ссылок на архитектуру, основанные на трех отраслях, которые в настоящее время обращается к Cloud Adoption Framework:

Рассмотрим эти ссылки на архитектуру, как вы разрабатываете долгосрочное видение для целевой зоны. Эти ссылки предоставляют отправную точку. В зависимости от бизнес-требований вашей организации и потребностей конечных пользователей может потребоваться изменить их.

Оценка для HPC

Решения, которые вы принимаете во время оценки стратегических последствий и технического планирования, влияют на конфигурацию целевой зоны, которую вы выбираете для развертываний HPC в Azure. Рекомендуется рассмотреть следующие вопросы:

  • Насколько зрела ваша среда в Azure? Является ли это доказательством этапа концепции? Или это уже зрелое приложение, которое обслуживает пользователей? В зависимости от его этапа можно включить или опустить управление, безопасность или организацию ресурсов.
  • Является ли приложение, которое вы создаете в Azure кратковременным или долгосрочным проектом? Ответ на этот вопрос поможет выбрать параметры вычислений и хранилища.
  • Требуется ли вашей организации доступ к ресурсам Azure на различных уровнях?

Как видно из этих вопросов, модель развертывания зависит от вашего бизнеса, отрасли и использования приложений.

Ускорение целевой зоны Azure для HPC

пакетная служба Azure и Azure CycleCloud предоставляют 1-ю стороннюю службу, а Azure HPC OnDemand Platform (AzHOP) — это автоматизация, созданная на основе Облака цикла Azure, которая обеспечивает комплексный механизм развертывания для полного решения кластера HPC в Azure.

Пакетная служба Azure

  • Пакетная служба предназначена для эффективного выполнения крупномасштабных параллельных и пакетных заданий HPC в Azure.
  • Пакетная служба создает пул вычислительных узлов или виртуальных машин и управляет ими. Пакетную службу можно также использовать для установки приложений, которые вы хотите запустить, и запланировать задания для выполнения на узлах.
  • Программного обеспечения планировщика заданий для установки, управления и масштабирования не существует.
  • Пакетная служба отлично работает с реальными параллельными рабочими нагрузками. Эти рабочие нагрузки имеют приложения, которые могут выполняться независимо, с каждым экземпляром, выполняющим часть работы.
  • Вы также можете использовать пакетную службу для выполнения тесно связанных рабочих нагрузок, где приложения, которые выполняются, должны взаимодействовать друг с другом, а не работать независимо.
  • Пакетные задачи могут выполняться непосредственно на виртуальных машинах или узлах в пуле пакетной службы. Но вы также можете настроить пул пакетной службы для выполнения задач в контейнерах, совместимых с Docker, на узлах.

Azure CycleCloud

  • Она поддерживает различные планировщики HPC, такие как SLURM, OpenPBS, PBSPro, LSF, Grid Engine и HTCondor12.
  • Она позволяет подготавливать инфраструктуру для систем HPC, таких как виртуальные машины, масштабируемые наборы, сетевые интерфейсы и диски.
  • Она автоматически масштабирует инфраструктуру для эффективного выполнения заданий на основе нагрузки заданий, доступности и времени.
  • Он предоставляет широкий, декларативный и шаблонный формат для создания полных сред HPC в Azure.
  • Он интегрируется со службами Azure, такими как Azure Monitor и средства управления затратами Майкрософт.

AzHop

  • AzHop предоставляет комплексный механизм развертывания для базовой инфраструктуры HPC в Azure, используюющей CycleCloud для оркестрации заданий.
  • Он предоставляет полное решение кластера HPC, готовое для пользователей для запуска приложений, и это удобно для администраторов HPC для развертывания и управления ими.
  • AzHop использует встроенные приложения, которые можно использовать "как есть", или можно легко настроить и расширить в соответствии с любыми неотметными требованиями.
  • Он включает портал Open OnDemand для единого доступа пользователей, удаленного доступа к оболочке, удаленного доступа визуализации, отправки заданий, доступа к файлам и т. д.
  • Он использует Active Directory для проверки подлинности пользователей и управления доменом.
  • Он использует OpenPBS или простую программу Linux для управления ресурсами (SLURM) в качестве планировщика заданий.
  • Динамическая подготовка ресурсов и автомасштабирование выполняются предварительно настроенными очередями заданий CycleCloud и интегрированными проверка работоспособности, чтобы быстро избежать неоптимальных узлов.
  • Azure NetApp Files предоставляет общую файловую систему для домашнего каталога и приложений.

Диаграмма сравнения

Функция Пакетная служба Azure Azure CycleCloud
Планировщик Доступны API и средства пакетной службы. Вы также можете использовать скрипты командной строки на основе облака в портал Azure. Вы можете использовать стандартные планировщики HPC, такие как SLURM, OpenPBS, PBSPro, LSF, Grid Engine и HTCondor. Вы также можете расширить подключаемые модули автомасштабирования Azure CycleCloud для работы с собственным планировщиком.
Вычислительные ресурсы Узлы Программного обеспечения как услуга (SaaS) — платформа как услуга (PaaS). Программное обеспечение PaaS — PaaS.
Средства мониторинга Azure Monitor. Azure Monitor и Grafana.
Пользовательская настройка Вы можете использовать настраиваемые пулы образов, сторонние образы или доступ к пакетной службе API. Вы можете использовать комплексный API RESTful для настройки и расширения функциональных возможностей, развертывания собственного планировщика и поддержки существующих диспетчеров рабочих нагрузок.
Интеграция Конвейеры Azure Synapse Analytics, Фабрика данных Azure и Azure CLI. Встроенный интерфейс командной строки для Windows и Linux.
Тип пользователя Разработчики. Классические администраторы и пользователи HPC.
Тип работы Пакеты и рабочие процессы. Тесно связанные рабочие процессы, использующие интерфейс передачи сообщений (MPI).
Поддержка Windows Предоставляются. Зависит от выбора планировщика.

Azure CycleCloud и пакетная служба Azure — это мощные средства для задач HPC в Azure, но они предназначены для различных вариантов использования.

Azure CycleCloud — это удобное для предприятия средство для оркестрации сред HPC и управления ими в Azure. Он предназначен для администраторов и пользователей HPC, которые хотят развернуть среду HPC с определенным планировщиком. Azure CycleCloud предоставляет мощные средства для создания полных сред HPC в Azure, включая серверы общего доступа к файлам (NFS), параллельные файловые системы, узлы входа, серверы лицензий и службы каталогов. Это полезно для организаций, которые работали в средах HPC в течение некоторого времени и накопили годы опыта и встроенных инструментов вокруг определенного планировщика.

В отличие от этого, пакетная служба в основном направлена на разработчиков и команд, которые создают возможности в собственный продукт или службу. Пакет включает собственный планировщик и предназначен для эффективного выполнения крупномасштабных параллельных заданий без программного обеспечения планировщика кластеров или заданий. Пакетная служба полезна, если вам не нужно управлять планировщиком рабочей нагрузки.

В итоге используйте Azure CycleCloud, если вы хотите развернуть среду HPC с определенным планировщиком и требуется полная среда HPC. Используйте пакетную службу при разработке продукта или службы, для которой требуется масштабная параллельная обработка, и вы не хотите управлять планировщиком рабочей нагрузки.

Следующие шаги