Поделиться через

Топология сети и подключение для Azure HPC

  • Статья

Рекомендации в этой статье помогут вам ознакомиться с рекомендациями по проектированию и рекомендациями, связанными с сетями и подключением для развертываний Microsoft Azure и высокопроизводительных вычислений (HPC).

Планирование IP-адресации

Важно, чтобы вы планировали IP-адресацию в Azure, чтобы обеспечить следующее:

  • Адресное пространство IP не пересекается между локальными расположениями и регионами Azure.
  • Возможно будущее подключение виртуальных сетей к существующим или запланированным виртуальным сетям.
  • Виртуальная сеть содержит правильное адресное пространство.
  • Правильное планирование конфигурации подсети выполняется заранее.
  • Для дальнейшего расширения или других служб учитывается достаточное количество избыточных адресов.

Особенности и рекомендации по проектированию

  • Рассмотрите возможность создания отдельных подсетей для назначения IP-адресов в функциональных компонентах среды. Например, выделенная виртуальная сеть HPC может включать следующие подсети:

    • Вычислить
    • Хранение
    • Инфраструктура
    • Визуализация
    • Войти
    • Azure NetApp Files
    • Azure HPC Cache

  • Некоторым службам, таким как Azure NetApp Files, HPC Cache и будущим предложениям для хранения, для правильной работы требуются выделенные подсети. Если вы планируете использовать любую из этих служб, убедитесь, что планируется соответствующее адресное пространство. Делегированные подсети необходимы, если вы хотите реализовать Azure NetApp Files, которая часто используется в развертываниях HPC с общими файловыми системами. Вы можете выделить и делегировать подсети определенным службам, а затем создавать экземпляры этих служб в подсетях.

  • Azure помогает создавать несколько делегированных подсетей в виртуальной сети, но только одна делегированная подсеть может существовать в виртуальной сети для Azure NetApp Files. Попытки создания нового тома завершаются неудачей, если для Azure NetApp Files используется более чем одна делегированная подсеть. При использовании HPC Cache для хранения создайте выделенную подсеть. Дополнительные сведения о требованиях к этой подсети см. в разделе Подсеть кэша. Дополнительные сведения о создании подсети см. в статье Добавление подсети виртуальной сети.

Разрешение DNS и имен для локальных ресурсов и ресурсов Azure

Система доменных имен (DNS) является важным элементом проектирования в общей архитектуре целевой зоны Azure. Некоторые организации могут захотеть использовать свои существующие инвестиции в DNS. Другие организации могут видеть внедрение облака как возможность модернизировать внутреннюю инфраструктуру DNS и использовать собственные возможности Azure. Следующие рекомендации применяются, если DNS-имя или имя виртуальной машины не изменяется во время миграции.

Соображения и рекомендации по проектированию

  • Фоновые DNS и виртуальные имена подключают несколько системных интерфейсов в средах HPC. Клиенты иногда знают об интерфейсах, которые разработчики определяют с течением времени. Проблемы с подключением могут возникать между различными системами при изменении виртуальных или DNS-имен после миграции, поэтому следует сохранить псевдонимы DNS, чтобы предотвратить эти проблемы.

  • Используйте разные зоны DNS, чтобы различать среды друг от друга. Эти среды включают песочницу, среду разработки, предстартовую и промышленную среду. Исключением является развертывание HPC с собственной виртуальной сетью, которая может не требовать частных зон DNS.

  • Поддержка DNS является обязательной при использовании HPC Cache, чтобы получить доступ к хранилищу и другим ресурсам.

  • DNS и разрешение имён имеют решающее значение в финансовом секторе при использовании расположения ресурсов и записей служб. Рекомендуется использовать разрешение DNS, которое предоставляет контроллер домена доменных служб Microsoft Entra. Дополнительные сведения см. в статье Развертывание доменных служб Microsoft Entra в виртуальной сети Azure.

Высокопроизводительные сетевые службы

  • Ускоренная передача данных: Многие рабочие нагрузки HPC, включая сейсмическую обработку, обрабатывают огромные объемы данных, хранящихся в общих файловых системах, таких как Azure Blob, Azure NetApp Files и Lustre ClusterStor. К этим решениям хранилища и пользовательским решениям обращаются через сеть. Высокопроизводительная сеть имеет решающее значение для сокращения времени передачи данных. ускоренная сетевая обеспечивает подключение с высокой пропускной способностью, низкой задержкой между виртуальными машинами и службами Azure. Другие преимущества включают снижение jitter и минимальное использование ЦП.

  • InfiniBand: параллельные HPC-приложения, которые используют библиотеки MPI (интерфейса передачи сообщений), возможно, потребуют передать значительные объемы данных между несколькими виртуальными машинами. Соединение InfiniBand, доступное на виртуальных машинах серии H и серии N с поддержкой RDMA (удаленного прямого доступа к памяти), обеспечивает подключение с низкой задержкой и высокой пропускной способностью для повышения производительности и масштабируемости приложений HPC и глубокого обучения.

    • Если вы запускаете финансовые приложения, требующие низкой задержки между компьютерами, и сведения должны передаваться между узлами, чтобы получить результаты, используйте низкую задержку и взаимодействие с высокой пропускной способностью. Виртуальные машины серии H с поддержкой RDMA и виртуальные машины серии N обмениваются данными по сети InfiniBand с низкой задержкой и высокой пропускной способностью. Сетевая возможность RDMA по такому подключению имеет решающее значение для повышения масштабируемости и производительности рабочих нагрузок HPC и искусственного интеллекта распределенного узла. Эта сеть может повысить производительность приложений, работающих в Microsoft MPI или Intel MPI. К примеру, к заданиям MPI относятся молекулярная динамика, вычислительная гидродинамика, моделирование нефтяных и газовых месторождений, а также новые распределённые нагрузки машинного обучения.

    • Подключения InfiniBand возможны только между виртуальными машинами, выделенными в одной группе размещения. Дополнительные сведения см. в разделе Enable InfiniBand. Сведения о настройке MPI см. в статье Настройка интерфейса передачи сообщений для HPC.

    схема , показывающая подключение InfiniBand между виртуальными машинами.

  • Azure ExpressRoute: подключения ExpressRoute не используют общедоступный Интернет, и обеспечивают более высокую надежность, скорость и более низкую задержку, чем типичные подключения к Интернету. Для VPN типа "точка — сеть" и VPN типа "сеть — сеть" можно подключать локальные устройства или сети к виртуальной сети с помощью любого сочетания этих параметров VPN и ExpressRoute.

    • Для приложений с пиковой нагрузкой, таких как гибридная конфигурация для симуляции и моделирования водохранилища, где локальные наборы данных используются совместно, а ресурсы Azure становятся его продолжением, ExpressRoute подключает локальную среду к облаку Майкрософт через частное подключение. ExpressRoute обеспечивает устойчивость и доступность корпоративного уровня, а также преимущество глобальной партнерской экосистемы ExpressRoute. Дополнительные сведения о подключении вашей сети к корпорации Майкрософт с помощью ExpressRoute смотрите в моделях подключения ExpressRoute.

    • Для гибридных приложений, таких как решения вычислений сетки рисков, где локальные торговые системы и аналитика работают, и Azure становится расширением, вы можете использовать ExpressRoute для подключения локальной среды к Azure через частное подключение с помощью поставщика подключений. ExpressRoute обеспечивает устойчивость и доступность корпоративного уровня и преимущество глобальной партнерской экосистемы ExpressRoute. Сведения о подключении сети к Azure с помощью ExpressRoute см. в моделях подключения ExpressRoute.

Определение топологии сети Azure

Посадочные зоны корпоративного масштаба поддерживают две топологии сети. Одна топология основана на виртуальной глобальной сети Azure, а другая — на традиционной сетевой топологии, основанной на архитектуре концентраторов и периферийных серверов. В этом разделе описаны конфигурации и методики HPC для обеих моделей развертывания.

Используйте топологию сети, основанную на виртуальной глобальной сети, если ваша организация планирует:

  • Разверните ресурсы в нескольких регионах Azure и подключите глобальные расположения как к Azure, так и к локальным средам.

  • Интегрируйте полностью программно-определяемые развертывания WAN с Azure.

  • Развертывание до 2000 рабочих нагрузок виртуальных машин во всех виртуальных сетях, подключенных к одному концентратору виртуальной глобальной сети.

Организации используют виртуальную глобальную сеть Azure для удовлетворения крупномасштабных требований к взаимодействию. Корпорация Майкрософт управляет этой службой, которая помогает снизить общую сложность сети и модернизировать сеть организации. Используйте традиционную топологию сети Azure на основе архитектуры концентратора и периферийной архитектуры,, если ваша организация:

  • Планируется развернуть ресурсы только в выбранном регионе Azure.

  • Не требуется глобальная, взаимосоединяемая сеть.

  • Имеет несколько удаленных расположений или расположений филиалов в каждом регионе и требует менее 30 туннелей безопасности IP (IPsec).

  • Требуется полный контроль и степень детализации для настройки сети Azure вручную.

  • Для обеспечения подключения используется пиринг локальных и глобальных виртуальных сетей.

Пиринг локальных и глобальных виртуальных сетей обеспечивает подключение и является предпочтительным подходом для обеспечения подключения между целевыми зонами для развертываний HPC в нескольких регионах Azure. Задокументируйте топологию сети и правила брандмауэра. Группы безопасности сети (NSG) часто реализуются со значительной сложностью. Используйте группы безопасности приложений, если целесообразно пометить трафик с более высокой степенью детализации, чем могут предоставить виртуальные сети. Понимание правил приоритизации NSG и того, какие правила имеют преимущество над другими.

Входящие и исходящие подключения к Интернету

В следующем разделе описаны рекомендуемые модели подключения для входящих и исходящих подключений к общедоступному Интернету. Так как собственные службы безопасности сети Azure, такие как Брандмауэр Azure, брандмауэр веб-приложений Azure в шлюзе приложений Azure и Azure Front Door являются полностью управляемыми службами, вы не несете затраты на эксплуатацию и управление, связанные с развертываниями инфраструктуры, которые могут стать сложными в масштабе.

Соображения и рекомендации по проектированию

  • Рассмотрите использование Azure Front Door для развертывания HPC, если у вашей организации есть глобальное присутствие. Azure Front Door использует политики брандмауэра веб-приложений Azure для доставки и защиты глобальных приложений HTTP и HTTPS в регионах Azure.

  • Воспользуйтесь преимуществами политик брандмауэра веб-приложений при использовании Azure Front Door и шлюза приложений для защиты приложений HTTP и HTTPS. Блокировка шлюза приложений для получения трафика только из Azure Front Door. Дополнительные сведения см. в разделе Как заблокировать доступ?.

  • Используйте подключение к локальному и глобальному пирингу виртуальной сети. Эти методы предпочтительнее, чтобы обеспечить подключение между целевыми зонами для развертываний HPC в нескольких регионах Azure.

Определение требований к шифрованию сети

В следующем разделе приведены основные рекомендации по шифрованию сетей между локальными средами и Azure и между регионами Azure.

Соображения и рекомендации по проектированию

  • Учитывайте производительность трафика при включении шифрования. По умолчанию туннели IPsec шифруют интернет-трафик. Любое дополнительное шифрование или расшифровка может отрицательно повлиять на производительность. При использовании ExpressRoute трафик по умолчанию не шифруется. Определите, следует ли шифровать трафик HPC. Дополнительные сведения о параметрах шифрования сети в целевых зонах корпоративного масштаба см. в топологии сети и подключения.

Следующие рекомендации предназначены для шифрования сетей между локальной средой и Azure и между регионами Azure:

  • Определите, следует ли шифровать трафик HPC. Для получения дополнительной информации см. Топология сети и подключение.

  • Спланируйте IP-адресацию в Azure, чтобы обеспечить следующее:

    • Пространство IP-адресов не перекрывается между локальными объектами и регионами Azure.
    • Виртуальная сеть содержит правильное адресное пространство.
    • Правильное планирование конфигурации подсети выполняется заранее.

Определение и требования к задержке и пропускной способности сети

Модели развертывания "только в облаке" HPC и гибридного облака HPC имеют специфические требования к сетевой задержке и пропускной способности подключения. Эти требования зависят от способа отправки и запуска рабочих процессов и рабочих нагрузок в локальной среде и облака. Пользователи могут отправлять задания HPC во многих режимах развертывания из локальной среды или облака.

  • Отдельные задания

    • Рекомендации по подключению к Azure в локальной среде, если вы используете удаленный рабочий стол визуализации

  • Всплеск заданий

    • Рекомендации по настройке сети планировщика, которые передают задания в облаке
    • Сетевые аспекты службы Azure Batch

  • Параллельные рабочие процессы для локальных и облачных сред

  • Гибрид

    • Кэш HPC

  • Облачная среда

    • Контейнеры KS
    • Функции

Среды MPI выделены, так как они имеют уникальные требования, требующие низкой задержки связи между узлами. Узлы подключаются через высокоскоростное взаимодействие и не могут обмениваться данными с другими рабочими нагрузками. Приложения MPI используют все высокопроизводительные межсоединения путем режима прямого доступа в виртуализированных средах. Хранилище для узлов MPI обычно представлено параллельной файловой системой, такой как Lustre, которая также используется через высокоскоростное соединение.

Дальнейшие действия

В следующих статьях приведены рекомендации по каждому шагу в пути внедрения облака для сред HPC.